Затраты на обучение и эксплуатацию больших моделей чрезвычайно высоки, и OpenAI также пыталась снизить затраты, но, к сожалению, потерпела неудачу.
В конце прошлого года, когда ChatGPT стал мировой сенсацией, инженеры OpenAI начали работу над новой моделью искусственного интеллекта под кодовым названием Arrakis. Arrakis стремится позволить OpenAI запускать чат-ботов с меньшими затратами.
Но, по словам людей, знакомых с этим вопросом, в середине 2023 года OpenAI отменила выпуск Arrakis, потому что модель работает не так эффективно, как ожидала компания.
Эта неудача означала, что OpenAI потеряла драгоценное время и нуждалась в отвлечении ресурсов на разработку различных моделей.
Что касается совместных инвестиций, то программа исследований и разработок Arrakis будет иметь неоценимое значение для двух компаний, чтобы завершить переговоры об инвестициях и сделке на сумму 10 миллиардов долларов. По словам сотрудника Microsoft, знакомого с этим вопросом, неудача Арракиса разочаровала некоторых руководителей Microsoft.
Более того, провал Arrakis является предвестником будущего ИИ, которое может быть чревато подводными камнями, которые трудно предсказать.
Что за модель Арракис? **
По словам людей, знакомых с этим вопросом, OpenAI надеется, что Arrakis является моделью с сопоставимой производительностью и более высокой операционной эффективностью, чем GPT-4. Ключевой подход, используемый в модели Арракиса, заключается в использовании преимуществ разреженности.
Разреженность — это концепция машинного обучения, которую другие разработчики ИИ, такие как Google, также открыто обсуждают и используют. Исполнительный директор Google Джефф Дин (Jeff Dean) заявил: «Разреженные вычисления станут важной тенденцией в будущем».
OpenAI начала исследования разреженности на раннем этапе, и они представили разреженные вычислительные ядра еще в 2017 году. Arrakis мог позволить OpenAI продвигать свою технологию более широко, потому что компания могла использовать ограниченное количество выделенных серверных чипов для питания своего программного обеспечения.
В настоящее время распространенным способом повышения разреженности является использование технологии «гибридных экспертных систем (МОЭ)». Тем не менее, Ион Стойка, профессор информатики в Калифорнийском университете в Беркли, сказал: «В целом, чем больше экспертных моделей, тем реже и эффективнее модель, но это может привести к менее точным результатам, генерируемым моделью».
Примерно весной этого года исследователи OpenAI начали обучение моделей Арракиса, которые включают в себя использование передового вычислительного оборудования, помогающего моделям обрабатывать большие объемы данных. По словам людей, знакомых с этим вопросом, компания ожидает, что обучение Арракиса будет намного дешевле, чем обучение GPT-4. Однако вскоре исследовательская группа поняла, что модель работает недостаточно хорошо, чтобы достичь ожидаемых результатов. После того, как исследовательская группа потратила около месяца на решение проблемы, высшее руководство OpenAI решило прекратить обучение модели.
Хорошая новость заключается в том, что OpenAI может интегрировать свою работу над Arrakis в другие модели, такие как готовящаяся к выпуску мультимодальная большая модель Gobi.
Arrakis не оправдал ожиданий OpenAI, потому что компания пытается улучшить разреженность модели, а это означает, что только часть модели будет использоваться для генерации ответов, снижая эксплуатационные расходы, сказали два источника, знакомые с этим вопросом. Причина, по которой модель работала на ранних тестах, но позже показала плохие результаты, неизвестна.
Стоит отметить, что люди, знакомые с этим вопросом, сказали, что публичное название OpenAI, рассматриваемое для Arrakis, - GPT-4 Turbo.
**Насколько важно сократить расходы? **
Для OpenAI, учитывая растущие опасения по поводу стоимости технологии и распространения альтернатив с открытым исходным кодом, сделать свои модели более дешевыми и эффективными является главным приоритетом.
По словам людей, знакомых с этим вопросом, Microsoft использует модель OpenAI GPT для поддержки функций искусственного интеллекта в приложениях Office 365 и других сервисах, и Microsoft ожидала, что Arrakis повысит производительность этих функций и снизит затраты.
В то же время Microsoft начинает разрабатывать свой собственный LLM, и его запуск может стоить дешевле, чем модель OpenAI.
Несмотря на то, что эта неудача не замедлила развитие бизнеса OpenAI в этом году, OpenAI также, вероятно, будет снижаться в этом направлении из-за растущей конкуренции в области LLM, особенно из-за ускоренных исследований и разработок технологических гигантов, таких как Google и Microsoft.
Оригинальная ссылка:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Разработка новой модели OpenAI была сорвана, является ли разреженность ключом к снижению стоимости больших моделей?
Первоисточник: Heart of the Machine
Затраты на обучение и эксплуатацию больших моделей чрезвычайно высоки, и OpenAI также пыталась снизить затраты, но, к сожалению, потерпела неудачу.
В конце прошлого года, когда ChatGPT стал мировой сенсацией, инженеры OpenAI начали работу над новой моделью искусственного интеллекта под кодовым названием Arrakis. Arrakis стремится позволить OpenAI запускать чат-ботов с меньшими затратами.
Но, по словам людей, знакомых с этим вопросом, в середине 2023 года OpenAI отменила выпуск Arrakis, потому что модель работает не так эффективно, как ожидала компания.
Что касается совместных инвестиций, то программа исследований и разработок Arrakis будет иметь неоценимое значение для двух компаний, чтобы завершить переговоры об инвестициях и сделке на сумму 10 миллиардов долларов. По словам сотрудника Microsoft, знакомого с этим вопросом, неудача Арракиса разочаровала некоторых руководителей Microsoft.
Более того, провал Arrakis является предвестником будущего ИИ, которое может быть чревато подводными камнями, которые трудно предсказать.
Что за модель Арракис? **
По словам людей, знакомых с этим вопросом, OpenAI надеется, что Arrakis является моделью с сопоставимой производительностью и более высокой операционной эффективностью, чем GPT-4. Ключевой подход, используемый в модели Арракиса, заключается в использовании преимуществ разреженности.
Разреженность — это концепция машинного обучения, которую другие разработчики ИИ, такие как Google, также открыто обсуждают и используют. Исполнительный директор Google Джефф Дин (Jeff Dean) заявил: «Разреженные вычисления станут важной тенденцией в будущем».
OpenAI начала исследования разреженности на раннем этапе, и они представили разреженные вычислительные ядра еще в 2017 году. Arrakis мог позволить OpenAI продвигать свою технологию более широко, потому что компания могла использовать ограниченное количество выделенных серверных чипов для питания своего программного обеспечения.
В настоящее время распространенным способом повышения разреженности является использование технологии «гибридных экспертных систем (МОЭ)». Тем не менее, Ион Стойка, профессор информатики в Калифорнийском университете в Беркли, сказал: «В целом, чем больше экспертных моделей, тем реже и эффективнее модель, но это может привести к менее точным результатам, генерируемым моделью».
Примерно весной этого года исследователи OpenAI начали обучение моделей Арракиса, которые включают в себя использование передового вычислительного оборудования, помогающего моделям обрабатывать большие объемы данных. По словам людей, знакомых с этим вопросом, компания ожидает, что обучение Арракиса будет намного дешевле, чем обучение GPT-4. Однако вскоре исследовательская группа поняла, что модель работает недостаточно хорошо, чтобы достичь ожидаемых результатов. После того, как исследовательская группа потратила около месяца на решение проблемы, высшее руководство OpenAI решило прекратить обучение модели.
Хорошая новость заключается в том, что OpenAI может интегрировать свою работу над Arrakis в другие модели, такие как готовящаяся к выпуску мультимодальная большая модель Gobi.
Arrakis не оправдал ожиданий OpenAI, потому что компания пытается улучшить разреженность модели, а это означает, что только часть модели будет использоваться для генерации ответов, снижая эксплуатационные расходы, сказали два источника, знакомые с этим вопросом. Причина, по которой модель работала на ранних тестах, но позже показала плохие результаты, неизвестна.
Стоит отметить, что люди, знакомые с этим вопросом, сказали, что публичное название OpenAI, рассматриваемое для Arrakis, - GPT-4 Turbo.
**Насколько важно сократить расходы? **
Для OpenAI, учитывая растущие опасения по поводу стоимости технологии и распространения альтернатив с открытым исходным кодом, сделать свои модели более дешевыми и эффективными является главным приоритетом.
По словам людей, знакомых с этим вопросом, Microsoft использует модель OpenAI GPT для поддержки функций искусственного интеллекта в приложениях Office 365 и других сервисах, и Microsoft ожидала, что Arrakis повысит производительность этих функций и снизит затраты.
В то же время Microsoft начинает разрабатывать свой собственный LLM, и его запуск может стоить дешевле, чем модель OpenAI.
Несмотря на то, что эта неудача не замедлила развитие бизнеса OpenAI в этом году, OpenAI также, вероятно, будет снижаться в этом направлении из-за растущей конкуренции в области LLM, особенно из-за ускоренных исследований и разработок технологических гигантов, таких как Google и Microsoft.
Оригинальная ссылка: