GPT-4 слишком дорог, Microsoft хочет избавиться от OpenAI? План Б раскрыт: тысячи графических процессоров предназначены для обучения «маленьких моделей», начинается внутреннее тестирование Bing

**Источник:**Синьчжиюань

**Введение: **GPT-4 требует слишком больших вычислительных ресурсов, и Microsoft обнаружила, что разработала план Б для обучения меньших и недорогих моделей, чтобы избавиться от OpenAI.

GPT-4 настолько требовательна к вычислительным ресурсам, что даже Microsoft не выдерживает этого!

В этом году на многочисленных конференциях Microsoft по искусственному интеллекту генеральный директор Наделла с волнением объявил об интеграции GPT-4 и DALL·E 3 в «Семейное ведро» Microsoft.

Весь ассортимент продуктов Microsoft был изменен в соответствии с моделью OpenAI, с целью сделать ИИ спутником жизни для каждого.

Однако за кулисами, поскольку эксплуатационные расходы GPT-4 были слишком высоки, Microsoft незаметно разработала план Б.

Эксклюзивно The Information сообщила, что, чтобы избавиться от зависимости от OpenAI, часть исследовательской группы из 1500 человек под руководством Питера Ли обратилась к разработке нового диалогового ИИ.

Говорят, что производительность разработанной модели может быть не такой хорошей, как у GPT-4, но масштаб параметров мал, стоимость исследований ниже, а скорость работы выше.

В настоящее время Microsoft запустила внутреннее тестирование таких продуктов, как Bing Chat.

Не только Microsoft, но и другие технологические гиганты, включая Google, находят другие способы сэкономить как на программном обеспечении для чатов с искусственным интеллектом, так и на чипах.

Сотрудничество между Microsoft и Meta, когда был анонсирован Llama 2, было не чем иным, как средством избавиться от полной зависимости от OpenAI.

Это путь, по которому империя Microsoft суждено идти, продолжая расти и преодолевая текущие ограничения.

Более «утонченные» модели, их стоит попробовать в первую очередь

В феврале этого года Microsoft официально выпустила New Bing, сочетающий в себе ChatGPT и собственную модель Prometheus.

После анонса GPT-4 Microsoft сразу же объявила, что GPT-4 будет интегрирован в Bing, что поднимет возможности поиска на новый уровень.

Директор по поиску Microsoft Михаил Парахин недавно заявил, что Bing Chat в настоящее время использует 100% GPT-4 в «творческом» и «точном» режимах.

В сбалансированном режиме (режим, выбранный большинством пользователей) Microsoft использует модель Прометея и модели языка Тьюринга в качестве дополнений.

Модель Прометея представляет собой совокупность навыков и техник. Модель Тьюринга не так мощна, как GPT-4, и предназначена для определения простых вопросов и ответов на них, а также для передачи более сложных вопросов в GPT-4.

Внутри Microsoft большая часть из 2000 имеющихся у нее графических процессоров была вложена в обучение «маленьких моделей». Конечно, это меркнет по сравнению с количеством чипов, которые Microsoft предоставляет OpenAI.

Однако эти модели могут выполнять более простые задачи, чем GPT-4, и являются попыткой Microsoft растопить лед.

Разорвите оковы OpenAI

На протяжении многих лет Microsoft и OpenAI поддерживают неразрывные связи.

Однако с запуском ChatGPT, Microsoft Bing и других семейных корзин Microsoft и OpenAI также начали тайно конкурировать за рынок.

Хотя усилия Microsoft все еще находятся на ранних стадиях, Наделла возглавляет усилия Microsoft по созданию собственных продуктов искусственного интеллекта, которые не будут полностью полагаться на OpenAI.

«Со временем это произойдет», — сказал исполнительный директор Databricks Навин Рао о внутренних усилиях Microsoft в области искусственного интеллекта.

«Microsoft — умная компания. Когда вы развертываете продукты с использованием гигантской модели GPT-4, они хотят эффективности. Это все равно, что сказать: нам не нужен человек с тремя докторскими степенями, чтобы быть телефонным оператором. Это экономически невыгодно».

Однако Наделла и директор по исследованиям Питер Ли надеются разработать сложный ИИ без OpenAI, что, вероятно, является всего лишь принятием желаемого за действительное.

С тех пор как Microsoft инвестировала в OpenAI, исследовательский отдел гиганта потратил большую часть своего времени на корректировку моделей OpenAI, чтобы сделать их подходящими для продуктов Microsoft, а не на разработку собственных моделей.

Исследовательская группа Microsoft не питает иллюзий относительно того, что сможет разработать такой же мощный ИИ, как GPT-4.

Они четко знают, что у них нет вычислительных ресурсов OpenAI, а также у них нет большого количества рецензентов, которые могли бы ответить на вопросы, на которые отвечает LLM, чтобы инженеры могли улучшить модель.

Исследовательский отдел также терял талантливых специалистов за последний год: несколько волн уходили исследователей, в том числе некоторые переходили в продуктовые группы внутри Microsoft.

Для самой Microsoft разработка высококачественного LLM без помощи OpenAI может выиграть больше козырей, когда две компании обсудят возобновление своего партнерства в ближайшие несколько лет.

Директор по исследованиям искусственного интеллекта Microsoft Питер Ли

На данный момент обе сделки выгодны обеим сторонам.

Microsoft инвестировала в OpenAI более 10 миллиардов долларов США и взамен получит эксклюзивное право на постоянное использование существующей интеллектуальной собственности OpenAI в продуктах Microsoft.

Кроме того, Microsoft будет получать 75% теоретического операционного дохода OpenAI до тех пор, пока не будут погашены первоначальные инвестиции, и 49% прибыли до тех пор, пока не будет достигнут определенный предел.

Теперь Microsoft надеется получить как минимум $10 миллиардов новых доходов в течение неопределенного периода за счет существующих альянсов с OpenAI и другими компаниями, занимающимися искусственным интеллектом.

Office 365 Family Bucket продемонстрировал первые признаки роста доходов после получения возможности GPT-4.

В июле Microsoft также заявила, что более 27 000 компаний заплатили за инструмент написания кода GitHub Copilot.

По данным статистики Statista, помимо облачных сервисов Microsoft, имеющих наибольшую долю в 2023 году, также постепенно увеличивается доля доходов от программных продуктов, ускоряющих продуктивность бизнес-процессов.

Однако ирония в том, что условия сделки между Microsoft и OpenAI также косвенно помогают Microsoft стремиться избавиться от зависимости от OpenAI.

Когда пользователи используют Bing, Microsoft может получить доступ к результатам, выдаваемым моделью OpenAI.

В настоящее время Microsoft использует эти данные для создания более «утонченных» моделей. Результаты собственных исследователей показывают, что эти модели могут давать аналогичные результаты с меньшими вычислительными ресурсами.

Исследование «маленьких моделей»

Проведя год в тени OpenAI, некоторые исследователи из Microsoft нашли новую цель — создать «дистиллированную» модель, имитирующую GPT-4.

В июне этого года Microsoft обучила модель, потребляющую лишь одну десятую вычислительной мощности GPT-4 — Orca.

Чтобы создать Orca, Microsoft вложила миллионы ответов, сгенерированных GPT-4, в более простую модель с открытым исходным кодом и научила ее имитировать GPT-4.

Бумажный адрес:

Результаты показывают, что Orca не только превосходит другие модели точной настройки инструкций SOTA, но также достигает удвоенной производительности по сравнению с Vicuna-13B в сложных тестах с нулевым выводом, таких как BigBench Hard (BBH).

Кроме того, Orca достигает производительности на уровне ChatGPT в тесте BBH, при этом разница в производительности на профессиональных и академических экзаменах, таких как SAT, LSAT, GRE и GMAT, составляет всего 4 %. .

Даже в некоторых случаях производительность Orca сравнима с бесплатной версией ChatGPT от OpenAI.

Аналогично, Microsoft также анонсировала модель с параметрами менее одной тысячной GPT-4-phi-1.

Благодаря использованию высококачественных обучающих данных «уровня учебника» способность phi-1 решать математические и логические задачи не менее чем в пять раз выше, чем у его модели с открытым исходным кодом.

Бумажный адрес:

Впоследствии Microsoft пошла еще дальше в изучении того, «насколько маленьким должен быть LLM, чтобы достичь определенных возможностей» и запустила модель phi-1.5 всего с 1,3 миллиарда параметров.

Бумажный адрес:

phi-1.5 демонстрирует возможности многих крупных моделей, способных «думать шаг за шагом» или выполнять базовое изучение контекста.

Результаты показывают, что phi-1.5 работает наравне с моделями, в 10 раз превышающими его размер, в отношении здравого смысла и языковых навыков.

В то же время она намного превосходит другие большие модели по многошаговым рассуждениям.

Хотя неясно, смогут ли «маленькие модели», такие как Orca и Phi, конкурировать с более крупными моделями SOTA, такими как GPT-4. Но их огромное преимущество в стоимости усилило мотивацию Microsoft продолжать продвигать соответствующие исследования.

По словам человека, знакомого с ситуацией, первоочередной задачей команды после выпуска Phi является проверка качества таких моделей.

В предстоящей статье исследователи предлагают метод, основанный на контрастном обучении, который позволит инженерам улучшить Orca, научив модель различать качественные и некачественные ответы.

В то же время другие команды Microsoft также интенсивно разрабатывают новую мультимодальную большую модель, то есть LLM, которая может как интерпретировать, так и генерировать текст и изображения.

ГПТ-4В

Очевидно, что такие модели, как Orca и Phi, могут помочь Microsoft сократить вычислительные затраты, необходимые для предоставления клиентам возможностей искусственного интеллекта.

По словам одного из нынешних сотрудников, менеджеры по продуктам Microsoft уже тестируют, как использовать Orca и Phi вместо моделей OpenAI для обработки запросов чат-бота Bing. Например, относительно простые вопросы, такие как обобщение короткого абзаца текста и ответ «да» или «нет».

Кроме того, Microsoft также рассматривает вопрос о том, предлагать ли модель Orca клиентам облака Azure.

По словам людей, знакомых с ситуацией, как только статья Orca была опубликована, клиенты стали спрашивать, когда они смогут ею воспользоваться.

Но вопрос в том, если это действительно будет сделано, нужно ли Microsoft по-прежнему получать лицензию от Meta? В конце концов, у последнего все еще есть ограничения на то, какие компании могут коммерциализировать свою LLM с открытым исходным кодом.

Использованная литература:

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Поделиться
комментарий
0/400
Нет комментариев
  • Закрепить