GPT-4 занадто дорогий, Microsoft хоче позбутися OpenAI? Розкрито план B: тисячі графічних процесорів, призначених для навчання «маленьких моделей», починається внутрішнє тестування Bing
**Вступ: **GPT-4 надто вимагає обчислень, і Microsoft виявилося сформульованим внутрішнім планом Б, щоб навчити менші та дешевші моделі, щоб позбутися OpenAI.
GPT-4 настільки вимагає обчислень, що навіть Microsoft не витримає!
Цього року на численних конференціях Microsoft зі штучного інтелекту генеральний директор Наделла із захопленням оголосив про інтеграцію GPT-4 і DALL·E 3 у «Сімейний пакет» Microsoft.
Увесь асортимент продуктів Microsoft був змінений за моделлю OpenAI з метою зробити ШІ супутником життя для всіх.
Однак за лаштунками, оскільки експлуатаційна вартість GPT-4 була надто високою, Microsoft тихо розробила план Б.
Інформація ексклюзивно оприлюднила новину про те, що для того, щоб позбутися залежності від OpenAI, частина дослідницької групи з 1500 осіб під керівництвом Пітера Лі звернулися до розробки нового розмовного ШІ.
Кажуть, що продуктивність розробленої моделі може бути не такою хорошою, як GPT-4, але масштаб параметрів невеликий, вартість дослідження нижча, а швидкість роботи вища.
Наразі Microsoft запустила внутрішнє тестування таких продуктів, як Bing Chat.
Не тільки Microsoft, але й інші технологічні гіганти, включаючи Google, знаходять інші способи заощадити кошти як на програмне забезпечення для чату штучного інтелекту, так і на мікросхеми.
Співпраця між Microsoft і Meta, коли було оголошено Llama 2, була нічим іншим, як засобом позбутися від повної залежності від OpenAI.
Це шлях, яким судилося йти імперії Microsoft, яка продовжує рости та долати поточні обмеження.
Більш "досконалі" моделі, ви повинні спробувати їх спочатку
У лютому цього року Microsoft офіційно випустила New Bing, який поєднує в собі ChatGPT і власну модель Prometheus.
Після анонсу GPT-4 Microsoft негайно оголосила, що GPT-4 буде інтегровано в Bing, виводячи пошук на новий рівень.
Директор з пошуку Microsoft Михайло Парахін нещодавно заявив, що Bing Chat наразі використовує 100% GPT-4 у «творчому» та «точному» режимах.
У збалансованому режимі (режим, який вибирає більшість користувачів), Microsoft використовує модель Prometheus і моделі мови Turing як доповнення.
Модель Prometheus - це набір навичок і технік. Модель Тьюрінга не така потужна, як GPT-4, і призначена для визначення простих запитань і відповідей на них, а також передачі складніших запитань до GPT-4.
У Microsoft більшість із наявних у неї 2000 графічних процесорів було інвестовано в навчання «маленьких моделей». Звичайно, це блідне порівняно з кількістю мікросхем, які Microsoft надає OpenAI.
Однак ці моделі можуть виконувати простіші завдання, ніж GPT-4, і це спроба Microsoft зламати лід.
Розбийте кайдани OpenAI
Протягом багатьох років Microsoft і OpenAI підтримували нерозривні зв’язки.
Однак із запуском ChatGPT, Microsoft Bing та інших сегментів сімейства Microsoft і OpenAI також почали таємно конкурувати за ринок.
Хоча зусилля Microsoft ще знаходяться на ранніх стадіях, Наделла очолює зусилля Microsoft, щоб прокласти шлях для власних продуктів AI, які не повністю покладаються на OpenAI.
«Врешті-решт це станеться», — сказав виконавчий директор Databricks Навін Рао про внутрішні зусилля Microsoft щодо штучного інтелекту.
«Microsoft — розумна компанія. Коли ви розгортаєте продукти за допомогою гігантської моделі GPT-4, вони хочуть ефективності. Це все одно, що сказати, що нам не потрібна людина з трьома докторськими ступенями, щоб бути телефоністом. Це економічно невигідно».
Однак Наделла та дослідницький керівник Пітер Лі сподіваються розробити складний штучний інтелект без OpenAI, що, ймовірно, є лише бажаним за дійсне.
З тих пір, як Microsoft інвестувала в OpenAI, дослідницький відділ гіганта витратив більшу частину свого часу на коригування моделей OpenAI, щоб зробити їх придатними для продуктів Microsoft, а не на розробку власних моделей.
Дослідницька група Microsoft не має ілюзій щодо того, що вона може розробити такий потужний ШІ, як GPT-4.
Вони чітко знають, що у них немає обчислювальних ресурсів OpenAI, а також у них немає великої кількості людей, які перевіряють питання, на які відповідає LLM, щоб інженери могли вдосконалити модель.
Дослідницький відділ також втрачав таланти протягом останнього року, з кількома хвилями відходів дослідників, у тому числі деякі перейшли до груп продуктів у Microsoft.
Для самої Microsoft розробка високоякісного LLM без допомоги OpenAI може отримати більше козирок, коли дві компанії обговорюватимуть поновлення свого партнерства в найближчі кілька років.
Директор Microsoft AI з досліджень Пітер Лі
Наразі обидві операції є вигідними для обох сторін.
Microsoft інвестувала в OpenAI понад 10 мільярдів доларів США, натомість вона матиме ексклюзивне право на постійне використання наявної інтелектуальної власності OpenAI у продуктах Microsoft.
Крім того, Microsoft отримуватиме 75% теоретичного операційного доходу OpenAI, доки його початкові інвестиції не будуть погашені, і отримуватиме 49% прибутку, доки не буде досягнуто певного обмеження.
Тепер Microsoft сподівається отримати принаймні 10 мільярдів доларів нового доходу протягом невизначеного періоду через існуючі альянси з OpenAI та іншими компаніями, що займаються штучним інтелектом.
Office 365 Family Bucket продемонстрував перші ознаки зростання прибутку після отримання благословення можливостей GPT-4.
У липні Microsoft також заявила, що понад 27 000 компаній заплатили за інструмент для написання коду GitHub Copilot.
Згідно зі статистикою Statista, окрім хмарних сервісів Microsoft у 2023 році, частка доходу від програмних продуктів, які прискорюють продуктивність бізнес-процесів, також поступово зростає.
Однак іронія полягає в тому, що умови угоди між Microsoft і OpenAI також опосередковано допомагають Microsoft прагнути позбутися своєї залежності від OpenAI.
Коли користувачі використовують Bing, Microsoft може отримати доступ до результатів, виведених за моделлю OpenAI.
Наразі Microsoft використовує ці дані для створення більш «рафінованих» моделей. Висновки власних дослідників показують, що ці моделі можуть давати подібні результати з меншими обчислювальними ресурсами.
Дослідження «Малих моделей»
Провівши рік у тіні OpenAI, деякі дослідники з Microsoft знайшли нову мету – створити «дистильовану» модель, яка імітує GPT-4.
У червні цього року Microsoft навчила модель, яка споживає лише одну десяту обчислювальної потужності GPT-4 - Orca.
Щоб створити Orca, Microsoft вклала мільйони відповідей, згенерованих GPT-4, у базову модель з відкритим кодом і навчила її імітувати GPT-4.
Адреса паперу:
Результати показують, що Orca не тільки перевершує інші моделі точного налаштування інструкцій SOTA, але також досягає подвійної продуктивності Vicuna-13B у комплексних тестах нульового висновку, таких як BigBench Hard (BBH).
Крім того, Orca досягає рівня ефективності ChatGPT у тесті BBH, маючи лише 4% розриву в продуктивності на професійних і академічних іспитах, таких як SAT, LSAT, GRE та GMAT, усі виміряні в налаштуваннях нульової вибірки без ланцюжка думок. .
Навіть у деяких випадках продуктивність Orca порівнянна з безкоштовною версією OpenAI ChatGPT.
Так само Microsoft також анонсувала модель з параметрами менше однієї тисячної GPT-4-phi-1.
Завдяки використанню високоякісних навчальних даних «рівня підручника» знання phi-1 у математиці та логічних задачах не менше ніж у п’ять разів вище, ніж у моделі з відкритим кодом.
Адреса паперу:
Згодом Microsoft пішла ще далі у вивченні того, «наскільки малим має бути LLM, щоб досягти певних можливостей», і випустила модель phi-1.5 лише з 1,3 мільярда параметрів.
Адреса паперу:
phi-1.5 демонструє можливості багатьох великих моделей, вміючи «думати крок за кроком» або виконувати базове контекстне навчання.
Результати показують, що phi-1.5 працює нарівні з моделями, у 10 разів більшими за здоровий глузд і мовними навичками.
У той же час він значно перевершує інші великі моделі в багатокроковому міркуванні.
Хоча незрозуміло, чи справді «малі моделі», такі як Orca та Phi, можуть конкурувати з більшими моделями SOTA, такими як GPT-4. Але їх величезна перевага в ціні зміцнила мотивацію Microsoft продовжувати сприяти відповідним дослідженням.
За словами особи, знайомої з цим питанням, першочерговим завданням команди після випуску Phi є перевірка якості таких моделей.
У майбутній статті дослідники пропонують метод, заснований на контрастному навчанні, який дозволяє інженерам покращувати Orca, навчаючи модель розрізняти високоякісні та низькоякісні відповіді.
У той же час інші команди Microsoft також інтенсивно розробляють нову мультимодальну велику модель, тобто LLM, яка може як інтерпретувати, так і генерувати текст і зображення.
ГПТ-4В
Очевидно, що такі моделі, як Orca та Phi, можуть допомогти Microsoft зменшити витрати на обчислення, необхідні для надання можливостей ШІ клієнтам.
За словами одного нинішнього співробітника, менеджери продуктів Microsoft вже тестують, як використовувати Orca і Phi замість моделей OpenAI для обробки запитів чат-бота Bing. Наприклад, відносно прості запитання, такі як підсумовування короткого абзацу тексту та відповідь «так» або «ні».
Крім того, Microsoft також зважує, чи пропонувати модель Orca хмарним клієнтам Azure.
За словами людей, знайомих із ситуацією, щойно папір Orca була опублікована, клієнти приходили запитувати, коли вони зможуть ним скористатися.
Але питання в тому, якщо це дійсно буде зроблено, чи потрібно Microsoft все ще отримувати ліцензію від Meta? Зрештою, остання все ще має обмеження щодо того, які компанії можуть комерціалізувати свої LLM з відкритим кодом.
Література:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
GPT-4 занадто дорогий, Microsoft хоче позбутися OpenAI? Розкрито план B: тисячі графічних процесорів, призначених для навчання «маленьких моделей», починається внутрішнє тестування Bing
**Джерело:**Xinzhiyuan
**Вступ: **GPT-4 надто вимагає обчислень, і Microsoft виявилося сформульованим внутрішнім планом Б, щоб навчити менші та дешевші моделі, щоб позбутися OpenAI.
GPT-4 настільки вимагає обчислень, що навіть Microsoft не витримає!
Цього року на численних конференціях Microsoft зі штучного інтелекту генеральний директор Наделла із захопленням оголосив про інтеграцію GPT-4 і DALL·E 3 у «Сімейний пакет» Microsoft.
Увесь асортимент продуктів Microsoft був змінений за моделлю OpenAI з метою зробити ШІ супутником життя для всіх.
Інформація ексклюзивно оприлюднила новину про те, що для того, щоб позбутися залежності від OpenAI, частина дослідницької групи з 1500 осіб під керівництвом Пітера Лі звернулися до розробки нового розмовного ШІ.
Наразі Microsoft запустила внутрішнє тестування таких продуктів, як Bing Chat.
Не тільки Microsoft, але й інші технологічні гіганти, включаючи Google, знаходять інші способи заощадити кошти як на програмне забезпечення для чату штучного інтелекту, так і на мікросхеми.
Співпраця між Microsoft і Meta, коли було оголошено Llama 2, була нічим іншим, як засобом позбутися від повної залежності від OpenAI.
Це шлях, яким судилося йти імперії Microsoft, яка продовжує рости та долати поточні обмеження.
Більш "досконалі" моделі, ви повинні спробувати їх спочатку
У лютому цього року Microsoft офіційно випустила New Bing, який поєднує в собі ChatGPT і власну модель Prometheus.
Після анонсу GPT-4 Microsoft негайно оголосила, що GPT-4 буде інтегровано в Bing, виводячи пошук на новий рівень.
Директор з пошуку Microsoft Михайло Парахін нещодавно заявив, що Bing Chat наразі використовує 100% GPT-4 у «творчому» та «точному» режимах.
У збалансованому режимі (режим, який вибирає більшість користувачів), Microsoft використовує модель Prometheus і моделі мови Turing як доповнення.
У Microsoft більшість із наявних у неї 2000 графічних процесорів було інвестовано в навчання «маленьких моделей». Звичайно, це блідне порівняно з кількістю мікросхем, які Microsoft надає OpenAI.
Однак ці моделі можуть виконувати простіші завдання, ніж GPT-4, і це спроба Microsoft зламати лід.
Розбийте кайдани OpenAI
Протягом багатьох років Microsoft і OpenAI підтримували нерозривні зв’язки.
Однак із запуском ChatGPT, Microsoft Bing та інших сегментів сімейства Microsoft і OpenAI також почали таємно конкурувати за ринок.
Хоча зусилля Microsoft ще знаходяться на ранніх стадіях, Наделла очолює зусилля Microsoft, щоб прокласти шлях для власних продуктів AI, які не повністю покладаються на OpenAI.
«Microsoft — розумна компанія. Коли ви розгортаєте продукти за допомогою гігантської моделі GPT-4, вони хочуть ефективності. Це все одно, що сказати, що нам не потрібна людина з трьома докторськими ступенями, щоб бути телефоністом. Це економічно невигідно».
Однак Наделла та дослідницький керівник Пітер Лі сподіваються розробити складний штучний інтелект без OpenAI, що, ймовірно, є лише бажаним за дійсне.
З тих пір, як Microsoft інвестувала в OpenAI, дослідницький відділ гіганта витратив більшу частину свого часу на коригування моделей OpenAI, щоб зробити їх придатними для продуктів Microsoft, а не на розробку власних моделей.
Дослідницька група Microsoft не має ілюзій щодо того, що вона може розробити такий потужний ШІ, як GPT-4.
Дослідницький відділ також втрачав таланти протягом останнього року, з кількома хвилями відходів дослідників, у тому числі деякі перейшли до груп продуктів у Microsoft.
Для самої Microsoft розробка високоякісного LLM без допомоги OpenAI може отримати більше козирок, коли дві компанії обговорюватимуть поновлення свого партнерства в найближчі кілька років.
Наразі обидві операції є вигідними для обох сторін.
Microsoft інвестувала в OpenAI понад 10 мільярдів доларів США, натомість вона матиме ексклюзивне право на постійне використання наявної інтелектуальної власності OpenAI у продуктах Microsoft.
Крім того, Microsoft отримуватиме 75% теоретичного операційного доходу OpenAI, доки його початкові інвестиції не будуть погашені, і отримуватиме 49% прибутку, доки не буде досягнуто певного обмеження.
Office 365 Family Bucket продемонстрував перші ознаки зростання прибутку після отримання благословення можливостей GPT-4.
У липні Microsoft також заявила, що понад 27 000 компаній заплатили за інструмент для написання коду GitHub Copilot.
Згідно зі статистикою Statista, окрім хмарних сервісів Microsoft у 2023 році, частка доходу від програмних продуктів, які прискорюють продуктивність бізнес-процесів, також поступово зростає.
Коли користувачі використовують Bing, Microsoft може отримати доступ до результатів, виведених за моделлю OpenAI.
Наразі Microsoft використовує ці дані для створення більш «рафінованих» моделей. Висновки власних дослідників показують, що ці моделі можуть давати подібні результати з меншими обчислювальними ресурсами.
Дослідження «Малих моделей»
Провівши рік у тіні OpenAI, деякі дослідники з Microsoft знайшли нову мету – створити «дистильовану» модель, яка імітує GPT-4.
У червні цього року Microsoft навчила модель, яка споживає лише одну десяту обчислювальної потужності GPT-4 - Orca.
Щоб створити Orca, Microsoft вклала мільйони відповідей, згенерованих GPT-4, у базову модель з відкритим кодом і навчила її імітувати GPT-4.
Результати показують, що Orca не тільки перевершує інші моделі точного налаштування інструкцій SOTA, але також досягає подвійної продуктивності Vicuna-13B у комплексних тестах нульового висновку, таких як BigBench Hard (BBH).
Крім того, Orca досягає рівня ефективності ChatGPT у тесті BBH, маючи лише 4% розриву в продуктивності на професійних і академічних іспитах, таких як SAT, LSAT, GRE та GMAT, усі виміряні в налаштуваннях нульової вибірки без ланцюжка думок. .
Завдяки використанню високоякісних навчальних даних «рівня підручника» знання phi-1 у математиці та логічних задачах не менше ніж у п’ять разів вище, ніж у моделі з відкритим кодом.
Згодом Microsoft пішла ще далі у вивченні того, «наскільки малим має бути LLM, щоб досягти певних можливостей», і випустила модель phi-1.5 лише з 1,3 мільярда параметрів.
phi-1.5 демонструє можливості багатьох великих моделей, вміючи «думати крок за кроком» або виконувати базове контекстне навчання.
У той же час він значно перевершує інші великі моделі в багатокроковому міркуванні.
За словами особи, знайомої з цим питанням, першочерговим завданням команди після випуску Phi є перевірка якості таких моделей.
У майбутній статті дослідники пропонують метод, заснований на контрастному навчанні, який дозволяє інженерам покращувати Orca, навчаючи модель розрізняти високоякісні та низькоякісні відповіді.
У той же час інші команди Microsoft також інтенсивно розробляють нову мультимодальну велику модель, тобто LLM, яка може як інтерпретувати, так і генерувати текст і зображення.
Очевидно, що такі моделі, як Orca та Phi, можуть допомогти Microsoft зменшити витрати на обчислення, необхідні для надання можливостей ШІ клієнтам.
За словами одного нинішнього співробітника, менеджери продуктів Microsoft вже тестують, як використовувати Orca і Phi замість моделей OpenAI для обробки запитів чат-бота Bing. Наприклад, відносно прості запитання, такі як підсумовування короткого абзацу тексту та відповідь «так» або «ні».
Крім того, Microsoft також зважує, чи пропонувати модель Orca хмарним клієнтам Azure.
За словами людей, знайомих із ситуацією, щойно папір Orca була опублікована, клієнти приходили запитувати, коли вони зможуть ним скористатися.
Але питання в тому, якщо це дійсно буде зроблено, чи потрібно Microsoft все ще отримувати ліцензію від Meta? Зрештою, остання все ще має обмеження щодо того, які компанії можуть комерціалізувати свої LLM з відкритим кодом.
Література: