Вартість навчання та експлуатації великих моделей надзвичайно висока, і OpenAI також намагалася знизити витрати, але, на жаль, зазнала невдачі.
Наприкінці минулого року, коли ChatGPT став світовою сенсацією, інженери OpenAI почали працювати над новою моделлю штучного інтелекту під кодовою назвою Arrakis. Arrakis прагне дозволити OpenAI запускати чат-ботів за нижчою ціною.
Але за словами людей, знайомих із цим питанням: у середині 2023 року OpenAI скасувала випуск Arrakis, оскільки модель працює не так ефективно, як очікувала компанія.
Ця невдача означала, що OpenAI втратила дорогоцінний час, і їй потрібно було перенаправити ресурси на розробку різних моделей.
Що стосується спільного інвестування, науково-дослідна програма Arrakis буде неоціненною для двох компаній, щоб завершити переговори про інвестиції та угоду про продукт на суму 10 мільярдів доларів. За словами співробітника Microsoft, знайомого з цим питанням, невдача Арракіса розчарувала деяких керівників Microsoft.
Більше того, провал Арракіса є передвісником майбутнього штучного інтелекту, яке може бути пов'язане з підводними каменями, які важко передбачити.
Що за модель Arrakis? **
За словами людей, знайомих із цим питанням, OpenAI сподівається, що Arrakis є моделлю з порівнянною продуктивністю та вищою ефективністю роботи, ніж GPT-4. Ключовий підхід, який використовується в моделі Арракіса, полягає в тому, щоб скористатися перевагами розрідженості.
Розрідженість — це концепція машинного навчання, яку також відкрито обговорюють і використовують інші розробники штучного інтелекту, такі як Google. Виконавчий директор Google Джефф Дін сказав: «Розріджені обчислення стануть важливою тенденцією в майбутньому».
OpenAI рано розпочала дослідження розрідженості, і вони представили розріджені обчислювальні ядра ще в 2017 році. Arrakis міг би дозволити OpenAI ширше просувати свою технологію, оскільки компанія могла використовувати обмежену кількість виділених серверних чіпів для живлення свого програмного забезпечення.
В даний час поширеним способом збільшення розрідженості є використання технології «гібридних експертних систем (MoE)». Однак Іон Стоїка, професор комп'ютерних наук в Каліфорнійському університеті в Берклі, сказав: «Загалом, чим більша кількість експертних моделей, тим розрідженіша та ефективніша модель, але це може призвести до менш точних результатів, отриманих моделлю».
Приблизно навесні цього року дослідники OpenAI почали навчати моделі Arrakis, які передбачають використання передового обчислювального обладнання, щоб допомогти моделям обробляти великі обсяги даних. За словами людей, знайомих із цим питанням, компанія очікує, що навчання Arrakis буде набагато дешевшим, ніж навчання GPT-4. Однак незабаром дослідницька група зрозуміла, що модель працює недостатньо добре, щоб досягти очікуваних результатів. Після того, як дослідницька група витратила близько місяця, намагаючись вирішити проблему, вище керівництво OpenAI вирішило припинити навчання моделі.
Хороша новина полягає в тому, що OpenAI може інтегрувати свою роботу над Arrakis в інші моделі, такі як майбутня мультимодальна велика модель Gobi.
За словами двох людей, знайомих з цим питанням, Арракіс не виправдав очікувань OpenAI, оскільки компанія намагається покращити розрідженість моделі, а це означає, що лише частина моделі буде використовуватися для генерації відповідей, зменшуючи експлуатаційні витрати. Причина, чому модель працювала на ранніх тестах, але пізніше показала погані результати, невідома.
Варто згадати, що люди, знайомі з цим питанням, розповіли, що публічне ім'я OpenAI, яке розглядається для Arrakis, — GPT-4 Turbo.
**Наскільки важливо скоротити витрати? **
Для OpenAI, зі зростаючим занепокоєнням щодо вартості технології та поширенням альтернатив з відкритим вихідним кодом, зробити її моделі дешевшими та ефективнішими є головним пріоритетом.
За словами людей, знайомих із цим питанням, Microsoft використовує модель GPT OpenAI для забезпечення функцій штучного інтелекту в програмах Office 365 та інших службах, і Microsoft очікувала, що Arrakis покращить продуктивність цих функцій і знизить витрати.
У той же час Microsoft починає розробляти власний LLM, і його запуск може коштувати дешевше, ніж модель OpenAI.
Хоча ця невдача не сповільнила розвиток бізнесу OpenAI цього року, OpenAI також, ймовірно, знизиться на цьому треку зі зростанням конкуренції в галузі LLM, особливо прискорених досліджень і розробок таких технологічних гігантів, як Google і Microsoft.
Оригінальне посилання:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Розробка нової моделі OpenAI зазнала невдачі, чи є розрідженість ключем до зниження вартості великих моделей?
Першоджерело: Heart of the Machine
Вартість навчання та експлуатації великих моделей надзвичайно висока, і OpenAI також намагалася знизити витрати, але, на жаль, зазнала невдачі.
Наприкінці минулого року, коли ChatGPT став світовою сенсацією, інженери OpenAI почали працювати над новою моделлю штучного інтелекту під кодовою назвою Arrakis. Arrakis прагне дозволити OpenAI запускати чат-ботів за нижчою ціною.
Але за словами людей, знайомих із цим питанням: у середині 2023 року OpenAI скасувала випуск Arrakis, оскільки модель працює не так ефективно, як очікувала компанія.
Що стосується спільного інвестування, науково-дослідна програма Arrakis буде неоціненною для двох компаній, щоб завершити переговори про інвестиції та угоду про продукт на суму 10 мільярдів доларів. За словами співробітника Microsoft, знайомого з цим питанням, невдача Арракіса розчарувала деяких керівників Microsoft.
Більше того, провал Арракіса є передвісником майбутнього штучного інтелекту, яке може бути пов'язане з підводними каменями, які важко передбачити.
Що за модель Arrakis? **
За словами людей, знайомих із цим питанням, OpenAI сподівається, що Arrakis є моделлю з порівнянною продуктивністю та вищою ефективністю роботи, ніж GPT-4. Ключовий підхід, який використовується в моделі Арракіса, полягає в тому, щоб скористатися перевагами розрідженості.
Розрідженість — це концепція машинного навчання, яку також відкрито обговорюють і використовують інші розробники штучного інтелекту, такі як Google. Виконавчий директор Google Джефф Дін сказав: «Розріджені обчислення стануть важливою тенденцією в майбутньому».
OpenAI рано розпочала дослідження розрідженості, і вони представили розріджені обчислювальні ядра ще в 2017 році. Arrakis міг би дозволити OpenAI ширше просувати свою технологію, оскільки компанія могла використовувати обмежену кількість виділених серверних чіпів для живлення свого програмного забезпечення.
В даний час поширеним способом збільшення розрідженості є використання технології «гібридних експертних систем (MoE)». Однак Іон Стоїка, професор комп'ютерних наук в Каліфорнійському університеті в Берклі, сказав: «Загалом, чим більша кількість експертних моделей, тим розрідженіша та ефективніша модель, але це може призвести до менш точних результатів, отриманих моделлю».
Приблизно навесні цього року дослідники OpenAI почали навчати моделі Arrakis, які передбачають використання передового обчислювального обладнання, щоб допомогти моделям обробляти великі обсяги даних. За словами людей, знайомих із цим питанням, компанія очікує, що навчання Arrakis буде набагато дешевшим, ніж навчання GPT-4. Однак незабаром дослідницька група зрозуміла, що модель працює недостатньо добре, щоб досягти очікуваних результатів. Після того, як дослідницька група витратила близько місяця, намагаючись вирішити проблему, вище керівництво OpenAI вирішило припинити навчання моделі.
Хороша новина полягає в тому, що OpenAI може інтегрувати свою роботу над Arrakis в інші моделі, такі як майбутня мультимодальна велика модель Gobi.
За словами двох людей, знайомих з цим питанням, Арракіс не виправдав очікувань OpenAI, оскільки компанія намагається покращити розрідженість моделі, а це означає, що лише частина моделі буде використовуватися для генерації відповідей, зменшуючи експлуатаційні витрати. Причина, чому модель працювала на ранніх тестах, але пізніше показала погані результати, невідома.
Варто згадати, що люди, знайомі з цим питанням, розповіли, що публічне ім'я OpenAI, яке розглядається для Arrakis, — GPT-4 Turbo.
**Наскільки важливо скоротити витрати? **
Для OpenAI, зі зростаючим занепокоєнням щодо вартості технології та поширенням альтернатив з відкритим вихідним кодом, зробити її моделі дешевшими та ефективнішими є головним пріоритетом.
За словами людей, знайомих із цим питанням, Microsoft використовує модель GPT OpenAI для забезпечення функцій штучного інтелекту в програмах Office 365 та інших службах, і Microsoft очікувала, що Arrakis покращить продуктивність цих функцій і знизить витрати.
У той же час Microsoft починає розробляти власний LLM, і його запуск може коштувати дешевше, ніж модель OpenAI.
Хоча ця невдача не сповільнила розвиток бізнесу OpenAI цього року, OpenAI також, ймовірно, знизиться на цьому треку зі зростанням конкуренції в галузі LLM, особливо прискорених досліджень і розробок таких технологічних гігантів, як Google і Microsoft.
Оригінальне посилання: