Lightspeed America: де майбутнє рівня інфраструктури ШІ?

Оригінал: SenseAI

«Відколи OpenAI запустив GPT-4 у квітні цього року, все більше і більше моделей отримують відкритий код, а прихильники штучного інтелекту зміщують увагу з моделей на програми. Остання стаття Lightspeed виводить тенденцію розвитку моделей штучного інтелекту та пропонує майбутнє. великі моделі будуть розділені на три типи моделей, а можливі можливості на рівні моделі будуть структуровано організовані.Зміст цього випуску змусить вас задуматися про тенденції розвитку та можливості рівня інфраструктури моделі, включаючи Середній рівень AI Ops.

Чуттєве мислення

Ми намагаємося висунути більше розбіжних висновків і міркувань на основі змісту статті та вітати обмін.

Виходячи з можливостей моделі та вартості, моделі AI будуть розділені на «моделі мозку», «моделі претендентів» і «моделі з довгим хвостом». Моделі з довгим хвостом є невеликими та гнучкими, і вони більше підходять для навчання експертних моделей, орієнтованих на розділені поля. Накладаючись на періодичність закону Мура, у майбутньому не буде блокування обчислювальної потужності, а сценарії застосування моделі мозку буде важко усунути Ринок, швидше за все, вибере відповідну модель на основі розміру простору програми сценарій і правила розподілу ланцюжка вартості.

Нові можливості системи з боку моделі: 1) структура оцінки моделі; 2) експлуатація та підтримка моделі; 3) розширення системи. Що потрібно враховувати, так це відмінності на різних ринках між Китаєм і Сполученими Штатами, оригінальну екологію бізнес-послуг і переваги капіталу.

Можливості платформи RAG (розширення пошуку) на рівні підприємства: можливості, які надає складність і різноманітність моделей, 1) операційні інструменти: можливість спостереження, безпека, відповідність; 2) дані: у диференціації бізнес-цінності та забезпеченні загальних соціальних цінностей технологія надасть можливості для монетизація даних.

Ця стаття складається з 2426 слів і займає близько 7 хвилин, щоб уважно її прочитати.

Протягом останнього десятиліття Lightspeed, відомий американський фонд, працював із видатними компаніями у сфері ШІ/ML, платформами, які вони створюють, і клієнтами, яких вони обслуговують, щоб краще зрозуміти, як компанії думають про Gen-AI. Зокрема, Lightspeed досліджує базову модельну екосистему та ставить такі запитання, як «Чи найкраща модель матиме динаміку «переможець отримує все»?» і «Чи всі випадки корпоративного використання викликають API OpenAI за замовчуванням, чи краще використовувати його насправді?» «Диверсифікація?» і так далі. Відповіді визначатимуть майбутній напрямок розвитку цієї екосистеми та потік енергії, таланту та капіталу.

01. Модель класифікації екосистем

Виходячи з наших знань, ми вважаємо, що незабаром відбудеться кембрійський вибух моделей ШІ. Розробники та компанії виберуть модель, яка найкраще відповідає «завданню, яке потрібно виконати», хоча використання на етапі дослідження може здатися більш цілеспрямованим. Ймовірний шлях для впровадження на підприємстві — використовувати великі моделі для дослідження, поступово переходячи до менших спеціалізованих (налаштованих і доопрацьованих) моделей для використання у виробництві в міру того, як вони розуміють варіанти використання. На діаграмі нижче показано, як ми бачимо еволюцію екосистеми базової моделі.

Ландшафт моделі штучного інтелекту можна розділити на 3 основні категорії, які, можливо, перетинаються:

Категорія 1: Модель «Мозок»

Це найкращі моделі, які представляють передовий край модельного мистецтва. Ось тут і з’являються ці приголомшливі магічні демонстрації. Ці моделі часто є першим, на що звертають увагу розробники, намагаючись дослідити межі можливостей ШІ для своїх програм. Ці моделі дорогі в навчанні та складні в обслуговуванні та масштабуванні. Але та сама модель може скласти LSAT, MCAT, написати за вас твір у середній школі та спілкуватися з вами як чат-бот. Зараз розробники експериментують із цими моделями та оцінюють використання штучного інтелекту в корпоративних програмах.

Однак загальні моделі дорогі у використанні, мають високу затримку висновків і можуть бути надмірними для чітко визначених випадків обмеженого використання. Друга проблема полягає в тому, що ці моделі є універсальними і можуть бути менш точними для спеціалізованих завдань. (Див. цю статтю Корнелла). Нарешті, майже у всіх випадках вони також є чорними скриньками, що може створити проблеми конфіденційності та безпеки для підприємств, які намагаються використовувати ці моделі, не відмовляючись від своїх ресурсів даних. OpenAI, Anthropic, Cohere – кілька прикладів компаній.

Друга категорія: модель "Челленджер"

Це також моделі великої місткості, навички та можливості яких поступаються лише великим моделям загального призначення, які їм передували. Кращими представниками цієї категорії є Лама 2 і Сокіл. Зазвичай вони такі ж хороші, як моделі Gen "N-1" або "N-2" від компанії, яка підготувала загальну модель. Наприклад, за деякими тестами Llama2 не поступається GPT-3.5-turbo. Налаштування цих моделей на дані підприємства може зробити їх такими ж хорошими, як першокласні великі моделі загального призначення для конкретних завдань.

Багато з цих моделей мають відкритий вихідний код (або близький до нього), і після випуску вони негайно принесли покращення та оптимізацію від спільноти відкритого коду.

Категорія 3: Модель «Довгий хвіст»

Це «експертні» моделі. Вони створені для певної мети, наприклад для класифікації документів, ідентифікації конкретних атрибутів у зображеннях або відео, ідентифікації шаблонів у бізнес-даних тощо. Ці моделі є гнучкими, дешевими у навчанні та використанні та можуть працювати в центрі обробки даних або на периферії.

Короткого погляду на Hugging Face достатньо, щоб зрозуміти величезний масштаб цієї екосистеми зараз і в майбутньому, оскільки діапазон її використання дуже широкий.

02. Основи адаптації та практичні кейси

Хоча все ще на ранніх стадіях, ми вже бачимо, що деякі провідні команди розробників і підприємства вже думають про екосистеми таким тонким чином. Хочеться підібрати використання до найкращої моделі. Навіть використовуйте кілька моделей для більш складного використання.

Фактори для оцінки того, яку модель/модель використовувати, зазвичай включають наступне:

1. Конфіденційність даних і вимоги до відповідності: це впливає на те, чи потрібно запускати модель в корпоративній інфраструктурі, чи можна надсилати дані на зовнішню кінцеву точку висновку.

2. Чи допускає модель тонке налаштування

3. Бажаний рівень «продуктивності» логічного висновку (затримка, точність, вартість тощо)

Однак на практиці фактори, які слід враховувати, часто набагато довші, ніж перелічені вище, що відображає величезну різноманітність варіантів використання, яких розробники сподіваються досягти за допомогою ШІ.

03. Де можливості?

1. Структура оцінки моделі: підприємствам знадобиться доступ до інструментів і досвіду, щоб допомогти оцінити, яку модель використовувати для того чи іншого випадку використання. Розробники повинні вирішити, як найкраще оцінити, чи підходить конкретна модель для «роботи, яку потрібно виконати». Оцінка повинна враховувати багато факторів, включаючи не тільки продуктивність моделі, але й вартість, рівень контролю, який можна реалізувати, тощо.

2. Запуск і підтримка моделей: з’являться платформи, які допоможуть компаніям навчати, налаштовувати та запускати моделі (особливо третю категорію моделей з довгим хвостом). Традиційно ці платформи широко називаються платформами ML Ops, і ми очікуємо, що це визначення також пошириться на генеративний ШІ. Такі платформи, як Databricks, Weights and Biases, Tecton та інші, стрімко рухаються в цьому напрямку.

3. Розширені системи: моделі, особливо розміщені LLM, потребують отримання вдосконалених збірок, щоб забезпечити ідеальні результати. Для цього потрібна низка допоміжних рішень, у т.ч

Вилучення даних і метаданих: як підключитися до структурованих і неструктурованих джерел корпоративних даних, а потім витягнути дані разом із метаданими, такими як політики доступу.

Генерація даних і зберігання вбудованих елементів: Яку модель використовувати для створення вбудованих даних для даних. Як вони потім зберігаються: яку векторну базу даних використовувати, особливо на основі необхідної продуктивності, масштабу та можливостей?

Тепер є можливість створити платформу RAG корпоративного рівня, яка усуває складність вибору та зшивання:

1. Операційні інструменти: корпоративним ІТ потрібно буде побудувати огорожу для команд інженерів, керувати витратами тощо; усі завдання розробки програмного забезпечення, які вони виконують зараз, тепер потрібно розширити до використання ШІ. Сфери інтересів ІТ-відділу включають

Спостережливість: наскільки добре модель працює у виробництві? Чи покращується/погіршується їх продуктивність з часом? Чи є шаблони використання, які можуть вплинути на вибір моделі програми для майбутніх версій?

Безпека: як забезпечити безпеку програм, створених на основі ШІ. Чи вразливі ці програми до нових векторів атак, які потребують нових платформ?

Відповідність вимогам: ми очікуємо, що власні додатки зі штучним інтелектом і використання LLM повинні будуть відповідати структурам, які відповідні керівні органи вже почали розробляти. Це на додаток до існуючих режимів дотримання конфіденційності, безпеки, захисту споживачів, справедливості тощо. Підприємствам знадобляться платформи, які допоможуть їм підтримувати відповідність, проводити аудити, генерувати докази відповідності та виконувати відповідні завдання.

2. Дані: платформи, які допомагають зрозуміти, які активи даних має бізнес і як їх використовувати, щоб отримати максимальну віддачу від нових моделей ШІ, будуть швидко прийняті. Одна з найбільших у світі компаній-виробників програмного забезпечення одного разу сказала нам: «Наші дані — це наш рів, наша основна інтелектуальна власність і наша конкурентна перевага. Використовуйте штучний інтелект, щоб монетизувати ці дані та використовувати їх у «Способах сприяння диференціації, не підриваючи обороноздатності». Такі платформи, як Snorkel, відіграють у цьому важливу роль.

Зараз чудовий час для створення платформи інфраструктури ШІ. Застосування штучного інтелекту й надалі трансформуватиме цілі галузі, але для цього потрібна допоміжна інфраструктура, проміжне програмне забезпечення, безпека, спостережливість і операційні платформи, щоб кожне підприємство на планеті могло прийняти цю потужну технологію.

Посилання

Автор: Вела, Іхао, Лео

Редагування та верстка: Зої, Вела