Перший варіант цієї статті був написаний під час рибалки у вихідний день в кінці серпня. Після поспішної публікації я отримав багато порад. Автор додав, змінив і видалив деякі матеріали, щоб не смішити людей.
Зміст цієї статті в основному оцінює поточну ситуацію в індустрії штучного інтелекту з точки зору інвестицій, роздумує та робить припущення щодо технологічних/продуктових маршрутів різних компаній, а також абстрактно підсумовує стратегії компаній у галузі штучного інтелекту. Тому в частинах, пов’язаних із конкретними технологіями, неминуче є пропуски, будь ласка, потерпіть.
Але, зрештою, великі компанії, які можуть публікувати документи, все ще ворогують одна з одною, і, здається, ніхто не може оцінити точність змісту цієї статті. Так само, як використання GPT-4 для оцінки GPT-3,5, це здається розумним, але це трохи абстрактно, якщо подумати про це.
Тому автор рекомендує розглядати цю статтю як «судження», сформоване після збору інформації про невизначені галузі. Оскільки це судження, позиція має бути чіткою, а твердження має бути змістовним. Правильно це чи ні, нехай це перевірить час.
Автор завжди вважав, що нові індустрії шумні, тому завжди правильно використовувати свій мозок більше та наважуватися робити висновки. Для запитань правильний відсоток вгадування наосліп становить 50%, а ймовірність неправильного вгадування три рази поспіль становить 12,5%. Навіть винесення суджень на рівні підкидання монети має сенс. Судити не страшно, найстрашніше те, що точність судження нижча, ніж кидання монети.
Перш ніж офіційно відкрити цю статтю, я хотів би подякувати наступній роботі, яка надала цінне натхнення та джерела даних для цієї статті. Звичайно, оскільки багато висновків у цій статті базуються на цих роботах, якщо вони містять помилки або автор має неправильне розуміння, висновки в цій статті більше не будуть надійними. Читачів просять робити власні судження. Ця стаття не є інвестиційною порадою, і її складно вважати інвестиційною порадою.
•Chain-of-Thought Hub: безперервна робота з вимірювання ефективності міркувань великих мовних моделей(
•LIMA: Менше означає більше для вирівнювання(
• Червень 2023 р., Поетапний огляд налаштування інструкцій(
• Архітектура GPT-4, інфраструктура, навчальний набір даних, витрати, бачення, MoE(
Добре, давайте офіційно почнемо цю статтю.
Велика модель: запуск кіберракети
Першим кроком до обговорення штучного інтелекту в 2023 році є обговорення того, чи все ще можна створити модель великомасштабного підприємництва.
Велика модель (попередня підготовка) тепер трансформована в задачу запуску ракети. Якщо вогонь розпочато та напрямок правильний, це може зробити кожен. Можна сказати, що навчання великих моделей – це як запуск кіберракет.
Против здорового глузду полягає в тому, що інвестори недооцінюють складність навчання великих моделей, але переоцінюють складність запуску справжніх ракет. При тій самій вартості в 60 мільйонів доларів США інвестори вважатимуть, що якщо ракета не злетить, то буде другий шанс, а невдача підготовки великої моделі буде вважатися марною тратою грошей.
GPT-4 все ще споживає 60 мільйонів доларів США на ефективність використання графічного процесора OpenAI (як повідомляється, приблизно 30%). Це питання {performance=efficiency×cost}, а продуктивність — це стіна. Якщо інші стартапи не можуть досягти ефекту продуктивності, більшого ніж 30%×60 мільйонів=18 мільйонів доларів, користувачам краще використовувати GPT-4 безпосередньо.
Наразі раунди фінансування багатьох компаній, які стверджують, що тренують великих моделей, коливаються від 1 до 5 мільйонів доларів США. Тим не менш, навіть найбільш фінансовані компанії мають достатньо боєприпасів лише для одного запуску. І навіть якщо коефіцієнт використання GPU цього запуску досягне 100%, перевищити GPT-4 важко.
З цієї точки зору краще запускати ракети, тому що більшість ракет є ракетами-носіями, які несуть супутники в небо, а разове навантаження обмежене, тому невеликі ракетні компанії можуть приймати замовлення на супутники, які інші не встигають запустити.
Великі моделі відрізняються Гранична вартість горизонтального розширення великих моделей — це лише вартість обчислювальної потужності, а вартість обчислювальної потужності може бути еластично розширена, що означає, що для великих модельних компаній прибуток від кожного замовлення є безкоштовним прибутком. , майже немає додаткових витрат, а потужність підприємства дуже велика. Для новостворених великих модельних компаній із низькою якістю важко отримати надлишок попиту.
Якщо витрати на навчання не будуть суттєво зменшені, навіть якщо буде відома вся архітектура GPT-4, багатьом компаніям буде важко створювати великі моделі, які можна буде вивести на ринок за короткий термін.
Налаштування: проблема "переможець отримує все"
У апаратній промисловості звичайним явищем є отримання перших прибутків через індивідуальні потреби, а потім досягнення технологічних проривів (або вирівнювання) через ранні прибутки. Однак персоналізація у великій модельній індустрії навряд чи є віддушиною для новачків.
Що стосується цього судження, пояснення дуже просте: переважна більшість точно налаштованих моделей не може наздогнати GPT-4. Навіть якщо вони наздогнати, пряме використання GPT-4 для узагальнення дешевше, вимагає менше персоналу та менше удачі Менше вимог до даних. Поки все ще існує розрив у продуктивності між GPT-4 та іншими моделями, налаштування не може бути виходом для великих модельних компаній.
Дуже типовим прикладом є Jasper, який використовує тонко налаштований GPT-3 для обслуговування корпоративних клієнтів.Однак після того, як OpenAI оприлюднив ChatGPT (GPT-3.5), його користувачі швидко втратили. Оскільки вихідні дані Jasper можна отримати, просто ввівши GPT-3.5, без використання «зворотньої версії», яка має слабкі можливості узагальнення та обмежена внутрішнім використанням на підприємстві.
Порівняно з новими компаніями, у Jasper принаймні є період вікна для розробки від GPT-3 до GPT-3.5. Однак новим компаніям тепер доводиться стикатися з тиском недорогих, високошвидкісних GPT-3.5 і високопродуктивних GPT-4 одночасно.
Таким чином, вірогідність виживання надії накопичити прибуток за допомогою налаштування для досягнення технологічного прориву дуже низька.
Тонке налаштування: необхідно, не будьте забобонними
Сучасна індустрія штучного інтелекту має нереалістичні очікування щодо тонкої настройки, яка переоцінена як з точки зору конкретної технічної реалізації, так і технічного ритму на макрорівні.
Тонке налаштування, яке зараз обговорюється в галузі, здебільшого стосується «на основі попередньо навченої моделі, завдяки чому вона генерує відповіді, які відповідають людським намірам». Такий вид тонкого налаштування можна назвати «вирівнюванням», тобто узгодити відповідь із людськими намірами, а не додати мудрості великій моделі.
Згідно з результатами досліджень багатьох статей, знання великих моделей повинні в основному виходити з попереднього навчання, тоді як точне налаштування більше використовується для вирівнювання.
Просте пояснення полягає в тому, що попереднє навчання визначає розмір мозку, а тонке налаштування визначає рідну мову. Тонка настройка попередньо навченої моделі є процесом «усунення безграмотності».
Проте в даний час тонке налаштування часто розглядається в промисловості як метод «підвищення інтелекту» для моделі, тобто вважається, що за допомогою тонкого налаштування для покращення продуктивності моделі та збільшення знань про модель можна досягти «святий Грааль штучного інтелекту». Така думка є дещо упередженою.
По-перше, продуктивність самої моделі не покращилася, але вона може краще узгоджуватися з людськими намірами.Якщо складність завдання перевищує продуктивність моделі, точне налаштування не дасть очікуваних результатів. Подібно до того, як дозволити людському мозку виконувати квантові операції, неможливість цього не є питанням освіти.
По-друге, в частині «вирівнювання намірів» виконується «доповнення знань», і ефект більше схожий на «попугаювання». Тобто: модель просто імітує те, що говорять експерти, не розуміючи сенсу. Хоча багато галузей можуть отримати хороші рішення шляхом «повторювання» (зрештою, більшість галузей не є складними...), очевидно, це не той результат, якого ми повинні прагнути в довгостроковій перспективі.
Нарешті, для навчання «доповнення додаткових наборів даних, покращення продуктивності моделі та збільшення знань про модель» слід враховувати, що модель має здатність «поступового навчання/безперервного навчання», тобто повні параметри моделі можна покращити за допомогою додаткових наборів даних. Це не така концепція, як так зване «точне налаштування інструкцій».
Взагалі, тонка настройка дуже важлива, але «забобоно» ставитися до поточної настройки неправильно, особливо тим, хто охоче називає поточну настройку Святим Граалем, який є своєрідним "поточна фізика знаходиться на будівлі." Пливуть лише дві темні хмари".
Зробивши крок назад, якщо потребу у «збільшенні інтелекту» справді можна вирішити шляхом точного налаштування інструкцій, виконавши простий векторний пошук, безпосередньо підключивши знання до контексту та просто написавши кілька шаблонів, існує висока ймовірність що можна досягти таких самих або навіть кращих результатів.
Тонке налаштування подобається всім, можливо це своєрідне відродження навичок алхімії в наш час...
Прогноз великої моделі: чотири арифметичні дії
(Зауважте, що ця частина вмісту повністю базується на даних, оприлюднених Діланом Пателем, і надійність поки що неможливо перевірити)
Навчання GPT-4 базується на серії N-карток. Ефективність навчання становить 30 %. Час навчання — близько 2 місяців. Вартість — близько 60 млн. Загальна сума параметрів — {1,7 трлн = 110 млрд. × 16 експертних моделей}. Він може впоратися з однією проблемою. Параметри близько 280 мільярдів.
Іншими словами, є кілька ключових параметрів, які призведуть до змін у шаблоні навчання великої моделі.
•Ефективність тренування: від 30% до 60% може безпосередньо скоротити час на один раз
• Підвищена інтенсивність обчислювальної потужності: після переходу з серії A на серію H, а потім на спеціальну карту AI, щільність обчислювальної потужності покращується, і багато проблем, що впливають на ефективність архітектури, можна вирішити.
• Зниження вартості обчислювальної потужності: Лао Хуан (засновник Nvidia) знизив ціну на відеокарту, і вартість значно впала
• Підвищення ефективності параметрів: Є можливості для покращення ефективності параметрів моделі. Посилаючись на попередню модель, ефективність параметрів старої моделі зазвичай можна збільшити в рази. Можна використовувати 30% параметрів ГПТ-4 для досягнення аналогічного ефекту
Підсумовуючи, вартість навчання моделі з продуктивністю рівня GPT-4 з нуля може мати в 10-20 разів більше можливостей для оптимізації, що скорочується до 3-6 млн доларів США. Ці витрати є дуже економічно ефективними для стартапів. і великі компанії є більш прийнятними.
Ця зміна може тривати приблизно 2 роки.
Наразі основна технологія великої моделі все ще базується на трансформаторі, інфраструктура не змінилася, а ідея вдосконалення алхімії та додавання параметрів для створення чудес ще не вичерпана. Навчання GPT-4 здійснюється на основі високих обмежень обчислювальної потужності, а час навчання недостатньо тривалий.
Якщо параметри ростуть лінійно з часом навчання, верхня межа параметрів для моделі з архітектурою, подібною до GPT-4, може становити близько 10 трильйонів, тобто вдвічі більше, ніж час навчання (×2), і вдвічі більше, ніж паралельна графічна карта (×2), ефективність навчання вдвічі нижча (×1,5), ефективність параметрів вдвічі нижча (×1,5), а кінцевий результат у десять разів кращий. Згідно зі стилем ризик-апетиту Кремнієвої долини, цей параметр, швидше за все, буде досягнутий протягом року, незалежно від того, чи покращилася продуктивність.
Однак після досягнення 10 трильйонів параметрів, чи може LLM все ще використовувати ідею збільшення параметрів для здійснення чудес, абсолютно невідомо.
Якщо кількість параметрів покращує продуктивність моделі при зменшенні запасу, то 10 трильйонів, ймовірно, будуть перешкодою. Однак існує також припущення, що поліпшення продуктивності моделі за кількістю параметрів незначно зростає, подібно до того, «якщо людина досить розумна, вона швидко всьому навчиться». Перше — це нормально, але якщо останнє здійсниться, продуктивність моделі може експоненціально покращитися, і те, що тоді станеться, буде абсолютно непередбачуваним.
Алхімію важко передбачити, але легко передбачити ритм корпоративної стратегії. Модель із загальним параметром у 10 трильйонів є важливою кінцевою точкою для більшості компаній, незалежно від того, чи це гігант, як-от Google/MS/APPL, чи менший OpenAI, і це місце, де ви можете зупинитися та провести деякі технічні дослідження. положення.
Перевагу підприємств/капіталу щодо ризику можна перетворити на «час витримки».Якщо весь час витримки інтенсивно спалює витрати, важко буде перевищити 6 місяців. Людські технології розвиваються недостатньо швидко, і цикл зазвичай займає 5 років і більше. Таким чином, протягом 5 років можна оцінити кінцеву кількість параметрів моделі, яка повинна складати від 20 до 50 трильйонів. Якщо знову не відбудеться величезний прорив у технології/архітектурі, ймовірність перевищення цього порядку дуже низька.
Мультимодальність: Слон у кімнаті
Мультимодальність — це слон у кімнаті, який може сильно вплинути на ландшафт іподрому.
Просте визначення мультимодального: підтримка введення та виведення кількох модальних даних. Це визначення дуже вільне.Наприклад, деякі продукти на ринку, які стверджують, що можуть виконувати мультимодальне введення, насправді є шаром OCR поза межами ChatBot. Є також моделі, які повністю відповідають визначенню мультимодальності, але їх продуктивність не втішить. Навіть можливість мультимодального введення зображень GPT-4 не була широко відкрита, і можна побачити, що ця функція не дуже стабільна.
Однак мультимодальні запуски не за горами. Існує висока ймовірність того, що GPT-5 нативно підтримує мультимодальність, а це означає, що структуру потрібно переробити та перенавчити. Відповідно до попередніх міркувань, параметри великих моделей ще можуть збільшитися від 10 до 50. Цього має бути достатньо, щоб вкласти в них мультимодальні можливості. Тому можна очікувати, що високодоступні та високопродуктивні мультимодальні моделі з’являться протягом 2 років, якщо бути оптимістичними, то це буде майже рік.
Мультимодальність — це слон у кімнаті, усі знають, що з часом така річ з’явиться, але так багато продуктів/досліджень/стратегій ігнорують її існування, що в ключових частинах є прорахунки.
Наприклад, моделі з одним зображенням теоретично будуть сильно пригнічені мультимодальними моделями, але наразі більшість досліджень/інвестицій ігнорують це питання, що призводить до занадто високих оцінок для деяких компаній, які зосереджуються на моделях зображень. Ці компанії, швидше за все, позбудуться технічних бар'єрів і перетворяться на постачальників послуг у майбутньому. Їхня система оцінки має стосуватися постачальників послуг, а не технологічних компаній.
Якщо ви хочете розповісти історію про те, що «інвестиції залежать від людей, та сама команда може змінити бізнес», просто вдайте, що я цього не говорив. Легенди існують завжди, але ви не можете в них вірити під час дослідження.
Хто може навчати GPT-4: можна, але не обов’язково
На створення алхімії не потрібно багато часу, і великі компанії купують відеокарти. Цілком очевидно, що через рік великі компанії матимуть можливість навчати моделей рівня GPT-4. Але тренуватися чи ні – інше питання.
У сфері ігор існує класична пропозиція під назвою «Юаньшин грає в Юаньшен», тобто: коли гравці можуть вибрати грати в Юаньшен або конкуруючий продукт Юаньшен, якщо конкуруючий продукт не такий хороший, як Юаньшен, тоді грайте в оригінального бога .
Цей підхід «переможець отримує все» також стосується великої модельної індустрії. Якщо компанія слідує OpenAI і після півроку досліджень і розробок, вона запускає власну велику модель з 90% продуктивністю, порівнянною з GPT-4, сподіваючись вивести її на ринок. У цей час компанія зіткнеться з такими проблемами:
• OpenAI має перевагу в масштабі хмарних ресурсів і нижчу вартість
• API OpenAI широко використовується в кодах продуктів, і його важко замінити.
• Продукт компанії все ще не перевершує GPT-4
• Незабаром буде випущено наступне покоління продукту OpenAI (ймовірно, GPT-5).
Видно, що тиск на підприємство значний. Замість того, щоб тренувати GPT-4, краще зробити ставку безпосередньо на модель наступного покоління (проти GPT-5). Тоді проблема буде перетворена з «проблеми подібних конкуруючих продуктів» на «проблему технологічних інновацій». Це тягар, який не можуть витримати маленькі компанії.
Тому обговорення «хто може навчити GPT-4» — це стратегічне мертве питання. Замість того, щоб думати про це питання, краще знайти напрямок з більшою впевненістю та більше можливостей.
Порада стартапам зі штучним інтелектом: перш за все продуктивність, уникайте застою
Автор написав багато статей зі скаргами на langchain. Основна причина полягає в тому, що langchain не залишає розробникам можливості покращити продуктивність. Його називають «універсальним фреймворком». Щоб забезпечити загальність, було скасовано багато покращень продуктивності великих моделей, наприклад керування форматом, досягнуте кількома раундами діалогу та тонкого налаштування. Так само є керівництво/Auto-GPT/BabyAGI тощо, усі хочуть бути «рамкою, яку можна використовувати протягом усього життя».
Об’єктивним фактом є те, що OpenAI випустила функцію виклику функцій у травні. Багато проблемних областей у коді мають кращі рішення для реалізації, і вартість реалізації кращих рішень полягає в реконструкції ключових частин коду продукту. У серпні OpenAI випустив дозвіл на точне налаштування GPT-3.5, і багато посилань, які потребують точного контролю виведення, мають нові потенційні рішення.
Тому компанії-початківці повинні постати перед ключовим вибором: чи вибрати їм ①покращення продуктивності та постійну рефакторинг продуктів, чи ②зменшити використання нових функцій і завжди використовувати старі функції для розробки?
Для підприємницької діяльності, пов’язаної з застосуванням нових технологій, «розробка» означає не лише процес написання коду, але й «верхню межу» функціональності/стратегії продукту. Чим вище продуктивність, якою можна керувати, тим більше теоретичних функцій має продукт і тим вище його стратегічна гнучкість.
Розвиток технологій неможливо передбачити, а невеликі технологічні інновації можуть призвести до дуже чутливих змін у конкурентному середовищі.Початківці компаній повинні мати здатність бути антикрихкими щодо розвитку технологій.
——По-людськи кажучи: Слід віддавати пріоритет продуктивності й уникати залишатися. На рівні розробки використовуйте більше нових функцій; на стороні продукту подумайте про те, які функції можуть виконувати нові функції; на стратегічній стороні врахуйте вплив нових функцій на стратегію.
У «Про проходження Цінь» згадується, що після встановлення династії Цінь металева зброя з усього світу була конфіскована та відлита в дванадцять бронзових фігур, щоб виключити можливість громадянських повстань. Але династія Цінь, як відомо, була недовгою. Більш вигідно звертати увагу на зміни, ніж ігнорувати їх.
Порада компаніям-початківцям ШІ: створюйте заявки з упевненістю
Коли стартапи розробляють програми, існує дуже поширена прихована небезпека: вихід великих компаній. До великих компаній тут належать не лише гіганти додатків, такі як Meta/Byte/Tencent тощо, але й передові індустрії ШІ, такі як OpenAI.
Зазвичай у великих компаній є дві причини для виходу на ринок: розгортання можливостей продукту та скорочення виробництва вгору та вниз.
«Розвиток можливостей продукту» — це буквальне значення. Великі компанії вважають, що цей напрямок вартий того, щоб це робити, тому вони це роблять.
«Розрізати вгору та вниз» здебільшого безпорадний крок. Можливо, це тому, що я розробив велику модель, яку можна порівняти з OpenAI. Однак через проблему, коли переможець отримує все у великих моделях, немає користувачів, що призводить до великі витрати, відсутність доходів і даних, що, у свою чергу, призводить до поступового відставання продуктивності. Наразі єдиним варіантом є врізка в нижню течію, розробка конкретних програм і використання власних технологій.
Згідно з історичним досвідом, через проблему організаційної структури, чим ближче компанія до нижньої течії, тим легше їй відстати в технологіях, і чим більш відстала технологія, тим більше їй доводиться бути нижньою за течією. Ці так звані технологічні компанії врешті змагатимуться за ту саму екологічну нішу, що й компанії прикладного рівня.
Однак на полі битви прикладного рівня через короткий час технології штучного інтелекту немає ефективної та багаторазової переваги в масштабі, а початкова точка великих компаній і стартапів схожа. Порівняно з великими компаніями, компанії-початківці більш ефективні та проникливі, і ними легше скористатися.
Примітна ситуація, що майже всі рекламні матеріали MS Azure зараз крутяться навколо OpenAI, але така велика фабрика, як Microsoft, повністю покладається на OpenAI як свою платформу, що з боку доводить, що стартапи мають природні переваги у сфері ШІ.
Звичайно, деякі постачальники хмарних технологій можуть не погодитися на те, що їх очолюють стартапи, і самі хочуть з’їсти весь ринок. Це дорого, повільно і не є безпосередньою загрозою.
Справа в тому, що справді є деякі шляхи застосування штучного інтелекту, які є дуже короткочасними, але все ще є багато довгоживучих шляхів, які не були виявлені, і застосування штучного інтелекту не є переможцем, який отримує все. Розширення від програми до платформи чи технології також є більш здійсненним шляхом.
Тому ми повинні раціонально ставитися до здатності великих компаній проникати на прикладний рівень. Наша пропозиція полягає в тому, що стартапи зі штучним інтелектом можуть впевнено створювати програми.
Порада для стартапів зі штучним інтелектом: зверніть увагу на життєвий шлях продукту
Як згадувалося раніше, стартапи зі штучним інтелектом можуть сміливо створювати програми, але вони повинні враховувати проблеми продуктивності моделі ШІ, щоб уникнути зупинки. Ця ситуація безпосередньо відображається в тому, що продукти штучного інтелекту можуть втратити свою базу попиту та поступово згаснути протягом кількох місяців, і така ситуація може траплятися часто.
Програмам штучного інтелекту потрібно використовувати послуги великих моделей, і продуктивність великих моделей продовжує покращуватися. Це вдосконалення не є покращенням окремого виміру, такого як «швидкість», а зміною всіх аспектів, таких як якість виводу, довжина виводу та можливість керування виходом. Будь-яке значне оновлення технології призведе до технологічного відставання існуючих продуктів прикладного рівня та створить нові можливості та конкурентів.
Ми називаємо час, коли додаток AI зберігає переваги та необхідність у стратегії/продукті/технології, як «виручальний круг».
Ось кілька прикладів із коротшими лініями життя:
• Коли ChatGPT/Claude підтримує завантаження файлів, ChatPDF втрачає свою необхідність
• Коли Office365 підтримує Copilot, продукти, які використовують AI для малювання PPT, втратять свої переваги
• Коли з’явиться GPT-3.5, Jasper більше не буде потрібен
**Враховуючи, що індустрія штучного інтелекту швидко розвивається, обмежені можливості життя є нормою. Таким чином, прийняття того факту, що лінія життя обмежена, і спроба вибрати напрямок із довшою лінією життя допоможе зберегти довгострокові переваги та необхідність продукту. **
Загалом лінію життя можна просто розділити на рівні по 3/6/12 місяців.
•3 місяці: функції, які великі компанії не встигли реалізувати (наприклад, офісні/ChatGPT функції, які ще не встигли реалізувати)
• 6 місяців: це складно реалізувати та не можна інтегрувати в існуючі рішення, але переваги/необхідності зникнуть із покращенням продуктивності ШІ (наприклад, загальної структури ШІ)
•12 місяців: переваги/необхідності можуть існувати тривалий час і на них нелегко впливають великі компанії/технологічні розробки (наприклад, Hugging Face)
*Життєвий цикл продуктів платформи не обов’язково довгий, адже магазини – це теж платформи.
Коли нова компанія визначає свій напрямок, їй потрібен лише 6-місячний життєвий шлях, 12-місячний життєвий шлях важко знайти.
Коли життєвий шлях продукту досягає кінця, зазвичай виникають дві ситуації. Перша ситуація полягає в тому, що переваги зникають, і технологію оновлення продукту потрібно реконструювати, будь ласка, зверніться до вищезазначеного «спочатку продуктивність»; друга ситуація полягає в тому, що необхідність зникає, і продукт буде поступово замінено. У цей час, у продукту ще є кілька місяців «терміну експлуатації» — цього достатньо, щоб стартапи вибрали наступний напрямок.
Порада стартапам зі штучним інтелектом: Web3+AI може це зробити
Зараз існує багато підприємницьких проектів, пов’язаних із темою Web3+AI, однак, враховуючи невизначеність розвитку технологій і ранню стадію ринку, тема Web3+AI все ще матиме багато змінних у майбутньому.
Метою цієї статті є пошук правильної впевненості з високою ймовірністю в невизначеності, тому автор все ще сподівається викинути деякі ідеї та запропонувати деякі теми та напрямки, які можуть бути корисними для компаній-початківців та зацікавлених дослідники.
•Десуверенітет/децентралізація
Зараз лідери індустрії штучного інтелекту надають лише закриті моделі, а стабільність, прозорість і нейтральність їх безперервного надання послуг неконтрольовані. Десуверенітет/децентралізація може стати важливою темою в індустрії штучного інтелекту, а саме: на основі базової структури десуверенітету/децентралізації надавати стабільні, прозорі та нейтральні послуги ШІ.
Десуверенізація/децентралізація є «альтернативним рішенням» і «стримуванням», яке може значно збільшити неетичну вартість централізованих/суверенних компаній ШІ та перешкодити їм використовувати моделі ШІ у військових, культових, політичних та інших аспектах.
У крайніх випадках, коли централізовані/суверенні служби штучного інтелекту з якихось причин більше не доступні/не довіряють, десуверенний/децентралізований штучний інтелект може продовжувати надавати високодоступні сервіси, щоб запобігти втраті штучного інтелекту окремими країнами/регіонами та навіть людством. Служби паралізовані.
• Практика використання обчислювальної потужності
За переходом ETH від PoW до PoS стоїть критикована дилема «майнінг не приносить цінності». Поєднання Web3 із штучним інтелектом може надати сценарії практичної обчислювальної потужності, таким чином реалізуючи перетравлення існуючої обчислювальної потужності та сприяючи зростанню загальної обчислювальної потужності. .
•Віртуальна активація
Штучний інтелект – це актив, який є рідним для обчислювальної потужності та сховища. Комбінація Web3 і ШІ може надати канал для перетворення ШІ у віртуальні активи. У той же час створюючи цінність індустрії штучного інтелекту, він може створювати справді рідні віртуальні активи для Web3.
•Змінні для програм Web3
Поєднання Web3 і штучного інтелекту може принести нові функціональні можливості та можливості для розвитку додатків Web3, а існуючі додатки Web3 можна повністю переробити.
Написано в кінці: вересень, чи варто починати бізнес із нинішнього ШІ?
Спершу скажу про висновок: воно того варте, і цим висновком з великою часткою ймовірності можна буде скористатися до китайського Нового року.
Люди часто сприймають ситуації упереджено, і я не виняток. Хтось надто оптимістичний, а хтось надто песимістичний. Одного разу автор спілкувався з двома командами. Одна вважає, що вона зможе створити AI Agent у першому кварталі наступного року, а інша вважає, що ШІ підходить лише для управління базою знань. Очевидно, перша надто оптимістична, тоді як останнє є надто песимістичним.
При довгостроковому плануванні як надто оптимістичні, так і надто песимістичні впадуть у яму, а широко поширені зауваження часто мають великі відхилення, тому незалежне мислення дуже цінне. Таким чином, незалежно від того, чи можуть читачі прийняти точки зору цієї статті, якщо читачі мають незалежне мислення та судження в процесі читання, автор буде дуже задоволений.
Нарешті, розмістіть оголошення. Якщо у вас є хороша ідея запуску штучного інтелекту або вже є завершений проект, будь ласка, не соромтеся спілкуватися з друзями NGC (як я).
Ми визначаємо проекти з проривними інноваціями, прагнучи вирішити проблеми за допомогою рішень, які характеризуються простотою, доступною ціною, швидкістю, унікальністю та переконливою відповідністю продукту ринку.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
NGC Ventures: чи вартий поточний трек AI починати бізнес?
Автор: Черрі, менеджер з інвестицій, NGC Ventures
Передмова
Перший варіант цієї статті був написаний під час рибалки у вихідний день в кінці серпня. Після поспішної публікації я отримав багато порад. Автор додав, змінив і видалив деякі матеріали, щоб не смішити людей.
Зміст цієї статті в основному оцінює поточну ситуацію в індустрії штучного інтелекту з точки зору інвестицій, роздумує та робить припущення щодо технологічних/продуктових маршрутів різних компаній, а також абстрактно підсумовує стратегії компаній у галузі штучного інтелекту. Тому в частинах, пов’язаних із конкретними технологіями, неминуче є пропуски, будь ласка, потерпіть.
Але, зрештою, великі компанії, які можуть публікувати документи, все ще ворогують одна з одною, і, здається, ніхто не може оцінити точність змісту цієї статті. Так само, як використання GPT-4 для оцінки GPT-3,5, це здається розумним, але це трохи абстрактно, якщо подумати про це.
Тому автор рекомендує розглядати цю статтю як «судження», сформоване після збору інформації про невизначені галузі. Оскільки це судження, позиція має бути чіткою, а твердження має бути змістовним. Правильно це чи ні, нехай це перевірить час.
Автор завжди вважав, що нові індустрії шумні, тому завжди правильно використовувати свій мозок більше та наважуватися робити висновки. Для запитань правильний відсоток вгадування наосліп становить 50%, а ймовірність неправильного вгадування три рази поспіль становить 12,5%. Навіть винесення суджень на рівні підкидання монети має сенс. Судити не страшно, найстрашніше те, що точність судження нижча, ніж кидання монети.
Перш ніж офіційно відкрити цю статтю, я хотів би подякувати наступній роботі, яка надала цінне натхнення та джерела даних для цієї статті. Звичайно, оскільки багато висновків у цій статті базуються на цих роботах, якщо вони містять помилки або автор має неправильне розуміння, висновки в цій статті більше не будуть надійними. Читачів просять робити власні судження. Ця стаття не є інвестиційною порадою, і її складно вважати інвестиційною порадою.
•Chain-of-Thought Hub: безперервна робота з вимірювання ефективності міркувань великих мовних моделей(
•LIMA: Менше означає більше для вирівнювання(
• Червень 2023 р., Поетапний огляд налаштування інструкцій(
• Архітектура GPT-4, інфраструктура, навчальний набір даних, витрати, бачення, MoE(
Добре, давайте офіційно почнемо цю статтю.
Велика модель: запуск кіберракети
Першим кроком до обговорення штучного інтелекту в 2023 році є обговорення того, чи все ще можна створити модель великомасштабного підприємництва.
Велика модель (попередня підготовка) тепер трансформована в задачу запуску ракети. Якщо вогонь розпочато та напрямок правильний, це може зробити кожен. Можна сказати, що навчання великих моделей – це як запуск кіберракет.
Против здорового глузду полягає в тому, що інвестори недооцінюють складність навчання великих моделей, але переоцінюють складність запуску справжніх ракет. При тій самій вартості в 60 мільйонів доларів США інвестори вважатимуть, що якщо ракета не злетить, то буде другий шанс, а невдача підготовки великої моделі буде вважатися марною тратою грошей.
GPT-4 все ще споживає 60 мільйонів доларів США на ефективність використання графічного процесора OpenAI (як повідомляється, приблизно 30%). Це питання {performance=efficiency×cost}, а продуктивність — це стіна. Якщо інші стартапи не можуть досягти ефекту продуктивності, більшого ніж 30%×60 мільйонів=18 мільйонів доларів, користувачам краще використовувати GPT-4 безпосередньо.
Наразі раунди фінансування багатьох компаній, які стверджують, що тренують великих моделей, коливаються від 1 до 5 мільйонів доларів США. Тим не менш, навіть найбільш фінансовані компанії мають достатньо боєприпасів лише для одного запуску. І навіть якщо коефіцієнт використання GPU цього запуску досягне 100%, перевищити GPT-4 важко.
З цієї точки зору краще запускати ракети, тому що більшість ракет є ракетами-носіями, які несуть супутники в небо, а разове навантаження обмежене, тому невеликі ракетні компанії можуть приймати замовлення на супутники, які інші не встигають запустити.
Великі моделі відрізняються Гранична вартість горизонтального розширення великих моделей — це лише вартість обчислювальної потужності, а вартість обчислювальної потужності може бути еластично розширена, що означає, що для великих модельних компаній прибуток від кожного замовлення є безкоштовним прибутком. , майже немає додаткових витрат, а потужність підприємства дуже велика. Для новостворених великих модельних компаній із низькою якістю важко отримати надлишок попиту.
Якщо витрати на навчання не будуть суттєво зменшені, навіть якщо буде відома вся архітектура GPT-4, багатьом компаніям буде важко створювати великі моделі, які можна буде вивести на ринок за короткий термін.
Налаштування: проблема "переможець отримує все"
У апаратній промисловості звичайним явищем є отримання перших прибутків через індивідуальні потреби, а потім досягнення технологічних проривів (або вирівнювання) через ранні прибутки. Однак персоналізація у великій модельній індустрії навряд чи є віддушиною для новачків.
Що стосується цього судження, пояснення дуже просте: переважна більшість точно налаштованих моделей не може наздогнати GPT-4. Навіть якщо вони наздогнати, пряме використання GPT-4 для узагальнення дешевше, вимагає менше персоналу та менше удачі Менше вимог до даних. Поки все ще існує розрив у продуктивності між GPT-4 та іншими моделями, налаштування не може бути виходом для великих модельних компаній.
Дуже типовим прикладом є Jasper, який використовує тонко налаштований GPT-3 для обслуговування корпоративних клієнтів.Однак після того, як OpenAI оприлюднив ChatGPT (GPT-3.5), його користувачі швидко втратили. Оскільки вихідні дані Jasper можна отримати, просто ввівши GPT-3.5, без використання «зворотньої версії», яка має слабкі можливості узагальнення та обмежена внутрішнім використанням на підприємстві.
Порівняно з новими компаніями, у Jasper принаймні є період вікна для розробки від GPT-3 до GPT-3.5. Однак новим компаніям тепер доводиться стикатися з тиском недорогих, високошвидкісних GPT-3.5 і високопродуктивних GPT-4 одночасно.
Таким чином, вірогідність виживання надії накопичити прибуток за допомогою налаштування для досягнення технологічного прориву дуже низька.
Тонке налаштування: необхідно, не будьте забобонними
Сучасна індустрія штучного інтелекту має нереалістичні очікування щодо тонкої настройки, яка переоцінена як з точки зору конкретної технічної реалізації, так і технічного ритму на макрорівні.
Тонке налаштування, яке зараз обговорюється в галузі, здебільшого стосується «на основі попередньо навченої моделі, завдяки чому вона генерує відповіді, які відповідають людським намірам». Такий вид тонкого налаштування можна назвати «вирівнюванням», тобто узгодити відповідь із людськими намірами, а не додати мудрості великій моделі.
Згідно з результатами досліджень багатьох статей, знання великих моделей повинні в основному виходити з попереднього навчання, тоді як точне налаштування більше використовується для вирівнювання.
Просте пояснення полягає в тому, що попереднє навчання визначає розмір мозку, а тонке налаштування визначає рідну мову. Тонка настройка попередньо навченої моделі є процесом «усунення безграмотності».
Проте в даний час тонке налаштування часто розглядається в промисловості як метод «підвищення інтелекту» для моделі, тобто вважається, що за допомогою тонкого налаштування для покращення продуктивності моделі та збільшення знань про модель можна досягти «святий Грааль штучного інтелекту». Така думка є дещо упередженою.
По-перше, продуктивність самої моделі не покращилася, але вона може краще узгоджуватися з людськими намірами.Якщо складність завдання перевищує продуктивність моделі, точне налаштування не дасть очікуваних результатів. Подібно до того, як дозволити людському мозку виконувати квантові операції, неможливість цього не є питанням освіти.
По-друге, в частині «вирівнювання намірів» виконується «доповнення знань», і ефект більше схожий на «попугаювання». Тобто: модель просто імітує те, що говорять експерти, не розуміючи сенсу. Хоча багато галузей можуть отримати хороші рішення шляхом «повторювання» (зрештою, більшість галузей не є складними...), очевидно, це не той результат, якого ми повинні прагнути в довгостроковій перспективі.
Нарешті, для навчання «доповнення додаткових наборів даних, покращення продуктивності моделі та збільшення знань про модель» слід враховувати, що модель має здатність «поступового навчання/безперервного навчання», тобто повні параметри моделі можна покращити за допомогою додаткових наборів даних. Це не така концепція, як так зване «точне налаштування інструкцій».
Взагалі, тонка настройка дуже важлива, але «забобоно» ставитися до поточної настройки неправильно, особливо тим, хто охоче називає поточну настройку Святим Граалем, який є своєрідним "поточна фізика знаходиться на будівлі." Пливуть лише дві темні хмари".
Зробивши крок назад, якщо потребу у «збільшенні інтелекту» справді можна вирішити шляхом точного налаштування інструкцій, виконавши простий векторний пошук, безпосередньо підключивши знання до контексту та просто написавши кілька шаблонів, існує висока ймовірність що можна досягти таких самих або навіть кращих результатів.
Тонке налаштування подобається всім, можливо це своєрідне відродження навичок алхімії в наш час...
Прогноз великої моделі: чотири арифметичні дії
(Зауважте, що ця частина вмісту повністю базується на даних, оприлюднених Діланом Пателем, і надійність поки що неможливо перевірити)
Навчання GPT-4 базується на серії N-карток. Ефективність навчання становить 30 %. Час навчання — близько 2 місяців. Вартість — близько 60 млн. Загальна сума параметрів — {1,7 трлн = 110 млрд. × 16 експертних моделей}. Він може впоратися з однією проблемою. Параметри близько 280 мільярдів.
Іншими словами, є кілька ключових параметрів, які призведуть до змін у шаблоні навчання великої моделі.
•Ефективність тренування: від 30% до 60% може безпосередньо скоротити час на один раз
• Підвищена інтенсивність обчислювальної потужності: після переходу з серії A на серію H, а потім на спеціальну карту AI, щільність обчислювальної потужності покращується, і багато проблем, що впливають на ефективність архітектури, можна вирішити.
• Зниження вартості обчислювальної потужності: Лао Хуан (засновник Nvidia) знизив ціну на відеокарту, і вартість значно впала
• Підвищення ефективності параметрів: Є можливості для покращення ефективності параметрів моделі. Посилаючись на попередню модель, ефективність параметрів старої моделі зазвичай можна збільшити в рази. Можна використовувати 30% параметрів ГПТ-4 для досягнення аналогічного ефекту
Підсумовуючи, вартість навчання моделі з продуктивністю рівня GPT-4 з нуля може мати в 10-20 разів більше можливостей для оптимізації, що скорочується до 3-6 млн доларів США. Ці витрати є дуже економічно ефективними для стартапів. і великі компанії є більш прийнятними.
Ця зміна може тривати приблизно 2 роки.
Наразі основна технологія великої моделі все ще базується на трансформаторі, інфраструктура не змінилася, а ідея вдосконалення алхімії та додавання параметрів для створення чудес ще не вичерпана. Навчання GPT-4 здійснюється на основі високих обмежень обчислювальної потужності, а час навчання недостатньо тривалий.
Якщо параметри ростуть лінійно з часом навчання, верхня межа параметрів для моделі з архітектурою, подібною до GPT-4, може становити близько 10 трильйонів, тобто вдвічі більше, ніж час навчання (×2), і вдвічі більше, ніж паралельна графічна карта (×2), ефективність навчання вдвічі нижча (×1,5), ефективність параметрів вдвічі нижча (×1,5), а кінцевий результат у десять разів кращий. Згідно зі стилем ризик-апетиту Кремнієвої долини, цей параметр, швидше за все, буде досягнутий протягом року, незалежно від того, чи покращилася продуктивність.
Однак після досягнення 10 трильйонів параметрів, чи може LLM все ще використовувати ідею збільшення параметрів для здійснення чудес, абсолютно невідомо.
Якщо кількість параметрів покращує продуктивність моделі при зменшенні запасу, то 10 трильйонів, ймовірно, будуть перешкодою. Однак існує також припущення, що поліпшення продуктивності моделі за кількістю параметрів незначно зростає, подібно до того, «якщо людина досить розумна, вона швидко всьому навчиться». Перше — це нормально, але якщо останнє здійсниться, продуктивність моделі може експоненціально покращитися, і те, що тоді станеться, буде абсолютно непередбачуваним.
Алхімію важко передбачити, але легко передбачити ритм корпоративної стратегії. Модель із загальним параметром у 10 трильйонів є важливою кінцевою точкою для більшості компаній, незалежно від того, чи це гігант, як-от Google/MS/APPL, чи менший OpenAI, і це місце, де ви можете зупинитися та провести деякі технічні дослідження. положення.
Перевагу підприємств/капіталу щодо ризику можна перетворити на «час витримки».Якщо весь час витримки інтенсивно спалює витрати, важко буде перевищити 6 місяців. Людські технології розвиваються недостатньо швидко, і цикл зазвичай займає 5 років і більше. Таким чином, протягом 5 років можна оцінити кінцеву кількість параметрів моделі, яка повинна складати від 20 до 50 трильйонів. Якщо знову не відбудеться величезний прорив у технології/архітектурі, ймовірність перевищення цього порядку дуже низька.
Мультимодальність: Слон у кімнаті
Мультимодальність — це слон у кімнаті, який може сильно вплинути на ландшафт іподрому.
Просте визначення мультимодального: підтримка введення та виведення кількох модальних даних. Це визначення дуже вільне.Наприклад, деякі продукти на ринку, які стверджують, що можуть виконувати мультимодальне введення, насправді є шаром OCR поза межами ChatBot. Є також моделі, які повністю відповідають визначенню мультимодальності, але їх продуктивність не втішить. Навіть можливість мультимодального введення зображень GPT-4 не була широко відкрита, і можна побачити, що ця функція не дуже стабільна.
Однак мультимодальні запуски не за горами. Існує висока ймовірність того, що GPT-5 нативно підтримує мультимодальність, а це означає, що структуру потрібно переробити та перенавчити. Відповідно до попередніх міркувань, параметри великих моделей ще можуть збільшитися від 10 до 50. Цього має бути достатньо, щоб вкласти в них мультимодальні можливості. Тому можна очікувати, що високодоступні та високопродуктивні мультимодальні моделі з’являться протягом 2 років, якщо бути оптимістичними, то це буде майже рік.
Мультимодальність — це слон у кімнаті, усі знають, що з часом така річ з’явиться, але так багато продуктів/досліджень/стратегій ігнорують її існування, що в ключових частинах є прорахунки.
Наприклад, моделі з одним зображенням теоретично будуть сильно пригнічені мультимодальними моделями, але наразі більшість досліджень/інвестицій ігнорують це питання, що призводить до занадто високих оцінок для деяких компаній, які зосереджуються на моделях зображень. Ці компанії, швидше за все, позбудуться технічних бар'єрів і перетворяться на постачальників послуг у майбутньому. Їхня система оцінки має стосуватися постачальників послуг, а не технологічних компаній.
Якщо ви хочете розповісти історію про те, що «інвестиції залежать від людей, та сама команда може змінити бізнес», просто вдайте, що я цього не говорив. Легенди існують завжди, але ви не можете в них вірити під час дослідження.
Хто може навчати GPT-4: можна, але не обов’язково
На створення алхімії не потрібно багато часу, і великі компанії купують відеокарти. Цілком очевидно, що через рік великі компанії матимуть можливість навчати моделей рівня GPT-4. Але тренуватися чи ні – інше питання.
У сфері ігор існує класична пропозиція під назвою «Юаньшин грає в Юаньшен», тобто: коли гравці можуть вибрати грати в Юаньшен або конкуруючий продукт Юаньшен, якщо конкуруючий продукт не такий хороший, як Юаньшен, тоді грайте в оригінального бога .
Цей підхід «переможець отримує все» також стосується великої модельної індустрії. Якщо компанія слідує OpenAI і після півроку досліджень і розробок, вона запускає власну велику модель з 90% продуктивністю, порівнянною з GPT-4, сподіваючись вивести її на ринок. У цей час компанія зіткнеться з такими проблемами:
• OpenAI має перевагу в масштабі хмарних ресурсів і нижчу вартість
• API OpenAI широко використовується в кодах продуктів, і його важко замінити.
• Продукт компанії все ще не перевершує GPT-4
• Незабаром буде випущено наступне покоління продукту OpenAI (ймовірно, GPT-5).
Видно, що тиск на підприємство значний. Замість того, щоб тренувати GPT-4, краще зробити ставку безпосередньо на модель наступного покоління (проти GPT-5). Тоді проблема буде перетворена з «проблеми подібних конкуруючих продуктів» на «проблему технологічних інновацій». Це тягар, який не можуть витримати маленькі компанії.
Тому обговорення «хто може навчити GPT-4» — це стратегічне мертве питання. Замість того, щоб думати про це питання, краще знайти напрямок з більшою впевненістю та більше можливостей.
Порада стартапам зі штучним інтелектом: перш за все продуктивність, уникайте застою
Автор написав багато статей зі скаргами на langchain. Основна причина полягає в тому, що langchain не залишає розробникам можливості покращити продуктивність. Його називають «універсальним фреймворком». Щоб забезпечити загальність, було скасовано багато покращень продуктивності великих моделей, наприклад керування форматом, досягнуте кількома раундами діалогу та тонкого налаштування. Так само є керівництво/Auto-GPT/BabyAGI тощо, усі хочуть бути «рамкою, яку можна використовувати протягом усього життя».
Об’єктивним фактом є те, що OpenAI випустила функцію виклику функцій у травні. Багато проблемних областей у коді мають кращі рішення для реалізації, і вартість реалізації кращих рішень полягає в реконструкції ключових частин коду продукту. У серпні OpenAI випустив дозвіл на точне налаштування GPT-3.5, і багато посилань, які потребують точного контролю виведення, мають нові потенційні рішення.
Тому компанії-початківці повинні постати перед ключовим вибором: чи вибрати їм ①покращення продуктивності та постійну рефакторинг продуктів, чи ②зменшити використання нових функцій і завжди використовувати старі функції для розробки?
Для підприємницької діяльності, пов’язаної з застосуванням нових технологій, «розробка» означає не лише процес написання коду, але й «верхню межу» функціональності/стратегії продукту. Чим вище продуктивність, якою можна керувати, тим більше теоретичних функцій має продукт і тим вище його стратегічна гнучкість.
Розвиток технологій неможливо передбачити, а невеликі технологічні інновації можуть призвести до дуже чутливих змін у конкурентному середовищі.Початківці компаній повинні мати здатність бути антикрихкими щодо розвитку технологій.
——По-людськи кажучи: Слід віддавати пріоритет продуктивності й уникати залишатися. На рівні розробки використовуйте більше нових функцій; на стороні продукту подумайте про те, які функції можуть виконувати нові функції; на стратегічній стороні врахуйте вплив нових функцій на стратегію.
У «Про проходження Цінь» згадується, що після встановлення династії Цінь металева зброя з усього світу була конфіскована та відлита в дванадцять бронзових фігур, щоб виключити можливість громадянських повстань. Але династія Цінь, як відомо, була недовгою. Більш вигідно звертати увагу на зміни, ніж ігнорувати їх.
Порада компаніям-початківцям ШІ: створюйте заявки з упевненістю
Коли стартапи розробляють програми, існує дуже поширена прихована небезпека: вихід великих компаній. До великих компаній тут належать не лише гіганти додатків, такі як Meta/Byte/Tencent тощо, але й передові індустрії ШІ, такі як OpenAI.
Зазвичай у великих компаній є дві причини для виходу на ринок: розгортання можливостей продукту та скорочення виробництва вгору та вниз.
«Розвиток можливостей продукту» — це буквальне значення. Великі компанії вважають, що цей напрямок вартий того, щоб це робити, тому вони це роблять.
«Розрізати вгору та вниз» здебільшого безпорадний крок. Можливо, це тому, що я розробив велику модель, яку можна порівняти з OpenAI. Однак через проблему, коли переможець отримує все у великих моделях, немає користувачів, що призводить до великі витрати, відсутність доходів і даних, що, у свою чергу, призводить до поступового відставання продуктивності. Наразі єдиним варіантом є врізка в нижню течію, розробка конкретних програм і використання власних технологій.
Згідно з історичним досвідом, через проблему організаційної структури, чим ближче компанія до нижньої течії, тим легше їй відстати в технологіях, і чим більш відстала технологія, тим більше їй доводиться бути нижньою за течією. Ці так звані технологічні компанії врешті змагатимуться за ту саму екологічну нішу, що й компанії прикладного рівня.
Однак на полі битви прикладного рівня через короткий час технології штучного інтелекту немає ефективної та багаторазової переваги в масштабі, а початкова точка великих компаній і стартапів схожа. Порівняно з великими компаніями, компанії-початківці більш ефективні та проникливі, і ними легше скористатися.
Примітна ситуація, що майже всі рекламні матеріали MS Azure зараз крутяться навколо OpenAI, але така велика фабрика, як Microsoft, повністю покладається на OpenAI як свою платформу, що з боку доводить, що стартапи мають природні переваги у сфері ШІ.
Звичайно, деякі постачальники хмарних технологій можуть не погодитися на те, що їх очолюють стартапи, і самі хочуть з’їсти весь ринок. Це дорого, повільно і не є безпосередньою загрозою.
Справа в тому, що справді є деякі шляхи застосування штучного інтелекту, які є дуже короткочасними, але все ще є багато довгоживучих шляхів, які не були виявлені, і застосування штучного інтелекту не є переможцем, який отримує все. Розширення від програми до платформи чи технології також є більш здійсненним шляхом.
Тому ми повинні раціонально ставитися до здатності великих компаній проникати на прикладний рівень. Наша пропозиція полягає в тому, що стартапи зі штучним інтелектом можуть впевнено створювати програми.
Порада для стартапів зі штучним інтелектом: зверніть увагу на життєвий шлях продукту
Як згадувалося раніше, стартапи зі штучним інтелектом можуть сміливо створювати програми, але вони повинні враховувати проблеми продуктивності моделі ШІ, щоб уникнути зупинки. Ця ситуація безпосередньо відображається в тому, що продукти штучного інтелекту можуть втратити свою базу попиту та поступово згаснути протягом кількох місяців, і така ситуація може траплятися часто.
Програмам штучного інтелекту потрібно використовувати послуги великих моделей, і продуктивність великих моделей продовжує покращуватися. Це вдосконалення не є покращенням окремого виміру, такого як «швидкість», а зміною всіх аспектів, таких як якість виводу, довжина виводу та можливість керування виходом. Будь-яке значне оновлення технології призведе до технологічного відставання існуючих продуктів прикладного рівня та створить нові можливості та конкурентів.
Ми називаємо час, коли додаток AI зберігає переваги та необхідність у стратегії/продукті/технології, як «виручальний круг».
Ось кілька прикладів із коротшими лініями життя:
• Коли ChatGPT/Claude підтримує завантаження файлів, ChatPDF втрачає свою необхідність
• Коли Office365 підтримує Copilot, продукти, які використовують AI для малювання PPT, втратять свої переваги
• Коли з’явиться GPT-3.5, Jasper більше не буде потрібен
**Враховуючи, що індустрія штучного інтелекту швидко розвивається, обмежені можливості життя є нормою. Таким чином, прийняття того факту, що лінія життя обмежена, і спроба вибрати напрямок із довшою лінією життя допоможе зберегти довгострокові переваги та необхідність продукту. **
Загалом лінію життя можна просто розділити на рівні по 3/6/12 місяців.
•3 місяці: функції, які великі компанії не встигли реалізувати (наприклад, офісні/ChatGPT функції, які ще не встигли реалізувати)
• 6 місяців: це складно реалізувати та не можна інтегрувати в існуючі рішення, але переваги/необхідності зникнуть із покращенням продуктивності ШІ (наприклад, загальної структури ШІ)
•12 місяців: переваги/необхідності можуть існувати тривалий час і на них нелегко впливають великі компанії/технологічні розробки (наприклад, Hugging Face)
*Життєвий цикл продуктів платформи не обов’язково довгий, адже магазини – це теж платформи.
Коли нова компанія визначає свій напрямок, їй потрібен лише 6-місячний життєвий шлях, 12-місячний життєвий шлях важко знайти.
Коли життєвий шлях продукту досягає кінця, зазвичай виникають дві ситуації. Перша ситуація полягає в тому, що переваги зникають, і технологію оновлення продукту потрібно реконструювати, будь ласка, зверніться до вищезазначеного «спочатку продуктивність»; друга ситуація полягає в тому, що необхідність зникає, і продукт буде поступово замінено. У цей час, у продукту ще є кілька місяців «терміну експлуатації» — цього достатньо, щоб стартапи вибрали наступний напрямок.
Порада стартапам зі штучним інтелектом: Web3+AI може це зробити
Зараз існує багато підприємницьких проектів, пов’язаних із темою Web3+AI, однак, враховуючи невизначеність розвитку технологій і ранню стадію ринку, тема Web3+AI все ще матиме багато змінних у майбутньому.
Метою цієї статті є пошук правильної впевненості з високою ймовірністю в невизначеності, тому автор все ще сподівається викинути деякі ідеї та запропонувати деякі теми та напрямки, які можуть бути корисними для компаній-початківців та зацікавлених дослідники.
•Десуверенітет/децентралізація
Зараз лідери індустрії штучного інтелекту надають лише закриті моделі, а стабільність, прозорість і нейтральність їх безперервного надання послуг неконтрольовані. Десуверенітет/децентралізація може стати важливою темою в індустрії штучного інтелекту, а саме: на основі базової структури десуверенітету/децентралізації надавати стабільні, прозорі та нейтральні послуги ШІ.
Десуверенізація/децентралізація є «альтернативним рішенням» і «стримуванням», яке може значно збільшити неетичну вартість централізованих/суверенних компаній ШІ та перешкодити їм використовувати моделі ШІ у військових, культових, політичних та інших аспектах.
У крайніх випадках, коли централізовані/суверенні служби штучного інтелекту з якихось причин більше не доступні/не довіряють, десуверенний/децентралізований штучний інтелект може продовжувати надавати високодоступні сервіси, щоб запобігти втраті штучного інтелекту окремими країнами/регіонами та навіть людством. Служби паралізовані.
• Практика використання обчислювальної потужності
За переходом ETH від PoW до PoS стоїть критикована дилема «майнінг не приносить цінності». Поєднання Web3 із штучним інтелектом може надати сценарії практичної обчислювальної потужності, таким чином реалізуючи перетравлення існуючої обчислювальної потужності та сприяючи зростанню загальної обчислювальної потужності. .
•Віртуальна активація
Штучний інтелект – це актив, який є рідним для обчислювальної потужності та сховища. Комбінація Web3 і ШІ може надати канал для перетворення ШІ у віртуальні активи. У той же час створюючи цінність індустрії штучного інтелекту, він може створювати справді рідні віртуальні активи для Web3.
•Змінні для програм Web3
Поєднання Web3 і штучного інтелекту може принести нові функціональні можливості та можливості для розвитку додатків Web3, а існуючі додатки Web3 можна повністю переробити.
Написано в кінці: вересень, чи варто починати бізнес із нинішнього ШІ?
Спершу скажу про висновок: воно того варте, і цим висновком з великою часткою ймовірності можна буде скористатися до китайського Нового року.
Люди часто сприймають ситуації упереджено, і я не виняток. Хтось надто оптимістичний, а хтось надто песимістичний. Одного разу автор спілкувався з двома командами. Одна вважає, що вона зможе створити AI Agent у першому кварталі наступного року, а інша вважає, що ШІ підходить лише для управління базою знань. Очевидно, перша надто оптимістична, тоді як останнє є надто песимістичним.
При довгостроковому плануванні як надто оптимістичні, так і надто песимістичні впадуть у яму, а широко поширені зауваження часто мають великі відхилення, тому незалежне мислення дуже цінне. Таким чином, незалежно від того, чи можуть читачі прийняти точки зору цієї статті, якщо читачі мають незалежне мислення та судження в процесі читання, автор буде дуже задоволений.
Нарешті, розмістіть оголошення. Якщо у вас є хороша ідея запуску штучного інтелекту або вже є завершений проект, будь ласка, не соромтеся спілкуватися з друзями NGC (як я).
Ми визначаємо проекти з проривними інноваціями, прагнучи вирішити проблеми за допомогою рішень, які характеризуються простотою, доступною ціною, швидкістю, унікальністю та переконливою відповідністю продукту ринку.