Більшу частину року дув великий модельний шторм, і ринок AIGC знову почав змінюватися:
На зміну крутим технологічним демонстраціям приходить повноцінний досвід роботи з продуктом. **
Наприклад, найновіша модель малювання штучним інтелектом від OpenAI DALL· Як тільки E 3 дебютував, він об'єднав зусилля з ChatGPT, щоб стати найочікуванішим новим інструментом продуктивності в ChatGPT Plus.
** **##### △ДАЛЛ· E3 точно відтворює кожну деталь введення тексту
Наприклад, Copilot від Microsoft на базі GPT-4 повністю влаштувався в Windows 11, офіційно замінивши Cortana як нове покоління ШІ-помічників в операційній системі.
** **##### △ Використовуйте Copilot, щоб узагальнювати публікації в блозі одним клацанням миші
Для іншого прикладу, вітчизняні автомобілі, такі як Jiyue 01, офіційно оснастили великі моделі в кабіні, і вони повністю не в мережі.
Якщо «великі моделі змінюють усе» у березні 2023 року було лише оптимістичним прогнозом піонерів технологій, то сьогодні все ще запекла війна зі 100 моделей і прогрес у практичному застосуванні зробили цю точку зору все більш резонансною в галузі та за її межами.
Іншими словами, від усього методу виробництва в Інтернеті до інтелектуальної кабіни в кожному автомобілі настає ера самоінновацій з великими моделями як технічною базою та рушійною силою тисяч галузей.
Відповідно до методу найменування парової доби та електричної епохи її можна назвати «епохою модульної сили».
В «епоху Молі» одним із найбільш проблемних сценаріїв є смарт-термінал.
Причина проста: індустрія смарт-терміналів, представлена смартфонами, ПК, розумними автомобілями і навіть пристроями XR, є однією з технологічних галузей, найбільш тісно пов'язаних з життям сучасних людей, і, природно, стала золотим стандартом для тестування зрілості передових технологій.
Тому, коли перша хвиля ажіотажу, викликана технологічним бумом, поступово вщухне, а сценарій смарт-терміналу стане якорем, як слід розглядати та інтерпретувати нові можливості та виклики «ери модульного живлення»?
Тепер настав час його розбити, розім'яти і вичесати.
Смарт-термінал, нова велика модель Battlefield
Перш ніж детально аналізувати виклики та можливості, повернемося до важливого питання: чому генеративний ШІ, представлений великими моделями, такий популярний, та ще й вважається «четвертою промисловою революцією»?
У відповідь на це явище багато установ проводять дослідження, щоб спробувати передбачити або узагальнити розвиток генеративного ШІ в різних сценаріях, таких як «Генеративний ШІ: творчий новий світ» від Sequoia Capital.
Серед них багато провідних компаній галузі на основі власного досвіду проаналізували сценарії посадки та потенційні зміни напрямків генеративного ШІ в конкретних галузях.
Наприклад, штучний інтелект на стороні терміналу представляє гравця Qualcomm, а деякий час тому випустив офіційний документ про стан розробки та тенденцію генеративного ШІ «Гібридний ШІ – це майбутнє ШІ».
Виходячи з цього, можна інтерпретувати три основні причини, чому генеративний ШІ популярний у галузі.
Перш за все, досить жорстка сама технологія.
Незалежно від того, чи це велика модель, що з'являється інтелектуально, чи картина зі штучним інтелектом, яка генерує фальшиву якість із фальшивою, все залежить від використання ефектів, щоб говорити, і це справжня робоча область, пов'язана з текстом, зображеннями, відео та автоматизацією, демонструючи дивовижну здатність порушувати традиційні робочі процеси.
По-друге, є багаті потенційні сценарії посадки. Прорив поколінь штучного інтелекту, принесений великою моделлю, приніс людям нескінченну уяву з самого початку: найперша партія досвідчених людей швидко відчула переваги генеративного ШІ для роботи.
Величезний попит з боку користувачів можна побачити за темпами зростання користувачів репрезентативних додатків, таких як ChatGPT.
** **#### △ChatGPT побив рекорд понад 100 мільйонів зареєстрованих користувачів популярних додатків, джерело Sequoia Capital
Від початкового пошуку в Інтернеті, програмування, офісу до появи культурного туризму, юриспруденції, медицини, промисловості, транспорту та інших сфер застосування, осідлавши вітер генеративного штучного інтелекту, набагато більше, ніж компанії, які можуть надати базові великі моделі, а також велика кількість стартапів процвітають і ростуть.
Багато галузевих експертів вважають, що для підприємців прикладний рівень, принесений великими моделями, має більші можливості.
Внизу відбувається прорив поколінь технологій, а нагорі – енергійний вибух попиту на застосування, а також стимулюється екологічний ефект.
Згідно з прогнозом Bloomberg Intelligence, до 2032 року ринок генеративного ШІ зросте з $40 млрд до $1,3 трлн**, охоплюючи широке коло учасників екологічного ланцюжка, включаючи інфраструктуру, базові моделі, інструменти розробників, прикладні продукти, термінальні продукти тощо.
Формування цього екологічного ланцюжка сприяло новим змінам у галузі і, як очікується, зробить штучний інтелект і надалі базовим ядром продуктивності.
Виходячи з цього, давайте подивимося, що відбувається в розумній індустрії сьогодні.
З одного боку, шторм додатків AIGC, представлений великими моделями, стрімко ** від хмари до терміналу ** в ритмі ітерації днів.
ChatGPT першим оновив мультимодальну функцію «аудіовізуальної розмови» на мобільному терміналі, і користувачі можуть робити фотографії та завантажувати їх, а також спілкуватися з ChatGPT для отримання фотоконтенту.
Наприклад, «Як відрегулювати висоту сидіння велосипеда»:
** **#### △ та графічний діалог GPT-4, дайте 5 пропозицій за секунди
Qualcomm також швидко реалізувала велику модель Stable Diffusion і ControlNet, що запускає понад мільярд параметрів на стороні терміналу, і для створення високоякісних зображень зі штучним інтелектом на мобільних телефонах потрібно лише більше десятка секунд.
Багато виробників мобільних телефонів також оголосили, що встановлять «мозок» великих моделей для своїх голосових помічників.
І це не тільки телефони.
На масштабних виставках в країні і за кордоном, таких як Шанхайський автосалон, автосалон в Ченду, Мюнхенський автосалон і т.д., співпраця між виробниками базових моделей і виробниками автомобілів стає все більш поширеним явищем, а велика модель «сідає на машину» стає новим точкою змагання в області інтелектуального кокпіту.
** **####### △ Одне речення може змусити модель автомобіля купувати інгредієнти в додатку, і ви можете готувати, коли повертаєтеся додому
З іншого боку, спалах ** додатків погіршив ситуацію, коли обчислювальні потужності відчувають дефіцит. **
Передбачається, що вартість висновків моделі зростатиме зі збільшенням кількості щоденних активних користувачів та частоти їх використання, а покладатися лише на потужності хмарних обчислень недостатньо для швидкого просування масштабів генеративного ШІ.
Це також видно з того факту, що всі верстви суспільства все більше уваги приділяють обчислювальним потужностям штучного інтелекту на стороні терміналу.
Наприклад, ШІ-плеєр на стороні терміналу Qualcomm випустила нове покоління обчислювальної платформи для ПК для підвищення продуктивності чіпів ПК, використовуючи процесор Oryon власної розробки Qualcomm, особливо оснащений ним NPU забезпечить більш потужну продуктивність для генеративного ШІ, який називається платформою серії Snapdragon X.
Очікується, що ця нова обчислювальна платформа буде представлена на саміті Snapdragon Summit 2023 року.
Очевидно, що з точки зору застосування або обчислювальної потужності, розумні термінали стали одним зі сценаріїв з найбільшим посадковим потенціалом AIGC.
Риф AIGC під припливом
Речі часто мають дві сторони, як і великі моделі від швидкого розвитку до посадки.
Коли генеративний штучний інтелект злетів аж до сьогоднішнього дня, з'явилося справжнє вузьке місце під величезним потенціалом індустрії інтелектуальних терміналів.
** Одним із найбільших обмежень є найнижчий рівень апаратного забезпечення. **
Як зазначили інвестори Sequoia Соня Хуанг і Пет Грейді у своїй останній статті з аналізу генеративного штучного інтелекту «Generative AI's Act Two», AIGC швидко зростає, але очікуваним вузьким місцем є не попит клієнтів, а обчислювальна потужність на стороні пропозиції.
Обчислювальна потужність тут в основному відноситься до апаратних прискорювачів штучного інтелекту та машинного навчання, які можна розділити на п'ять категорій з точки зору сценаріїв розгортання:
Системи класу центрів обробки даних, прискорювачі серверного рівня, прискорювачі для допоміжного водіння та сценаріїв автономного водіння, периферійні обчислення та прискорювачі наднизького енергоспоживання.
** **##### △5 типів прискорювачів штучного інтелекту, джерело статті Массачусетського технологічного інституту «Огляд та тенденції прискорювача штучного інтелекту та машинного навчання»
З вибухом ChatGPT велика модель феноменально витіснила AIGC з кола, зробивши «** потужність хмарних обчислень**», таку як центри обробки даних і процесори серверного рівня, привернула багато уваги в короткостроковій перспективі, і навіть ситуація дефіциту.
Однак у міру того, як генеративний ШІ вступає у свою другу фазу, деякі питання щодо обчислювальної потужності стають все більш помітними.
** Перша і найбільша проблема – вартість. **Як зазначено в офіційному документі Qualcomm «Гібридний штучний інтелект — майбутнє штучного інтелекту», зараз минуло понад півроку, оскільки великі моделі переходять від гонитви за технологіями до посадки додатків, базова модель ** навчання ** кожної компанії поступово влаштувалася, і більша частина обчислювальних потужностей впала на ** міркування ** великих моделей.
У короткостроковій перспективі вартість логічного висновку є прийнятною, але оскільки з'являється все більше і більше додатків для великих моделей і все більше і більше сценаріїв застосування, вартість висновків на прискорювачах, таких як сервери, різко зросте, що в кінцевому підсумку призведе до того, що вартість виклику великих моделей буде вищою, ніж навчання самих великих моделей.
Іншими словами, після того, як велика модель перейде на другу стадію, довгостроковий попит на обчислювальні потужності для висновків буде набагато вищим, ніж у одного тренінгу, і покладатися лише на «хмарні обчислювальні потужності», що складаються з центрів обробки даних і процесорів серверного рівня, абсолютно недостатньо, щоб досягти прийнятної для користувачів вартості.
Згідно зі статистикою Qualcomm в білій книзі, на прикладі пошукової системи з великою моделлю, вартість кожного пошукового запиту може досягати в 10 разів більше, ніж у традиційних методів, а річні витрати тільки в цій сфері можуть збільшитися на мільярди доларів.
Цьому судилося стати ключовим стримуючим фактором для посадки великих моделей.
**Поряд з цим, існують проблеми із затримкою, конфіденційністю та персоналізацією. **Qualcomm також згадала в книзі «Гібридний штучний інтелект — майбутнє штучного інтелекту», що великі моделі розгортаються безпосередньо в хмарі, крім недостатньої кількості серверних обчислень, викликаної сплеском користувачів, необхідністю «стояти в черзі за використанням» та іншими помилками, це також обов'язково вирішить проблеми конфіденційності та персоналізації користувачів.
Якщо користувачі не захочуть завантажувати дані в хмару, сценарії використання великих моделей, таких як офіс і інтелектуальний помічник, будуть піддаватися безлічі обмежень, і більшість цих сценаріїв розподіляються на стороні терміналу; Якщо вам потрібно досягти кращих результатів, наприклад, налаштувати великі моделі для власного використання, вам потрібно безпосередньо використовувати особисту інформацію для навчання великих моделей.
Під впливом різних факторів у поле зору людей почали потрапляти «термінальні обчислювальні потужності», які можуть відігравати певну роль у міркуваннях, тобто кілька типів процесорів, включаючи автоматичне водіння та допоміжне водіння, периферійні обчислення (вбудовані) та прискорювачі наднизького енергоспоживання.
Термінали мають величезну обчислювальну потужність. Згідно з прогнозом IDC, до 2025 року кількість глобальних пристроїв IoT перевищить 40 мільярдів, генеруючи майже 80 зеттабайт даних, і більше половини даних повинні покладатися на термінальні або периферійні обчислювальні потужності для обробки.
Однак термінал також має такі проблеми, як обмежене енергоспоживання та розсіювання тепла, що призводить до обмеженої обчислювальної потужності.
У цьому випадку те, як використовувати величезну обчислювальну потужність, приховану в терміналі, щоб прорватися через вузьке місце, з яким стикається розвиток потужностей хмарних обчислень, стає однією з найпоширеніших технічних проблем в «епоху модульного живлення».
**Не кажучи вже про те, що крім обчислювальних потужностей, реалізація великих моделей також стикається з такими проблемами, як алгоритми, дані та ринкова конкуренція. **
Для алгоритму архітектура базової моделі поки що невідома. ChatGPT досяг хороших результатів, але його технічний маршрут не є архітектурним напрямком моделі наступного покоління.
Для даних високоякісні дані необхідні іншим компаніям для досягнення великих модельних результатів ChatGPT, але Акт другий генеративного штучного інтелекту також вказує на те, що дані, згенеровані компанією-додатком, насправді не створюють бар'єру.
Перевага, побудована даними, крихка і нестійка, і наступне покоління базових моделей, швидше за все, безпосередньо зруйнує цю «стіну», навпаки, безперервні і стабільні користувачі можуть по-справжньому будувати джерела даних.
Для ринку на даний момент не існує забійних додатків для великогабаритних модельних продуктів, і поки невідомо, для яких сценаріїв він підходить.
У цю епоху, в яких продуктах він використовується і які програми можуть надати свою найбільшу цінність, ринок ще не дав набору методологій або стандартних відповідей, яким можна було б слідувати.
** У відповідь на цю серію проблем в даний час існує два основних шляхи вирішення проблем в галузі. **
Одна з них полягає в тому, щоб удосконалити алгоритм самої великої моделі, не змінюючи «суті» моделі, краще покращити її розмір і підвищити її здатність розгортання на більшій кількості пристроїв;
На прикладі алгоритму Transformer, такі моделі з великою кількістю параметрів необхідно підлаштовувати в структуру, якщо вони хочуть працювати на торцевій стороні, тому за цей час народилося багато легких алгоритмів, таких як MobileViT.
Ці алгоритми спрямовані на покращення структури та кількості параметрів, не впливаючи на вихідний ефект, щоб вони могли працювати на більшій кількості пристроїв із меншими моделями.
Інший полягає в тому, щоб покращити обчислювальну потужність штучного інтелекту самого обладнання, щоб великі моделі могли краще приземлятися на торцевій стороні.
Такі методи включають багатоядерне проектування на апаратному забезпеченні та програмні стеки розробки, які використовуються для підвищення продуктивності апаратних обчислень та універсальності моделей на різних пристроях, щоб підвищити можливість посадки великих моделей на торцеву сторону.
Перше можна назвати адаптацією програмного забезпечення до заліза, а друге полягає в тому, що виробники обладнання підлаштовуються під зміну течії часу. Але в будь-якому випадку є ризик бути наздогнаним одними лише ставками. **
В епоху модульного живлення технології змінюються з кожним днем, і нові прориви можуть з'явитися з обох боків програмного та апаратного забезпечення, і як тільки не вистачить необхідних технічних резервів, вони можуть відстати.
Тож чи варто сліпо слідкувати за розвитком цієї хвилі технологій? Не зовсім.
**Для компаній, які відкрили власну цінність в епоху Інтернету та штучного інтелекту, вони також можуть досліджувати ідею третього рішення в епоху AIGC, засновану на власних сценаріях та накопиченні технологій. **
Візьмемо для прикладу Qualcomm, компанію зі штучним інтелектом, яка використовує як програмні, так і апаратні технології.
Зіткнувшись із проблемами технології великих моделей у різних сценаріях, Qualcomm вистрибнула з ідентичності компанії-виробника мікросхем і рано прийняла хвилю AIGC.
На додаток до постійного вдосконалення обчислювальної потужності штучного інтелекту чіпа на стороні терміналу, Qualcomm також розробляє базову технологію штучного інтелекту, прагнучи прискорити швидкість всієї індустрії інтелектуальних терміналів, щоб прийняти AIGC як сприятливе підприємство.
Однак існують і різні передбачувані труднощі в такому підході:
Як для більших і складніших моделей штучного інтелекту забезпечити продуктивність, забезпечуючи безперебійну роботу на терміналі?
Коли використовувати різні моделі для найкращого розподілу обчислювальної потужності між терміналами та хмарами?
Навіть якщо проблема розгортання великих моделей на стороні терміналу вирішена, яку частину слід розгорнути в хмарі, а яку на терміналі, і як зробити так, щоб це не постраждало на зв'язках і функціях між різними частинами великої моделі?
Якщо перевага в продуктивності на стороні терміналу недостатня, як її вирішити?
......
Ці проблеми не з'являються в окремому випадку, але вже існують у кожній галузі чи сценарії, на які впливає AIGC.
Незалежно від того, чи це революційний метод, чи реальний досвід посадки, відповідь можна дослідити лише на основі конкретних сценаріїв та галузевих кейсів.
AIGC вступила в другу фазу, великі моделі стають все більш популярними, а індустрія почала вивчати способи посадки.
** У офіційному документі Qualcomm «Гібридний штучний інтелект – майбутнє штучного інтелекту» згадувалося, що на прикладі смартфонів і ПК було багато випадків сценаріїв посадки AIGC у новій індустрії інтелектуальних терміналів на полі бою. **
Компанії вже впроваджують менші та більші моделі на стороні терміналу для більш персоналізованих завдань, включаючи пошук повідомлень, генерацію повідомлень-відповідей, зміну подій календаря та навігацію одним клацанням миші.
Наприклад, «забронювати улюблене місце в ресторані», виходячи з великої моделі, за даними аналізу даних користувачів улюблених ресторанів і вільних розкладів, дати рекомендації щодо планування, а результати додати в календар.
Qualcomm вважає, що через обмежену кількість великих параметрів моделі, розгорнутих терміналом, і відсутність мережі, може виникнути «ілюзія штучного інтелекту» при відповіді, і тоді вона може бути заснована на технології оркестратора для встановлення огорож, коли великій моделі не вистачає інформації для запобігання вищевказаним проблемам.
Якщо вас не влаштовує вміст, згенерований великою моделлю, ви також можете відправити запитання в хмару для виконання одним клацанням миші, а потім залишити відгук про результат генерації великої моделі з кращою відповіддю на стороні терміналу.
Таким чином, він може не тільки зменшити тиск на обчислювальну потужність великих моделей, що працюють у хмарі, але й гарантувати, що великі моделі можуть бути персоналізовані, максимально захищаючи конфіденційність користувачів.
** Що стосується технічних вузьких місць, які необхідно подолати, таких як обчислювальна потужність терміналу та алгоритми, деякі гравці також розробили деякі «способи зламати гру». **
У білій книзі Qualcomm представила клас нових технологій, які широко використовувалися в білій книзі, таких як спекулятивне декодування, яке деякий час тому стало пожежею.
Це метод, відкритий Google і DeepMind одночасно для прискорення виведення великих моделей, і може застосувати меншу велику модель для прискорення генерації великих моделей.
Простіше кажучи, вона полягає в тому, щоб заздалегідь навчити меншу модель і згенерувати партію «слів-кандидатів» для великої моделі, замість того, щоб дозволяти великій моделі «думати» і генерувати самостійно, і безпосередньо робити «вибір».
Оскільки швидкість генерації маленької моделі в кілька разів вища, ніж у великої, як тільки велика модель відчує, що слова, які вже є у маленької моделі, доступні, її можна взяти безпосередньо, не генеруючи її повільно самостійно.
Цей метод в основному використовує той факт, що на швидкість виведення великих моделей більше впливає пропускна здатність пам'яті, ніж збільшення обсягу обчислень.
У зв'язку з величезною кількістю параметрів і значно перевищує обсяг кеш-пам'яті, великі моделі, швидше за все, будуть обмежені пропускною здатністю пам'яті, ніж продуктивністю обчислювального обладнання під час висновків. Наприклад, GPT-3 потрібно зчитувати всі 175 мільярдів параметрів щоразу, коли він генерує слово, а обчислювальне обладнання часто простоює в очікуванні даних пам'яті з DRAM.
Іншими словами, коли модель робить пакетне висновування, різниця в часі між обробкою 100 токенів і одним токеном за раз невелика.
Таким чином, використання спекулятивної вибірки дозволяє не тільки легко запускати великі моделі з десятками мільярдів параметрів, але і переносити частину обчислювальних потужностей на сторону терміналу, забезпечуючи при цьому швидкість виведення при збереженні ефекту генерації великих моделей.
......
Але незалежно від того, чи це сценарій, чи технологія, врешті-решт, ми повинні знайти точки адаптації один одного, щоб отримати значну цінність застосування**, так само, як взаємозв'язок між програмним і апаратним забезпеченням нерозривний:
Прориви в програмних алгоритмах, такі як генеративний штучний інтелект, при пошуку сценаріїв посадки розумних терміналів неминуче зіткнуться з технічними вимогами в поєднанні з мобільним апаратним забезпеченням штучного інтелекту, таким як Qualcomm.
Включаючи смартфони, ПК, XR, автомобілі та Інтернет речей, як різні сегменти індустрії смарт-терміналів можуть знайти свою власну гру та цінність на основі точок доступу AIGC?
Як підприємствам скористатися цією хвилею часу, щоб стимулювати прикладну цінність цього типу технологій і не втратити можливість трансформації продуктивності в усій галузі?
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Обсяг ринку за 10 років становить 1,3 трильйона доларів США, і настала ера модульної енергетики
Першоджерело: Qubits
Більшу частину року дув великий модельний шторм, і ринок AIGC знову почав змінюватися:
На зміну крутим технологічним демонстраціям приходить повноцінний досвід роботи з продуктом. **
Наприклад, найновіша модель малювання штучним інтелектом від OpenAI DALL· Як тільки E 3 дебютував, він об'єднав зусилля з ChatGPT, щоб стати найочікуванішим новим інструментом продуктивності в ChatGPT Plus.
**![]()
**##### △ДАЛЛ· E3 точно відтворює кожну деталь введення тексту
Наприклад, Copilot від Microsoft на базі GPT-4 повністю влаштувався в Windows 11, офіційно замінивши Cortana як нове покоління ШІ-помічників в операційній системі.
**![]()
**##### △ Використовуйте Copilot, щоб узагальнювати публікації в блозі одним клацанням миші
Для іншого прикладу, вітчизняні автомобілі, такі як Jiyue 01, офіційно оснастили великі моделі в кабіні, і вони повністю не в мережі.
Якщо «великі моделі змінюють усе» у березні 2023 року було лише оптимістичним прогнозом піонерів технологій, то сьогодні все ще запекла війна зі 100 моделей і прогрес у практичному застосуванні зробили цю точку зору все більш резонансною в галузі та за її межами.
Іншими словами, від усього методу виробництва в Інтернеті до інтелектуальної кабіни в кожному автомобілі настає ера самоінновацій з великими моделями як технічною базою та рушійною силою тисяч галузей.
Відповідно до методу найменування парової доби та електричної епохи її можна назвати «епохою модульної сили».
В «епоху Молі» одним із найбільш проблемних сценаріїв є смарт-термінал.
Причина проста: індустрія смарт-терміналів, представлена смартфонами, ПК, розумними автомобілями і навіть пристроями XR, є однією з технологічних галузей, найбільш тісно пов'язаних з життям сучасних людей, і, природно, стала золотим стандартом для тестування зрілості передових технологій.
Тому, коли перша хвиля ажіотажу, викликана технологічним бумом, поступово вщухне, а сценарій смарт-терміналу стане якорем, як слід розглядати та інтерпретувати нові можливості та виклики «ери модульного живлення»?
Тепер настав час його розбити, розім'яти і вичесати.
Смарт-термінал, нова велика модель Battlefield
Перш ніж детально аналізувати виклики та можливості, повернемося до важливого питання: чому генеративний ШІ, представлений великими моделями, такий популярний, та ще й вважається «четвертою промисловою революцією»?
У відповідь на це явище багато установ проводять дослідження, щоб спробувати передбачити або узагальнити розвиток генеративного ШІ в різних сценаріях, таких як «Генеративний ШІ: творчий новий світ» від Sequoia Capital.
Серед них багато провідних компаній галузі на основі власного досвіду проаналізували сценарії посадки та потенційні зміни напрямків генеративного ШІ в конкретних галузях.
Наприклад, штучний інтелект на стороні терміналу представляє гравця Qualcomm, а деякий час тому випустив офіційний документ про стан розробки та тенденцію генеративного ШІ «Гібридний ШІ – це майбутнє ШІ».
Виходячи з цього, можна інтерпретувати три основні причини, чому генеративний ШІ популярний у галузі.
Перш за все, досить жорстка сама технологія.
Незалежно від того, чи це велика модель, що з'являється інтелектуально, чи картина зі штучним інтелектом, яка генерує фальшиву якість із фальшивою, все залежить від використання ефектів, щоб говорити, і це справжня робоча область, пов'язана з текстом, зображеннями, відео та автоматизацією, демонструючи дивовижну здатність порушувати традиційні робочі процеси.
По-друге, є багаті потенційні сценарії посадки. Прорив поколінь штучного інтелекту, принесений великою моделлю, приніс людям нескінченну уяву з самого початку: найперша партія досвідчених людей швидко відчула переваги генеративного ШІ для роботи.
Величезний попит з боку користувачів можна побачити за темпами зростання користувачів репрезентативних додатків, таких як ChatGPT.
**![]()
**#### △ChatGPT побив рекорд понад 100 мільйонів зареєстрованих користувачів популярних додатків, джерело Sequoia Capital
Від початкового пошуку в Інтернеті, програмування, офісу до появи культурного туризму, юриспруденції, медицини, промисловості, транспорту та інших сфер застосування, осідлавши вітер генеративного штучного інтелекту, набагато більше, ніж компанії, які можуть надати базові великі моделі, а також велика кількість стартапів процвітають і ростуть.
Багато галузевих експертів вважають, що для підприємців прикладний рівень, принесений великими моделями, має більші можливості.
Внизу відбувається прорив поколінь технологій, а нагорі – енергійний вибух попиту на застосування, а також стимулюється екологічний ефект.
Згідно з прогнозом Bloomberg Intelligence, до 2032 року ринок генеративного ШІ зросте з $40 млрд до $1,3 трлн**, охоплюючи широке коло учасників екологічного ланцюжка, включаючи інфраструктуру, базові моделі, інструменти розробників, прикладні продукти, термінальні продукти тощо.
Виходячи з цього, давайте подивимося, що відбувається в розумній індустрії сьогодні.
З одного боку, шторм додатків AIGC, представлений великими моделями, стрімко ** від хмари до терміналу ** в ритмі ітерації днів.
ChatGPT першим оновив мультимодальну функцію «аудіовізуальної розмови» на мобільному терміналі, і користувачі можуть робити фотографії та завантажувати їх, а також спілкуватися з ChatGPT для отримання фотоконтенту.
Наприклад, «Як відрегулювати висоту сидіння велосипеда»:
**![]()
**#### △ та графічний діалог GPT-4, дайте 5 пропозицій за секунди
Qualcomm також швидко реалізувала велику модель Stable Diffusion і ControlNet, що запускає понад мільярд параметрів на стороні терміналу, і для створення високоякісних зображень зі штучним інтелектом на мобільних телефонах потрібно лише більше десятка секунд.
Багато виробників мобільних телефонів також оголосили, що встановлять «мозок» великих моделей для своїх голосових помічників.
І це не тільки телефони.
На масштабних виставках в країні і за кордоном, таких як Шанхайський автосалон, автосалон в Ченду, Мюнхенський автосалон і т.д., співпраця між виробниками базових моделей і виробниками автомобілів стає все більш поширеним явищем, а велика модель «сідає на машину» стає новим точкою змагання в області інтелектуального кокпіту.
**![]()
**####### △ Одне речення може змусити модель автомобіля купувати інгредієнти в додатку, і ви можете готувати, коли повертаєтеся додому
З іншого боку, спалах ** додатків погіршив ситуацію, коли обчислювальні потужності відчувають дефіцит. **
Передбачається, що вартість висновків моделі зростатиме зі збільшенням кількості щоденних активних користувачів та частоти їх використання, а покладатися лише на потужності хмарних обчислень недостатньо для швидкого просування масштабів генеративного ШІ.
Це також видно з того факту, що всі верстви суспільства все більше уваги приділяють обчислювальним потужностям штучного інтелекту на стороні терміналу.
Наприклад, ШІ-плеєр на стороні терміналу Qualcomm випустила нове покоління обчислювальної платформи для ПК для підвищення продуктивності чіпів ПК, використовуючи процесор Oryon власної розробки Qualcomm, особливо оснащений ним NPU забезпечить більш потужну продуктивність для генеративного ШІ, який називається платформою серії Snapdragon X.
Очікується, що ця нова обчислювальна платформа буде представлена на саміті Snapdragon Summit 2023 року.
Очевидно, що з точки зору застосування або обчислювальної потужності, розумні термінали стали одним зі сценаріїв з найбільшим посадковим потенціалом AIGC.
Риф AIGC під припливом
Речі часто мають дві сторони, як і великі моделі від швидкого розвитку до посадки.
Коли генеративний штучний інтелект злетів аж до сьогоднішнього дня, з'явилося справжнє вузьке місце під величезним потенціалом індустрії інтелектуальних терміналів.
** Одним із найбільших обмежень є найнижчий рівень апаратного забезпечення. **
Як зазначили інвестори Sequoia Соня Хуанг і Пет Грейді у своїй останній статті з аналізу генеративного штучного інтелекту «Generative AI's Act Two», AIGC швидко зростає, але очікуваним вузьким місцем є не попит клієнтів, а обчислювальна потужність на стороні пропозиції.
Обчислювальна потужність тут в основному відноситься до апаратних прискорювачів штучного інтелекту та машинного навчання, які можна розділити на п'ять категорій з точки зору сценаріїв розгортання:
Системи класу центрів обробки даних, прискорювачі серверного рівня, прискорювачі для допоміжного водіння та сценаріїв автономного водіння, периферійні обчислення та прискорювачі наднизького енергоспоживання.
**![]()
**##### △5 типів прискорювачів штучного інтелекту, джерело статті Массачусетського технологічного інституту «Огляд та тенденції прискорювача штучного інтелекту та машинного навчання»
З вибухом ChatGPT велика модель феноменально витіснила AIGC з кола, зробивши «** потужність хмарних обчислень**», таку як центри обробки даних і процесори серверного рівня, привернула багато уваги в короткостроковій перспективі, і навіть ситуація дефіциту.
Однак у міру того, як генеративний ШІ вступає у свою другу фазу, деякі питання щодо обчислювальної потужності стають все більш помітними.
** Перша і найбільша проблема – вартість. **Як зазначено в офіційному документі Qualcomm «Гібридний штучний інтелект — майбутнє штучного інтелекту», зараз минуло понад півроку, оскільки великі моделі переходять від гонитви за технологіями до посадки додатків, базова модель ** навчання ** кожної компанії поступово влаштувалася, і більша частина обчислювальних потужностей впала на ** міркування ** великих моделей.
У короткостроковій перспективі вартість логічного висновку є прийнятною, але оскільки з'являється все більше і більше додатків для великих моделей і все більше і більше сценаріїв застосування, вартість висновків на прискорювачах, таких як сервери, різко зросте, що в кінцевому підсумку призведе до того, що вартість виклику великих моделей буде вищою, ніж навчання самих великих моделей.
Іншими словами, після того, як велика модель перейде на другу стадію, довгостроковий попит на обчислювальні потужності для висновків буде набагато вищим, ніж у одного тренінгу, і покладатися лише на «хмарні обчислювальні потужності», що складаються з центрів обробки даних і процесорів серверного рівня, абсолютно недостатньо, щоб досягти прийнятної для користувачів вартості.
Згідно зі статистикою Qualcomm в білій книзі, на прикладі пошукової системи з великою моделлю, вартість кожного пошукового запиту може досягати в 10 разів більше, ніж у традиційних методів, а річні витрати тільки в цій сфері можуть збільшитися на мільярди доларів.
Цьому судилося стати ключовим стримуючим фактором для посадки великих моделей.
**Поряд з цим, існують проблеми із затримкою, конфіденційністю та персоналізацією. **Qualcomm також згадала в книзі «Гібридний штучний інтелект — майбутнє штучного інтелекту», що великі моделі розгортаються безпосередньо в хмарі, крім недостатньої кількості серверних обчислень, викликаної сплеском користувачів, необхідністю «стояти в черзі за використанням» та іншими помилками, це також обов'язково вирішить проблеми конфіденційності та персоналізації користувачів.
Якщо користувачі не захочуть завантажувати дані в хмару, сценарії використання великих моделей, таких як офіс і інтелектуальний помічник, будуть піддаватися безлічі обмежень, і більшість цих сценаріїв розподіляються на стороні терміналу; Якщо вам потрібно досягти кращих результатів, наприклад, налаштувати великі моделі для власного використання, вам потрібно безпосередньо використовувати особисту інформацію для навчання великих моделей.
Під впливом різних факторів у поле зору людей почали потрапляти «термінальні обчислювальні потужності», які можуть відігравати певну роль у міркуваннях, тобто кілька типів процесорів, включаючи автоматичне водіння та допоміжне водіння, периферійні обчислення (вбудовані) та прискорювачі наднизького енергоспоживання.
Термінали мають величезну обчислювальну потужність. Згідно з прогнозом IDC, до 2025 року кількість глобальних пристроїв IoT перевищить 40 мільярдів, генеруючи майже 80 зеттабайт даних, і більше половини даних повинні покладатися на термінальні або периферійні обчислювальні потужності для обробки.
Однак термінал також має такі проблеми, як обмежене енергоспоживання та розсіювання тепла, що призводить до обмеженої обчислювальної потужності.
У цьому випадку те, як використовувати величезну обчислювальну потужність, приховану в терміналі, щоб прорватися через вузьке місце, з яким стикається розвиток потужностей хмарних обчислень, стає однією з найпоширеніших технічних проблем в «епоху модульного живлення».
**Не кажучи вже про те, що крім обчислювальних потужностей, реалізація великих моделей також стикається з такими проблемами, як алгоритми, дані та ринкова конкуренція. **
Для алгоритму архітектура базової моделі поки що невідома. ChatGPT досяг хороших результатів, але його технічний маршрут не є архітектурним напрямком моделі наступного покоління.
Для даних високоякісні дані необхідні іншим компаніям для досягнення великих модельних результатів ChatGPT, але Акт другий генеративного штучного інтелекту також вказує на те, що дані, згенеровані компанією-додатком, насправді не створюють бар'єру.
Перевага, побудована даними, крихка і нестійка, і наступне покоління базових моделей, швидше за все, безпосередньо зруйнує цю «стіну», навпаки, безперервні і стабільні користувачі можуть по-справжньому будувати джерела даних.
Для ринку на даний момент не існує забійних додатків для великогабаритних модельних продуктів, і поки невідомо, для яких сценаріїв він підходить.
У цю епоху, в яких продуктах він використовується і які програми можуть надати свою найбільшу цінність, ринок ще не дав набору методологій або стандартних відповідей, яким можна було б слідувати.
Одна з них полягає в тому, щоб удосконалити алгоритм самої великої моделі, не змінюючи «суті» моделі, краще покращити її розмір і підвищити її здатність розгортання на більшій кількості пристроїв;
На прикладі алгоритму Transformer, такі моделі з великою кількістю параметрів необхідно підлаштовувати в структуру, якщо вони хочуть працювати на торцевій стороні, тому за цей час народилося багато легких алгоритмів, таких як MobileViT.
Ці алгоритми спрямовані на покращення структури та кількості параметрів, не впливаючи на вихідний ефект, щоб вони могли працювати на більшій кількості пристроїв із меншими моделями.
Інший полягає в тому, щоб покращити обчислювальну потужність штучного інтелекту самого обладнання, щоб великі моделі могли краще приземлятися на торцевій стороні.
Такі методи включають багатоядерне проектування на апаратному забезпеченні та програмні стеки розробки, які використовуються для підвищення продуктивності апаратних обчислень та універсальності моделей на різних пристроях, щоб підвищити можливість посадки великих моделей на торцеву сторону.
Перше можна назвати адаптацією програмного забезпечення до заліза, а друге полягає в тому, що виробники обладнання підлаштовуються під зміну течії часу. Але в будь-якому випадку є ризик бути наздогнаним одними лише ставками. **
В епоху модульного живлення технології змінюються з кожним днем, і нові прориви можуть з'явитися з обох боків програмного та апаратного забезпечення, і як тільки не вистачить необхідних технічних резервів, вони можуть відстати.
Тож чи варто сліпо слідкувати за розвитком цієї хвилі технологій? Не зовсім.
**Для компаній, які відкрили власну цінність в епоху Інтернету та штучного інтелекту, вони також можуть досліджувати ідею третього рішення в епоху AIGC, засновану на власних сценаріях та накопиченні технологій. **
Візьмемо для прикладу Qualcomm, компанію зі штучним інтелектом, яка використовує як програмні, так і апаратні технології.
Зіткнувшись із проблемами технології великих моделей у різних сценаріях, Qualcomm вистрибнула з ідентичності компанії-виробника мікросхем і рано прийняла хвилю AIGC.
На додаток до постійного вдосконалення обчислювальної потужності штучного інтелекту чіпа на стороні терміналу, Qualcomm також розробляє базову технологію штучного інтелекту, прагнучи прискорити швидкість всієї індустрії інтелектуальних терміналів, щоб прийняти AIGC як сприятливе підприємство.
Однак існують і різні передбачувані труднощі в такому підході:
Як для більших і складніших моделей штучного інтелекту забезпечити продуктивність, забезпечуючи безперебійну роботу на терміналі?
Коли використовувати різні моделі для найкращого розподілу обчислювальної потужності між терміналами та хмарами?
Навіть якщо проблема розгортання великих моделей на стороні терміналу вирішена, яку частину слід розгорнути в хмарі, а яку на терміналі, і як зробити так, щоб це не постраждало на зв'язках і функціях між різними частинами великої моделі?
Якщо перевага в продуктивності на стороні терміналу недостатня, як її вирішити?
......
Ці проблеми не з'являються в окремому випадку, але вже існують у кожній галузі чи сценарії, на які впливає AIGC.
Незалежно від того, чи це революційний метод, чи реальний досвід посадки, відповідь можна дослідити лише на основі конкретних сценаріїв та галузевих кейсів.
**Як розбити туман "Модульної енергетичної ери"? **
AIGC вступила в другу фазу, великі моделі стають все більш популярними, а індустрія почала вивчати способи посадки.
** У офіційному документі Qualcomm «Гібридний штучний інтелект – майбутнє штучного інтелекту» згадувалося, що на прикладі смартфонів і ПК було багато випадків сценаріїв посадки AIGC у новій індустрії інтелектуальних терміналів на полі бою. **
Компанії вже впроваджують менші та більші моделі на стороні терміналу для більш персоналізованих завдань, включаючи пошук повідомлень, генерацію повідомлень-відповідей, зміну подій календаря та навігацію одним клацанням миші.
Наприклад, «забронювати улюблене місце в ресторані», виходячи з великої моделі, за даними аналізу даних користувачів улюблених ресторанів і вільних розкладів, дати рекомендації щодо планування, а результати додати в календар.
Qualcomm вважає, що через обмежену кількість великих параметрів моделі, розгорнутих терміналом, і відсутність мережі, може виникнути «ілюзія штучного інтелекту» при відповіді, і тоді вона може бути заснована на технології оркестратора для встановлення огорож, коли великій моделі не вистачає інформації для запобігання вищевказаним проблемам.
Якщо вас не влаштовує вміст, згенерований великою моделлю, ви також можете відправити запитання в хмару для виконання одним клацанням миші, а потім залишити відгук про результат генерації великої моделі з кращою відповіддю на стороні терміналу.
Таким чином, він може не тільки зменшити тиск на обчислювальну потужність великих моделей, що працюють у хмарі, але й гарантувати, що великі моделі можуть бути персоналізовані, максимально захищаючи конфіденційність користувачів.
У білій книзі Qualcomm представила клас нових технологій, які широко використовувалися в білій книзі, таких як спекулятивне декодування, яке деякий час тому стало пожежею.
Це метод, відкритий Google і DeepMind одночасно для прискорення виведення великих моделей, і може застосувати меншу велику модель для прискорення генерації великих моделей.
Простіше кажучи, вона полягає в тому, щоб заздалегідь навчити меншу модель і згенерувати партію «слів-кандидатів» для великої моделі, замість того, щоб дозволяти великій моделі «думати» і генерувати самостійно, і безпосередньо робити «вибір».
Оскільки швидкість генерації маленької моделі в кілька разів вища, ніж у великої, як тільки велика модель відчує, що слова, які вже є у маленької моделі, доступні, її можна взяти безпосередньо, не генеруючи її повільно самостійно.
Цей метод в основному використовує той факт, що на швидкість виведення великих моделей більше впливає пропускна здатність пам'яті, ніж збільшення обсягу обчислень.
У зв'язку з величезною кількістю параметрів і значно перевищує обсяг кеш-пам'яті, великі моделі, швидше за все, будуть обмежені пропускною здатністю пам'яті, ніж продуктивністю обчислювального обладнання під час висновків. Наприклад, GPT-3 потрібно зчитувати всі 175 мільярдів параметрів щоразу, коли він генерує слово, а обчислювальне обладнання часто простоює в очікуванні даних пам'яті з DRAM.
Іншими словами, коли модель робить пакетне висновування, різниця в часі між обробкою 100 токенів і одним токеном за раз невелика.
Таким чином, використання спекулятивної вибірки дозволяє не тільки легко запускати великі моделі з десятками мільярдів параметрів, але і переносити частину обчислювальних потужностей на сторону терміналу, забезпечуючи при цьому швидкість виведення при збереженні ефекту генерації великих моделей.
Але незалежно від того, чи це сценарій, чи технологія, врешті-решт, ми повинні знайти точки адаптації один одного, щоб отримати значну цінність застосування**, так само, як взаємозв'язок між програмним і апаратним забезпеченням нерозривний:
Прориви в програмних алгоритмах, такі як генеративний штучний інтелект, при пошуку сценаріїв посадки розумних терміналів неминуче зіткнуться з технічними вимогами в поєднанні з мобільним апаратним забезпеченням штучного інтелекту, таким як Qualcomm.
Включаючи смартфони, ПК, XR, автомобілі та Інтернет речей, як різні сегменти індустрії смарт-терміналів можуть знайти свою власну гру та цінність на основі точок доступу AIGC?
Як підприємствам скористатися цією хвилею часу, щоб стимулювати прикладну цінність цього типу технологій і не втратити можливість трансформації продуктивності в усій галузі?