Автор: Ху Сінер, стажер, Шао Вень, репортер The Paper
Джерело зображення: створено Unbounded AI
Дай Цюнхай, академік Китайської інженерної академії, сказав: «Наша країна повинна поглибити розвиток кадрів штучного інтелекту та фундаментальних досліджень з точки зору політики, механізмів та інвестицій, посилити оригінальні інновації та уникати потрапляння в дилему «води». без джерела».
Ван Юй, постійний професор кафедри електронної інженерії Університету Цінхуа, зазначив: «У Шанхаї вже є багато компаній-виробників чіпів, і в Шанхаї також є багато алгоритмів. Як досягти ефективного та єдиного розгортання та запускати такі алгоритми на чіпси – це дуже важливе питання».
7 липня на Всесвітній конференції зі штучного інтелекту 2023 року «Можливості та ризики розвитку індустрії загального штучного інтелекту в епоху великомасштабних моделей» ряд експертів у галузі загального штучного інтелекту зосередилися на великомасштабних моделях, відповідно від базових інновацій, прикладних технологій і майбутніх перспектив.Поглиблене обговорення штучного інтелекту на інших рівнях.
«Наша країна повинна поглибити підготовку кадрів у галузі штучного інтелекту та фундаментальні дослідження з точки зору політики, механізмів та інвестицій, зміцнити оригінальні інновації та уникати дилеми «вода без джерела».» Дай Цюнхай, радник Державної ради та академік китайської інженерної академії, підкреслив у своїй програмній промові.
Ван Юй, постійний професор і завідувач кафедри електронної інженерії в Університеті Цінхуа, сказав, що з точки зору програм посадки наразі важко розгортати великомасштабні моделі у вертикальному полі, а вітчизняні великомасштабні моделі стикаються з трьома проблемами. : високі витрати на розгортання на місці, великий розрив у обчислювальній потужності моделі та складна заміна чіпа в домашніх умовах. «На останній милі приземлення великої моделі нам потрібно з’єднати алгоритм із чіпом», — сказав Ван Ю.
"Мозковий інтелект - новий напрямок майбутнього"
Дай Цюнхай вважає, що в інновації великої моделі «0 до 1» вітчизняні проривні досягнення в галузі фундаментальних досліджень слабкі. «З точки зору індустрії інтелектуальних розробок, ми як оптимісти, так і не оптимісти.» На його думку, більшість китайських талантів у сфері штучного інтелекту зосереджено на прикладному рівні, тому є багато місця для прикладних сценаріїв і технологічних рівнів. Однак Китай, очевидно, перебуває в невигідному становищі з точки зору талантів на базовому рівні та не має оригінальних інновацій.
Дай Цюнхай сказав, що для інновацій та розвитку штучного інтелекту потрібні три стовпи, а саме алгоритми, дані та обчислювальна потужність. Алгоритми визначають рівень інтелекту, дані визначають обсяг інтелекту, а обчислювальна потужність визначає ефективність інтелекту. Очікується, що на рівні алгоритму великі моделі стануть основною базовою платформою в додатках штучного інтелекту приблизно через п’ять років.
Дай Цюнхай також зазначив, що інтелект мозку є новим напрямком у майбутньому. Новий алгоритм штучного інтелекту, який об’єднує мозок і когнітивні здібності, займає перше місце в макеті галузі та стане лідером інтелекту нового покоління. На форумі він запропонував уряду заохочувати підприємства очолити будівництво великомасштабних моделей, досліджувати поєднання біологічних механізмів і характеристик машин, створювати нові парадигми штучного інтелекту, а також одночасно сприяти фундаментальним дослідженням і розширенню додатків. Він прогнозує, що штучний інтелект, основою якого є когнітивний інтелект, почне застосовуватися через десять років.
Крім того, Dai Qionghai вважає, що необхідно бути пильним щодо питань безпеки великомасштабних модельних додатків. Великі моделі ще не можуть автентифікувати вихідні дані, наприклад генерувати оманливий вміст. «Це означає, що як тільки виникає проблема із застосуванням великої моделі, це не так просто, як поточний вірус комп’ютерної мережі, просто вбивати та вбивати вірус, який матиме підривний вплив. Тому, коли велика модель є застосовано, безпека та надійність повинні поєднуватися. Правдоподібність була чітко обговорена».
Вітчизняні великомасштабні моделі повинні зосередитися на вирішенні чотирьох проблемних точок
Ван Юй сказав на форумі: «Шанхай дуже стурбований штучним інтелектом і чіпами, але з іншої точки зору, наші найдосконаліші моделі та відносно важлива обчислювальна потужність насправді підпадають під певні обмеження. Наша обчислювальна потужність має бути більшою. У якому напрямку рухатися, як краще компенсувати внутрішню обчислювальну потужність і як підтримати розвиток країни у навчанні великої моделі та міркуванні з таким простором, ці питання стали надзвичайно важливими».
Ван Ю також зазначив, що в даний час в інших країнах тільки Nvidia і AMD можуть вибирати чіпи з великою обчислювальною потужністю. Nvidia домінує на ринку, і її екосистема програмного забезпечення відносно хороша. «Тож різні іноземні моделі, такі як OpenAI, Microsoft і Google, закуповують чіпи Nvidia у великих кількостях, а потім розробляють їх на основі програмного середовища Nvidia. Іноземна екологія дуже проста. Підприємства добре працюють над алгоритмами. у цьому полі розгортання підтримується системою програмного забезпечення Nvidia».
«Однак розробка чіпів великої обчислювальної потужності в Китаї все ще знаходиться в зародковому стані». Ван Юй вважає: «У Шанхаї вже є багато компаній, що займаються виробництвом мікросхем, таких як Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology тощо. також багато в Шанхаї. Алгоритми, як досягти ефективного та уніфікованого розгортання та як запускати такі алгоритми на мікросхемах, є дуже важливим питанням».
У той же час Ван Ю підкреслив, що зараз дуже важко розгортати великомасштабні моделі у вертикальному полі, і вітчизняні великомасштабні моделі стикаються з трьома основними проблемами: високі витрати на розгортання на місцях, великий розрив у обчислювальній потужності моделей, і складність заміни вітчизняних мікросхем.
«На відміну від моделі минулої ери AI 1.0, яка була націлена на конкретне завдання, сьогоднішня ера AI 2.0 — це модель, яка вирішує кілька завдань, а прикладний рівень, рівень алгоритмів і системний рівень потребують спільної оптимізації», — сказав Ван Юй. наприкінці посадки великої моделі Один кілометр вітчизняні великомасштабні моделі повинні зосередитися на вирішенні чотирьох больових точок.
«Спочатку нам потрібно розібратися з проблемою довгого тексту, тобто добре його використовувати.» Ван Юй сказав, що поточна тенденція алгоритмів полягає у збільшенні довжини тексту, який підтримується великими моделями, але довгий текст також призведе до стрибок навантаження Transformer (модель глибокого навчання, розроблена Google, на основі якої OpenAI розробив GPT) Навантаження на архітектуру різко зростає, коли вхід стає довшим. Тому коригування довгого тексту є надзвичайно важливою вимогою.
Ще однією вимогою до великих моделей є покращення економічності. «Якщо Google використовує велику модель у своїй пошуковій системі, це збільшить витрати на 36 мільярдів доларів США, а його прибуток може бути втрачений на 65%». Ван Ю сказав, що якщо компанія зможе зменшити вартість кліку, загальні втрати прибутку може бути зменшено. Рухаючись у цьому напрямку, очікується, що кожен зможе дозволити собі великі моделі.
Крім того, великі моделі потребують розширення можливостей різноманітних вертикальних полів.Для всіх сфер життя існує небагато великих моделей, які мають багато знань. Особливо в таких сферах, як медична допомога та фінанси, отримання корпусних даних є дорогим і дуже дефіцитним. «Якщо ви можете додати базову модель загального призначення та налаштувати її, очікується, що базова продуктивність різних галузей буде покращена.» Але Ван Юй також зазначив, що якщо вона розвиватиметься у вертикальному полі, загального призначення. велика модель повинна бути налаштована, і чим більша модель, вартість точної настройки також значно зростає. Таким чином, як розробити ефективний алгоритм тонкого налаштування, це тема, яку потрібно обговорити.
У той же час великі моделі висувають нові вимоги до єдиного розгортання. Під час оптимізації програмного та апаратного забезпечення, якщо операторська оптимізація, оптимізація компіляції та розгортання апаратного забезпечення розгортаються пошарово, загалом потрібно 100 робочих сил на день, тоді як для одноразового автоматизованого розгортання потрібно лише 10 робочих сил на день. Ван Ю зазначив, що комплексне розгортання може оптимізувати витрати на оплату праці, ще більше збільшити масштаби простору для оптимізації компіляції та, як очікується, сприятиме розвитку всього промислового ланцюга.
Переглянути оригінал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Вирішити проблему вітчизняних великогабаритних моделей: уникнути «пасивної води», остання миля потребує підключення алгоритмів і чіпів
Джерело: The Paper
Автор: Ху Сінер, стажер, Шао Вень, репортер The Paper
Дай Цюнхай, академік Китайської інженерної академії, сказав: «Наша країна повинна поглибити розвиток кадрів штучного інтелекту та фундаментальних досліджень з точки зору політики, механізмів та інвестицій, посилити оригінальні інновації та уникати потрапляння в дилему «води». без джерела».
Ван Юй, постійний професор кафедри електронної інженерії Університету Цінхуа, зазначив: «У Шанхаї вже є багато компаній-виробників чіпів, і в Шанхаї також є багато алгоритмів. Як досягти ефективного та єдиного розгортання та запускати такі алгоритми на чіпси – це дуже важливе питання».
7 липня на Всесвітній конференції зі штучного інтелекту 2023 року «Можливості та ризики розвитку індустрії загального штучного інтелекту в епоху великомасштабних моделей» ряд експертів у галузі загального штучного інтелекту зосередилися на великомасштабних моделях, відповідно від базових інновацій, прикладних технологій і майбутніх перспектив.Поглиблене обговорення штучного інтелекту на інших рівнях.
«Наша країна повинна поглибити підготовку кадрів у галузі штучного інтелекту та фундаментальні дослідження з точки зору політики, механізмів та інвестицій, зміцнити оригінальні інновації та уникати дилеми «вода без джерела».» Дай Цюнхай, радник Державної ради та академік китайської інженерної академії, підкреслив у своїй програмній промові.
Ван Юй, постійний професор і завідувач кафедри електронної інженерії в Університеті Цінхуа, сказав, що з точки зору програм посадки наразі важко розгортати великомасштабні моделі у вертикальному полі, а вітчизняні великомасштабні моделі стикаються з трьома проблемами. : високі витрати на розгортання на місці, великий розрив у обчислювальній потужності моделі та складна заміна чіпа в домашніх умовах. «На останній милі приземлення великої моделі нам потрібно з’єднати алгоритм із чіпом», — сказав Ван Ю.
"Мозковий інтелект - новий напрямок майбутнього"
Дай Цюнхай вважає, що в інновації великої моделі «0 до 1» вітчизняні проривні досягнення в галузі фундаментальних досліджень слабкі. «З точки зору індустрії інтелектуальних розробок, ми як оптимісти, так і не оптимісти.» На його думку, більшість китайських талантів у сфері штучного інтелекту зосереджено на прикладному рівні, тому є багато місця для прикладних сценаріїв і технологічних рівнів. Однак Китай, очевидно, перебуває в невигідному становищі з точки зору талантів на базовому рівні та не має оригінальних інновацій.
Дай Цюнхай сказав, що для інновацій та розвитку штучного інтелекту потрібні три стовпи, а саме алгоритми, дані та обчислювальна потужність. Алгоритми визначають рівень інтелекту, дані визначають обсяг інтелекту, а обчислювальна потужність визначає ефективність інтелекту. Очікується, що на рівні алгоритму великі моделі стануть основною базовою платформою в додатках штучного інтелекту приблизно через п’ять років.
Дай Цюнхай також зазначив, що інтелект мозку є новим напрямком у майбутньому. Новий алгоритм штучного інтелекту, який об’єднує мозок і когнітивні здібності, займає перше місце в макеті галузі та стане лідером інтелекту нового покоління. На форумі він запропонував уряду заохочувати підприємства очолити будівництво великомасштабних моделей, досліджувати поєднання біологічних механізмів і характеристик машин, створювати нові парадигми штучного інтелекту, а також одночасно сприяти фундаментальним дослідженням і розширенню додатків. Він прогнозує, що штучний інтелект, основою якого є когнітивний інтелект, почне застосовуватися через десять років.
Крім того, Dai Qionghai вважає, що необхідно бути пильним щодо питань безпеки великомасштабних модельних додатків. Великі моделі ще не можуть автентифікувати вихідні дані, наприклад генерувати оманливий вміст. «Це означає, що як тільки виникає проблема із застосуванням великої моделі, це не так просто, як поточний вірус комп’ютерної мережі, просто вбивати та вбивати вірус, який матиме підривний вплив. Тому, коли велика модель є застосовано, безпека та надійність повинні поєднуватися. Правдоподібність була чітко обговорена».
Вітчизняні великомасштабні моделі повинні зосередитися на вирішенні чотирьох проблемних точок
Ван Юй сказав на форумі: «Шанхай дуже стурбований штучним інтелектом і чіпами, але з іншої точки зору, наші найдосконаліші моделі та відносно важлива обчислювальна потужність насправді підпадають під певні обмеження. Наша обчислювальна потужність має бути більшою. У якому напрямку рухатися, як краще компенсувати внутрішню обчислювальну потужність і як підтримати розвиток країни у навчанні великої моделі та міркуванні з таким простором, ці питання стали надзвичайно важливими».
Ван Ю також зазначив, що в даний час в інших країнах тільки Nvidia і AMD можуть вибирати чіпи з великою обчислювальною потужністю. Nvidia домінує на ринку, і її екосистема програмного забезпечення відносно хороша. «Тож різні іноземні моделі, такі як OpenAI, Microsoft і Google, закуповують чіпи Nvidia у великих кількостях, а потім розробляють їх на основі програмного середовища Nvidia. Іноземна екологія дуже проста. Підприємства добре працюють над алгоритмами. у цьому полі розгортання підтримується системою програмного забезпечення Nvidia».
«Однак розробка чіпів великої обчислювальної потужності в Китаї все ще знаходиться в зародковому стані». Ван Юй вважає: «У Шанхаї вже є багато компаній, що займаються виробництвом мікросхем, таких як Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology тощо. також багато в Шанхаї. Алгоритми, як досягти ефективного та уніфікованого розгортання та як запускати такі алгоритми на мікросхемах, є дуже важливим питанням».
У той же час Ван Ю підкреслив, що зараз дуже важко розгортати великомасштабні моделі у вертикальному полі, і вітчизняні великомасштабні моделі стикаються з трьома основними проблемами: високі витрати на розгортання на місцях, великий розрив у обчислювальній потужності моделей, і складність заміни вітчизняних мікросхем.
«На відміну від моделі минулої ери AI 1.0, яка була націлена на конкретне завдання, сьогоднішня ера AI 2.0 — це модель, яка вирішує кілька завдань, а прикладний рівень, рівень алгоритмів і системний рівень потребують спільної оптимізації», — сказав Ван Юй. наприкінці посадки великої моделі Один кілометр вітчизняні великомасштабні моделі повинні зосередитися на вирішенні чотирьох больових точок.
«Спочатку нам потрібно розібратися з проблемою довгого тексту, тобто добре його використовувати.» Ван Юй сказав, що поточна тенденція алгоритмів полягає у збільшенні довжини тексту, який підтримується великими моделями, але довгий текст також призведе до стрибок навантаження Transformer (модель глибокого навчання, розроблена Google, на основі якої OpenAI розробив GPT) Навантаження на архітектуру різко зростає, коли вхід стає довшим. Тому коригування довгого тексту є надзвичайно важливою вимогою.
Ще однією вимогою до великих моделей є покращення економічності. «Якщо Google використовує велику модель у своїй пошуковій системі, це збільшить витрати на 36 мільярдів доларів США, а його прибуток може бути втрачений на 65%». Ван Ю сказав, що якщо компанія зможе зменшити вартість кліку, загальні втрати прибутку може бути зменшено. Рухаючись у цьому напрямку, очікується, що кожен зможе дозволити собі великі моделі.
Крім того, великі моделі потребують розширення можливостей різноманітних вертикальних полів.Для всіх сфер життя існує небагато великих моделей, які мають багато знань. Особливо в таких сферах, як медична допомога та фінанси, отримання корпусних даних є дорогим і дуже дефіцитним. «Якщо ви можете додати базову модель загального призначення та налаштувати її, очікується, що базова продуктивність різних галузей буде покращена.» Але Ван Юй також зазначив, що якщо вона розвиватиметься у вертикальному полі, загального призначення. велика модель повинна бути налаштована, і чим більша модель, вартість точної настройки також значно зростає. Таким чином, як розробити ефективний алгоритм тонкого налаштування, це тема, яку потрібно обговорити.
У той же час великі моделі висувають нові вимоги до єдиного розгортання. Під час оптимізації програмного та апаратного забезпечення, якщо операторська оптимізація, оптимізація компіляції та розгортання апаратного забезпечення розгортаються пошарово, загалом потрібно 100 робочих сил на день, тоді як для одноразового автоматизованого розгортання потрібно лише 10 робочих сил на день. Ван Ю зазначив, що комплексне розгортання може оптимізувати витрати на оплату праці, ще більше збільшити масштаби простору для оптимізації компіляції та, як очікується, сприятиме розвитку всього промислового ланцюга.