Автор: Ху Синэр, стажер, Шао Вэнь, репортер The Paper.
Источник изображения: сгенерировано Unbounded AI
Дай Цюнхай, академик Китайской инженерной академии, сказал: «Наша страна должна углубить развитие персонала искусственного интеллекта и фундаментальные исследования с точки зрения политики, механизмов и инвестиций, укреплять оригинальные инновации и избегать дилеммы «воды». без источника».
Ван Юй, штатный профессор кафедры электронной инженерии Университета Цинхуа, отметил: «В Шанхае уже есть много производителей чипов, а также в Шанхае есть много алгоритмов. Как добиться эффективного и унифицированного развертывания и запуска таких алгоритмов на чипсы — это очень важный вопрос».
7 июля на форуме World Artificial Intelligence Conference 2023 «Общие возможности и риски развития индустрии искусственного интеллекта в эпоху крупномасштабных моделей» ряд экспертов в области общего искусственного интеллекта сосредоточились на крупномасштабных моделях соответственно от базовых инноваций, прикладных технологий и перспектив на будущее Углубленное обсуждение искусственного интеллекта на других уровнях.
«Наша страна должна углубить обучение талантов ИИ и фундаментальные исследования с точки зрения политики, механизмов и инвестиций, укрепить оригинальные инновации и избежать дилеммы «воды без источника»», — Дай Цюнхай, советник Государственного совета и академик. Китайской инженерной академии, подчеркнул в своем программном выступлении.
Ван Ю, штатный профессор и заведующий кафедрой электронной инженерии в Университете Цинхуа, сказал, что с точки зрения посадочных приложений в настоящее время сложно развертывать крупномасштабные модели в вертикальном поле, а отечественные крупномасштабные модели сталкиваются с тремя проблемами. : высокие затраты на развертывание в полевых условиях, большой разрыв в вычислительной мощности модели и сложность замены внутреннего чипа. «На последней миле приземления большой модели нам нужно соединить алгоритм с чипом», — сказал Ван Юй.
"Интеллект мозга — новое направление будущего"
Дай Цюнхай считает, что в инновациях большой модели «от 0 до 1» отечественные прорывные достижения в области фундаментальных исследований слабы. «С точки зрения индустрии интеллектуальных разработок мы одновременно и оптимистичны, и не оптимистичны.» По его мнению, большая часть талантов искусственного интеллекта Китая сосредоточена на прикладном уровне, поэтому есть много места для сценариев приложений и технологических уровней. Однако Китай явно находится в невыгодном положении с точки зрения талантов на базовом уровне и не имеет оригинальных инноваций.
Дай Цюнхай сказал, что инновации и развитие искусственного интеллекта требуют трех столпов, а именно алгоритмов, данных и вычислительной мощности. Алгоритмы определяют уровень интеллекта, данные определяют объем интеллекта, а вычислительная мощность определяет эффективность интеллекта. Ожидается, что на уровне алгоритмов большие модели станут ключевой базовой платформой в приложениях искусственного интеллекта примерно через пять лет.
Дай Цюнхай также отметил, что интеллект мозга — это новое направление в будущем. Новый алгоритм искусственного интеллекта, который объединяет мозг и познание, находится в авангарде отраслевой структуры и приведет к появлению нового поколения интеллекта. На форуме он предложил правительству поощрять предприятия к созданию крупномасштабных моделей, изучению комбинации биологических механизмов и характеристик машин, дальнейшему созданию новых парадигм искусственного интеллекта и одновременному содействию фундаментальным исследованиям и расширению приложений. Он предсказывает, что искусственный интеллект, в основе которого лежит когнитивный интеллект, начнет применяться через десять лет.
Кроме того, Дай Цюнхай считает, что необходимо проявлять бдительность в вопросах безопасности крупномасштабных моделей приложений. Большие модели еще не способны аутентифицировать выходные данные, такие как создание вводящего в заблуждение контента. «Это означает, что когда возникает проблема с применением большой модели, это не так просто, как текущий компьютерный сетевой вирус, просто убить и убить вирус, который окажет подрывное воздействие. Поэтому, когда большая модель безопасность и надежность должны сочетаться. Правдоподобность обсуждалась четко».
Домашние крупномасштабные модели должны быть сосредоточены на решении четырех проблем
Ван Юй сказал на форуме: «Шанхай очень обеспокоен искусственным интеллектом и чипами, но с другой точки зрения, наши самые передовые модели и относительно важная вычислительная мощность на самом деле подлежат определенным ограничениям. Наша вычислительная мощность должна быть больше. В каком направлении двигаться, как лучше восполнить внутренние вычислительные мощности и как поддержать развитие страны в обучении больших моделей и рассуждениях с таким пространством, эти вопросы стали чрезвычайно важными».
Ван Юй также упомянул, что в настоящее время в зарубежных странах только Nvidia и AMD могут выбирать чипы с большой вычислительной мощностью. Nvidia доминирует на рынке, и ее программная экосистема относительно хороша. «Поэтому различные иностранные модели, такие как OpenAI, Microsoft и Google, покупают чипы Nvidia в больших количествах, а затем разрабатывают их на основе программной среды Nvidia. Экология иностранцев очень проста. Предприятия хорошо справляются с алгоритмами. это поле, развертывание поддерживается программной системой Nvidia».
«Однако разработка чипов большой вычислительной мощности в Китае все еще находится в зачаточном состоянии», — считает Ван Юй, — «в Шанхае уже есть много компаний по производству чипов, таких как Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology и т. д. также много в Шанхае. Алгоритмы, как добиться эффективного и унифицированного развертывания и как запускать такие алгоритмы на микросхемах — очень важный вопрос».
В то же время Ван Юй подчеркнул, что в настоящее время очень сложно развертывать крупномасштабные модели в вертикальной области, и отечественные крупномасштабные модели сталкиваются с тремя основными проблемами: высокими затратами на развертывание в полевых условиях, большим разрывом в вычислительной мощности моделей, и сложность замены отечественных чипов.
«В отличие от модели прошлой эпохи ИИ 1.0, нацеленной на конкретную задачу, сегодняшняя эра ИИ 2.0 — это модель, которая решает несколько задач, и уровень приложений, уровень алгоритмов и системный уровень необходимо оптимизировать совместно», — сказал Ван Юй. в конце посадки большой модели Один километр, отечественные крупномасштабные модели должны сосредоточиться на решении четырех болевых точек.
«Сначала нам нужно решить проблему длинного текста, то есть правильно его использовать.» Ван Юй сказал, что текущая тенденция алгоритмов заключается в увеличении длины текста, поддерживаемого большими моделями, но длинный текст также приведет к всплеск нагрузки Transformer (Модель глубокого обучения, разработанная Google, на которой OpenAI разработала GPT) Нагрузка на архитектуру резко возрастает по мере того, как ввод становится длиннее. Поэтому корректировка длинного текста — крайне важное требование.
Еще одним требованием для больших моделей является улучшение экономической эффективности. «Если Google будет использовать большую модель в своей поисковой системе, это увеличит расходы на 36 миллиардов долларов США, а ее прибыль может быть потеряна на 65%». Ван Ю сказал, что если компания сможет снизить стоимость клика, общие потери прибыль может быть уменьшена. Двигаясь в этом направлении, ожидается, что каждый сможет позволить себе большие модели.
Кроме того, большие модели должны расширять возможности различных вертикальных полей.Для всех слоев общества не так много больших моделей, обладающих большим объемом знаний. Особенно в таких областях, как медицина и финансы, получение корпусных данных дорого и очень редко. «Если вы сможете добавить базовую модель общего назначения и настроить ее, ожидается дальнейшее улучшение основных показателей различных отраслей». большая модель должна быть доработана, и чем больше модель, тем стоимость доводки также значительно возрастает. Поэтому вопрос о том, как разработать эффективный алгоритм тонкой настройки, требует обсуждения.
В то же время большие модели предъявляют новые требования к универсальному развертыванию. При оптимизации программного и аппаратного обеспечения, если оптимизация оператора, оптимизация компиляции и развертывание оборудования развертываются по уровням, требуется в общей сложности 100 человек в день, в то время как для универсального автоматизированного развертывания требуется только 10 человек в день. Ван Юй отметил, что комплексное развертывание может оптимизировать затраты на рабочую силу, еще больше увеличить масштаб пространства для оптимизации компиляции и, как ожидается, будет способствовать развитию всей производственной цепочки.
Посмотреть Оригинал
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Решаем проблему отечественных масштабных моделей: избегаем «пассивной воды», на последней миле нужно подключать алгоритмы и чипы
Источник: Бумага
Автор: Ху Синэр, стажер, Шао Вэнь, репортер The Paper.
Дай Цюнхай, академик Китайской инженерной академии, сказал: «Наша страна должна углубить развитие персонала искусственного интеллекта и фундаментальные исследования с точки зрения политики, механизмов и инвестиций, укреплять оригинальные инновации и избегать дилеммы «воды». без источника».
Ван Юй, штатный профессор кафедры электронной инженерии Университета Цинхуа, отметил: «В Шанхае уже есть много производителей чипов, а также в Шанхае есть много алгоритмов. Как добиться эффективного и унифицированного развертывания и запуска таких алгоритмов на чипсы — это очень важный вопрос».
7 июля на форуме World Artificial Intelligence Conference 2023 «Общие возможности и риски развития индустрии искусственного интеллекта в эпоху крупномасштабных моделей» ряд экспертов в области общего искусственного интеллекта сосредоточились на крупномасштабных моделях соответственно от базовых инноваций, прикладных технологий и перспектив на будущее Углубленное обсуждение искусственного интеллекта на других уровнях.
«Наша страна должна углубить обучение талантов ИИ и фундаментальные исследования с точки зрения политики, механизмов и инвестиций, укрепить оригинальные инновации и избежать дилеммы «воды без источника»», — Дай Цюнхай, советник Государственного совета и академик. Китайской инженерной академии, подчеркнул в своем программном выступлении.
Ван Ю, штатный профессор и заведующий кафедрой электронной инженерии в Университете Цинхуа, сказал, что с точки зрения посадочных приложений в настоящее время сложно развертывать крупномасштабные модели в вертикальном поле, а отечественные крупномасштабные модели сталкиваются с тремя проблемами. : высокие затраты на развертывание в полевых условиях, большой разрыв в вычислительной мощности модели и сложность замены внутреннего чипа. «На последней миле приземления большой модели нам нужно соединить алгоритм с чипом», — сказал Ван Юй.
"Интеллект мозга — новое направление будущего"
Дай Цюнхай считает, что в инновациях большой модели «от 0 до 1» отечественные прорывные достижения в области фундаментальных исследований слабы. «С точки зрения индустрии интеллектуальных разработок мы одновременно и оптимистичны, и не оптимистичны.» По его мнению, большая часть талантов искусственного интеллекта Китая сосредоточена на прикладном уровне, поэтому есть много места для сценариев приложений и технологических уровней. Однако Китай явно находится в невыгодном положении с точки зрения талантов на базовом уровне и не имеет оригинальных инноваций.
Дай Цюнхай сказал, что инновации и развитие искусственного интеллекта требуют трех столпов, а именно алгоритмов, данных и вычислительной мощности. Алгоритмы определяют уровень интеллекта, данные определяют объем интеллекта, а вычислительная мощность определяет эффективность интеллекта. Ожидается, что на уровне алгоритмов большие модели станут ключевой базовой платформой в приложениях искусственного интеллекта примерно через пять лет.
Дай Цюнхай также отметил, что интеллект мозга — это новое направление в будущем. Новый алгоритм искусственного интеллекта, который объединяет мозг и познание, находится в авангарде отраслевой структуры и приведет к появлению нового поколения интеллекта. На форуме он предложил правительству поощрять предприятия к созданию крупномасштабных моделей, изучению комбинации биологических механизмов и характеристик машин, дальнейшему созданию новых парадигм искусственного интеллекта и одновременному содействию фундаментальным исследованиям и расширению приложений. Он предсказывает, что искусственный интеллект, в основе которого лежит когнитивный интеллект, начнет применяться через десять лет.
Кроме того, Дай Цюнхай считает, что необходимо проявлять бдительность в вопросах безопасности крупномасштабных моделей приложений. Большие модели еще не способны аутентифицировать выходные данные, такие как создание вводящего в заблуждение контента. «Это означает, что когда возникает проблема с применением большой модели, это не так просто, как текущий компьютерный сетевой вирус, просто убить и убить вирус, который окажет подрывное воздействие. Поэтому, когда большая модель безопасность и надежность должны сочетаться. Правдоподобность обсуждалась четко».
Домашние крупномасштабные модели должны быть сосредоточены на решении четырех проблем
Ван Юй сказал на форуме: «Шанхай очень обеспокоен искусственным интеллектом и чипами, но с другой точки зрения, наши самые передовые модели и относительно важная вычислительная мощность на самом деле подлежат определенным ограничениям. Наша вычислительная мощность должна быть больше. В каком направлении двигаться, как лучше восполнить внутренние вычислительные мощности и как поддержать развитие страны в обучении больших моделей и рассуждениях с таким пространством, эти вопросы стали чрезвычайно важными».
Ван Юй также упомянул, что в настоящее время в зарубежных странах только Nvidia и AMD могут выбирать чипы с большой вычислительной мощностью. Nvidia доминирует на рынке, и ее программная экосистема относительно хороша. «Поэтому различные иностранные модели, такие как OpenAI, Microsoft и Google, покупают чипы Nvidia в больших количествах, а затем разрабатывают их на основе программной среды Nvidia. Экология иностранцев очень проста. Предприятия хорошо справляются с алгоритмами. это поле, развертывание поддерживается программной системой Nvidia».
«Однако разработка чипов большой вычислительной мощности в Китае все еще находится в зачаточном состоянии», — считает Ван Юй, — «в Шанхае уже есть много компаний по производству чипов, таких как Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology и т. д. также много в Шанхае. Алгоритмы, как добиться эффективного и унифицированного развертывания и как запускать такие алгоритмы на микросхемах — очень важный вопрос».
В то же время Ван Юй подчеркнул, что в настоящее время очень сложно развертывать крупномасштабные модели в вертикальной области, и отечественные крупномасштабные модели сталкиваются с тремя основными проблемами: высокими затратами на развертывание в полевых условиях, большим разрывом в вычислительной мощности моделей, и сложность замены отечественных чипов.
«В отличие от модели прошлой эпохи ИИ 1.0, нацеленной на конкретную задачу, сегодняшняя эра ИИ 2.0 — это модель, которая решает несколько задач, и уровень приложений, уровень алгоритмов и системный уровень необходимо оптимизировать совместно», — сказал Ван Юй. в конце посадки большой модели Один километр, отечественные крупномасштабные модели должны сосредоточиться на решении четырех болевых точек.
«Сначала нам нужно решить проблему длинного текста, то есть правильно его использовать.» Ван Юй сказал, что текущая тенденция алгоритмов заключается в увеличении длины текста, поддерживаемого большими моделями, но длинный текст также приведет к всплеск нагрузки Transformer (Модель глубокого обучения, разработанная Google, на которой OpenAI разработала GPT) Нагрузка на архитектуру резко возрастает по мере того, как ввод становится длиннее. Поэтому корректировка длинного текста — крайне важное требование.
Еще одним требованием для больших моделей является улучшение экономической эффективности. «Если Google будет использовать большую модель в своей поисковой системе, это увеличит расходы на 36 миллиардов долларов США, а ее прибыль может быть потеряна на 65%». Ван Ю сказал, что если компания сможет снизить стоимость клика, общие потери прибыль может быть уменьшена. Двигаясь в этом направлении, ожидается, что каждый сможет позволить себе большие модели.
Кроме того, большие модели должны расширять возможности различных вертикальных полей.Для всех слоев общества не так много больших моделей, обладающих большим объемом знаний. Особенно в таких областях, как медицина и финансы, получение корпусных данных дорого и очень редко. «Если вы сможете добавить базовую модель общего назначения и настроить ее, ожидается дальнейшее улучшение основных показателей различных отраслей». большая модель должна быть доработана, и чем больше модель, тем стоимость доводки также значительно возрастает. Поэтому вопрос о том, как разработать эффективный алгоритм тонкой настройки, требует обсуждения.
В то же время большие модели предъявляют новые требования к универсальному развертыванию. При оптимизации программного и аппаратного обеспечения, если оптимизация оператора, оптимизация компиляции и развертывание оборудования развертываются по уровням, требуется в общей сложности 100 человек в день, в то время как для универсального автоматизированного развертывания требуется только 10 человек в день. Ван Юй отметил, что комплексное развертывание может оптимизировать затраты на рабочую силу, еще больше увеличить масштаб пространства для оптимизации компиляции и, как ожидается, будет способствовать развитию всей производственной цепочки.