Большая модель помещается на мобильный телефон, открывая занавес для ИИ, чтобы изменить мир

Первоисточник: Geek Park

Автор: Цзин Юй

Источник изображения: Generated by Unbounded AI

Открыв интерфейс камеры, ведущий делает снимок пейзажа перед собой. В альбоме найдите это изображение и выберите функцию «Развернуть», но периферийная часть, которая не попала на фото, волшебным образом «развернулась» на периферию.

С другой стороны, мобильный телефон, похоже, используется для того, чтобы делать селфи для посетителей, и когда вы войдете в область его фронтальной камеры, вы обнаружите, что фон изображения человека на снимке сменяется в режиме реального времени, даже если селфи-человек продолжает двигаться, виртуальный фон не изнашивается, а задержка почти не ощущается.

Изменение фона селфи в режиме реального времени |

А если присмотреться, то можно обнаружить, что все телефоны, используемые для демонстрации, находятся в режиме полета - то есть все вышеперечисленные усложнения работают на локальном чипе телефона.

Это демонстрационный зал саммита Qualcomm Snapdragon Summit 2023 года, а функции искусственного интеллекта, продемонстрированные вышеуказанными мобильными телефонами, полагаются на вычислительную мощность процессорного чипа Snapdragon 8 Gen 3 (третьего поколения Snapdragon 8), который только что был представлен на конференции.

На данный момент, когда большие модели с искусственным интеллектом пользуются популярностью, Qualcomm на пресс-конференции этого года выпустила два новых продукта, чипы Snapdragon X Elite и Snapdragon 8 Gen 3 соответственно на мобильных устройствах, представленных ПК и смартфонами, реализуя локальную работу десятков миллиардов больших моделей с параметрами, что делает волшебную способность генеративного ИИ «встроенной функцией» мобильных устройств.

В дополнение к «облачному ИИ», с быстрым развитием чипов, был реализован «терминальный ИИ», и, возможно, наступила эра «гибридного ИИ», в которой они работают вместе.

01 ИИ, от ЦОД до мобильных телефонов и ПК

«Мы только что стали свидетелями начала следующей трансформации, и она имеет далеко идущие последствия. **」

Президент и генеральный директор Qualcomm Кристиано Амон (Cristiano Amon) сделал прогноз о «гибридном искусственном интеллекте», объединяющем устройства и облако, когда описывал мобильный телефон от обычных телефонов к смартфонам, а затем и к будущему.

На саммите Qualcomm Snapdragon Аммон объяснил, что наступила эра «терминального ИИ»|Geek Park

Искусственный интеллект в облаке, как и многие современные приложения для общения с генеративным искусственным интеллектом, возможно, не является чем-то новым, но реализация терминального ИИ имеет высокие требования к аппаратному обеспечению, поэтому два новых чипа на пресс-конференции Qualcomm - Snapdragon X Elite и Snapdragon 8 Gen 3 - особенно привлекают внимание.

Пожалуй, самым захватывающим событием дня стало то, что процессор Ryon на Snapdragon X Elite не только превзошел гордый чип Apple M2 MAX** и Intel i9-13980HX с точки зрения производительности в одном потоке, но и потреблял на 70% меньше энергии, чем последний при той же производительности.

Более того, мощный процессор Orion, Hexagon NPU и графический процессор Adreno при поддержке гетерогенного движка искусственного интеллекта X Elite могут достичь общей вычислительной мощности в 75 TOPs в трех процессорных блоках.

Супервычислительная мощность позволяет успешно реализовать опыт общения генеративного ИИ, который ранее был доступен только в облаке, в локальной среде компьютера, оснащенного чипом Snapdragon X Elite, который может запускать большие языковые модели с количеством параметров до 13 миллиардов на стороне ПК, а скорость генерации токенов достигает 30 токенов в секунду, что быстрее, чем скорость чтения пользователя; В то же время изображения, сгенерированные с помощью Stable Diffusion, получаются удивительно быстрыми менее чем за 1 секунду.

Недавно выпущенный процессор Oryon по скорости и энергопотреблению являются одними из лучших в мире

В полевых условиях, когда вы нажимаете пальцем кнопку «Создать» и изображение может быть завершено в одно мгновение, опыт потрясающий, потому что люди уже давно привыкли ждать генеративного диалога, чтобы создать изображение, от размытого до четкого.

Как флагманский чип смартфона, Snapdragon 8 Gen 3 не сильно отстает от X Elite, а с точки зрения ИИ может не только локально запускать большую модель с десятками миллиардов параметров, но и генерировать изображения всего за 0,6 секунды.

Только за первый квартал этого года демо-версия Qualcomm смогла локально запустить только большую модель с 1 миллиардом параметров, а скорость генерации изображений контролировалась до 15 секунд. Какую «магию» использует Qualcomm, чтобы заставить «терминальный ИИ» делать большие скачки?

В случае Snapdragon 8 Gen 3 Qualcomm** сначала квантовает большую модель, такую как Llama 2, сжимает ее с помощью программного стека искусственного интеллекта и загружает квантованную модель в сверхскоростную память DDR**, которая может вводить модель в Hexagon NPU со сверхвысокой пропускной способностью для работы.

AI Engine от Qualcomm оптимизирован специально для ИИ |

Qualcomm внесла значительные улучшения в микроархитектуру. В дополнение к модернизации аппаратного обеспечения микросрезового логического вывода, команда также добавила отдельные дорожки подачи питания в тензорный ускоритель для оптимальной производительности и энергоэффективности. В то же время Qualcomm увеличила тактовую частоту скалярных и векторных ускорителей и удвоила пропускную способность большой разделяемой памяти. Эти усовершенствования в Hexagon NPU делают его ведущим ускорителем для вывода больших моделей.

Qualcomm также использует технику «спекулятивного декодирования» в голосовых разговорах, которая также впервые используется на терминале. Эта технология использует алгоритм «черновой модели», который почти вдвое меньше исходной модели, и быстро генерирует 3 спекулятивных токена после выполнения большого количества логических выводов на ЦП.

Мастер-модель обрабатывает сразу все 3 тега и решает, какой из них принять. Хорошая модель драфта предсказывает следующий токен с высоким уровнем принятия, удваивая скорость генерации токенов при сохранении точности. Наконец, голос, генерируемый ИИ-помощником, генерируется моделью ИИ, преобразующей текст в речь, работающей на ЦП.

Это процесс, в котором Qualcomm AI Engine (NPU) в сочетании с центральным процессором, графическим процессором, концентратором датчиков Qualcomm и сверхбыстрой памятью работают вместе, чтобы завершить сценарий использования ИИ на стороне устройства.

Тем не менее, за сложными, но эффективными примерами применения генеративного ИИ стоит длительное накопление и исследование Qualcomm в направлении ИИ на стороне устройств.

02 Эволюция терминального ИИ

Если говорить об эволюции облачного оборудования ИИ в сценарии дата-центра, то символом является видеокарта NVIDIA; Тогда развитие ИИ на стороне устройства отмечено движком Qualcomm AI, конечно же, самой критичной частью аппаратного уровня является постоянно развивающийся процессор Snapdragon Hexagon NPU.

Еще в 2007 году компания Qualcomm представила первый процессор Hexagon на платформе Snapdragon.

В 2015 году Qualcomm интегрировала технологию искусственного интеллекта в свои процессоры, используя искусственный интеллект для улучшения вычислений изображений, звука и датчиков.

В 2017 году Qualcomm представила Hexagon 685 DSP в чипе Snapdragon 845, который позволяет смартфонам быстрее выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и обработка голоса.

В следующем, 2018 году, Snapdragon 855 обновил свой движок искусственного интеллекта четвертого поколения, добавив тензорные ускорители к процессору Hexagon, что привело к 3-кратному увеличению производительности обработки ИИ.

В Snapdragon 865 был представлен Hexagon 698 DSP, обеспечивающий большую производительность и эффективность искусственного интеллекта. В этом выпуске особое внимание уделяется ускорению ИИ и оптимизируется выполнение моделей ИИ для более быстрого запуска приложений ИИ на смартфонах. Hexagon 780 DSP в Snapdragon 888 в конце 2020 года обеспечивает производительность искусственного интеллекта до 26 TOPS.

После более чем десяти лет эволюции возможности искусственного интеллекта вычислительной платформы Snapdragon выросли в 100 раз

До сих пор чипы Snapdragon X Elite и 8 Gen 3 были способны обеспечить 75 ТОПов вычислительной мощности — если сделать график вычислительной мощности ИИ чипов Qualcomm за последние семь лет, то можно увидеть, что «кривая ИИ» показала крутой восходящий тренд, и он до сих пор не остановился.

В дополнение к аппаратному обеспечению, усилия Qualcomm на уровне программного обеспечения ИИ также необходимы для улучшения возможностей терминального ИИ. Программный стек Qualcomm AI объединяет все программные продукты Qualcomm AI в единое решение. OEM-производители и разработчики могут создавать, оптимизировать и развертывать приложения ИИ на основе продуктов Qualcomm, используя все преимущества производительности Qualcomm AI Engine, что позволяет разработчикам ИИ создавать модели ИИ один раз и развертывать их в разных продуктах.

На саммите Snapdragon Summit компания Qualcomm также представила модели программного стека искусственного интеллекта — набор моделей, отвечающих потребностям разработчиков, которые были полностью оптимизированы, протестированы и проверены Qualcomm для поддержки платформ Snapdragon 8 и Snapdragon X Elite третьего поколения.

Qualcomm Neural Network Processing SDK и Qualcomm AI Engine Direct лежат в основе программного стека Qualcomm AI, соединяя чип со всеми основными фреймворками ИИ. С управляемыми моделями TF Lite и ONNX RT пользователи также могут использовать Tensorflow и ONNX напрямую, предоставляя разработчикам свободу выбора предпочтительной рабочей среды.

Qualcomm строит экосистему терминального ИИ со многими гигантами и крупными модельными компаниями

Qualcomm сотрудничает с рядом гигантов и крупных модельных стартапов, и на момент выпуска модели программного стека искусственного интеллекта Qualcomm уже поддерживается более 30 крупных моделей, и их число продолжает расти, а модель программного стека также появится на популярной платформе хостинга моделей Hugging Face.

В восьмом поколении AI Engine от Qualcomm, который состоит из нескольких аппаратных и программных компонентов, обеспечивает ускорение искусственного интеллекта на стороне устройства на платформах Snapdragon и Qualcomm.

Можно видеть, чтоОсновываясь на аппаратном обеспечении чипа, Qualcomm объединяет большое количество партнеров для создания экосистемы «терминального ИИ».

Почему «терминальный ИИ» так важен, и Qualcomm и ее партнеры не должны жалеть усилий, чтобы инвестировать в него?

03 Будущее «гибридного ИИ»

В браузерах, в мобильных приложениях многие люди используют приложения генеративного ИИ, и кажется, что этот вид «облачного ИИ» удовлетворил потребности людей. В чем преимущества ИИ на устройстве по сравнению с облачным ИИ?

Во-первых, реагировать незамедлительно. В прошлом разработчики пытались сжать модель стабильной диффузии для создания изображений на ноутбуке Mac, и результаты измерялись часами. Однако, если локальная операция выполняется на терминале, в демонстрации, показанной Qualcomm, скорость быстрой стабильной диффузии для генерации изображений была снижена до менее чем 1 секунды.

Особенно в сценариях с высокими требованиями к задержке, таких как виртуальные люди и виртуальные фоны в реальном времени, подчеркивается оперативность локальных вычислений терминального ИИ.

Кроме того, в случае плохих сетей возможности ИИ локального устройства становятся единственным вариантом для пользователей.

Чип Snapdragon 8 третьего поколения может обеспечить возможности локального расширения фотографий на телефоне|Qualcomm

В то же время, когда данные выполняются локально на терминале, безопасность также более надежна, чем в облаке. Например, Snapdragon X Elite поддерживает новейшую комплексную безопасность, защищая все конечные точки предприятия, от чипа до облака. Выделенный блок Qualcomm Secure Processing Unit поддерживает архитектуру безопасности Microsoft Pluton и предназначен для хранения конфиденциальных данных.

Наконец, улучшение возможностей терминального ИИ действительно может дать ИИ-помощникам шанс избавиться от клейма «искусственной умственной отсталости» и по-настоящему стать квалифицированным и высоко персонализированным персональным интеллектуальным помощником. Как и в случае с демонстрацией в реальном времени, с помощью личной информации, привычек использования и других данных, записанных и сохраненных на стороне терминала, интеллектуальный помощник может напрямую бронировать отели и авиабилеты после получения голосовых команд, вместо того, чтобы прыгать по различным приложениям на мобильном телефоне. Все это не имеет себе равных в ИИ в облаке.

Около десяти лет назад Марк Андерсон, основатель a16z, однажды сделал предсказание о том, что «программное обеспечение поглотит мир», но, к сожалению, реальность оказалась сфальсифицирована; Под волной ИИ, вызванной большими моделями, «приложения, пожирающие ИИ» постепенно становятся реальностью.

Терминальный ИИ + облачный ИИ изменит парадигму смартфонов, ориентированную на приложения|Geek Park

«Предсказательная сила искусственного интеллекта в сочетании с тем фактом, что терминал создан для вас, делает терминал и операционную систему, а также приложение и облако умными».

Аммон описывает, как «гибридный ИИ», состоящий из терминального ИИ + облачного ИИ, изменит привычки людей при использовании устройств.

На сегодняшний день количество терминалов, использующих платформу Snapdragon, достигло 3 миллиардов.

Точно так же, как процессор Oryon войдет в различные линейки продуктов Qualcomm в будущем, возможности терминального ИИ вскоре будут перенесены с ПК и мобильных телефонов на XR и умные автомобильные устройства — будущее, в котором «гибридный ИИ» будет вездесущим.

Искусственный интеллект найдет свое применение во всех видах устройств

Открытие Саммита Львиного Зева, специальной церемонии для местных жителей Мауи, незнакомцев из-за океана, с помощью уникальных раковинных инструментов и зовов, показывают их невиновность; Местные жители на острове ответили уникальным «заклинанием», чтобы подтвердить, что у другой стороны нет злого умысла и она заслуживает доверия.

Эта трогательная церемония очень похожа на конвергенцию «терминального ИИ» и «облачного ИИ», чтобы принести миру будущее «гибридного ИИ».

Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
  • Награда
  • комментарий
  • Поделиться
комментарий
0/400
Нет комментариев
  • Закрепить