Открыв интерфейс камеры, ведущий делает снимок пейзажа перед собой. В альбоме найдите это изображение и выберите функцию «Развернуть», но периферийная часть, которая не попала на фото, волшебным образом «развернулась» на периферию.
С другой стороны, мобильный телефон, похоже, используется для того, чтобы делать селфи для посетителей, и когда вы войдете в область его фронтальной камеры, вы обнаружите, что фон изображения человека на снимке сменяется в режиме реального времени, даже если селфи-человек продолжает двигаться, виртуальный фон не изнашивается, а задержка почти не ощущается.
Изменение фона селфи в режиме реального времени |
А если присмотреться, то можно обнаружить, что все телефоны, используемые для демонстрации, находятся в режиме полета - то есть все вышеперечисленные усложнения работают на локальном чипе телефона.
Это демонстрационный зал саммита Qualcomm Snapdragon Summit 2023 года, а функции искусственного интеллекта, продемонстрированные вышеуказанными мобильными телефонами, полагаются на вычислительную мощность процессорного чипа Snapdragon 8 Gen 3 (третьего поколения Snapdragon 8), который только что был представлен на конференции.
На данный момент, когда большие модели с искусственным интеллектом пользуются популярностью, Qualcomm на пресс-конференции этого года выпустила два новых продукта, чипы Snapdragon X Elite и Snapdragon 8 Gen 3 соответственно на мобильных устройствах, представленных ПК и смартфонами, реализуя локальную работу десятков миллиардов больших моделей с параметрами, что делает волшебную способность генеративного ИИ «встроенной функцией» мобильных устройств.
В дополнение к «облачному ИИ», с быстрым развитием чипов, был реализован «терминальный ИИ», и, возможно, наступила эра «гибридного ИИ», в которой они работают вместе.
01 ИИ, от ЦОД до мобильных телефонов и ПК
«Мы только что стали свидетелями начала следующей трансформации, и она имеет далеко идущие последствия. **」
Президент и генеральный директор Qualcomm Кристиано Амон (Cristiano Amon) сделал прогноз о «гибридном искусственном интеллекте», объединяющем устройства и облако, когда описывал мобильный телефон от обычных телефонов к смартфонам, а затем и к будущему.
На саммите Qualcomm Snapdragon Аммон объяснил, что наступила эра «терминального ИИ»|Geek Park
Искусственный интеллект в облаке, как и многие современные приложения для общения с генеративным искусственным интеллектом, возможно, не является чем-то новым, но реализация терминального ИИ имеет высокие требования к аппаратному обеспечению, поэтому два новых чипа на пресс-конференции Qualcomm - Snapdragon X Elite и Snapdragon 8 Gen 3 - особенно привлекают внимание.
Пожалуй, самым захватывающим событием дня стало то, что процессор Ryon на Snapdragon X Elite не только превзошел гордый чип Apple M2 MAX** и Intel i9-13980HX с точки зрения производительности в одном потоке, но и потреблял на 70% меньше энергии, чем последний при той же производительности.
Более того, мощный процессор Orion, Hexagon NPU и графический процессор Adreno при поддержке гетерогенного движка искусственного интеллекта X Elite могут достичь общей вычислительной мощности в 75 TOPs в трех процессорных блоках.
Супервычислительная мощность позволяет успешно реализовать опыт общения генеративного ИИ, который ранее был доступен только в облаке, в локальной среде компьютера, оснащенного чипом Snapdragon X Elite, который может запускать большие языковые модели с количеством параметров до 13 миллиардов на стороне ПК, а скорость генерации токенов достигает 30 токенов в секунду, что быстрее, чем скорость чтения пользователя; В то же время изображения, сгенерированные с помощью Stable Diffusion, получаются удивительно быстрыми менее чем за 1 секунду.
Недавно выпущенный процессор Oryon по скорости и энергопотреблению являются одними из лучших в мире
В полевых условиях, когда вы нажимаете пальцем кнопку «Создать» и изображение может быть завершено в одно мгновение, опыт потрясающий, потому что люди уже давно привыкли ждать генеративного диалога, чтобы создать изображение, от размытого до четкого.
Как флагманский чип смартфона, Snapdragon 8 Gen 3 не сильно отстает от X Elite, а с точки зрения ИИ может не только локально запускать большую модель с десятками миллиардов параметров, но и генерировать изображения всего за 0,6 секунды.
Только за первый квартал этого года демо-версия Qualcomm смогла локально запустить только большую модель с 1 миллиардом параметров, а скорость генерации изображений контролировалась до 15 секунд. Какую «магию» использует Qualcomm, чтобы заставить «терминальный ИИ» делать большие скачки?
В случае Snapdragon 8 Gen 3 Qualcomm** сначала квантовает большую модель, такую как Llama 2, сжимает ее с помощью программного стека искусственного интеллекта и загружает квантованную модель в сверхскоростную память DDR**, которая может вводить модель в Hexagon NPU со сверхвысокой пропускной способностью для работы.
AI Engine от Qualcomm оптимизирован специально для ИИ |
Qualcomm внесла значительные улучшения в микроархитектуру. В дополнение к модернизации аппаратного обеспечения микросрезового логического вывода, команда также добавила отдельные дорожки подачи питания в тензорный ускоритель для оптимальной производительности и энергоэффективности. В то же время Qualcomm увеличила тактовую частоту скалярных и векторных ускорителей и удвоила пропускную способность большой разделяемой памяти. Эти усовершенствования в Hexagon NPU делают его ведущим ускорителем для вывода больших моделей.
Qualcomm также использует технику «спекулятивного декодирования» в голосовых разговорах, которая также впервые используется на терминале. Эта технология использует алгоритм «черновой модели», который почти вдвое меньше исходной модели, и быстро генерирует 3 спекулятивных токена после выполнения большого количества логических выводов на ЦП.
Мастер-модель обрабатывает сразу все 3 тега и решает, какой из них принять. Хорошая модель драфта предсказывает следующий токен с высоким уровнем принятия, удваивая скорость генерации токенов при сохранении точности. Наконец, голос, генерируемый ИИ-помощником, генерируется моделью ИИ, преобразующей текст в речь, работающей на ЦП.
Это процесс, в котором Qualcomm AI Engine (NPU) в сочетании с центральным процессором, графическим процессором, концентратором датчиков Qualcomm и сверхбыстрой памятью работают вместе, чтобы завершить сценарий использования ИИ на стороне устройства.
Тем не менее, за сложными, но эффективными примерами применения генеративного ИИ стоит длительное накопление и исследование Qualcomm в направлении ИИ на стороне устройств.
02 Эволюция терминального ИИ
Если говорить об эволюции облачного оборудования ИИ в сценарии дата-центра, то символом является видеокарта NVIDIA; Тогда развитие ИИ на стороне устройства отмечено движком Qualcomm AI, конечно же, самой критичной частью аппаратного уровня является постоянно развивающийся процессор Snapdragon Hexagon NPU.
Еще в 2007 году компания Qualcomm представила первый процессор Hexagon на платформе Snapdragon.
В 2015 году Qualcomm интегрировала технологию искусственного интеллекта в свои процессоры, используя искусственный интеллект для улучшения вычислений изображений, звука и датчиков.
В 2017 году Qualcomm представила Hexagon 685 DSP в чипе Snapdragon 845, который позволяет смартфонам быстрее выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и обработка голоса.
В следующем, 2018 году, Snapdragon 855 обновил свой движок искусственного интеллекта четвертого поколения, добавив тензорные ускорители к процессору Hexagon, что привело к 3-кратному увеличению производительности обработки ИИ.
В Snapdragon 865 был представлен Hexagon 698 DSP, обеспечивающий большую производительность и эффективность искусственного интеллекта. В этом выпуске особое внимание уделяется ускорению ИИ и оптимизируется выполнение моделей ИИ для более быстрого запуска приложений ИИ на смартфонах. Hexagon 780 DSP в Snapdragon 888 в конце 2020 года обеспечивает производительность искусственного интеллекта до 26 TOPS.
После более чем десяти лет эволюции возможности искусственного интеллекта вычислительной платформы Snapdragon выросли в 100 раз
До сих пор чипы Snapdragon X Elite и 8 Gen 3 были способны обеспечить 75 ТОПов вычислительной мощности — если сделать график вычислительной мощности ИИ чипов Qualcomm за последние семь лет, то можно увидеть, что «кривая ИИ» показала крутой восходящий тренд, и он до сих пор не остановился.
В дополнение к аппаратному обеспечению, усилия Qualcomm на уровне программного обеспечения ИИ также необходимы для улучшения возможностей терминального ИИ. Программный стек Qualcomm AI объединяет все программные продукты Qualcomm AI в единое решение. OEM-производители и разработчики могут создавать, оптимизировать и развертывать приложения ИИ на основе продуктов Qualcomm, используя все преимущества производительности Qualcomm AI Engine, что позволяет разработчикам ИИ создавать модели ИИ один раз и развертывать их в разных продуктах.
На саммите Snapdragon Summit компания Qualcomm также представила модели программного стека искусственного интеллекта — набор моделей, отвечающих потребностям разработчиков, которые были полностью оптимизированы, протестированы и проверены Qualcomm для поддержки платформ Snapdragon 8 и Snapdragon X Elite третьего поколения.
Qualcomm Neural Network Processing SDK и Qualcomm AI Engine Direct лежат в основе программного стека Qualcomm AI, соединяя чип со всеми основными фреймворками ИИ. С управляемыми моделями TF Lite и ONNX RT пользователи также могут использовать Tensorflow и ONNX напрямую, предоставляя разработчикам свободу выбора предпочтительной рабочей среды.
Qualcomm строит экосистему терминального ИИ со многими гигантами и крупными модельными компаниями
Qualcomm сотрудничает с рядом гигантов и крупных модельных стартапов, и на момент выпуска модели программного стека искусственного интеллекта Qualcomm уже поддерживается более 30 крупных моделей, и их число продолжает расти, а модель программного стека также появится на популярной платформе хостинга моделей Hugging Face.
В восьмом поколении AI Engine от Qualcomm, который состоит из нескольких аппаратных и программных компонентов, обеспечивает ускорение искусственного интеллекта на стороне устройства на платформах Snapdragon и Qualcomm.
Можно видеть, чтоОсновываясь на аппаратном обеспечении чипа, Qualcomm объединяет большое количество партнеров для создания экосистемы «терминального ИИ».
Почему «терминальный ИИ» так важен, и Qualcomm и ее партнеры не должны жалеть усилий, чтобы инвестировать в него?
03 Будущее «гибридного ИИ»
В браузерах, в мобильных приложениях многие люди используют приложения генеративного ИИ, и кажется, что этот вид «облачного ИИ» удовлетворил потребности людей. В чем преимущества ИИ на устройстве по сравнению с облачным ИИ?
Во-первых, реагировать незамедлительно. В прошлом разработчики пытались сжать модель стабильной диффузии для создания изображений на ноутбуке Mac, и результаты измерялись часами. Однако, если локальная операция выполняется на терминале, в демонстрации, показанной Qualcomm, скорость быстрой стабильной диффузии для генерации изображений была снижена до менее чем 1 секунды.
Особенно в сценариях с высокими требованиями к задержке, таких как виртуальные люди и виртуальные фоны в реальном времени, подчеркивается оперативность локальных вычислений терминального ИИ.
Кроме того, в случае плохих сетей возможности ИИ локального устройства становятся единственным вариантом для пользователей.
Чип Snapdragon 8 третьего поколения может обеспечить возможности локального расширения фотографий на телефоне|Qualcomm
В то же время, когда данные выполняются локально на терминале, безопасность также более надежна, чем в облаке. Например, Snapdragon X Elite поддерживает новейшую комплексную безопасность, защищая все конечные точки предприятия, от чипа до облака. Выделенный блок Qualcomm Secure Processing Unit поддерживает архитектуру безопасности Microsoft Pluton и предназначен для хранения конфиденциальных данных.
Наконец, улучшение возможностей терминального ИИ действительно может дать ИИ-помощникам шанс избавиться от клейма «искусственной умственной отсталости» и по-настоящему стать квалифицированным и высоко персонализированным персональным интеллектуальным помощником. Как и в случае с демонстрацией в реальном времени, с помощью личной информации, привычек использования и других данных, записанных и сохраненных на стороне терминала, интеллектуальный помощник может напрямую бронировать отели и авиабилеты после получения голосовых команд, вместо того, чтобы прыгать по различным приложениям на мобильном телефоне. Все это не имеет себе равных в ИИ в облаке.
Около десяти лет назад Марк Андерсон, основатель a16z, однажды сделал предсказание о том, что «программное обеспечение поглотит мир», но, к сожалению, реальность оказалась сфальсифицирована; Под волной ИИ, вызванной большими моделями, «приложения, пожирающие ИИ» постепенно становятся реальностью.
Терминальный ИИ + облачный ИИ изменит парадигму смартфонов, ориентированную на приложения|Geek Park
«Предсказательная сила искусственного интеллекта в сочетании с тем фактом, что терминал создан для вас, делает терминал и операционную систему, а также приложение и облако умными».
Аммон описывает, как «гибридный ИИ», состоящий из терминального ИИ + облачного ИИ, изменит привычки людей при использовании устройств.
На сегодняшний день количество терминалов, использующих платформу Snapdragon, достигло 3 миллиардов.
Точно так же, как процессор Oryon войдет в различные линейки продуктов Qualcomm в будущем, возможности терминального ИИ вскоре будут перенесены с ПК и мобильных телефонов на XR и умные автомобильные устройства — будущее, в котором «гибридный ИИ» будет вездесущим.
Искусственный интеллект найдет свое применение во всех видах устройств
Открытие Саммита Львиного Зева, специальной церемонии для местных жителей Мауи, незнакомцев из-за океана, с помощью уникальных раковинных инструментов и зовов, показывают их невиновность; Местные жители на острове ответили уникальным «заклинанием», чтобы подтвердить, что у другой стороны нет злого умысла и она заслуживает доверия.
Эта трогательная церемония очень похожа на конвергенцию «терминального ИИ» и «облачного ИИ», чтобы принести миру будущее «гибридного ИИ».
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Большая модель помещается на мобильный телефон, открывая занавес для ИИ, чтобы изменить мир
Первоисточник: Geek Park
Автор: Цзин Юй
Открыв интерфейс камеры, ведущий делает снимок пейзажа перед собой. В альбоме найдите это изображение и выберите функцию «Развернуть», но периферийная часть, которая не попала на фото, волшебным образом «развернулась» на периферию.
С другой стороны, мобильный телефон, похоже, используется для того, чтобы делать селфи для посетителей, и когда вы войдете в область его фронтальной камеры, вы обнаружите, что фон изображения человека на снимке сменяется в режиме реального времени, даже если селфи-человек продолжает двигаться, виртуальный фон не изнашивается, а задержка почти не ощущается.
А если присмотреться, то можно обнаружить, что все телефоны, используемые для демонстрации, находятся в режиме полета - то есть все вышеперечисленные усложнения работают на локальном чипе телефона.
Это демонстрационный зал саммита Qualcomm Snapdragon Summit 2023 года, а функции искусственного интеллекта, продемонстрированные вышеуказанными мобильными телефонами, полагаются на вычислительную мощность процессорного чипа Snapdragon 8 Gen 3 (третьего поколения Snapdragon 8), который только что был представлен на конференции.
На данный момент, когда большие модели с искусственным интеллектом пользуются популярностью, Qualcomm на пресс-конференции этого года выпустила два новых продукта, чипы Snapdragon X Elite и Snapdragon 8 Gen 3 соответственно на мобильных устройствах, представленных ПК и смартфонами, реализуя локальную работу десятков миллиардов больших моделей с параметрами, что делает волшебную способность генеративного ИИ «встроенной функцией» мобильных устройств.
В дополнение к «облачному ИИ», с быстрым развитием чипов, был реализован «терминальный ИИ», и, возможно, наступила эра «гибридного ИИ», в которой они работают вместе.
01 ИИ, от ЦОД до мобильных телефонов и ПК
«Мы только что стали свидетелями начала следующей трансформации, и она имеет далеко идущие последствия. **」
Президент и генеральный директор Qualcomm Кристиано Амон (Cristiano Amon) сделал прогноз о «гибридном искусственном интеллекте», объединяющем устройства и облако, когда описывал мобильный телефон от обычных телефонов к смартфонам, а затем и к будущему.
Искусственный интеллект в облаке, как и многие современные приложения для общения с генеративным искусственным интеллектом, возможно, не является чем-то новым, но реализация терминального ИИ имеет высокие требования к аппаратному обеспечению, поэтому два новых чипа на пресс-конференции Qualcomm - Snapdragon X Elite и Snapdragon 8 Gen 3 - особенно привлекают внимание.
Пожалуй, самым захватывающим событием дня стало то, что процессор Ryon на Snapdragon X Elite не только превзошел гордый чип Apple M2 MAX** и Intel i9-13980HX с точки зрения производительности в одном потоке, но и потреблял на 70% меньше энергии, чем последний при той же производительности.
Более того, мощный процессор Orion, Hexagon NPU и графический процессор Adreno при поддержке гетерогенного движка искусственного интеллекта X Elite могут достичь общей вычислительной мощности в 75 TOPs в трех процессорных блоках.
Супервычислительная мощность позволяет успешно реализовать опыт общения генеративного ИИ, который ранее был доступен только в облаке, в локальной среде компьютера, оснащенного чипом Snapdragon X Elite, который может запускать большие языковые модели с количеством параметров до 13 миллиардов на стороне ПК, а скорость генерации токенов достигает 30 токенов в секунду, что быстрее, чем скорость чтения пользователя; В то же время изображения, сгенерированные с помощью Stable Diffusion, получаются удивительно быстрыми менее чем за 1 секунду.
В полевых условиях, когда вы нажимаете пальцем кнопку «Создать» и изображение может быть завершено в одно мгновение, опыт потрясающий, потому что люди уже давно привыкли ждать генеративного диалога, чтобы создать изображение, от размытого до четкого.
Как флагманский чип смартфона, Snapdragon 8 Gen 3 не сильно отстает от X Elite, а с точки зрения ИИ может не только локально запускать большую модель с десятками миллиардов параметров, но и генерировать изображения всего за 0,6 секунды.
Только за первый квартал этого года демо-версия Qualcomm смогла локально запустить только большую модель с 1 миллиардом параметров, а скорость генерации изображений контролировалась до 15 секунд. Какую «магию» использует Qualcomm, чтобы заставить «терминальный ИИ» делать большие скачки?
В случае Snapdragon 8 Gen 3 Qualcomm** сначала квантовает большую модель, такую как Llama 2, сжимает ее с помощью программного стека искусственного интеллекта и загружает квантованную модель в сверхскоростную память DDR**, которая может вводить модель в Hexagon NPU со сверхвысокой пропускной способностью для работы.
Qualcomm внесла значительные улучшения в микроархитектуру. В дополнение к модернизации аппаратного обеспечения микросрезового логического вывода, команда также добавила отдельные дорожки подачи питания в тензорный ускоритель для оптимальной производительности и энергоэффективности. В то же время Qualcomm увеличила тактовую частоту скалярных и векторных ускорителей и удвоила пропускную способность большой разделяемой памяти. Эти усовершенствования в Hexagon NPU делают его ведущим ускорителем для вывода больших моделей.
Qualcomm также использует технику «спекулятивного декодирования» в голосовых разговорах, которая также впервые используется на терминале. Эта технология использует алгоритм «черновой модели», который почти вдвое меньше исходной модели, и быстро генерирует 3 спекулятивных токена после выполнения большого количества логических выводов на ЦП.
Мастер-модель обрабатывает сразу все 3 тега и решает, какой из них принять. Хорошая модель драфта предсказывает следующий токен с высоким уровнем принятия, удваивая скорость генерации токенов при сохранении точности. Наконец, голос, генерируемый ИИ-помощником, генерируется моделью ИИ, преобразующей текст в речь, работающей на ЦП.
Это процесс, в котором Qualcomm AI Engine (NPU) в сочетании с центральным процессором, графическим процессором, концентратором датчиков Qualcomm и сверхбыстрой памятью работают вместе, чтобы завершить сценарий использования ИИ на стороне устройства.
Тем не менее, за сложными, но эффективными примерами применения генеративного ИИ стоит длительное накопление и исследование Qualcomm в направлении ИИ на стороне устройств.
02 Эволюция терминального ИИ
Если говорить об эволюции облачного оборудования ИИ в сценарии дата-центра, то символом является видеокарта NVIDIA; Тогда развитие ИИ на стороне устройства отмечено движком Qualcomm AI, конечно же, самой критичной частью аппаратного уровня является постоянно развивающийся процессор Snapdragon Hexagon NPU.
Еще в 2007 году компания Qualcomm представила первый процессор Hexagon на платформе Snapdragon.
В 2015 году Qualcomm интегрировала технологию искусственного интеллекта в свои процессоры, используя искусственный интеллект для улучшения вычислений изображений, звука и датчиков.
В 2017 году Qualcomm представила Hexagon 685 DSP в чипе Snapdragon 845, который позволяет смартфонам быстрее выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений и обработка голоса.
В следующем, 2018 году, Snapdragon 855 обновил свой движок искусственного интеллекта четвертого поколения, добавив тензорные ускорители к процессору Hexagon, что привело к 3-кратному увеличению производительности обработки ИИ.
В Snapdragon 865 был представлен Hexagon 698 DSP, обеспечивающий большую производительность и эффективность искусственного интеллекта. В этом выпуске особое внимание уделяется ускорению ИИ и оптимизируется выполнение моделей ИИ для более быстрого запуска приложений ИИ на смартфонах. Hexagon 780 DSP в Snapdragon 888 в конце 2020 года обеспечивает производительность искусственного интеллекта до 26 TOPS.
До сих пор чипы Snapdragon X Elite и 8 Gen 3 были способны обеспечить 75 ТОПов вычислительной мощности — если сделать график вычислительной мощности ИИ чипов Qualcomm за последние семь лет, то можно увидеть, что «кривая ИИ» показала крутой восходящий тренд, и он до сих пор не остановился.
В дополнение к аппаратному обеспечению, усилия Qualcomm на уровне программного обеспечения ИИ также необходимы для улучшения возможностей терминального ИИ. Программный стек Qualcomm AI объединяет все программные продукты Qualcomm AI в единое решение. OEM-производители и разработчики могут создавать, оптимизировать и развертывать приложения ИИ на основе продуктов Qualcomm, используя все преимущества производительности Qualcomm AI Engine, что позволяет разработчикам ИИ создавать модели ИИ один раз и развертывать их в разных продуктах.
На саммите Snapdragon Summit компания Qualcomm также представила модели программного стека искусственного интеллекта — набор моделей, отвечающих потребностям разработчиков, которые были полностью оптимизированы, протестированы и проверены Qualcomm для поддержки платформ Snapdragon 8 и Snapdragon X Elite третьего поколения.
Qualcomm Neural Network Processing SDK и Qualcomm AI Engine Direct лежат в основе программного стека Qualcomm AI, соединяя чип со всеми основными фреймворками ИИ. С управляемыми моделями TF Lite и ONNX RT пользователи также могут использовать Tensorflow и ONNX напрямую, предоставляя разработчикам свободу выбора предпочтительной рабочей среды.
Qualcomm сотрудничает с рядом гигантов и крупных модельных стартапов, и на момент выпуска модели программного стека искусственного интеллекта Qualcomm уже поддерживается более 30 крупных моделей, и их число продолжает расти, а модель программного стека также появится на популярной платформе хостинга моделей Hugging Face.
В восьмом поколении AI Engine от Qualcomm, который состоит из нескольких аппаратных и программных компонентов, обеспечивает ускорение искусственного интеллекта на стороне устройства на платформах Snapdragon и Qualcomm.
Можно видеть, чтоОсновываясь на аппаратном обеспечении чипа, Qualcomm объединяет большое количество партнеров для создания экосистемы «терминального ИИ».
Почему «терминальный ИИ» так важен, и Qualcomm и ее партнеры не должны жалеть усилий, чтобы инвестировать в него?
03 Будущее «гибридного ИИ»
В браузерах, в мобильных приложениях многие люди используют приложения генеративного ИИ, и кажется, что этот вид «облачного ИИ» удовлетворил потребности людей. В чем преимущества ИИ на устройстве по сравнению с облачным ИИ?
Во-первых, реагировать незамедлительно. В прошлом разработчики пытались сжать модель стабильной диффузии для создания изображений на ноутбуке Mac, и результаты измерялись часами. Однако, если локальная операция выполняется на терминале, в демонстрации, показанной Qualcomm, скорость быстрой стабильной диффузии для генерации изображений была снижена до менее чем 1 секунды.
Особенно в сценариях с высокими требованиями к задержке, таких как виртуальные люди и виртуальные фоны в реальном времени, подчеркивается оперативность локальных вычислений терминального ИИ.
Кроме того, в случае плохих сетей возможности ИИ локального устройства становятся единственным вариантом для пользователей.
В то же время, когда данные выполняются локально на терминале, безопасность также более надежна, чем в облаке. Например, Snapdragon X Elite поддерживает новейшую комплексную безопасность, защищая все конечные точки предприятия, от чипа до облака. Выделенный блок Qualcomm Secure Processing Unit поддерживает архитектуру безопасности Microsoft Pluton и предназначен для хранения конфиденциальных данных.
Наконец, улучшение возможностей терминального ИИ действительно может дать ИИ-помощникам шанс избавиться от клейма «искусственной умственной отсталости» и по-настоящему стать квалифицированным и высоко персонализированным персональным интеллектуальным помощником. Как и в случае с демонстрацией в реальном времени, с помощью личной информации, привычек использования и других данных, записанных и сохраненных на стороне терминала, интеллектуальный помощник может напрямую бронировать отели и авиабилеты после получения голосовых команд, вместо того, чтобы прыгать по различным приложениям на мобильном телефоне. Все это не имеет себе равных в ИИ в облаке.
Около десяти лет назад Марк Андерсон, основатель a16z, однажды сделал предсказание о том, что «программное обеспечение поглотит мир», но, к сожалению, реальность оказалась сфальсифицирована; Под волной ИИ, вызванной большими моделями, «приложения, пожирающие ИИ» постепенно становятся реальностью.
«Предсказательная сила искусственного интеллекта в сочетании с тем фактом, что терминал создан для вас, делает терминал и операционную систему, а также приложение и облако умными».
Аммон описывает, как «гибридный ИИ», состоящий из терминального ИИ + облачного ИИ, изменит привычки людей при использовании устройств.
На сегодняшний день количество терминалов, использующих платформу Snapdragon, достигло 3 миллиардов.
Точно так же, как процессор Oryon войдет в различные линейки продуктов Qualcomm в будущем, возможности терминального ИИ вскоре будут перенесены с ПК и мобильных телефонов на XR и умные автомобильные устройства — будущее, в котором «гибридный ИИ» будет вездесущим.
Открытие Саммита Львиного Зева, специальной церемонии для местных жителей Мауи, незнакомцев из-за океана, с помощью уникальных раковинных инструментов и зовов, показывают их невиновность; Местные жители на острове ответили уникальным «заклинанием», чтобы подтвердить, что у другой стороны нет злого умысла и она заслуживает доверия.
Эта трогательная церемония очень похожа на конвергенцию «терминального ИИ» и «облачного ИИ», чтобы принести миру будущее «гибридного ИИ».