Какая технология сможет пережить крещение временем и остаться новой?
Ответ можно сформулировать в виде «трилогии»: возникновение, развитие и крупномасштабное применение, а также еще одна эволюционная итерация этого процесса.
Взяв за основу историю, паровой двигатель возглавил первую промышленную революцию. Когда он превратился в двигатель внутреннего сгорания и стал популярным, разрушитель второй промышленной революции - сама электроэнергетика и различное связанное с ней оборудование находились в зачаточном состоянии. оборудование движется в сторону итеративных инноваций в микроэлектронике, различные топливные двигатели все еще совершенствуются и популяризируются.
Судя по этому правилу, хотя большие языковые модели (сокращенно LLM) доминировали во всех ключевых словах, связанных с ИИ, и привлекали всеобщее внимание с момента их появления, это не означает, что «до LLM не было ИИ».
В то время как крупные модели привлекают внимание, старшее поколение приложений машинного обучения, которые ранее специализировались на принятии решений, а также «традиционные» приложения глубокого обучения, ориентированные на возможности восприятия, также не бездействуют. подростковый возраст и вступление в устойчивую практическую практику.
Каковы доказательства?
Крупный производитель чипов выпустил серию практических руководств по искусственному интеллекту, ориентированных на практику искусственного интеллекта в промышленности и энергетике, медицине, финансах, транспорте и логистике, а также в сфере образования.
В обновлении «Практического руководства по искусственному интеллекту для логистики, транспорта и здравоохранения» этого года записаны многие приложения искусственного интеллекта, которые были или внедряются, а также способы их плавного развертывания и полного раскрытия их потенциала ускорения производительности. они также используются в некоторых знакомых головах.Примеры применения предприятий, идущих вглубь линии фронта.
Поэтому ИИ – это не только большие модели. Эпоха больших моделей ИИ также ≠ эра ИИ только с большими моделями.
Зрелый ИИ уже запущен в работу
Возможно, вы до сих пор не можете поверить, что технологии искусственного интеллекта уже стоят за даже небольшой экспресс-доставкой.
Правильно, и он участвует практически во всем логистическом процессе: заказ, отправка, сортировка, перевалка, распределение... ИИ теперь должен всем «управлять».
В качестве примера возьмем классическую технологию OCR (оптическое распознавание символов), ее статус в «техническом мире» логистики можно назвать ключевым, значительно повышая эффективность работы.
Например, когда отправитель заполняет адрес и идентификационную информацию при доставке, а склад электронной коммерции проверяет информацию об отправленном продукте, OCR можно использовать для ввода одним щелчком мыши.
По мере того, как технология искусственного интеллекта становится все более совершенной и ее применение углубляется, эта скорость достигла «нет самого быстрого, есть только более быстрое».
Именно так обстоит дело с Yunda Express, с которым мы знакомы.Во время трехсегментного процесса распознавания OCR компания изначально надеялась, что ИИ сможет достичь точности распознавания OCR 95%.
В результате нынешний ИИ «проучил Юнду»: не только точность взлетела почти до 98%, но и время «упало»: со 130 мс до 114 мс.
△Результаты тестов производительности основаны на тестах, проведенных Yunda в октябре 2022 года
Более того, распознавание OCR — это лишь малая часть участия ИИ в логистической отрасли. Взгляните на картинку, чтобы почувствовать силу, которую он играет сейчас:
Что ж, искусственный интеллект настолько универсален, что неудивительно, что скорость внутренней логистики стремительно растет.
Но, друзья, это всего лишь случай, когда ИИ ускоряет тысячи отраслей. На самом деле, наши ежедневные путешествия также полны «аромата» ИИ.
Например, технология видеоанализа AI может анализировать дорожную ситуацию на автомагистралях в режиме реального времени.
Будь то мониторинг транспортных потоков, распознавание номерных знаков транспортных средств, предупреждение об авариях и т. д., можно сказать, что ИИ имеет панорамный обзор всего.
Таким образом, дорожные условия можно эффективно и точно контролировать.
Другой пример — аэропорты. Камеры на базе искусственного интеллекта также могут детально идентифицировать самолеты, транспортные средства, персонал и нарушения границ, что дает определенную гарантию безопасности зоны полетов.
……
Из приведенных выше небольших примеров использования нетрудно увидеть, что «зрелый» ИИ или те популярные ИИ-приложения, которые были популярны несколько лет назад, возможно, не кажутся популярными, но на самом деле они проникли во все аспекты нашей жизни и их Основное внимание уделяется «сокращению расходов и повышению эффективности».
Так что же стоит за такой «экономией затрат и повышением эффективности»?
Не будьте слишком претенциозны, просто дайте ответ...
В этом помогают платформы Intel, в частности масштабируемые процессоры Xeon®️. Точно так же производитель чипов, о котором мы упоминали выше, также является Intel, и именно Intel предоставила практические руководства по искусственному интеллекту для многих отраслей.
Но такие возможности открывает не только процессор, но и бонусы оптимизации на программном уровне от Intel; другими словами, это результат «интеграции программного и аппаратного обеспечения».
Все сводится к: масштабируемым процессорам Xeon®️ и их встроенному ускорителю искусственного интеллекта, а также ряду фреймворков искусственного интеллекта и программного обеспечения для оптимизации, такого как OpenVINO™️ и oneAPI, которые могут помочь.
В настоящее время на производительность приложений ИИ влияют только два фактора: вычислительная мощность и скорость доступа к данным.
Количество отдельных ядер ЦП в новейших масштабируемых процессорах Xeon®️ четвертого поколения увеличилось до максимального значения 60 ядер. С точки зрения скорости доступа к данным в определенной степени были оптимизированы размеры кэша на всех уровнях, количество каналов памяти, скорость доступа к памяти и т. д. Кроме того, в серию CPU Max также интегрирована технология памяти с высокой пропускной способностью HBM.
Кроме того, был оптимизирован набор инструкций ЦП и встроены аппаратные ускорители, такие как Intel®️ Advanced Matrix Extensions (Intel®️ AMX), которые отвечают за матричные вычисления и ускорение рабочих нагрузок глубокого обучения. -бит приложений искусственного интеллекта с ускорением ЦП.
Это чем-то похоже на Tensor Core в графическом процессоре.
AMX состоит из двух частей: одна представляет собой 2D-регистровый файл размером 1 КБ, а другая — модуль TMUL, который используется для выполнения инструкций умножения матриц. Он может поддерживать типы данных INT8 и BF16, а BF16 имеет лучшую вычислительную производительность, чем FP32.
Благодаря набору инструкций AMX производительность повышается до 8 раз или даже выше, чем у набора инструкций векторной нейронной сети VNNI, встроенного в масштабируемый процессор Xeon®️ предыдущего поколения.
В дополнение к основной аппаратной платформе, что на самом деле помогает этим отраслям внедрять практические приложения ИИ, так это серия «собственных», а не «частных» программных инструментов ИИ от Intel.
Например, упомянутое ранее ускорение оптического распознавания символов неотделимо от оптимизации OpenVINO™️, которая устраняет множество избыточных вычислений, необходимых для обучающей части, и в основном поддерживает часть вывода.
Это также оптимизированная платформа, специально созданная для оборудования Intel. Для замены исходной платформы требуется всего 5 строк кода.
Пользователи могут оптимизировать рабочие параметры OpenVINO™️ для различных бизнес-сценариев.
Благодаря такому сочетанию программного и аппаратного обеспечения Intel не только полностью раскрывает вычислительный потенциал ЦП, но и достигает производительности, близкой к производительности графического процессора в реальных сценариях рассуждений, а также имеет дополнительные преимущества, такие как низкая стоимость, низкий порог и простота использования.
Однако это всего лишь оптимизация зрелых технологий искусственного интеллекта на платформе Intel®️. Возможности Intel гораздо шире.
Это возвращение к большой модели.
Популярные большие модели также ускоряются
В настоящее время крупные языковые модели разрабатываются крупными технологическими компаниями по всему миру.В конце концов, технологические круги теперь рассматривают это как тенденцию будущего развития.
Хотя по сравнению с этими зрелыми технологиями и приложениями ИИ, он все еще далек от крупномасштабного внедрения, но его технологическое лидерство неоспоримо, и ожидается, что даже приложения ИИ «старого поколения» будут объединены с ним или преобразованы с его помощью. Обновлено.
Являясь базовым поставщиком вычислительной мощности и ускорителем производительности приложений, Intel также готовится к черному дню на этой конкурентной арене и уже изложила свои планы.
Прежде всего, какой бы продвинутой ни была крупная модель, ее должно использовать больше людей, чтобы полностью осознать ее ценность. Если вы хотите «поиграть» в него, стоимость станет давней проблемой, учитывая его огромный размер.
Поэтому Intel представила усовершенствованный «волшебный инструмент для снижения веса», который может уменьшить на 3/4 большую языковую модель с миллиардом параметров и повысить ее точность. ®️ платформа.
В частности, используется технология SmoothQuant, которую Intel адаптирует к своей собственной платформе и реализует улучшения. Этот подход был интегрирован в Intel®️ Neural Compressor. Это библиотека Python с открытым исходным кодом, которая содержит множество часто используемых методов сжатия моделей, таких как квантование, сокращение (разреженность), дистилляция (извлечение знаний) и поиск нейронной архитектуры. Она уже поддерживает различные аппаратные средства архитектуры Intel®️ и совместима с TensorFlow, основные платформы, такие как PyTorch, ONNX Runtime и MXNet.
Во-вторых, на аппаратном уровне Intel также приложила некоторые усилия.
Например, недавно популярный ChatGLM-6B использует встроенный Intel®️ AMX масштабируемого процессора Xeon®️ четвертого поколения, что значительно увеличивает скорость вычислений точной настройки модели; он использует HBM, интегрированный с процессором серии Xeon®️ CPU Max. для удовлетворения потребностей крупных пользователей.Для точной настройки модели требуется большая пропускная способность памяти.
△Технологическая архитектура Intel® AMX
В дополнение к ЦП у Intel также есть специальный чип ускорения глубокого обучения Habana®️ Gaudi®️2, который может развертывать 8 карт ускорителей (так называемых процессорных блоков Habana, называемых HPU) на одном сервере. Каждая карта имеет память До 96 ГБ, обеспечивая достаточно места для больших моделей.
Таким образом, даже языковая модель уровня 100 миллиардов, такая как BLOOMZ, со 176 миллиардами параметров, может контролировать задержку производительности до 3,7 секунды после оптимизации Intel. Для меньшей модели BLOOMZ-7B с 7 миллиардами параметров задержка одного устройства в Gaudi®️2 составляет около 37,21% от Gaudi®️ первого поколения; а когда количество устройств увеличивается до 8, этот процент дополнительно падает до О 24,33%.
△Результаты теста задержки вывода BLOOMZ на Gaudi®️2 и Gaudi®️ первого поколения
Затем, на уровне программного обеспечения, для популярных моделей больших языков, таких как ChatGLM, Intel также может оптимизировать их, создав модель с отслеживанием состояния OpenVINO™: сжимая веса для уменьшения использования полосы пропускания памяти и повышения скорости вывода.
Это прямое отражение подхода Intel к «интеграции программного и аппаратного обеспечения» в приложениях для больших моделей. Более того, аппаратное обеспечение больше не ограничивается процессором, есть также Gaudi®️, который может конкурировать с графическим процессором как по производительности обучения, так и по производительности вывода, а также удивит всех с точки зрения затрат.
Наконец, с точки зрения безопасности Intel также добилась «лучшего из обоих миров»: Trusted Execution Environment (TEE) на базе Intel®️ SGX/TDX может обеспечить более безопасную рабочую среду для больших моделей без ущерба для производительности.
Это «подход ускорения» Intel в эпоху больших моделей ИИ.
Какие еще изменения это принесет?
Глядя на развитие технологий искусственного интеллекта, нетрудно обнаружить, что Intel реализует очень четкий принцип: последнее слово – использование. Даже простого использования его в центрах обработки данных и на периферии недостаточно.Лучше всего, чтобы каждый компьютер и каждое информационное терминальное устройство каждого человека имели возможность независимого ускорения приложений ИИ, чтобы быть удовлетворенными «ядром».
Поэтому Intel скорректировала свою инновационную миссию следующим образом: добавить возможности искусственного интеллекта к различным аппаратным продуктам, способствовать популяризации приложений искусственного интеллекта с помощью открытых многоархитектурных программных решений и способствовать росту «базовой экономики».
«Подход ускорения» Intel призван не только обеспечить более быстрое внедрение и популяризацию технологий, но и способствовать внедрению, инновациям и изменениям, прокладывая путь для следующего поколения технологических изменений.
Есть ли у Intel конечная цель на этом пути?
Возможно, как это было повторено и подчеркнуто на Intel Innovation 2023: пусть ИИ будет повсюду (AI Everywhere).
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Эпоха больших моделей ИИ ≠ Эпоха ИИ только с большими моделями
Автор丨Джин Лэй
Источник丨Кубит QbitAI
Какая технология сможет пережить крещение временем и остаться новой?
Ответ можно сформулировать в виде «трилогии»: возникновение, развитие и крупномасштабное применение, а также еще одна эволюционная итерация этого процесса.
Взяв за основу историю, паровой двигатель возглавил первую промышленную революцию. Когда он превратился в двигатель внутреннего сгорания и стал популярным, разрушитель второй промышленной революции - сама электроэнергетика и различное связанное с ней оборудование находились в зачаточном состоянии. оборудование движется в сторону итеративных инноваций в микроэлектронике, различные топливные двигатели все еще совершенствуются и популяризируются.
Судя по этому правилу, хотя большие языковые модели (сокращенно LLM) доминировали во всех ключевых словах, связанных с ИИ, и привлекали всеобщее внимание с момента их появления, это не означает, что «до LLM не было ИИ».
В то время как крупные модели привлекают внимание, старшее поколение приложений машинного обучения, которые ранее специализировались на принятии решений, а также «традиционные» приложения глубокого обучения, ориентированные на возможности восприятия, также не бездействуют. подростковый возраст и вступление в устойчивую практическую практику.
Крупный производитель чипов выпустил серию практических руководств по искусственному интеллекту, ориентированных на практику искусственного интеллекта в промышленности и энергетике, медицине, финансах, транспорте и логистике, а также в сфере образования.
В обновлении «Практического руководства по искусственному интеллекту для логистики, транспорта и здравоохранения» этого года записаны многие приложения искусственного интеллекта, которые были или внедряются, а также способы их плавного развертывания и полного раскрытия их потенциала ускорения производительности. они также используются в некоторых знакомых головах.Примеры применения предприятий, идущих вглубь линии фронта.
Поэтому ИИ – это не только большие модели. Эпоха больших моделей ИИ также ≠ эра ИИ только с большими моделями.
Зрелый ИИ уже запущен в работу
Возможно, вы до сих пор не можете поверить, что технологии искусственного интеллекта уже стоят за даже небольшой экспресс-доставкой.
Правильно, и он участвует практически во всем логистическом процессе: заказ, отправка, сортировка, перевалка, распределение... ИИ теперь должен всем «управлять».
В качестве примера возьмем классическую технологию OCR (оптическое распознавание символов), ее статус в «техническом мире» логистики можно назвать ключевым, значительно повышая эффективность работы.
Например, когда отправитель заполняет адрес и идентификационную информацию при доставке, а склад электронной коммерции проверяет информацию об отправленном продукте, OCR можно использовать для ввода одним щелчком мыши.
По мере того, как технология искусственного интеллекта становится все более совершенной и ее применение углубляется, эта скорость достигла «нет самого быстрого, есть только более быстрое».
В результате нынешний ИИ «проучил Юнду»: не только точность взлетела почти до 98%, но и время «упало»: со 130 мс до 114 мс.
Более того, распознавание OCR — это лишь малая часть участия ИИ в логистической отрасли. Взгляните на картинку, чтобы почувствовать силу, которую он играет сейчас:
Но, друзья, это всего лишь случай, когда ИИ ускоряет тысячи отраслей. На самом деле, наши ежедневные путешествия также полны «аромата» ИИ.
Например, технология видеоанализа AI может анализировать дорожную ситуацию на автомагистралях в режиме реального времени.
Будь то мониторинг транспортных потоков, распознавание номерных знаков транспортных средств, предупреждение об авариях и т. д., можно сказать, что ИИ имеет панорамный обзор всего.
Таким образом, дорожные условия можно эффективно и точно контролировать.
Другой пример — аэропорты. Камеры на базе искусственного интеллекта также могут детально идентифицировать самолеты, транспортные средства, персонал и нарушения границ, что дает определенную гарантию безопасности зоны полетов.
……
Из приведенных выше небольших примеров использования нетрудно увидеть, что «зрелый» ИИ или те популярные ИИ-приложения, которые были популярны несколько лет назад, возможно, не кажутся популярными, но на самом деле они проникли во все аспекты нашей жизни и их Основное внимание уделяется «сокращению расходов и повышению эффективности».
Так что же стоит за такой «экономией затрат и повышением эффективности»?
Не будьте слишком претенциозны, просто дайте ответ...
В этом помогают платформы Intel, в частности масштабируемые процессоры Xeon®️. Точно так же производитель чипов, о котором мы упоминали выше, также является Intel, и именно Intel предоставила практические руководства по искусственному интеллекту для многих отраслей.
Все сводится к: масштабируемым процессорам Xeon®️ и их встроенному ускорителю искусственного интеллекта, а также ряду фреймворков искусственного интеллекта и программного обеспечения для оптимизации, такого как OpenVINO™️ и oneAPI, которые могут помочь.
В настоящее время на производительность приложений ИИ влияют только два фактора: вычислительная мощность и скорость доступа к данным.
Количество отдельных ядер ЦП в новейших масштабируемых процессорах Xeon®️ четвертого поколения увеличилось до максимального значения 60 ядер. С точки зрения скорости доступа к данным в определенной степени были оптимизированы размеры кэша на всех уровнях, количество каналов памяти, скорость доступа к памяти и т. д. Кроме того, в серию CPU Max также интегрирована технология памяти с высокой пропускной способностью HBM.
Кроме того, был оптимизирован набор инструкций ЦП и встроены аппаратные ускорители, такие как Intel®️ Advanced Matrix Extensions (Intel®️ AMX), которые отвечают за матричные вычисления и ускорение рабочих нагрузок глубокого обучения. -бит приложений искусственного интеллекта с ускорением ЦП.
Это чем-то похоже на Tensor Core в графическом процессоре.
AMX состоит из двух частей: одна представляет собой 2D-регистровый файл размером 1 КБ, а другая — модуль TMUL, который используется для выполнения инструкций умножения матриц. Он может поддерживать типы данных INT8 и BF16, а BF16 имеет лучшую вычислительную производительность, чем FP32.
Благодаря набору инструкций AMX производительность повышается до 8 раз или даже выше, чем у набора инструкций векторной нейронной сети VNNI, встроенного в масштабируемый процессор Xeon®️ предыдущего поколения.
В дополнение к основной аппаратной платформе, что на самом деле помогает этим отраслям внедрять практические приложения ИИ, так это серия «собственных», а не «частных» программных инструментов ИИ от Intel.
Например, упомянутое ранее ускорение оптического распознавания символов неотделимо от оптимизации OpenVINO™️, которая устраняет множество избыточных вычислений, необходимых для обучающей части, и в основном поддерживает часть вывода.
Это также оптимизированная платформа, специально созданная для оборудования Intel. Для замены исходной платформы требуется всего 5 строк кода.
Пользователи могут оптимизировать рабочие параметры OpenVINO™️ для различных бизнес-сценариев.
Благодаря такому сочетанию программного и аппаратного обеспечения Intel не только полностью раскрывает вычислительный потенциал ЦП, но и достигает производительности, близкой к производительности графического процессора в реальных сценариях рассуждений, а также имеет дополнительные преимущества, такие как низкая стоимость, низкий порог и простота использования.
Однако это всего лишь оптимизация зрелых технологий искусственного интеллекта на платформе Intel®️. Возможности Intel гораздо шире.
Это возвращение к большой модели.
Популярные большие модели также ускоряются
В настоящее время крупные языковые модели разрабатываются крупными технологическими компаниями по всему миру.В конце концов, технологические круги теперь рассматривают это как тенденцию будущего развития.
Хотя по сравнению с этими зрелыми технологиями и приложениями ИИ, он все еще далек от крупномасштабного внедрения, но его технологическое лидерство неоспоримо, и ожидается, что даже приложения ИИ «старого поколения» будут объединены с ним или преобразованы с его помощью. Обновлено.
Являясь базовым поставщиком вычислительной мощности и ускорителем производительности приложений, Intel также готовится к черному дню на этой конкурентной арене и уже изложила свои планы.
Прежде всего, какой бы продвинутой ни была крупная модель, ее должно использовать больше людей, чтобы полностью осознать ее ценность. Если вы хотите «поиграть» в него, стоимость станет давней проблемой, учитывая его огромный размер.
Поэтому Intel представила усовершенствованный «волшебный инструмент для снижения веса», который может уменьшить на 3/4 большую языковую модель с миллиардом параметров и повысить ее точность. ®️ платформа.
Во-вторых, на аппаратном уровне Intel также приложила некоторые усилия.
Например, недавно популярный ChatGLM-6B использует встроенный Intel®️ AMX масштабируемого процессора Xeon®️ четвертого поколения, что значительно увеличивает скорость вычислений точной настройки модели; он использует HBM, интегрированный с процессором серии Xeon®️ CPU Max. для удовлетворения потребностей крупных пользователей.Для точной настройки модели требуется большая пропускная способность памяти.
В дополнение к ЦП у Intel также есть специальный чип ускорения глубокого обучения Habana®️ Gaudi®️2, который может развертывать 8 карт ускорителей (так называемых процессорных блоков Habana, называемых HPU) на одном сервере. Каждая карта имеет память До 96 ГБ, обеспечивая достаточно места для больших моделей.
Таким образом, даже языковая модель уровня 100 миллиардов, такая как BLOOMZ, со 176 миллиардами параметров, может контролировать задержку производительности до 3,7 секунды после оптимизации Intel. Для меньшей модели BLOOMZ-7B с 7 миллиардами параметров задержка одного устройства в Gaudi®️2 составляет около 37,21% от Gaudi®️ первого поколения; а когда количество устройств увеличивается до 8, этот процент дополнительно падает до О 24,33%.
Затем, на уровне программного обеспечения, для популярных моделей больших языков, таких как ChatGLM, Intel также может оптимизировать их, создав модель с отслеживанием состояния OpenVINO™: сжимая веса для уменьшения использования полосы пропускания памяти и повышения скорости вывода.
Это прямое отражение подхода Intel к «интеграции программного и аппаратного обеспечения» в приложениях для больших моделей. Более того, аппаратное обеспечение больше не ограничивается процессором, есть также Gaudi®️, который может конкурировать с графическим процессором как по производительности обучения, так и по производительности вывода, а также удивит всех с точки зрения затрат.
Наконец, с точки зрения безопасности Intel также добилась «лучшего из обоих миров»: Trusted Execution Environment (TEE) на базе Intel®️ SGX/TDX может обеспечить более безопасную рабочую среду для больших моделей без ущерба для производительности.
Это «подход ускорения» Intel в эпоху больших моделей ИИ.
Какие еще изменения это принесет?
Глядя на развитие технологий искусственного интеллекта, нетрудно обнаружить, что Intel реализует очень четкий принцип: последнее слово – использование. Даже простого использования его в центрах обработки данных и на периферии недостаточно.Лучше всего, чтобы каждый компьютер и каждое информационное терминальное устройство каждого человека имели возможность независимого ускорения приложений ИИ, чтобы быть удовлетворенными «ядром».
Поэтому Intel скорректировала свою инновационную миссию следующим образом: добавить возможности искусственного интеллекта к различным аппаратным продуктам, способствовать популяризации приложений искусственного интеллекта с помощью открытых многоархитектурных программных решений и способствовать росту «базовой экономики».
«Подход ускорения» Intel призван не только обеспечить более быстрое внедрение и популяризацию технологий, но и способствовать внедрению, инновациям и изменениям, прокладывая путь для следующего поколения технологических изменений.
Есть ли у Intel конечная цель на этом пути?
Возможно, как это было повторено и подчеркнуто на Intel Innovation 2023: пусть ИИ будет повсюду (AI Everywhere).