большая модель + подключаемая модель, скорее всего, является одним из ответов на коммерциализацию больших моделей ИИ.
17 октября на «Всемирной конференции Baidu 2023» Робин Ли официально представил последнюю версию модели Wenxin 4.0.
В течение некоторого времени поступали различные оценки, и основные научно-технические средства массовой информации проводили всестороннюю оценку модели с точки зрения понимания, генерации, логики и способности к запоминанию.
Однако, помимо неоднократно обсуждаемого Wenxin 4.0, еще одна слегка сдержанная функция на пресс-конференции также холодно показала тенденцию развития будущих больших моделей.
** Это функция плагина Baidu Wenxin 4.0. **
В настоящее время Wenxin 4.0 имеет 8 плагинов, в том числе зеркальную тень (текст в видео), скажем, рисование картинок (смотреть на картинки и говорить), E Yan Yi Tu (визуальный анализ данных) и так далее.
Эти плагины также можно свободно комбинировать для выполнения более сложных задач.
Мало того, платформа для разработки плагинов Baidu Wenxin, Lingjing Matrix Platform, была применена 27 000 разработчиками в течение одного месяца после ее запуска, и более 30% из них составляют индивидуальные разработчики.
Так почему же Baidu придает такое большое значение плагинам? И что означает процветание экосистемы плагинов для большой модели?
Плагин, пусть большая модель похожа на крыло тигра
В какой-то степени плагины эквивалентны еще одному скрытому «приложению-убийце» для больших моделей. "
Не улучшая алгоритм и параметры модели, можно значительно расширить и улучшить возможности модели с помощью простой надстройки.
Ранее в GPT-4 достигался эффект усиления тигра за счет функции плагина. Внешний мир даже назвал это увеличение появлением GPT-4.5**.
9 июля этого года компания OpenAI объявила, что официальный плагин Code Interpreter (Интерпретатор кода) будет доступен всем пользователям ChatGPT Plus через панель бета-версии в настройках.
Итак, что именно может делать Code Interpreter?
Проще говоря, это эквивалентно значительному расширению границ возможностей GPT-4, что позволяет GPT-4 делать многие вещи, которые раньше были невозможны.
Например, после запуска плагина пользователь Twitter @歸藏 продемонстрировал процесс анализа данных подписчиков на рассылку с помощью парсера кода.
Парсеру кода не нужно использовать какое-либо сложное программное обеспечение от анализа данных до картографирования, достаточно сказать что-то прямолинейное: «Я хочу проанализировать тенденцию роста подписчиков за последний месяц».
Кроме того, люди также могут напрямую использовать «человеческую речь», чтобы позволить GPT создавать визуальные GIF-изображения из данных.
Например, если люди хотят сделать географический значок американского маяка, им нужно только загрузить данные о географическом местоположении, и GPT может автоматически создать следующий GIF-файл с помощью функции плагина.
И даже если вы хотите сгенерировать видео из изображений, CodeInterpreter может сделать это у вас под рукой. После включения плагина просто скажите GPT: «Я хочу использовать это изображение для создания видео с панорамированием справа налево». "
GPT автоматически снимет видео из изображений, сгенерированных Midjourney в соответствии с вашими требованиями.
Netizen ChaseLean использует ChatGPT для создания видео с бургером
Даже люди с небольшим опытом в коде и программировании могут использовать плагин CodeInterpreter, чтобы сделать простую игру за 5 минут.
С помощью всего нескольких подсказок простая мини-игра завершена
В целом, CodeInterpreter включает в себя функции, которые охватывают множество различных задач, таких как преодоление модальных барьеров, преобразование материальных форм и выполнение анализа данных.
Причина, по которой плагин имеет такую «бросающую вызов небесам» функцию, заключается в том, что он разрушает барьер между естественным языком и языком кода. **
С его помощью пользователи могут сократить сложные процессы кода и напрямую выполнять различные междоменные и кросс-модальные задачи с помощью взаимодействия на естественном языке (так называемая «человеческая речь»).
Из-за этого некоторые люди воскликнули, что этот плагин, удваивающий возможности модели, является появлением GPT-4.5.
Поэтому нетрудно понять, почему Baidu придает такое большое значение разработке плагинов.
Для больших команд разработчиков моделей невозможно и нереально сделать так, чтобы модель включала в себя все потребности пользователей. Потому что в процессе эволюции ИИ пользователи неизбежно будут генерировать все больше новых и непредсказуемых идей и потребностей.
В это время разнообразные гибкие плагины стали «протезами», расширяющими возможности больших моделей.
Плагины цветут
В дополнение к нативным плагинам, которые поставляются с OpenAI, появились и другие плагины в текущем направлении ИИ.
Здесь мы проведем простое перечисление, чтобы увидеть, какие разнообразные расширения плагины с разными функциями привнесут в более крупные модели.
ЧатPDF
ChatPDF - это мощный онлайн-инструмент для работы с PDF-файлами, пользователям нужно только загрузить PDF-файлы в ChatPDF, ChatPDF может быстро использовать искусственный интеллект для анализа содержимого PDF-файла и генерировать точные ответы, чтобы ответить на вопросы пользователей.
В дополнение к интеллектуальной функции вопросов и ответов, ChatPDF также предлагает онлайн-редактирование, конвертацию и сжатие файлов. Если пользователи хотят добавить или удалить элементы из PDF-файла или изменить какой-либо текст или изображения, функция онлайн-редактирования ChatPDF будет очень полезна.
### Моника
Плагин боковой панели веб-страницы, который подключается к интерфейсу API ChatGPT, и при запуске Моника может использовать способность ChatGPT интерпретировать любую информацию или текст, или обсуждать содержание страницы, а также предоставлять переводы при просмотре любого веб-сайта.
Стоит отметить, что помимо ChatGPT, Моника также интегрирует интерфейсы других ИИ, таких как Claued и Bard, и если этого недостаточно, пользователи также могут самостоятельно искать и добавлять другие инструменты ИИ в библиотеку ИИ, к которой они обращаются, чтобы они могли удовлетворить свои разнообразные потребности с помощью разных ИИ.
### ChatHub
Это плагин, который позволяет использовать разных чат-ботов в одном приложении, в настоящее время поддерживает ChatGPT и новый BingChat, а в будущем будет интегрировано больше чат-ботов, таких как Google Bard. Пользователи могут общаться с несколькими чат-ботами одновременно и легко сравнивать их ответы.
### ПримечаниеGPT
Это плагин, который использует ChatGPT для обобщения видео. Поддержка создания скриншотов и заметок на видеосайтах одним щелчком мыши.
После запуска плагина пользователи могут быстро использовать ChatGPT для получения ключевой информации о видеоконтенте и создания сводок и сводок при столкновении с определенными длинными видео, а также делать скриншоты или записывать заметки с отметками времени во время просмотра видео одним щелчком мыши.
### Умная звезда ИИ-помощник
Это первый продукт когнитивной модели ИИ в Китае, который поддерживает плагины, и Zhixing AI в настоящее время имеет доступ к 7 плагинам, включая запрос погоды, поиск Bing, Wolfram и т. д., которые могут быстро предоставлять информацию о погоде в режиме реального времени, отвечать на сложные математические задачи и проводить углубленный финансовый анализ.
Для сравнения, ChatGPT может использовать только 3 плагина одновременно, в то время как Smartstar AI не имеет ограничений на количество плагинов.
### WPSAI
Он эквивалентен отечественной версии Microsoft365 Copilot, с сокращением, расширением, продолжением, изменением стиля написания, резюмированием и резюмированием основных моментов статьи, быстрой генерацией контуров PPT, изготовлением шаблонов PPT в один клик, интеллектуальной обработкой таблиц Excel и другими функциями, а также имеет новые возможности голосового взаимодействия, которые могут быть использованы для мобильного офиса на терминалах с небольшим экраном, таких как мобильные телефоны.
Амбиции в плагине
В дополнение к вышеупомянутым различным типам функций сторонних плагинов, крупные технологические гиганты также продемонстрировали импульс в направлении плагинов.
Например, платформа подключаемых модулей Microsoft AI предоставляет ряд инструментов и служб, которые позволяют разработчикам использовать Microsoft ChatGPT и новый Bing для создания и развертывания различных подключаемых модулей ИИ, включая классы моделей возможностей, классы данных, классы приложений и т. д. Его подключаемые модули охватывают несколько сценариев и продуктов, таких как Dynamics 365, Microsoft 365 и другие. **
В Китае Baidu также запустила платформу «Spirit Matrix», которая известна тем, что позволяет каждому разрабатывать плагины искусственного интеллекта, пытаясь построить огромную экосистему плагинов, основанную на словах Вэнь Синя.
За этим большим макетом, по крайней мере, намерения гигантов раскрываются в двух аспектах:
**1. Воспринимать плагины как точку прорыва, чтобы открыть путь к масштабной коммерциализации; **
**2. Благодаря огромной экосистеме плагинов создавайте программные барьеры, такие как CUDA от NVIDIA. **
Что касается первого пункта, почему модель «большая модель + подключаемая модель», скорее всего, является ответом на широкомасштабную коммерциализацию ИИ?
Причина на самом деле очень проста, предыдущая большая модель, будь то текст ИИ, рисунок, ее поле включения может быть ограничено только одной, узкой областью действия.
Большая модель может иметь хороший уровень написания, но на самом деле, как решать многокатегорийные и специфические задачи сравнения товаров и финансового анализа?
Потребности людей в жизни разнообразны и многоуровневы, с этой точки зрения, когда большая модель ломает ограничение одного режима и удовлетворяет этот диверсифицированный спрос, это начало ее реальной масштабной коммерциализации. **
А функции плагинов каждого внешнего эквивалентны большим моделям? «Глаз» и «рука» делают его более не ограниченным одним полем и рамками модальности.
В будущем пользователям может понадобиться только вход большой модели для выполнения таких задач, как бронирование билетов, заказ еды, заказ еды и заказ еды на вынос.
Это также приводит ко второму пункту, а именно к экологическому барьеру, в котором доминируют плагины **. **
Несмотря на то, что в настоящее время существует бесчисленное множество приложений ИИ, созданных в стране и за рубежом, значительная часть из них по-прежнему является продуктами-оболочками на основе ChatGPT.
Эта реальность отражается и с одной стороны: при выборе больших моделей большинство разработчиков и пользователей по-прежнему признают только самые сильные головные продукты.
Известный инвестиционный институт A16Z объявил в прошлом месяце, что значительная часть из 50 лучших ИИ-сайтов по трафику — это приложения-оболочки
Другими словами, для больших моделей, пока пользователь сталкивается с одной из них, которая лучше всего подходит, он с меньшей вероятностью будет использовать другую.
Следуя этой логике, если многие компании не хотят попасть в ситуацию повторения колеса, лучшим выбором должно быть смещение их внимания на сторону приложения.
Исторический опыт показывает, что в конкуренции программного обеспечения и приложений кто может предоставить разработчикам низкопороговую и дружественную среду разработки, кто может взять на себя инициативу в установлении собственных экологических барьеров.
В этом отношении, можно сказать, что CUDA от NVIDIA является отличным примером.
После непрерывной эволюции CUDA сформировала богатую и зрелую экосистему. NVIDIA также добилась глубокой привязки программного и аппаратного обеспечения: с его программным обеспечением вы должны покупать его оборудование, а покупка его оборудования с помощью CUDA может быть в два раза эффективнее.
В настоящее время компоновка крупных гигантов в плагинах также очень похожа на CUDA от NVIDIA: если разработчики или пользователи хотят добиться низкопороговой и быстрой разработки ИИ-приложений, они должны опираться на возможности своих больших моделей.
В свою очередь, процветание прикладной экологии усилит доверие людей к ее большой модели.
Тот, кто возьмет на себя инициативу в реализации такой экосистемы, которая будет продвигать и дополнять друг друга приложениями, будет первым, кто воздвигнет свои собственные экологические барьеры в эпоху ИИ.
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Плагины: альтернативные нативные приложения на основе искусственного интеллекта с самым низким порогом входа
Источник: AI New Intelligence
17 октября на «Всемирной конференции Baidu 2023» Робин Ли официально представил последнюю версию модели Wenxin 4.0.
В течение некоторого времени поступали различные оценки, и основные научно-технические средства массовой информации проводили всестороннюю оценку модели с точки зрения понимания, генерации, логики и способности к запоминанию.
** Это функция плагина Baidu Wenxin 4.0. **
В настоящее время Wenxin 4.0 имеет 8 плагинов, в том числе зеркальную тень (текст в видео), скажем, рисование картинок (смотреть на картинки и говорить), E Yan Yi Tu (визуальный анализ данных) и так далее.
Мало того, платформа для разработки плагинов Baidu Wenxin, Lingjing Matrix Platform, была применена 27 000 разработчиками в течение одного месяца после ее запуска, и более 30% из них составляют индивидуальные разработчики.
Так почему же Baidu придает такое большое значение плагинам? И что означает процветание экосистемы плагинов для большой модели?
Плагин, пусть большая модель похожа на крыло тигра
В какой-то степени плагины эквивалентны еще одному скрытому «приложению-убийце» для больших моделей. "
Не улучшая алгоритм и параметры модели, можно значительно расширить и улучшить возможности модели с помощью простой надстройки.
Ранее в GPT-4 достигался эффект усиления тигра за счет функции плагина. Внешний мир даже назвал это увеличение появлением GPT-4.5**.
Итак, что именно может делать Code Interpreter?
Проще говоря, это эквивалентно значительному расширению границ возможностей GPT-4, что позволяет GPT-4 делать многие вещи, которые раньше были невозможны.
Например, после запуска плагина пользователь Twitter @歸藏 продемонстрировал процесс анализа данных подписчиков на рассылку с помощью парсера кода.
Парсеру кода не нужно использовать какое-либо сложное программное обеспечение от анализа данных до картографирования, достаточно сказать что-то прямолинейное: «Я хочу проанализировать тенденцию роста подписчиков за последний месяц».
Например, если люди хотят сделать географический значок американского маяка, им нужно только загрузить данные о географическом местоположении, и GPT может автоматически создать следующий GIF-файл с помощью функции плагина.
GPT автоматически снимет видео из изображений, сгенерированных Midjourney в соответствии с вашими требованиями.
Даже люди с небольшим опытом в коде и программировании могут использовать плагин CodeInterpreter, чтобы сделать простую игру за 5 минут.
В целом, CodeInterpreter включает в себя функции, которые охватывают множество различных задач, таких как преодоление модальных барьеров, преобразование материальных форм и выполнение анализа данных.
Причина, по которой плагин имеет такую «бросающую вызов небесам» функцию, заключается в том, что он разрушает барьер между естественным языком и языком кода. **
С его помощью пользователи могут сократить сложные процессы кода и напрямую выполнять различные междоменные и кросс-модальные задачи с помощью взаимодействия на естественном языке (так называемая «человеческая речь»).
Из-за этого некоторые люди воскликнули, что этот плагин, удваивающий возможности модели, является появлением GPT-4.5.
Для больших команд разработчиков моделей невозможно и нереально сделать так, чтобы модель включала в себя все потребности пользователей. Потому что в процессе эволюции ИИ пользователи неизбежно будут генерировать все больше новых и непредсказуемых идей и потребностей.
В это время разнообразные гибкие плагины стали «протезами», расширяющими возможности больших моделей.
Плагины цветут
В дополнение к нативным плагинам, которые поставляются с OpenAI, появились и другие плагины в текущем направлении ИИ.
Здесь мы проведем простое перечисление, чтобы увидеть, какие разнообразные расширения плагины с разными функциями привнесут в более крупные модели.
ЧатPDF
ChatPDF - это мощный онлайн-инструмент для работы с PDF-файлами, пользователям нужно только загрузить PDF-файлы в ChatPDF, ChatPDF может быстро использовать искусственный интеллект для анализа содержимого PDF-файла и генерировать точные ответы, чтобы ответить на вопросы пользователей.
В дополнение к интеллектуальной функции вопросов и ответов, ChatPDF также предлагает онлайн-редактирование, конвертацию и сжатие файлов. Если пользователи хотят добавить или удалить элементы из PDF-файла или изменить какой-либо текст или изображения, функция онлайн-редактирования ChatPDF будет очень полезна.
Плагин боковой панели веб-страницы, который подключается к интерфейсу API ChatGPT, и при запуске Моника может использовать способность ChatGPT интерпретировать любую информацию или текст, или обсуждать содержание страницы, а также предоставлять переводы при просмотре любого веб-сайта.
Стоит отметить, что помимо ChatGPT, Моника также интегрирует интерфейсы других ИИ, таких как Claued и Bard, и если этого недостаточно, пользователи также могут самостоятельно искать и добавлять другие инструменты ИИ в библиотеку ИИ, к которой они обращаются, чтобы они могли удовлетворить свои разнообразные потребности с помощью разных ИИ.
Это плагин, который позволяет использовать разных чат-ботов в одном приложении, в настоящее время поддерживает ChatGPT и новый BingChat, а в будущем будет интегрировано больше чат-ботов, таких как Google Bard. Пользователи могут общаться с несколькими чат-ботами одновременно и легко сравнивать их ответы.
Это плагин, который использует ChatGPT для обобщения видео. Поддержка создания скриншотов и заметок на видеосайтах одним щелчком мыши.
После запуска плагина пользователи могут быстро использовать ChatGPT для получения ключевой информации о видеоконтенте и создания сводок и сводок при столкновении с определенными длинными видео, а также делать скриншоты или записывать заметки с отметками времени во время просмотра видео одним щелчком мыши.
Это первый продукт когнитивной модели ИИ в Китае, который поддерживает плагины, и Zhixing AI в настоящее время имеет доступ к 7 плагинам, включая запрос погоды, поиск Bing, Wolfram и т. д., которые могут быстро предоставлять информацию о погоде в режиме реального времени, отвечать на сложные математические задачи и проводить углубленный финансовый анализ.
Для сравнения, ChatGPT может использовать только 3 плагина одновременно, в то время как Smartstar AI не имеет ограничений на количество плагинов.
Он эквивалентен отечественной версии Microsoft365 Copilot, с сокращением, расширением, продолжением, изменением стиля написания, резюмированием и резюмированием основных моментов статьи, быстрой генерацией контуров PPT, изготовлением шаблонов PPT в один клик, интеллектуальной обработкой таблиц Excel и другими функциями, а также имеет новые возможности голосового взаимодействия, которые могут быть использованы для мобильного офиса на терминалах с небольшим экраном, таких как мобильные телефоны.
Амбиции в плагине
В дополнение к вышеупомянутым различным типам функций сторонних плагинов, крупные технологические гиганты также продемонстрировали импульс в направлении плагинов.
Например, платформа подключаемых модулей Microsoft AI предоставляет ряд инструментов и служб, которые позволяют разработчикам использовать Microsoft ChatGPT и новый Bing для создания и развертывания различных подключаемых модулей ИИ, включая классы моделей возможностей, классы данных, классы приложений и т. д. Его подключаемые модули охватывают несколько сценариев и продуктов, таких как Dynamics 365, Microsoft 365 и другие. **
За этим большим макетом, по крайней мере, намерения гигантов раскрываются в двух аспектах:
**1. Воспринимать плагины как точку прорыва, чтобы открыть путь к масштабной коммерциализации; **
**2. Благодаря огромной экосистеме плагинов создавайте программные барьеры, такие как CUDA от NVIDIA. **
Причина на самом деле очень проста, предыдущая большая модель, будь то текст ИИ, рисунок, ее поле включения может быть ограничено только одной, узкой областью действия.
Большая модель может иметь хороший уровень написания, но на самом деле, как решать многокатегорийные и специфические задачи сравнения товаров и финансового анализа?
Потребности людей в жизни разнообразны и многоуровневы, с этой точки зрения, когда большая модель ломает ограничение одного режима и удовлетворяет этот диверсифицированный спрос, это начало ее реальной масштабной коммерциализации. **
В будущем пользователям может понадобиться только вход большой модели для выполнения таких задач, как бронирование билетов, заказ еды, заказ еды и заказ еды на вынос.
Это также приводит ко второму пункту, а именно к экологическому барьеру, в котором доминируют плагины **. **
Несмотря на то, что в настоящее время существует бесчисленное множество приложений ИИ, созданных в стране и за рубежом, значительная часть из них по-прежнему является продуктами-оболочками на основе ChatGPT.
Эта реальность отражается и с одной стороны: при выборе больших моделей большинство разработчиков и пользователей по-прежнему признают только самые сильные головные продукты.
Другими словами, для больших моделей, пока пользователь сталкивается с одной из них, которая лучше всего подходит, он с меньшей вероятностью будет использовать другую.
Следуя этой логике, если многие компании не хотят попасть в ситуацию повторения колеса, лучшим выбором должно быть смещение их внимания на сторону приложения.
Исторический опыт показывает, что в конкуренции программного обеспечения и приложений кто может предоставить разработчикам низкопороговую и дружественную среду разработки, кто может взять на себя инициативу в установлении собственных экологических барьеров.
В этом отношении, можно сказать, что CUDA от NVIDIA является отличным примером.
В настоящее время компоновка крупных гигантов в плагинах также очень похожа на CUDA от NVIDIA: если разработчики или пользователи хотят добиться низкопороговой и быстрой разработки ИИ-приложений, они должны опираться на возможности своих больших моделей.
В свою очередь, процветание прикладной экологии усилит доверие людей к ее большой модели.
Тот, кто возьмет на себя инициативу в реализации такой экосистемы, которая будет продвигать и дополнять друг друга приложениями, будет первым, кто воздвигнет свои собственные экологические барьеры в эпоху ИИ.