Web3 не смог ниспровергнуть Web2, но появляющийся стек разработки больших моделей позволяет разработчикам перейти от эпохи «облачных технологий» к новому стеку технологий искусственного интеллекта.
Подскажите инженеры, возможно, не смогут потрогать нервы разработчиков, чтобы они бросились к большим моделям, но предложение продакт-менеджера или руководителя: Можно ли разработать «агент», можно ли реализовать «цепочку» и «Какую векторную базу данных Как использовать?" Студенты-технологи-драйверы в крупных компаниях, занимающихся разработкой приложений для крупных моделей, преодолевают трудности в разработке ИИ.
Итак, каковы уровни нового стека технологий? Где самое сложное? Эта статья поможет вам это узнать.
Стек технологий нуждается в обновлении, и разработчики открывают эпоху инженеров искусственного интеллекта.
В прошлом году появление таких инструментов, как LangChain и LlamaIndex, позволило экосистеме разработчиков приложений искусственного интеллекта стать более зрелой. Теперь есть даже термин для описания разработчиков, занимающихся искусственным интеллектом: «инженеры искусственного интеллекта», что, по словам его защитника Шона @swyx Ванга, является следующим шагом после «инженеров-советников». Он также создал график, который визуализирует место инженеров ИИ в более широкой экосистеме ИИ:
Источник изображения: Swyx
Большие языковые модели (LLM) — основная технология инженеров ИИ. Не случайно и LangChain, и LlamaIndex являются инструментами, расширяющими и дополняющими LLM. Но какие еще инструменты доступны для этого нового поколения разработчиков?
На данный момент лучшая диаграмма стека LLM, которую я видел, принадлежит венчурной компании Andreessen Horowitz (a16z). Вот что говорится о «стеке приложений LLM»:
Источник изображения: a16z
Верно, верхний уровень по-прежнему представляет собой данные.
Очевидно, что самое важное в стеке технологий LLM — это данные. На диаграмме a16z это верхний слой. «Встроенные модели» — вот где появляется LLM — вы можете выбрать OpenAI, Cohere, Hugging Face или десятки других вариантов LLM, включая все более популярный LLM с открытым исходным кодом.
Но даже перед использованием LLM необходимо настроить «конвейер данных» — в качестве двух примеров в нем указаны Databricks и Airflow, иначе данные могут обрабатываться «неструктурировано». Это также вписывается в цикл данных и может помочь предприятиям «очистить» или просто упорядочить данные перед их вводом в индивидуальную LLM. Компании, занимающиеся разведкой данных, такие как Alation, предоставляют этот тип услуг, что немного похоже на такие инструменты, как «бизнес-аналитика», которые более известны в стеке ИТ-технологий.
Последняя часть уровня данных — это недавно известная векторная база данных для хранения и обработки данных LLM. Согласно определению Microsoft, это «база данных, в которой данные хранятся в виде многомерных векторов, которые являются математическим представлением функций или атрибутов».
Ведущий поставщик векторных баз данных Pinecone отметил в медиачате, что инструменты Pinecone часто используются с инструментами конвейера данных, такими как Databricks. В этом случае данные обычно находятся в другом месте (например, в озере данных), которое затем преобразуется во встраивание с помощью модели машинного обучения. После того, как данные обработаны и разбиты на фрагменты, полученные векторы отправляются в Pinecone.
Советы и вопросы
Следующие два уровня можно обобщить как подсказки и запросы — именно здесь приложение ИИ взаимодействует с LLM и (необязательно) другими инструментами обработки данных. A16z позиционирует LangChain и LlamaIndex как «фреймворки оркестровки», что означает, что разработчики могут использовать эти инструменты, как только узнают, какой LLM они используют.
По словам a16z, платформы оркестровки, такие как LangChain и LlamaIndex, «абстрагируют многие детали быстрого связывания», что означает запрос и управление данными между приложением и LLM. Этот процесс оркестрации включает взаимодействие с внешними API, получение контекстных данных из базы данных векторов и поддержку памяти для нескольких вызовов LLM. Самая интересная ячейка в чарте a16z — «Playground», в которую входят OpenAI, nat.dev и Humanloop.
A16z не дал точного определения этому в своем блоге, но мы можем сделать вывод, что инструмент «игровая площадка» помогает разработчикам выполнять то, что A16z называет «подсказкой джиу-джитсу». В этих местах разработчики могут экспериментировать с различными приемами подсказок.
Humanloop — британская компания, чья платформа представляет собой «рабочее пространство для совместной работы». Далее он описывает себя как «полный набор инструментов разработки для производственной функциональности LLM». По сути, это позволяет вам попробовать материал LLM, а затем развернуть его в своем приложении, если он работает.
Работа трубопровода: LLMOps
Конвейер по производству крупных моделей теперь постепенно проясняется. Справа от поля оркестрации находится несколько полей операций, включая кэширование и проверку LLM. Существует также ряд облачных и API-сервисов, связанных с LLM, включая открытые репозитории API, такие как Hugging Face, и проприетарные поставщики API, такие как OpenAI.
Это, наверное, самое похожее место в стеке технологий для разработчиков, к которому мы привыкли в эпоху «облачных технологий», и не случайно многие DevOps-компании добавили искусственный интеллект в свой список продуктов. В мае я разговаривал с генеральным директором Harness Джоти Бансалом. Harness управляет «платформой доставки программного обеспечения», которая фокусируется на «CD»-части процесса CI/CD.
Бансай рассказал мне, что ИИ может облегчить утомительные и повторяющиеся задачи, связанные с жизненным циклом поставки программного обеспечения: от создания спецификаций на основе существующих функций до написания кода. Кроме того, он сказал, что ИИ может автоматизировать проверку кода, тестирование уязвимостей, исправление ошибок и даже создавать конвейеры CI/CD для сборок и развертываний. Согласно другому разговору, который у меня состоялся в мае, ИИ также меняет продуктивность разработчиков. Триша Джи из инструмента автоматизации сборки Gradle рассказала мне, что ИИ может ускорить разработку, сокращая время выполнения повторяющихся задач, таких как написание шаблонного кода, и позволяя разработчикам сосредоточиться на общей картине, например, проверяя, соответствует ли код потребностям бизнеса.
Web3 больше нет, скоро появится стек разработки больших моделей
В формирующемся стеке технологий разработки LLM мы видим ряд новых типов продуктов, таких как платформы оркестрации (LangChain и LlamaIndex), векторные базы данных и платформы «игровой площадки», такие как Humanloop. Все это расширяет и/или дополняет основную технологию этой эпохи: большие языковые модели.
Точно так же, как в предыдущие годы появилось множество облачных инструментов, таких как Spring Cloud и Kubernetes. Однако в настоящее время почти все крупные, малые и ведущие компании в эпоху облачных технологий изо всех сил стараются адаптировать свои инструменты для разработки искусственного интеллекта, что будет очень полезно для будущего развития стека технологий LLM.
Да, на этот раз большая модель словно «стоит на плечах гигантов».Лучшие инновации в компьютерных технологиях всегда строятся на предыдущем фундаменте. Возможно, именно поэтому революция «Web3» провалилась — она не столько опиралась на предыдущее поколение, сколько пыталась его узурпировать.
Понятно, что стек технологий LLM, похоже, сделал это, это мост от эпохи облачных разработок к новой экосистеме разработчиков на основе искусственного интеллекта.
Справочные ссылки:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Стек разработки больших моделей готов!
Автор | Ричард Макманус
Планирование | Комментарии
Источник丨Технологический стек 51CTO
Web3 не смог ниспровергнуть Web2, но появляющийся стек разработки больших моделей позволяет разработчикам перейти от эпохи «облачных технологий» к новому стеку технологий искусственного интеллекта.
Подскажите инженеры, возможно, не смогут потрогать нервы разработчиков, чтобы они бросились к большим моделям, но предложение продакт-менеджера или руководителя: Можно ли разработать «агент», можно ли реализовать «цепочку» и «Какую векторную базу данных Как использовать?" Студенты-технологи-драйверы в крупных компаниях, занимающихся разработкой приложений для крупных моделей, преодолевают трудности в разработке ИИ.
Итак, каковы уровни нового стека технологий? Где самое сложное? Эта статья поможет вам это узнать.
Стек технологий нуждается в обновлении, и разработчики открывают эпоху инженеров искусственного интеллекта.
В прошлом году появление таких инструментов, как LangChain и LlamaIndex, позволило экосистеме разработчиков приложений искусственного интеллекта стать более зрелой. Теперь есть даже термин для описания разработчиков, занимающихся искусственным интеллектом: «инженеры искусственного интеллекта», что, по словам его защитника Шона @swyx Ванга, является следующим шагом после «инженеров-советников». Он также создал график, который визуализирует место инженеров ИИ в более широкой экосистеме ИИ:
Большие языковые модели (LLM) — основная технология инженеров ИИ. Не случайно и LangChain, и LlamaIndex являются инструментами, расширяющими и дополняющими LLM. Но какие еще инструменты доступны для этого нового поколения разработчиков?
На данный момент лучшая диаграмма стека LLM, которую я видел, принадлежит венчурной компании Andreessen Horowitz (a16z). Вот что говорится о «стеке приложений LLM»:
Верно, верхний уровень по-прежнему представляет собой данные.
Очевидно, что самое важное в стеке технологий LLM — это данные. На диаграмме a16z это верхний слой. «Встроенные модели» — вот где появляется LLM — вы можете выбрать OpenAI, Cohere, Hugging Face или десятки других вариантов LLM, включая все более популярный LLM с открытым исходным кодом.
Но даже перед использованием LLM необходимо настроить «конвейер данных» — в качестве двух примеров в нем указаны Databricks и Airflow, иначе данные могут обрабатываться «неструктурировано». Это также вписывается в цикл данных и может помочь предприятиям «очистить» или просто упорядочить данные перед их вводом в индивидуальную LLM. Компании, занимающиеся разведкой данных, такие как Alation, предоставляют этот тип услуг, что немного похоже на такие инструменты, как «бизнес-аналитика», которые более известны в стеке ИТ-технологий.
Последняя часть уровня данных — это недавно известная векторная база данных для хранения и обработки данных LLM. Согласно определению Microsoft, это «база данных, в которой данные хранятся в виде многомерных векторов, которые являются математическим представлением функций или атрибутов».
Ведущий поставщик векторных баз данных Pinecone отметил в медиачате, что инструменты Pinecone часто используются с инструментами конвейера данных, такими как Databricks. В этом случае данные обычно находятся в другом месте (например, в озере данных), которое затем преобразуется во встраивание с помощью модели машинного обучения. После того, как данные обработаны и разбиты на фрагменты, полученные векторы отправляются в Pinecone.
Советы и вопросы
Следующие два уровня можно обобщить как подсказки и запросы — именно здесь приложение ИИ взаимодействует с LLM и (необязательно) другими инструментами обработки данных. A16z позиционирует LangChain и LlamaIndex как «фреймворки оркестровки», что означает, что разработчики могут использовать эти инструменты, как только узнают, какой LLM они используют.
По словам a16z, платформы оркестровки, такие как LangChain и LlamaIndex, «абстрагируют многие детали быстрого связывания», что означает запрос и управление данными между приложением и LLM. Этот процесс оркестрации включает взаимодействие с внешними API, получение контекстных данных из базы данных векторов и поддержку памяти для нескольких вызовов LLM. Самая интересная ячейка в чарте a16z — «Playground», в которую входят OpenAI, nat.dev и Humanloop.
A16z не дал точного определения этому в своем блоге, но мы можем сделать вывод, что инструмент «игровая площадка» помогает разработчикам выполнять то, что A16z называет «подсказкой джиу-джитсу». В этих местах разработчики могут экспериментировать с различными приемами подсказок.
Humanloop — британская компания, чья платформа представляет собой «рабочее пространство для совместной работы». Далее он описывает себя как «полный набор инструментов разработки для производственной функциональности LLM». По сути, это позволяет вам попробовать материал LLM, а затем развернуть его в своем приложении, если он работает.
Работа трубопровода: LLMOps
Конвейер по производству крупных моделей теперь постепенно проясняется. Справа от поля оркестрации находится несколько полей операций, включая кэширование и проверку LLM. Существует также ряд облачных и API-сервисов, связанных с LLM, включая открытые репозитории API, такие как Hugging Face, и проприетарные поставщики API, такие как OpenAI.
Это, наверное, самое похожее место в стеке технологий для разработчиков, к которому мы привыкли в эпоху «облачных технологий», и не случайно многие DevOps-компании добавили искусственный интеллект в свой список продуктов. В мае я разговаривал с генеральным директором Harness Джоти Бансалом. Harness управляет «платформой доставки программного обеспечения», которая фокусируется на «CD»-части процесса CI/CD.
Бансай рассказал мне, что ИИ может облегчить утомительные и повторяющиеся задачи, связанные с жизненным циклом поставки программного обеспечения: от создания спецификаций на основе существующих функций до написания кода. Кроме того, он сказал, что ИИ может автоматизировать проверку кода, тестирование уязвимостей, исправление ошибок и даже создавать конвейеры CI/CD для сборок и развертываний. Согласно другому разговору, который у меня состоялся в мае, ИИ также меняет продуктивность разработчиков. Триша Джи из инструмента автоматизации сборки Gradle рассказала мне, что ИИ может ускорить разработку, сокращая время выполнения повторяющихся задач, таких как написание шаблонного кода, и позволяя разработчикам сосредоточиться на общей картине, например, проверяя, соответствует ли код потребностям бизнеса.
Web3 больше нет, скоро появится стек разработки больших моделей
В формирующемся стеке технологий разработки LLM мы видим ряд новых типов продуктов, таких как платформы оркестрации (LangChain и LlamaIndex), векторные базы данных и платформы «игровой площадки», такие как Humanloop. Все это расширяет и/или дополняет основную технологию этой эпохи: большие языковые модели.
Точно так же, как в предыдущие годы появилось множество облачных инструментов, таких как Spring Cloud и Kubernetes. Однако в настоящее время почти все крупные, малые и ведущие компании в эпоху облачных технологий изо всех сил стараются адаптировать свои инструменты для разработки искусственного интеллекта, что будет очень полезно для будущего развития стека технологий LLM.
Да, на этот раз большая модель словно «стоит на плечах гигантов».Лучшие инновации в компьютерных технологиях всегда строятся на предыдущем фундаменте. Возможно, именно поэтому революция «Web3» провалилась — она не столько опиралась на предыдущее поколение, сколько пыталась его узурпировать.
Понятно, что стек технологий LLM, похоже, сделал это, это мост от эпохи облачных разработок к новой экосистеме разработчиков на основе искусственного интеллекта.
Справочные ссылки: