Последний выпуск команды LangChain: LangSmith, платформа для разработки крупномасштабных моделей приложений, позволяет использовать LLM в реальных приложениях.

Langchain, который в марте получил финансирование в размере 10 млн долларов США, должен быть известен всем.Как интегрированная среда разработки с открытым исходным кодом, он может помочь пользователям быстро создать прототип приложения LLM. Однако от простых прототипов моделей LLM до реальных производственных приложений еще далеко. ** 18 июля компания Langchain продолжила выпуск крупномасштабной платформы разработки приложений LangSmith, надеясь, что разработчики смогут быстро создать приложение LLM, которое можно будет внедрить в реальную производственную среду. **

Первоисточник: глубокое мышление SenseAI

Источник изображения: сгенерировано Unbounded AI‌

Инструментальная поддержка больших языковых моделей (LLM) все еще находится в зачаточном состоянии. Из-за характера и динамического характера LLM традиционные программные инструменты часто не могут полностью удовлетворить потребности этих моделей.

Вот тут-то и появляются LangChain и LangSmith.

В этом посте мы рассмотрим последнее предложение от команды, создавшей Langchain (самый популярный программный инструмент LLM), и рассмотрим новые проблемы, которые LangSmith надеется решить в стеке LLM.

**01. Что такое ЛэнгСмит? **

Когда Langchain был первоначально создан, целью было снизить входной барьер для создания моделей LLM. Хотя были некоторые споры о жизнеспособности Langchain как инструмента, он в значительной степени достиг этой цели. После решения проблемы прототипирования следующей задачей является помощь этим приложениям в разработке и обеспечение их надежной и удобной в сопровождении реализации. Простое мышление это:

Ленгчейн = прототип

ЛэнгСмит = Приложение

**Но каковы менее важные проблемы в прототипировании, которые необходимо решить в процессе разработки? **

Надежность. Легко создать функциональность, которая работает для простых примеров с ограничениями, но создание согласованного приложения LLM, удовлетворяющего требованиям большинства компаний, на самом деле довольно сложно.

Чтобы решить эту проблему, LangSmith предоставляет новые функциональные возможности для следующих 5 основных компонентов:

• Отладка
• тест
• Оценивать
• мониторинг
• Метрики использования

Одно из главных достоинств LangSmith — возможность выполнять все эти операции с помощью простого и интуитивно понятного пользовательского интерфейса, что значительно снижает входной барьер для разработчиков, не имеющих опыта работы с программным обеспечением.

Многие функции LLM не являются интуитивно понятными с числовой точки зрения, поэтому визуальный интерфейс был бы очень полезен. Авторы обнаружили, что наличие хорошо разработанного пользовательского интерфейса может ускорить создание прототипов и работу для пользователей, поскольку выполнение всего лишь с помощью кода часто может быть утомительным.

Кроме того, возможность визуализировать процесс и сложную цепочку команд системы LLM очень полезна для понимания того, почему вы получаете определенный результат. По мере того как пользователи создают более сложные рабочие процессы, может быть трудно понять, как именно запросы передаются через различные процессы, поэтому возможность просматривать эти процессы и записывать исторические данные через простой интерфейс будет первоклассной услугой с добавленной стоимостью.

**02. Кто конкурирует с LangSmith? **

Хотя она еще не является прямым конкурентом, для такой организации, как Vercel (с ее AI SDK), было бы целесообразно развернуть аналогичные возможности, чтобы стать платформой для разработчиков ИИ. Ожидается, что в ближайшие 3-6 месяцев из-за огромного рыночного потенциала этих инструментов другие платформы запустят аналогичные инструменты.

**В настоящее время Vercel больше сосредоточен на развертывании и услугах LLM, поскольку это лучше соответствует их историческому основному продукту, но в долгосрочной перспективе имеет больше смысла расширять AI SDK. **

Хотя LangSmith, похоже, еще не занимается встраиваемыми технологиями, похоже, что в этой области есть много естественных пересечений, отличающихся от многих поставщиков встраиваемых систем, которые предлагают встроенные пользовательские интерфейсы. Экосистемы, такие как LlamaIndex, выиграют от такого типа разработки продукта, но вопрос в том, смогут ли они оставаться дифференцированными в одной и той же проблемной области.

Тем не менее, приятно видеть, что LangSmith по-прежнему хочет использовать как можно больше инструментов. В опубликованном сообщении в блоге они упоминают интеграцию с OpenAI, а также несколько поставщиков тонкой настройки, которые позволят разработчикам экспортировать данные и обучаться напрямую. Похоже, такие интеграции не только принесут много похвал разработчикам, но и со временем послужат легким барьером защиты (подключать различные инструменты не всегда просто).

**03. Как выросла компания LangSmith? **

Автор в основном хочет, чтобы он был расширяемым. Потому что, если LangSmith можно будет включить в другие приложения и сервисы, его охват может расти в геометрической прогрессии. Например, предоставление разработчикам возможности входить в систему с учетными записями LangChain и отслеживать свои LLM в Vercel в сочетании с AI SDK и информацией о развертывании было бы очень ценным.

**Что необходимо для сохранения дифференциации в долгосрочной перспективе? **

Автор очень воодушевлен LangSmith и считает, что он решает ряд реальных проблем, с которыми сталкиваются разработчики и разработчики продуктов при попытке перейти к производству. Реальный долгосрочный вопрос остается: «Достаточно ли контента для построения долгосрочного конкурентоспособного бизнеса». **

Но однозначного ответа у автора сейчас нет.Общая идея сейчас в том, что многие текущие функции ЛенгСмита являются необходимыми условиями для разработчиков. Большинство поставщиков LLM надеются в будущем включить аналогичные функции в свои платформы. Но это не значит, что LangSmith не может добиться успеха. Просто взгляните на Terraform от HashiCorp, связующее звено, объединяющее всех облачных провайдеров и решающее проблему, достаточно серьезную, чтобы стать публичной компанией. Однако LangSmith необходимо продолжать расширять свое присутствие, чтобы конкурировать с несколькими поставщиками и экосистемой других инструментов.

Рекомендации