Lightspeed America: Каково будущее уровня инфраструктуры искусственного интеллекта?

Оригинал: SenseAI

«С тех пор, как OpenAI запустила GPT-4 в апреле этого года, все больше и больше моделей становятся открытыми, и внимание сторонников ИИ смещается от моделей к приложениям. Последняя статья Lightspeed выявляет тенденцию развития моделей ИИ и предлагает будущее. большие модели будут разделены на три типа моделей, а возможные возможности на уровне модели будут организованы в структурированном виде.Содержание этого выпуска заставит вас задуматься о тенденциях развития и возможностях слоя инфраструктуры модели, включая Средний уровень AI Ops».

Чувственное мышление

Мы стараемся выдвигать более разнообразные выводы и глубокие размышления, основанные на содержании статьи, добро пожаловать к обмену.

В зависимости от возможностей и стоимости модели модели ИИ будут разделены на «модель мозга», «модель претендента» и «модель длинного хвоста». Модель с длинным хвостом небольшая и гибкая и больше подходит для обучения экспертных моделей для разделенных областей. Учитывая периодичность закона Мура, в будущем не будет блокады вычислительной мощности, и сценарии применения модели мозга будет трудно устранить. Рынок, вероятно, выберет подходящую модель в зависимости от размера пространства приложения. сценарий и правила распределения цепочки создания стоимости.

Новые возможности системы со стороны модели: 1) структура оценки модели; 2) эксплуатация и обслуживание модели; 3) расширение системы. Что необходимо учитывать, так это различия на разных рынках между Китаем и Соединенными Штатами, исходную экологию бизнес-услуг и предпочтения капитала.

Возможности платформы RAG (улучшение поиска) на уровне предприятия: возможности, связанные со сложностью и разнообразием моделей, 1) операционные инструменты: наблюдаемость, безопасность, соответствие требованиям; 2) данные: в дифференциации бизнес-ценности и обеспечении общей социальной ценности. возможности монетизации данных.

В тексте этой статьи всего 2426 слов, а внимательное прочтение займет около 7 минут.

В течение последнего десятилетия Lightspeed, ветеран американского фонда, работал с выдающимися компаниями в области искусственного интеллекта и машинного обучения, платформами, которые они создают, и клиентами, которых они обслуживают, чтобы лучше понять, как предприятия думают о Gen-AI. В частности, Lightspeed изучил экосистему базовой модели и задал такие вопросы, как «Будет ли для лучшей модели принцип «победитель получает все?»» и «Будут ли корпоративные сценарии использования вызывать API OpenAI по умолчанию, или фактическое использование будет более диверсифицированным?» " и так далее. Ответы определят будущее направление роста этой экосистемы и поток энергии, талантов и капитала.

01. Классификация модельных экосистем

Основываясь на наших знаниях, мы считаем, что в сфере искусственного интеллекта вот-вот произойдет кембрийский взрыв моделей. Разработчики и предприятия выберут модель, которая лучше всего соответствует «задаче, которую необходимо выполнить», хотя ее использование на этапе разведки может оказаться более целенаправленным. Вероятный путь внедрения на предприятии — использовать большие модели для исследования, постепенно переходя к более мелким специализированным (настроенным и усовершенствованным) моделям для использования в производстве по мере роста понимания варианта использования. На диаграмме ниже показано, как мы видим развитие экосистемы базовой модели.

Модельный ландшафт ИИ можно разделить на 3 основные, потенциально пересекающиеся категории:

Категория 1: Модель «Мозг»

Это лучшие модели и представляют собой новейшее моделирование. Вот тут-то и приходят на помощь эти умопомрачительные волшебные демо. Эти модели часто являются первым, на что обращают внимание разработчики, пытаясь изучить пределы того, что ИИ может сделать для своих приложений. Эти модели дороги в обучении, сложны в обслуживании и масштабировании. Но одна и та же модель может сдать LSAT, MCAT, написать за вас эссе для средней школы и взаимодействовать с вами как чат-бот. В настоящее время разработчики экспериментируют с этими моделями и оценивают возможность использования ИИ в корпоративных приложениях.

Однако модели общего назначения дороги в использовании, имеют высокую задержку вывода и могут быть излишними для четко определенных случаев использования с ограничениями. Вторая проблема заключается в том, что эти модели являются универсальными и могут быть менее точными при решении специализированных задач. (См. статью Корнелла.) Наконец, почти во всех случаях они также являются черными ящиками, что может создать проблемы конфиденциальности и безопасности для предприятий, которые пытаются использовать эти модели, не отказываясь от своих информационных активов. OpenAI, Anthropic, Cohere — вот несколько примеров компаний.

Категория вторая: Модель «Челленджер»

Это также модели высокой производительности, навыки и возможности которых уступают только предшествующим им большим моделям общего назначения. Лама 2 и Сокол — лучшие представители этой категории. Обычно они не уступают моделям поколения «N-1» или «N-2» от компании, которая подготовила общую модель. Например, по некоторым тестам Llama2 не уступает GPT-3.5-турбо. Настройка этих моделей на корпоративных данных может сделать их такими же эффективными, как первоклассные большие модели общего назначения для конкретных задач.

Многие из этих моделей имеют открытый исходный код (или близкий к нему) и после выпуска сразу же принесли улучшения и оптимизации со стороны сообщества открытого исходного кода.

Категория 3: Модель «Длинный хвост»

Это «экспертные» модели. Они созданы для выполнения определенной цели, например, для классификации документов, определения определенных атрибутов изображений или видео, выявления закономерностей в бизнес-данных и т. д. Эти модели гибки, дешевы в обучении и использовании и могут работать как в центре обработки данных, так и на периферии.

Краткого взгляда на Hugging Face достаточно, чтобы понять масштаб этой экосистемы сейчас и в будущем, поскольку диапазон вариантов использования, которым она служит, очень широк.

02. Базовая адаптация и практические примеры

Хотя это еще только начало, мы уже видим, что некоторые ведущие команды разработчиков и предприятия думают об экосистемах таким тонким образом. Кто-то хочет сопоставить использование с наилучшей возможной моделью. Даже используйте несколько моделей для более сложного варианта использования.

Факторы, определяющие, какую модель/модель использовать, обычно включают следующее:

1. Требования к конфиденциальности и соответствию данных. Это влияет на то, нужно ли запускать модель в корпоративной инфраструктуре или можно ли отправлять данные во внешнюю конечную точку вывода.

2. Позволяет ли модель тонкую настройку

3. Желаемый уровень «производительности» вывода (задержка, точность, стоимость и т. д.)

Однако на самом деле факторы, которые следует учитывать, часто намного шире, чем перечисленные выше, что отражает огромное разнообразие вариантов использования, которые разработчики надеются реализовать с помощью ИИ.

03. Где возможности?

1. Структура оценки модели. Организациям потребуется доступ к инструментам и опыту, которые помогут оценить, какую модель использовать для того или иного варианта использования. Разработчику необходимо решить, как лучше оценить пригодность конкретной модели для «предстоящей работы». При оценке необходимо учитывать множество факторов, включая не только производительность модели, но и стоимость, уровень контроля, который можно реализовать, и т. д.

2. Запуск и поддержка моделей. Появятся платформы, которые помогут компаниям обучать, настраивать и запускать модели (особенно третий тип моделей с длинным хвостом). Традиционно эти платформы широко называют платформами ML Ops, и мы ожидаем, что это определение будет распространяться и на генеративный искусственный интеллект. Такие платформы, как Databricks, Weights and Biases, Tecton и т. д., быстро движутся в этом направлении.

3. Расширенные системы. Модели, особенно размещенные на хостинге LLM, должны получать расширенные сборки, чтобы обеспечить идеальные результаты. Это требует ряда вспомогательных решений, в том числе

Извлечение данных и метаданных: как подключиться к структурированным и неструктурированным источникам корпоративных данных, а затем извлечь данные вместе с метаданными, такими как политики доступа.

Внедрения создания и хранения данных: какая модель используется для создания внедрений данных. И как их затем хранить: какую векторную базу данных использовать, особенно с учетом требуемой производительности, масштаба и функциональности?

Существует возможность построить RAG-платформу корпоративного уровня, которая избавит от сложности выбора и объединения этих платформ:

1. Операционные инструменты: корпоративным ИТ-отделам необходимо будет создать барьеры для инженерных групп, управлять затратами и т. д. Все задачи разработки программного обеспечения, которые они сейчас решают, теперь необходимо будет распространить на использование ИИ. Области, представляющие интерес для ИТ-отделов, включают:

Наблюдаемость: как модель будет работать в производстве? Улучшается/ухудшается ли их производительность с течением времени? Существуют ли шаблоны использования, которые могут повлиять на выбор модели приложения для будущих выпусков?

Безопасность: как обеспечить безопасность приложений, созданных на основе искусственного интеллекта. Являются ли эти приложения уязвимыми для новых векторов атак, требующих новых платформ?

Соответствие: мы ожидаем, что приложения, основанные на искусственном интеллекте, и использование LLM должны будут соответствовать основам, которые соответствующие руководящие органы уже начали разрабатывать. Это в дополнение к существующим режимам соблюдения конфиденциальности, безопасности, защиты потребителей, справедливости и т. д. Предприятиям потребуются платформы, которые помогут им поддерживать соблюдение требований, проводить аудиты, генерировать доказательства соответствия и решать связанные с этим задачи.

2. Данные. Платформы, которые помогают понять, какими информационными активами располагает бизнес и как их использовать для получения максимальной отдачи от новых моделей ИИ, будут быстро внедряться. Одна из крупнейших в мире компаний-разработчиков программного обеспечения однажды сказала нам: «Наши данные — это наш ров, наша основная интеллектуальная собственность и наше конкурентное преимущество. Используйте искусственный интеллект для монетизации этих данных и используйте их для «способов содействия дифференциации, не подрывая защищенности». Ключевую роль в этом будут играть такие платформы, как Snorkel.

Сейчас отличное время для создания платформы инфраструктуры искусственного интеллекта. Применение искусственного интеллекта будет продолжать трансформировать целые отрасли, но для этого потребуется поддержка инфраструктуры, промежуточного программного обеспечения, безопасности, наблюдения и операционных платформ, чтобы позволить каждому предприятию на планете внедрить эту мощную технологию.

Использованная литература

Автор: Вела, Ихао, Лео

Монтаж и форматирование: Зои, Вела.