Web3 не зміг підірвати Web2, але новий стек розробки великої моделі дозволяє розробникам перейти від епохи «хмарної» ери до нового стеку технологій ШІ.
Можливо, оперативні інженери не зможуть зворушити нерви розробників, щоб поспішити до великих моделей, але слова менеджерів із продуктів або керівників: чи можна розробити «агента», чи можна реалізувати «ланцюжок» і «Яку векторну базу даних слід використовувався?" Студенти, які навчаються водіям у великих компаніях, що розробляють прикладні програми, долають труднощі у створенні розробки ШІ.
Отже, які шари нового стеку технологій? Де найскладніше? Ця стаття допоможе вам дізнатися.
Стек технологій потребує оновлення, і розробники розпочинають еру інженерів ШІ.
Минулого року поява таких інструментів, як LangChain і LlamaIndex, дозволила екосистемі розробників додатків штучного інтелекту розвиватися. Зараз навіть існує термін для опису розробників, зосереджених на штучному інтелекті: «інженери ШІ», що є наступним кроком у порівнянні з «інженерами-підказками», за словами його прихильника Шона @swyx Wang. Він також створив графік, який візуалізує, де інженери ШІ вписуються в ширшу екосистему ШІ:
Джерело зображення: swyx
Великі мовні моделі (LLM) є основною технологією інженерів ШІ. Не випадково і LangChain, і LlamaIndex є інструментами, які розширюють і доповнюють LLM. Але які ще інструменти доступні для цього нового покоління розробників?
Наразі найкраща діаграма стека LLM, яку я бачив, надходить від компанії венчурного капіталу Andreessen Horowitz (a16z). Ось що там сказано про «стек програм LLM»:
Джерело зображення: a16z
Правильно, верхній рівень – це все ще дані.
Очевидно, що найважливіше в стеку технологій LLM – це дані. На діаграмі a16z це верхній шар. «Вбудовані моделі» — це місце, де LLM приходить — ви можете вибрати OpenAI, Cohere, Hugging Face або десятки інших варіантів LLM, у тому числі дедалі популярнішого LLM з відкритим кодом.
Але навіть перед використанням LLM необхідно налаштувати «конвеєр даних» — у ньому вказуються Databricks і Airflow як два приклади, інакше дані можна обробляти «неструктуровано». Це також вписується в цикл даних і може допомогти підприємствам «очистити» або просто впорядкувати дані перед введенням їх у спеціальний LLM. Компанії, що займаються аналізом даних, як-от Alation, надають такі послуги, що схоже на такі інструменти, як «бізнес-аналітика», які більш відомі в ІТ-технологіях.
Останньою частиною рівня даних є нещодавно відома векторна база даних для зберігання та обробки даних LLM. Згідно з визначенням Microsoft, це «база даних, яка зберігає дані як вектори великої розмірності, які є математичними представленнями функцій або атрибутів». Дані зберігаються як вектори за допомогою технології, яка називається «вбудовування».
Провідний постачальник векторних баз даних Pinecone зазначив у медіа-чаті, що інструменти Pinecone часто використовуються з інструментами конвеєра даних, такими як Databricks. У цьому випадку дані зазвичай знаходяться в іншому місці (наприклад, в озері даних), які потім перетворюються на вбудовування за допомогою моделі машинного навчання. Після того, як дані оброблені та розділені на фрагменти, отримані вектори надсилаються до Pinecone.
Поради та запитання
Наступні два рівні можна підсумувати як підказки та запити - це місце, де програма ШІ взаємодіє з LLM та (опціонально) іншими інструментами обробки даних. A16z позиціонує LangChain і LlamaIndex як «фреймворки оркестровки», тобто розробники можуть використовувати ці інструменти, коли дізнаються, який LLM вони використовують.
Відповідно до a16z, оркестровка фреймворків, таких як LangChain і LlamaIndex, «абстрагується від багатьох деталей швидкого зв’язування», що означає запит і керування даними між додатком і LLM. Цей процес оркестровки включає взаємодію із зовнішніми API, отримання контекстних даних із векторної бази даних і підтримку пам’яті для кількох викликів LLM. Найцікавішим блоком у діаграмі a16z є «Playground», який включає OpenAI, nat.dev і Humanloop.
A16z не дав точного визначення цього в дописі в блозі, але ми можемо припустити, що інструмент «playground» допомагає розробникам виконувати те, що A16z називає «cue jiu-jitsu». У цих місцях розробники можуть експериментувати з різними техніками підказок.
Humanloop — британська компанія, на платформі якої є «робочий простір для співпраці». Далі він описує себе як «повний інструментарій розробки для виробничих функцій LLM». Таким чином, в основному це дозволяє вам спробувати речі LLM, а потім розгорнути їх у своїй програмі, якщо вони працюють.
Експлуатація трубопроводу: LLMOps
Конвеєр для виробництва великих моделей зараз поступово стає зрозумілішим. Праворуч від вікна оркестровки є ряд операційних полів, включаючи кешування LLM і перевірку. Існує також низка пов’язаних із LLM хмарних служб та API-сервісів, у тому числі відкритих сховищ API, таких як Hugging Face, і власних постачальників API, таких як OpenAI.
Це, мабуть, найбільш схоже місце в наборі технологій розробників, до якого ми звикли в епоху «хмарного нативу», і не випадково багато компаній DevOps додали штучний інтелект до свого списку продуктів. У травні я розмовляв із генеральним директором Harness Джіоті Бансалом. Harness запускає «платформу доставки програмного забезпечення», яка зосереджена на «CD» частині процесу CI/CD.
Бансай сказав мені, що штучний інтелект може полегшити виснажливі та повторювані завдання, пов’язані з життєвим циклом доставки програмного забезпечення, від створення специфікацій на основі наявних функцій до написання коду. Крім того, він сказав, що ШІ може автоматизувати перевірку коду, тестування вразливостей, виправлення помилок і навіть створювати конвеєри CI/CD для збірок і розгортань. Згідно з іншою розмовою, яку я мав у травні, ШІ також змінює продуктивність розробників. Тріша Джі з інструменту автоматизації збірки Gradle сказала мені, що штучний інтелект може пришвидшити розробку, скоротивши час на повторювані завдання, як-от написання шаблонного коду, і дозволяючи розробникам зосередитися на загальній картині, наприклад, переконавшись, що код відповідає потребам бізнесу.
Web3 більше немає, з’являється великий стек для розробки моделей
У новому наборі технологій розробки LLM ми бачимо серію нових типів продуктів, таких як оркестровка фреймворків (LangChain і LlamaIndex), векторні бази даних і платформи «ігрового майданчика», такі як Humanloop. Усе це розширює та/або доповнює основну технологію цієї епохи: великі мовні моделі.
Так само, як і розвиток інструментів хмарної ери, таких як Spring Cloud і Kubernetes у попередні роки. Однак наразі майже всі великі, малі та провідні компанії в епоху рідної хмари намагаються зробити все можливе, щоб адаптувати свої інструменти до розробки ШІ, що буде дуже корисним для майбутнього розвитку стеку технологій LLM.
Так, цього разу велика модель ніби «стоїть на плечах гігантів», найкращі інновації комп’ютерної техніки завжди будуються на попередньому фундаменті. Можливо, тому революція «Web3» зазнала невдачі — вона не стільки спиралася на попереднє покоління, скільки намагалася його узурпувати.
Зрозуміло, що стек технологій LLM, здається, це зробив, це місток від ери хмарної розробки до нової екосистеми розробників на основі ШІ.
Довідкові посилання:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Великий стек розробки моделі готовий!
Автор | Річард МакМанус
Планування | Коментарі
Джерело丨Стек технологій 51CTO
Web3 не зміг підірвати Web2, але новий стек розробки великої моделі дозволяє розробникам перейти від епохи «хмарної» ери до нового стеку технологій ШІ.
Можливо, оперативні інженери не зможуть зворушити нерви розробників, щоб поспішити до великих моделей, але слова менеджерів із продуктів або керівників: чи можна розробити «агента», чи можна реалізувати «ланцюжок» і «Яку векторну базу даних слід використовувався?" Студенти, які навчаються водіям у великих компаніях, що розробляють прикладні програми, долають труднощі у створенні розробки ШІ.
Отже, які шари нового стеку технологій? Де найскладніше? Ця стаття допоможе вам дізнатися.
Стек технологій потребує оновлення, і розробники розпочинають еру інженерів ШІ.
Минулого року поява таких інструментів, як LangChain і LlamaIndex, дозволила екосистемі розробників додатків штучного інтелекту розвиватися. Зараз навіть існує термін для опису розробників, зосереджених на штучному інтелекті: «інженери ШІ», що є наступним кроком у порівнянні з «інженерами-підказками», за словами його прихильника Шона @swyx Wang. Він також створив графік, який візуалізує, де інженери ШІ вписуються в ширшу екосистему ШІ:
Великі мовні моделі (LLM) є основною технологією інженерів ШІ. Не випадково і LangChain, і LlamaIndex є інструментами, які розширюють і доповнюють LLM. Але які ще інструменти доступні для цього нового покоління розробників?
Наразі найкраща діаграма стека LLM, яку я бачив, надходить від компанії венчурного капіталу Andreessen Horowitz (a16z). Ось що там сказано про «стек програм LLM»:
Правильно, верхній рівень – це все ще дані.
Очевидно, що найважливіше в стеку технологій LLM – це дані. На діаграмі a16z це верхній шар. «Вбудовані моделі» — це місце, де LLM приходить — ви можете вибрати OpenAI, Cohere, Hugging Face або десятки інших варіантів LLM, у тому числі дедалі популярнішого LLM з відкритим кодом.
Але навіть перед використанням LLM необхідно налаштувати «конвеєр даних» — у ньому вказуються Databricks і Airflow як два приклади, інакше дані можна обробляти «неструктуровано». Це також вписується в цикл даних і може допомогти підприємствам «очистити» або просто впорядкувати дані перед введенням їх у спеціальний LLM. Компанії, що займаються аналізом даних, як-от Alation, надають такі послуги, що схоже на такі інструменти, як «бізнес-аналітика», які більш відомі в ІТ-технологіях.
Останньою частиною рівня даних є нещодавно відома векторна база даних для зберігання та обробки даних LLM. Згідно з визначенням Microsoft, це «база даних, яка зберігає дані як вектори великої розмірності, які є математичними представленнями функцій або атрибутів». Дані зберігаються як вектори за допомогою технології, яка називається «вбудовування».
Провідний постачальник векторних баз даних Pinecone зазначив у медіа-чаті, що інструменти Pinecone часто використовуються з інструментами конвеєра даних, такими як Databricks. У цьому випадку дані зазвичай знаходяться в іншому місці (наприклад, в озері даних), які потім перетворюються на вбудовування за допомогою моделі машинного навчання. Після того, як дані оброблені та розділені на фрагменти, отримані вектори надсилаються до Pinecone.
Поради та запитання
Наступні два рівні можна підсумувати як підказки та запити - це місце, де програма ШІ взаємодіє з LLM та (опціонально) іншими інструментами обробки даних. A16z позиціонує LangChain і LlamaIndex як «фреймворки оркестровки», тобто розробники можуть використовувати ці інструменти, коли дізнаються, який LLM вони використовують.
Відповідно до a16z, оркестровка фреймворків, таких як LangChain і LlamaIndex, «абстрагується від багатьох деталей швидкого зв’язування», що означає запит і керування даними між додатком і LLM. Цей процес оркестровки включає взаємодію із зовнішніми API, отримання контекстних даних із векторної бази даних і підтримку пам’яті для кількох викликів LLM. Найцікавішим блоком у діаграмі a16z є «Playground», який включає OpenAI, nat.dev і Humanloop.
A16z не дав точного визначення цього в дописі в блозі, але ми можемо припустити, що інструмент «playground» допомагає розробникам виконувати те, що A16z називає «cue jiu-jitsu». У цих місцях розробники можуть експериментувати з різними техніками підказок.
Humanloop — британська компанія, на платформі якої є «робочий простір для співпраці». Далі він описує себе як «повний інструментарій розробки для виробничих функцій LLM». Таким чином, в основному це дозволяє вам спробувати речі LLM, а потім розгорнути їх у своїй програмі, якщо вони працюють.
Експлуатація трубопроводу: LLMOps
Конвеєр для виробництва великих моделей зараз поступово стає зрозумілішим. Праворуч від вікна оркестровки є ряд операційних полів, включаючи кешування LLM і перевірку. Існує також низка пов’язаних із LLM хмарних служб та API-сервісів, у тому числі відкритих сховищ API, таких як Hugging Face, і власних постачальників API, таких як OpenAI.
Це, мабуть, найбільш схоже місце в наборі технологій розробників, до якого ми звикли в епоху «хмарного нативу», і не випадково багато компаній DevOps додали штучний інтелект до свого списку продуктів. У травні я розмовляв із генеральним директором Harness Джіоті Бансалом. Harness запускає «платформу доставки програмного забезпечення», яка зосереджена на «CD» частині процесу CI/CD.
Бансай сказав мені, що штучний інтелект може полегшити виснажливі та повторювані завдання, пов’язані з життєвим циклом доставки програмного забезпечення, від створення специфікацій на основі наявних функцій до написання коду. Крім того, він сказав, що ШІ може автоматизувати перевірку коду, тестування вразливостей, виправлення помилок і навіть створювати конвеєри CI/CD для збірок і розгортань. Згідно з іншою розмовою, яку я мав у травні, ШІ також змінює продуктивність розробників. Тріша Джі з інструменту автоматизації збірки Gradle сказала мені, що штучний інтелект може пришвидшити розробку, скоротивши час на повторювані завдання, як-от написання шаблонного коду, і дозволяючи розробникам зосередитися на загальній картині, наприклад, переконавшись, що код відповідає потребам бізнесу.
Web3 більше немає, з’являється великий стек для розробки моделей
У новому наборі технологій розробки LLM ми бачимо серію нових типів продуктів, таких як оркестровка фреймворків (LangChain і LlamaIndex), векторні бази даних і платформи «ігрового майданчика», такі як Humanloop. Усе це розширює та/або доповнює основну технологію цієї епохи: великі мовні моделі.
Так само, як і розвиток інструментів хмарної ери, таких як Spring Cloud і Kubernetes у попередні роки. Однак наразі майже всі великі, малі та провідні компанії в епоху рідної хмари намагаються зробити все можливе, щоб адаптувати свої інструменти до розробки ШІ, що буде дуже корисним для майбутнього розвитку стеку технологій LLM.
Так, цього разу велика модель ніби «стоїть на плечах гігантів», найкращі інновації комп’ютерної техніки завжди будуються на попередньому фундаменті. Можливо, тому революція «Web3» зазнала невдачі — вона не стільки спиралася на попереднє покоління, скільки намагалася його узурпувати.
Зрозуміло, що стек технологій LLM, здається, це зробив, це місток від ери хмарної розробки до нової екосистеми розробників на основі ШІ.
Довідкові посилання: