Web3 no ha logrado subvertir Web2, pero la pila de desarrollo de modelos grandes emergente está permitiendo a los desarrolladores pasar de la era "nativa de la nube" a una nueva pila de tecnología de IA.
Es posible que los ingenieros rápidos no puedan tocar los nervios de los desarrolladores para que se apresuren a adoptar modelos grandes, pero las palabras de los gerentes o líderes de producto: ¿Se puede desarrollar un "agente", se puede implementar una "cadena" y "¿Qué base de datos vectorial usar?" ?" Los estudiantes de tecnología de conducción en las principales empresas de aplicaciones de modelos grandes superan las dificultades para generar el desarrollo de IA.
Entonces, ¿cuáles son las capas de la tecnología emergente? ¿Dónde está la parte más difícil? Este artículo te llevará a descubrirlo.
Es necesario actualizar la pila de tecnología y los desarrolladores están marcando el comienzo de la era de los ingenieros de inteligencia artificial.
El año pasado, la aparición de herramientas como LangChain y LlamaIndex ha permitido que madure el ecosistema de desarrolladores de aplicaciones de IA. Ahora incluso existe un término para describir a los desarrolladores centrados en la inteligencia artificial: "ingenieros de IA", que es el siguiente paso de los "ingenieros de punta", según su defensor Shawn @swyx Wang. También creó un gráfico que visualiza dónde encajan los ingenieros de IA en el ecosistema de IA más amplio:
Fuente de la imagen: swyx
Los modelos de lenguaje grande (LLM) son la tecnología central de los ingenieros de IA. No es casualidad que tanto LangChain como LlamaIndex sean herramientas que amplían y complementan LLM. Pero, ¿qué otras herramientas hay disponibles para esta nueva generación de desarrolladores?
Hasta ahora, el mejor diagrama que he visto de la pila LLM proviene de la firma de capital riesgo Andreessen Horowitz (a16z). Esto es lo que dice acerca de la "pila de aplicaciones LLM":
Fuente de la imagen: a16z
Así es, el nivel superior sigue siendo datos.
Obviamente, lo más importante en la pila de tecnología LLM son los datos. En el diagrama de a16z, esta es la capa superior. Los "modelos integrados" son donde entra en juego el LLM: puede elegir entre OpenAI, Cohere, Hugging Face o docenas de otras opciones de LLM, incluido el cada vez más popular LLM de código abierto.
Pero incluso antes de usar LLM, es necesario configurar una "canalización de datos": enumera Databricks y Airflow como dos ejemplos, o los datos se pueden procesar "sin estructurar". Esto también encaja en el ciclo de datos y puede ayudar a las empresas a "limpiar" o simplemente organizar los datos antes de ingresarlos en un LLM personalizado. Empresas de "inteligencia de datos" como Alation ofrecen este tipo de servicio, que suena un poco a herramientas como la "inteligencia empresarial" que son más conocidas en el sector de la tecnología de TI.
La última parte de la capa de datos es la recientemente famosa base de datos vectorial para almacenar y procesar datos LLM. Según la definición de Microsoft, se trata de "una base de datos que almacena datos como vectores de alta dimensión, que son representaciones matemáticas de características o atributos". Los datos se almacenan como vectores mediante una tecnología llamada "incrustación".
Pinecone, proveedor líder de bases de datos vectoriales, señaló en un chat con los medios que las herramientas de Pinecone se utilizan a menudo con herramientas de canalización de datos como Databricks. En este caso, los datos normalmente residen en otro lugar (por ejemplo, un lago de datos), que luego se transforma en una incorporación mediante un modelo de aprendizaje automático. Una vez procesados y fragmentados los datos, los vectores resultantes se envían a Pinecone.
Consejos y consultas
Las siguientes dos capas se pueden resumir como indicaciones y consultas: aquí es donde la aplicación de IA interactúa con LLM y (opcionalmente) con otras herramientas de datos. A16z posiciona a LangChain y LlamaIndex como "marcos de orquestación", lo que significa que los desarrolladores pueden utilizar estas herramientas una vez que sepan qué LLM están utilizando.
Según a16z, los marcos de orquestación como LangChain y LlamaIndex "abstraen muchos de los detalles de la vinculación rápida", lo que significa consultar y administrar datos entre la aplicación y el LLM. Este proceso de orquestación incluye la interfaz con API externas, la recuperación de datos de contexto de la base de datos vectorial y el mantenimiento de la memoria en múltiples llamadas LLM. El cuadro más interesante del gráfico de a16z es "Playground", que incluye OpenAI, nat.dev y Humanloop.
A16z no lo definió exactamente en la publicación del blog, pero podemos inferir que la herramienta "patio de juegos" ayuda a los desarrolladores a realizar lo que A16z llama "cue jiu-jitsu". En estos lugares, los desarrolladores pueden experimentar con diversas técnicas de indicaciones.
Humanloop es una empresa británica cuya plataforma presenta un "espacio de trabajo colaborativo rápido". Además, se describe a sí mismo como un "conjunto completo de herramientas de desarrollo para la funcionalidad LLM de producción". Básicamente, te permite probar cosas de LLM y luego implementarlas en tu aplicación si funcionan.
Operación de canalización: LLMOps
La cadena de montaje para la producción de modelos grandes se va aclarando poco a poco. A la derecha del cuadro de orquestación hay varios cuadros de operaciones, incluido el almacenamiento en caché y la verificación de LLM. También hay una variedad de servicios API y de nube relacionados con LLM, incluidos repositorios de API abiertos como Hugging Face y proveedores de API propietarios como OpenAI.
Este es probablemente el lugar más similar en la pila de tecnología para desarrolladores al que estamos acostumbrados en la era "nativa de la nube", y no es una coincidencia que muchas empresas de DevOps hayan agregado inteligencia artificial a su lista de productos. En mayo, hablé con el director ejecutivo de Harness, Jyoti Bansal. Harness ejecuta una "plataforma de entrega de software" que se centra en la parte "CD" del proceso CI/CD.
Bansai me dijo que la IA puede aliviar las tareas tediosas y repetitivas involucradas en el ciclo de vida de la entrega de software, desde generar especificaciones basadas en la funcionalidad existente hasta escribir código. Además, dijo que la IA puede automatizar revisiones de código, pruebas de vulnerabilidad, corrección de errores e incluso crear canalizaciones de CI/CD para compilaciones e implementaciones. Según otra conversación que tuve en mayo, la IA también está cambiando la productividad de los desarrolladores. Trisha Gee, de la herramienta de automatización de compilación Gradle, me dijo que la IA puede acelerar el desarrollo al reducir el tiempo en tareas repetitivas, como escribir código repetitivo, y permitir a los desarrolladores centrarse en el panorama general, como asegurarse de que el código satisfaga las necesidades comerciales.
Web3 desapareció, viene una gran pila de desarrollo de modelos
En la pila de tecnología de desarrollo LLM emergente, vemos una serie de nuevos tipos de productos, como marcos de orquestación (LangChain y LlamaIndex), bases de datos vectoriales y plataformas de "patio de juegos" como Humanloop. Todos estos amplían y/o complementan la tecnología central subyacente de esta era: grandes modelos de lenguaje.
Al igual que el auge de las herramientas de la era nativa de la nube, como Spring Cloud y Kubernetes, en años anteriores. Sin embargo, en la actualidad, casi todas las empresas grandes, pequeñas y destacadas en la era nativa de la nube están haciendo todo lo posible para adaptar sus herramientas a la ingeniería de inteligencia artificial, lo que será muy beneficioso para el desarrollo futuro de la pila de tecnología LLM.
Sí, esta vez el gran modelo parece estar "sobre los hombros de gigantes": las mejores innovaciones en tecnología informática siempre se construyen sobre la base anterior. Quizás por eso fracasó la revolución "Web3": no se trataba tanto de aprovechar la generación anterior como de intentar usurparla.
Está claro que la pila de tecnología LLM parece haberlo logrado: es un puente desde la era del desarrollo de la nube hacia un ecosistema de desarrolladores más nuevo basado en IA.
Enlaces de referencia:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¡La gran pila de desarrollo de modelos está lista!
Autor | Richard MacManus
Planificación | Comentarios
Fuente丨Pila de tecnología 51CTO
Web3 no ha logrado subvertir Web2, pero la pila de desarrollo de modelos grandes emergente está permitiendo a los desarrolladores pasar de la era "nativa de la nube" a una nueva pila de tecnología de IA.
Es posible que los ingenieros rápidos no puedan tocar los nervios de los desarrolladores para que se apresuren a adoptar modelos grandes, pero las palabras de los gerentes o líderes de producto: ¿Se puede desarrollar un "agente", se puede implementar una "cadena" y "¿Qué base de datos vectorial usar?" ?" Los estudiantes de tecnología de conducción en las principales empresas de aplicaciones de modelos grandes superan las dificultades para generar el desarrollo de IA.
Entonces, ¿cuáles son las capas de la tecnología emergente? ¿Dónde está la parte más difícil? Este artículo te llevará a descubrirlo.
Es necesario actualizar la pila de tecnología y los desarrolladores están marcando el comienzo de la era de los ingenieros de inteligencia artificial.
El año pasado, la aparición de herramientas como LangChain y LlamaIndex ha permitido que madure el ecosistema de desarrolladores de aplicaciones de IA. Ahora incluso existe un término para describir a los desarrolladores centrados en la inteligencia artificial: "ingenieros de IA", que es el siguiente paso de los "ingenieros de punta", según su defensor Shawn @swyx Wang. También creó un gráfico que visualiza dónde encajan los ingenieros de IA en el ecosistema de IA más amplio:
Los modelos de lenguaje grande (LLM) son la tecnología central de los ingenieros de IA. No es casualidad que tanto LangChain como LlamaIndex sean herramientas que amplían y complementan LLM. Pero, ¿qué otras herramientas hay disponibles para esta nueva generación de desarrolladores?
Hasta ahora, el mejor diagrama que he visto de la pila LLM proviene de la firma de capital riesgo Andreessen Horowitz (a16z). Esto es lo que dice acerca de la "pila de aplicaciones LLM":
Así es, el nivel superior sigue siendo datos.
Obviamente, lo más importante en la pila de tecnología LLM son los datos. En el diagrama de a16z, esta es la capa superior. Los "modelos integrados" son donde entra en juego el LLM: puede elegir entre OpenAI, Cohere, Hugging Face o docenas de otras opciones de LLM, incluido el cada vez más popular LLM de código abierto.
Pero incluso antes de usar LLM, es necesario configurar una "canalización de datos": enumera Databricks y Airflow como dos ejemplos, o los datos se pueden procesar "sin estructurar". Esto también encaja en el ciclo de datos y puede ayudar a las empresas a "limpiar" o simplemente organizar los datos antes de ingresarlos en un LLM personalizado. Empresas de "inteligencia de datos" como Alation ofrecen este tipo de servicio, que suena un poco a herramientas como la "inteligencia empresarial" que son más conocidas en el sector de la tecnología de TI.
La última parte de la capa de datos es la recientemente famosa base de datos vectorial para almacenar y procesar datos LLM. Según la definición de Microsoft, se trata de "una base de datos que almacena datos como vectores de alta dimensión, que son representaciones matemáticas de características o atributos". Los datos se almacenan como vectores mediante una tecnología llamada "incrustación".
Pinecone, proveedor líder de bases de datos vectoriales, señaló en un chat con los medios que las herramientas de Pinecone se utilizan a menudo con herramientas de canalización de datos como Databricks. En este caso, los datos normalmente residen en otro lugar (por ejemplo, un lago de datos), que luego se transforma en una incorporación mediante un modelo de aprendizaje automático. Una vez procesados y fragmentados los datos, los vectores resultantes se envían a Pinecone.
Consejos y consultas
Las siguientes dos capas se pueden resumir como indicaciones y consultas: aquí es donde la aplicación de IA interactúa con LLM y (opcionalmente) con otras herramientas de datos. A16z posiciona a LangChain y LlamaIndex como "marcos de orquestación", lo que significa que los desarrolladores pueden utilizar estas herramientas una vez que sepan qué LLM están utilizando.
Según a16z, los marcos de orquestación como LangChain y LlamaIndex "abstraen muchos de los detalles de la vinculación rápida", lo que significa consultar y administrar datos entre la aplicación y el LLM. Este proceso de orquestación incluye la interfaz con API externas, la recuperación de datos de contexto de la base de datos vectorial y el mantenimiento de la memoria en múltiples llamadas LLM. El cuadro más interesante del gráfico de a16z es "Playground", que incluye OpenAI, nat.dev y Humanloop.
A16z no lo definió exactamente en la publicación del blog, pero podemos inferir que la herramienta "patio de juegos" ayuda a los desarrolladores a realizar lo que A16z llama "cue jiu-jitsu". En estos lugares, los desarrolladores pueden experimentar con diversas técnicas de indicaciones.
Humanloop es una empresa británica cuya plataforma presenta un "espacio de trabajo colaborativo rápido". Además, se describe a sí mismo como un "conjunto completo de herramientas de desarrollo para la funcionalidad LLM de producción". Básicamente, te permite probar cosas de LLM y luego implementarlas en tu aplicación si funcionan.
Operación de canalización: LLMOps
La cadena de montaje para la producción de modelos grandes se va aclarando poco a poco. A la derecha del cuadro de orquestación hay varios cuadros de operaciones, incluido el almacenamiento en caché y la verificación de LLM. También hay una variedad de servicios API y de nube relacionados con LLM, incluidos repositorios de API abiertos como Hugging Face y proveedores de API propietarios como OpenAI.
Este es probablemente el lugar más similar en la pila de tecnología para desarrolladores al que estamos acostumbrados en la era "nativa de la nube", y no es una coincidencia que muchas empresas de DevOps hayan agregado inteligencia artificial a su lista de productos. En mayo, hablé con el director ejecutivo de Harness, Jyoti Bansal. Harness ejecuta una "plataforma de entrega de software" que se centra en la parte "CD" del proceso CI/CD.
Bansai me dijo que la IA puede aliviar las tareas tediosas y repetitivas involucradas en el ciclo de vida de la entrega de software, desde generar especificaciones basadas en la funcionalidad existente hasta escribir código. Además, dijo que la IA puede automatizar revisiones de código, pruebas de vulnerabilidad, corrección de errores e incluso crear canalizaciones de CI/CD para compilaciones e implementaciones. Según otra conversación que tuve en mayo, la IA también está cambiando la productividad de los desarrolladores. Trisha Gee, de la herramienta de automatización de compilación Gradle, me dijo que la IA puede acelerar el desarrollo al reducir el tiempo en tareas repetitivas, como escribir código repetitivo, y permitir a los desarrolladores centrarse en el panorama general, como asegurarse de que el código satisfaga las necesidades comerciales.
Web3 desapareció, viene una gran pila de desarrollo de modelos
En la pila de tecnología de desarrollo LLM emergente, vemos una serie de nuevos tipos de productos, como marcos de orquestación (LangChain y LlamaIndex), bases de datos vectoriales y plataformas de "patio de juegos" como Humanloop. Todos estos amplían y/o complementan la tecnología central subyacente de esta era: grandes modelos de lenguaje.
Al igual que el auge de las herramientas de la era nativa de la nube, como Spring Cloud y Kubernetes, en años anteriores. Sin embargo, en la actualidad, casi todas las empresas grandes, pequeñas y destacadas en la era nativa de la nube están haciendo todo lo posible para adaptar sus herramientas a la ingeniería de inteligencia artificial, lo que será muy beneficioso para el desarrollo futuro de la pila de tecnología LLM.
Sí, esta vez el gran modelo parece estar "sobre los hombros de gigantes": las mejores innovaciones en tecnología informática siempre se construyen sobre la base anterior. Quizás por eso fracasó la revolución "Web3": no se trataba tanto de aprovechar la generación anterior como de intentar usurparla.
Está claro que la pila de tecnología LLM parece haberlo logrado: es un puente desde la era del desarrollo de la nube hacia un ecosistema de desarrolladores más nuevo basado en IA.
Enlaces de referencia: