- Tema
32k Popularidad
19k Popularidad
32k Popularidad
31k Popularidad
4k Popularidad
96k Popularidad
29k Popularidad
27k Popularidad
7k Popularidad
18k Popularidad
- Anclado
32k Popularidad
19k Popularidad
32k Popularidad
31k Popularidad
4k Popularidad
96k Popularidad
29k Popularidad
27k Popularidad
7k Popularidad
18k Popularidad
Lightspeed America: ¿Dónde está el futuro de la capa de infraestructura de IA?
Original: SenseAI
Pensamiento sensorial
Intentamos presentar deducciones más divergentes y pensamientos profundos basados en el contenido del artículo, bienvenidos al intercambio.
Según las capacidades y el costo del modelo, los modelos de IA se dividirán en "modelos cerebrales", "modelos retadores" y "modelos de cola larga". Los modelos de cola larga son pequeños y flexibles, y son más adecuados para entrenar modelos expertos dirigidos a campos subdivididos. La periodicidad de la Ley de Moore se superpone y no habrá bloqueo de la potencia informática en el futuro. Es difícil eliminar los escenarios de aplicación del modelo cerebral. Es probable que el mercado elija un modelo adecuado de acuerdo con el tamaño del espacio del escenario de aplicación y las reglas de distribución de la cadena de valor.
Oportunidades de sistemas emergentes en el lado del modelo: 1) marco de evaluación del modelo; 2) operación y mantenimiento de modelos; 3) mejora de los sistemas. Lo que hay que considerar son las diferencias en los distintos mercados de China y Estados Unidos, la ecología original de los servicios corporativos y las preferencias de capital.
Oportunidades de plataforma RAG (mejora de recuperación) a nivel empresarial: oportunidades brindadas por la complejidad y diversidad del modelo, 1) herramientas operativas: observabilidad, seguridad, cumplimiento; 2) datos: para diferenciar el valor comercial y proporcionar valores sociales generales, la tecnología brindará oportunidades para monetización de datos.
Este artículo tiene un total de 2426 palabras y se tarda unos 7 minutos en leerlo detenidamente.
Durante la última década, Lightspeed, un fondo estadounidense establecido, ha estado trabajando con empresas destacadas en el campo de AI/ML, las plataformas que construyen y los clientes a los que atienden para comprender mejor cómo piensan las empresas sobre Gen-AI. Específicamente, Lightspeed examina el ecosistema del modelo subyacente y plantea preguntas como "¿El mejor modelo tendrá una dinámica en la que el ganador se lo lleva todo?" y "¿Todos los casos de uso empresarial llaman a la API de OpenAI de forma predeterminada, o es mejor usarla realmente?". “¿Diversidad?” y otras preguntas. Estas respuestas determinarán la dirección del crecimiento futuro de este ecosistema, así como la dirección del flujo de energía, talento y capital.
01. Clasificación de ecosistemas modelo
Basándonos en nuestro aprendizaje, creemos que se vislumbra en el horizonte una explosión cámbrica de modelos de IA. Los desarrolladores y las empresas elegirán el modelo que mejor se adapte al "trabajo por hacer", aunque el uso durante la fase de exploración puede parecer más centrado. Un camino probable para la adopción empresarial es utilizar modelos grandes para la exploración, pasando gradualmente a modelos especializados más pequeños (ajustados + refinados) para su uso en producción a medida que aumenta su comprensión del caso de uso. El siguiente diagrama describe cómo vemos la evolución del ecosistema del modelo subyacente.
Categoría 1: Modelo "Cerebro"
Estos son los mejores modelos y representan la vanguardia del modelaje. Aquí es donde entran esas demostraciones mágicas alucinantes. Estos modelos suelen ser lo primero que consideran los desarrolladores cuando intentan explorar los límites de lo que la IA puede hacer por sus aplicaciones. Estos modelos son costosos de entrenar y complejos de mantener y escalar. Pero el mismo modelo puede realizar el LSAT, el MCAT, escribir tu ensayo de la escuela secundaria por ti e interactuar contigo como un chatbot. Actualmente, los desarrolladores están experimentando con estos modelos y evaluando el uso de la IA en aplicaciones empresariales.
Sin embargo, los modelos de propósito general son costosos de usar, tienen una alta latencia de inferencia y pueden resultar excesivos para casos de uso restringidos y bien definidos. El segundo problema es que estos modelos son generalistas y pueden ser menos precisos en tareas especializadas. (Ver este artículo de Cornell) Finalmente, también son cajas negras en casi todos los casos, lo que puede crear desafíos de privacidad y seguridad para las empresas que intentan aprovechar estos modelos sin renunciar a sus activos de datos. OpenAI, Anthropic, Cohere son algunos ejemplos de empresas.
Categoría dos: modelo "Challenger"
Estos también son modelos de alta capacidad, con habilidades y capacidades sólo superadas por los grandes modelos de propósito general que los preceden. Llama 2 y Falcon son los mejores representantes de esta categoría. Por lo general, son tan buenos como un modelo Gen "N-1" o "N-2" de la empresa que entrenó el modelo general. Por ejemplo, según algunos puntos de referencia, Llama2 es tan bueno como GPT-3.5-turbo. Ajustar estos modelos a partir de datos empresariales puede hacerlos tan buenos como los grandes modelos de propósito general de primera clase en tareas específicas.
Muchos de estos modelos son de código abierto (o casi) y, una vez lanzados, traen inmediatamente mejoras y optimizaciones de la comunidad de código abierto.
Categoría 3: Modelo "Cola Larga"
Estos son los modelos "expertos". Están diseñados para cumplir un propósito específico, como clasificar documentos, identificar atributos específicos en imágenes o videos, identificar patrones en datos comerciales, etc. Estos modelos son flexibles, baratos de entrenar y usar, y pueden ejecutarse en el centro de datos o en el borde.
Un breve vistazo a Hugging Face es suficiente para comprender la magnitud de este ecosistema ahora y en el futuro, ya que la gama de casos de uso al que sirve es muy amplia.
02. Adaptación básica y casos prácticos
Aunque todavía se encuentra en sus primeras etapas, ya estamos viendo que algunos equipos de desarrollo líderes y empresas ya están pensando en los ecosistemas de esta manera matizada. Se quiere hacer coincidir el uso con el mejor modelo posible. Incluso utilice varios modelos para atender un caso de uso más complejo.
Los factores a la hora de evaluar qué modelo utilizar suelen incluir los siguientes:
Requisitos de cumplimiento y privacidad de los datos: esto afecta si el modelo debe ejecutarse en la infraestructura empresarial o si los datos se pueden enviar a un punto final de inferencia alojado externamente.
Si el modelo permite ajustes
Nivel deseado de “rendimiento” de inferencia (latencia, precisión, costo, etc.)
Sin embargo, en la práctica, los factores a considerar suelen ser mucho más extensos que los enumerados anteriormente, lo que refleja la gran diversidad de casos de uso que los desarrolladores esperan lograr con la IA.
03. ¿Dónde están las oportunidades?
Marco de evaluación del modelo: las empresas necesitarán acceso a herramientas y experiencia para ayudar a evaluar qué modelo utilizar para cada caso de uso. Los desarrolladores deben decidir cuál es la mejor manera de evaluar si un modelo en particular es adecuado para el "trabajo a realizar". La evaluación debe considerar múltiples factores, incluido no solo el rendimiento del modelo, sino también el costo, el nivel de control que se puede implementar, etc.
Ejecución y mantenimiento de modelos: Surgirán plataformas para ayudar a las empresas a entrenar, ajustar y ejecutar modelos (especialmente la tercera categoría de modelos de cola larga). Tradicionalmente, estas plataformas se han denominado en términos generales plataformas ML Ops, y esperamos que esta definición se expanda también a la IA generativa. Plataformas como Databricks, Weights and Biases, Tecton y otras se están moviendo rápidamente en esta dirección.
Sistemas de aumento: los modelos, especialmente los LLM alojados, requieren generación de aumento de recuperación para ofrecer resultados deseables. Esto requiere una serie de decisiones de apoyo, incluyendo
Extracción de datos y metadatos: cómo conectarse a fuentes de datos empresariales estructuradas y no estructuradas y luego extraer los datos junto con los metadatos, como las políticas de acceso.
Incorporaciones de generación y almacenamiento de datos: qué modelo se utiliza para generar incorporaciones para los datos. Y luego, cómo almacenarlos: ¿Qué base de datos vectorial utilizar, especialmente en función del rendimiento, la escala y la funcionalidad requeridos?
Ahora existe la oportunidad de crear una plataforma RAG de nivel empresarial que elimine la complejidad de seleccionar y unir:
Observabilidad: ¿Qué tan bien se desempeña el modelo en producción? ¿Su rendimiento mejora o se degrada con el tiempo? ¿Existen patrones de uso que puedan afectar la elección del modelo de aplicación para futuras versiones?
Seguridad: cómo mantener seguras las aplicaciones nativas de IA. ¿Son estas aplicaciones vulnerables a nuevos vectores de ataque que requieren nuevas plataformas?
Cumplimiento: Anticipamos que las aplicaciones nativas de IA y el uso de LLM deberán cumplir con los marcos que los órganos rectores relevantes ya han comenzado a desarrollar. Esto se suma a los regímenes de cumplimiento existentes en materia de privacidad, seguridad, protección del consumidor, equidad, etc. Las empresas necesitarán plataformas que puedan ayudarlas a mantener el cumplimiento, realizar auditorías, generar evidencia de cumplimiento y tareas relacionadas.
Ahora es un momento excelente para construir una plataforma de infraestructura de IA. La aplicación de la inteligencia artificial seguirá transformando industrias enteras, pero requerirá infraestructura de soporte, middleware, seguridad, observabilidad y plataformas de operaciones para que todas las empresas del planeta adopten esta poderosa tecnología.
Referencias
Autor: Vela, Yihao, Leo
Edición y composición tipográfica: Zoey, Vela