Lightspeed America : Où est l’avenir de la couche d’infrastructure IA ?

Original: SenseAI

"Depuis qu'OpenAI a lancé GPT-4 en avril de cette année, de plus en plus de modèles sont open source, et les partisans de l'IA se déplacent des modèles vers les applications. Le dernier article de Lightspeed déduit la tendance de développement des modèles d'IA et propose l'avenir. les grands modèles seront divisés en trois types de modèles, et les opportunités possibles au niveau du modèle seront organisées de manière structurée.Le contenu de ce numéro vous amènera à réfléchir aux tendances et opportunités de développement de la couche d'infrastructure du modèle, y compris Couche intermédiaire AI Ops. "

Pensée sensorielle

Nous essayons de proposer des déductions plus divergentes et une réflexion approfondie basées sur le contenu de l'article, bienvenue pour échanger.

Selon la capacité et le coût du modèle, les modèles d'IA seront divisés en « modèle cérébral », « modèle challenger » et « modèle longue traîne ». Les modèles à longue traîne sont petits et flexibles et conviennent mieux à la formation de modèles experts ciblant des domaines subdivisés. Superposé à la périodicité de la loi de Moore, il n'y aura pas de blocage de la puissance de calcul à l'avenir et les scénarios d'application du modèle cérébral seront difficiles à éliminer.Le marché choisira probablement un modèle approprié en fonction de la taille de l'espace de l'application. scénario et les règles d’allocation de la chaîne de valeur.

Opportunités système émergentes du côté des modèles : 1) cadre d'évaluation des modèles ; 2) exploitation et maintenance des modèles ; 3) amélioration des systèmes. Ce qu’il faut considérer, ce sont les différences entre les différents marchés en Chine et aux États-Unis, l’écologie initiale des services aux entreprises et les préférences en matière de capitaux.

Opportunités de la plateforme RAG (Retrieval Augmentation) au niveau de l'entreprise : opportunités apportées par la complexité et la diversité des modèles, 1) outils opérationnels : observabilité, sécurité, conformité ; 2) données : pour différencier la valeur commerciale et fournir à la société dans son ensemble Entre les valeurs, la technologie apportera des opportunités pour monétisation des données.

Cet article compte au total 2 426 mots et prend environ 7 minutes pour être lu attentivement.

Au cours de la dernière décennie, Lightspeed, un fonds américain bien établi, a travaillé avec des entreprises exceptionnelles dans le domaine de l'IA/ML, les plateformes qu'elles construisent et les clients qu'elles servent pour mieux comprendre ce que les entreprises pensent de la Gen-AI. Plus précisément, Lightspeed examine l'écosystème de modèles sous-jacent et pose des questions telles que « Le meilleur modèle aura-t-il une dynamique où le gagnant remporte tout ? » et « Tous les cas d'utilisation en entreprise appellent-ils l'API d'OpenAI par défaut, ou est-il préférable de l'utiliser réellement ? « Diversification ? » et ainsi de suite. Les réponses détermineront l’orientation future de la croissance de cet écosystème et le flux d’énergie, de talents et de capitaux.

01. Classification modèle des écosystèmes

Sur la base de nos connaissances, nous pensons qu’une explosion cambrienne des modèles d’IA est sur le point de se produire. Les développeurs et les entreprises choisiront le modèle qui correspond le mieux à la « tâche à accomplir », même si son utilisation pendant la phase d’exploration peut paraître plus ciblée. Une voie probable d'adoption par les entreprises consiste à utiliser de grands modèles pour l'exploration, en passant progressivement à des modèles spécialisés plus petits (ajustés et affinés) à utiliser en production à mesure que leur compréhension du cas d'utilisation augmente. Le diagramme ci-dessous montre comment nous voyons l’écosystème du modèle sous-jacent évoluer.

Le paysage des modèles d’IA peut être divisé en 3 catégories principales, pouvant se chevaucher :

Catégorie 1 : Modèle « Cerveau »

Ce sont les meilleurs modèles et représentent la pointe de la modélisation. C’est là qu’interviennent ces démos magiques époustouflantes. Ces modèles sont souvent les premiers éléments pris en compte par les développeurs lorsqu’ils tentent d’explorer les limites de ce que l’IA peut faire pour leurs applications. Ces modèles sont coûteux à former et complexes à maintenir et à faire évoluer. Mais le même modèle peut passer le LSAT, le MCAT, rédiger votre dissertation au lycée pour vous et interagir avec vous en tant que chatbot. Les développeurs expérimentent actuellement ces modèles et évaluent l’utilisation de l’IA dans les applications d’entreprise.

Cependant, les modèles génériques sont coûteux à utiliser, ont une latence d’inférence élevée et peuvent s’avérer excessifs pour des cas d’utilisation contraints et bien définis. Un deuxième problème est que ces modèles sont généralistes et peuvent être moins précis sur des tâches spécialisées. (Voir cet article de Cornell) Enfin, ils constituent également des boîtes noires dans presque tous les cas, ce qui peut créer des problèmes de confidentialité et de sécurité pour les entreprises qui tentent de tirer parti de ces modèles sans renoncer à leurs actifs de données. OpenAI, Anthropic, Cohere sont quelques exemples d'entreprises.

Catégorie 2 : Modèle « Challenger »

Ce sont également des modèles très performants, juste derrière les modèles plus grands à usage général qui les ont précédés en termes de compétences et de capacités. Llama 2 et Falcon sont les meilleurs représentants de cette catégorie. Ils sont généralement aussi bons que les modèles Gen « N-1 » ou « N-2 » proposés par des entreprises qui forment des modèles à usage général. Par exemple, Llama2 est aussi bon que GPT-3.5-turbo selon certains benchmarks. L'ajustement de ces modèles sur les données d'entreprise peut les rendre aussi performants que la première classe de grands modèles à usage général pour des tâches spécifiques.

Beaucoup de ces modèles sont open source (ou proches) et, une fois publiés, apportent immédiatement des améliorations et des optimisations de la part de la communauté open source.

Catégorie trois : Modèle « Longue queue »

Ce sont les modèles « experts ». Ils sont conçus pour remplir un objectif spécifique, comme classer des documents, identifier des attributs spécifiques dans des images ou des vidéos, identifier des modèles dans les données commerciales, etc. Ces modèles sont flexibles, peu coûteux à former et à utiliser, et peuvent fonctionner dans le centre de données ou en périphérie.

Un bref coup d'œil à Hugging Face suffit pour comprendre l'ampleur de cet écosystème, aujourd'hui et à l'avenir, car l'éventail de cas d'utilisation qu'il dessert est si large.

02. Adaptation de base et cas pratiques

Bien qu’il n’en soit qu’à ses débuts, nous voyons déjà certaines équipes de développement et entreprises de premier plan réfléchir aux écosystèmes de cette manière nuancée. On veut adapter les usages au meilleur modèle possible. Utilisez même plusieurs modèles pour répondre à un cas d’utilisation plus complexe.

Les facteurs permettant d'évaluer le modèle à utiliser sont généralement les suivants :

1. Exigences en matière de confidentialité et de conformité des données : cela détermine si le modèle doit s'exécuter dans l'infrastructure de l'entreprise ou si les données peuvent être envoyées à un point de terminaison d'inférence hébergé en externe.

2. Si le modèle permet un réglage précis

3. Niveau souhaité de « performance » d’inférence (latence, précision, coût, etc.)

Cependant, en réalité, les facteurs à prendre en compte sont souvent beaucoup plus longs que ceux énumérés ci-dessus, ce qui reflète la grande diversité des cas d'utilisation que les développeurs espèrent réaliser avec l'IA.

03. Où sont les opportunités ?

1. Cadre d'évaluation du modèle : les entreprises auront besoin d'accéder à des outils et à une expertise pour les aider à évaluer quel modèle utiliser pour quel cas d'utilisation. Les développeurs doivent décider de la meilleure façon d'évaluer si un modèle particulier est adapté au « travail à accomplir ». L'évaluation doit prendre en compte plusieurs facteurs, notamment les performances du modèle, mais également le coût, le niveau de contrôle pouvant être mis en œuvre, etc.

2. Exécuter et entretenir des modèles : des plates-formes émergeront pour aider les entreprises à former, affiner et exécuter des modèles (en particulier le troisième type de modèles à longue traîne). Traditionnellement, ces plates-formes sont largement appelées plates-formes ML Ops, et nous prévoyons que cette définition s'étendra également à l'IA générative. Des plateformes telles que Databricks, Weights and Biases, Tecton, etc. évoluent rapidement dans cette direction.

3. Systèmes améliorés : les modèles, en particulier les LLM hébergés, doivent récupérer des versions améliorées pour fournir des résultats optimaux. Cela nécessite une série de décisions auxiliaires, notamment

Extraction de données et de métadonnées : comment se connecter à des sources de données d'entreprise structurées et non structurées, puis extraire les données ainsi que les métadonnées telles que les politiques d'accès.

Génération de données et stockage des intégrations : quel modèle utiliser pour générer des intégrations pour les données. Comment sont-ils ensuite stockés : quelle base de données vectorielles utiliser, notamment en fonction des performances, de l'échelle et des fonctionnalités requises ?

C’est désormais l’opportunité de créer une plate-forme RAG de niveau entreprise qui supprime la complexité de la sélection et de l’assemblage :

1. Outils opérationnels : l'informatique d'entreprise devra construire des garde-fous pour les équipes d'ingénierie, gérer les coûts, etc. ; toutes les tâches de développement logiciel qu'elles gèrent actuellement devront désormais être étendues à l'utilisation de l'IA. Les domaines d'intérêt pour le service informatique comprennent

Observabilité : comment le modèle fonctionnera-t-il en production ? Leurs performances s’améliorent/se dégradent-elles avec le temps ? Existe-t-il des modèles d'utilisation susceptibles d'influencer le choix du modèle d'application pour les versions futures ?

Sécurité : comment assurer la sécurité des applications natives d'IA. Ces applications sont-elles vulnérables à de nouveaux vecteurs d’attaque qui nécessitent de nouvelles plateformes ?

Conformité : nous prévoyons que les applications natives de l'IA et l'utilisation du LLM devront se conformer aux cadres que les organes directeurs concernés ont déjà commencé à développer. Cela s'ajoute aux régimes de conformité existants en matière de confidentialité, de sécurité, de protection des consommateurs, d'équité, etc. Les entreprises auront besoin de plateformes capables de les aider à maintenir leur conformité, à réaliser des audits, à générer des preuves de conformité et à effectuer des tâches connexes.

2. Données : les plates-formes qui aident à comprendre les actifs de données dont dispose une entreprise et comment les exploiter pour tirer le meilleur parti des nouveaux modèles d'IA seront rapidement adoptées. L'un des plus grands éditeurs de logiciels au monde nous a dit un jour : « Nos données constituent notre douve, notre principale propriété intellectuelle et notre avantage concurrentiel. Utilisez l'intelligence artificielle pour monétiser ces données et utilisez-les de manière à favoriser la différenciation sans compromettre la défendabilité » sera la clé, et des plateformes telles que Snorkel jouent un rôle essentiel à cet égard.

C’est le moment idéal pour créer une plate-forme d’infrastructure d’IA. L'application de l'intelligence artificielle continuera de transformer des secteurs entiers, mais elle nécessite de prendre en charge les infrastructures, les middlewares, la sécurité, l'observabilité et les plates-formes d'exploitation pour permettre à chaque entreprise de la planète d'adopter cette technologie puissante.

Les références

Auteur : Vela, Yihao, Leo

Édition et composition : Zoey, Vela