**Note de l'éditeur : cet article explore les dix principaux défis de la recherche sur les grands modèles de langage (LLM). L'auteur est Chip Huyen, diplômé de l'Université de Stanford et aujourd'hui fondateur de Claypot AI, une plateforme d'apprentissage automatique en temps réel. Elle était auparavant chez NVIDIA, Snorkel AI, Netflix et Primer développent des outils d'apprentissage automatique. **
Je suis témoin d'une situation sans précédent : un grand nombre des plus grands esprits du monde se consacrent désormais à l'objectif unifié de « rendre les modèles linguistiques (LLM) meilleurs ».
Après avoir échangé avec de nombreux collègues de l’industrie et du monde universitaire, j’ai tenté de résumer dix grandes orientations de recherche en plein essor :
1. Réduire et mesurer les hallucinations (NDLR : hallucinations, hallucinations de l'IA, c'est-à-dire parties incorrectes ou dénuées de sens de la sortie de l'IA, bien que cette sortie soit syntaxiquement raisonnable)
2. Optimiser la longueur et la construction du contexte
3. Intégrez d'autres modes de données
4. Augmentez la vitesse et réduisez les coûts des LLM
5. Concevoir une nouvelle architecture de modèle
6. Développer des alternatives GPU
7. Améliorer la disponibilité des agents
8. Capacité améliorée à apprendre des préférences humaines
9. Améliorer l'efficacité de l'interface de chat
10. Création de LLM pour les langues autres que l'anglais
Parmi elles, les deux premières orientations, à savoir la réduction des « illusions » et « l'apprentissage contextuel », pourraient être les orientations les plus populaires à l'heure actuelle. Personnellement, je suis plus intéressé par les éléments 3 (multimodalité), 5 (nouvelle architecture) et 6 (alternatives GPU).
01 Réduire et mesurer les illusions
Il fait référence au phénomène qui se produit lorsqu’un modèle d’IA crée du faux contenu.
L’illusion est une qualité incontournable dans de nombreuses situations qui nécessitent de la créativité. Cependant, pour la plupart des autres scénarios d’application, cela constitue un inconvénient.
J'ai récemment participé à un groupe de discussion sur le LLM et parlé avec des personnes d'entreprises telles que Dropbox, Langchain, Elastics et Anthropic, et ils pensent qu'une entreprise à grande échelle adoption Le plus grand obstacle à la production commerciale de LLM est le problème de l'illusion.
Atténuer le phénomène des hallucinations et développer des métriques pour les mesurer est un sujet de recherche en plein essor, et de nombreuses startups se concentrent sur la résolution de ce problème.
Il existe actuellement des méthodes temporaires pour réduire les hallucinations, telles que l'ajout de plus de contexte, de chaînes de pensée, d'auto-cohérence aux invites ou l'exigence que le résultat du modèle reste concis.
Voici les discours connexes auxquels vous pouvez vous référer
·Enquête sur les hallucinations dans la génération du langage naturel (Ji et al., 2022)·Comment les hallucinations des modèles de langage peuvent faire boule de neige (Zhang et al., 2023)·Une uation multitâche, multilingue et multimodale de ChatGPT sur le raisonnement, les hallucinations et l'interactivité (Bang et al., 2023) · L'apprentissage contrastif réduit les hallucinations dans les conversations (Sun et al., 2022) · L'auto-cohérence améliore le raisonnement en chaîne de pensée dans les modèles linguistiques (Wang et al., 2022) · SelfCheckGPT : boîte noire sans ressource Détection d'hallucinations pour les grands modèles de langage génératifs (Manakul et al., 2023)
02 Optimiser la longueur et la construction du contexte
La grande majorité des problèmes rencontrés par l’IA nécessitent un contexte.
Par exemple, si nous demandons à ChatGPT : « Quel restaurant vietnamien est le meilleur ? », le contexte requis pourrait être « où » car le meilleur restaurant du Vietnam peut être différent du meilleur restaurant vietnamien des États-Unis.
Selon l'intéressant article "SituedQA" (Zhang & Choi, 2021), une proportion considérable de questions de recherche d'informations ont des réponses qui dépendent du contexte. Par exemple, environ 16,5 % des questions de l'ensemble de données NQ-Open sont de ce type. .
Personnellement, je pense que pour les scénarios d'applications d'entreprise, ce ratio peut être encore plus élevé. Supposons qu'une entreprise crée un chatbot pour ses clients. Si le robot doit être capable de répondre à n'importe quelle question d'un client sur un produit, le contexte requis peut être l'historique du client ou des informations sur le produit.
Étant donné que le modèle « apprend » du contexte qui lui est fourni, ce processus est également appelé apprentissage contextuel.
Pour la génération améliorée de récupération (RAG, qui est également la méthode principale dans le sens des applications de l'industrie LLM), la longueur du contexte est particulièrement importante.
RAG peut être simplement divisé en deux étapes :
Phase 1 : Chunking (également appelé indexation)
Collectez tous les documents à utiliser par LLM, divisez ces documents en morceaux qui peuvent être introduits dans LLM pour générer des intégrations et stockez ces intégrations dans une base de données vectorielle.
Deuxième étape : requête
Lorsqu'un utilisateur envoie une requête, telle que « Ma police d'assurance couvrira-t-elle ce médicament ?
Figure : Capture d'écran du discours de Jerry Liu sur LlamaIndex (2023)
Plus la longueur du contexte est longue, plus nous pouvons insérer de blocs dans le contexte. Mais est-ce que plus un modèle aura accès à des informations, meilleures seront ses réponses ?
Ce n'est pas toujours le cas. La quantité de contexte qu'un modèle peut utiliser et l'efficacité avec laquelle le modèle sera utilisé sont deux questions différentes. Tout aussi important que l'augmentation de la longueur du contexte du modèle est un apprentissage plus efficace du contexte, également appelé « ingénierie des indices ».
Un article récent largement diffusé montre que les modèles parviennent bien mieux à comprendre les informations du début et de la fin de l'index qu'à partir du milieu : Lost in the Middle : How Language Models Use Long Contexts (Liu et al., 2023).
03Intégrer d'autres modes de données
À mon avis, la multimodalité est si puissante mais souvent sous-estimée.
Tout d’abord, de nombreux scénarios d’application réels nécessitent le traitement de grandes quantités de données multimodales, telles que les soins de santé, la robotique, le commerce électronique, la vente au détail, les jeux, le divertissement, etc. Les prédictions médicales nécessitent l'utilisation à la fois de texte (tels que les notes des médecins, les questionnaires des patients) et d'images (telles que les tomodensitogrammes, les rayons X, les IRM) ; les données sur les produits comprennent souvent des images, des vidéos, des descriptions et même des données tabulaires (telles que date de production, poids, couleur).
Deuxièmement, la multimodalité promet d’apporter d’énormes améliorations aux performances des modèles. Un modèle capable de comprendre à la fois le texte et les images ne serait-il pas plus performant qu’un modèle capable de comprendre uniquement le texte ? Les modèles basés sur du texte nécessitent de grandes quantités de données textuelles, et nous craignons désormais de manquer de données Internet pour entraîner des modèles basés sur du texte. Une fois le texte épuisé, nous devons exploiter d’autres modalités de données.
Une direction d'application qui me passionne particulièrement récemment est que la technologie multimodale peut aider les personnes malvoyantes à naviguer sur Internet et à naviguer dans le monde réel.
Voici quelques développements remarquables en matière de recherche multimodale : · [CLIP] Apprentissage de modèles visuels transférables à partir de la supervision du langage naturel (OpenAI, 2021)·Flamingo : un modèle de langage visuel pour un apprentissage en quelques étapes (DeepMind, 2022)·BLIP-2 : démarrage de la pré-formation langage-image avec des encodeurs d'images figés et de grands modèles de langage (Salesforce, 2023)·KOSMOS-1 : Le langage n'est pas tout ce dont vous avez besoin : aligner la perception avec les modèles de langage (Microsoft, 2023)·PaLM-E : Un modèle de langage multimodal incarné (Google, 2023)·LLaVA : Réglage des instructions visuelles (Liu et al., 2023)·NeVA : Assistant de vision et de langage NeMo (NVIDIA, 2023)
04Améliorer la rapidité et réduire les coûts des LLM
Lorsque GPT-3.5 a été lancé pour la première fois fin novembre 2022, de nombreuses personnes ont exprimé leurs inquiétudes quant aux retards et aux coûts liés à l’utilisation du modèle en production.
Désormais, l’analyse retard/coût provoquée par l’utilisation de GPT-3.5 a pris une nouvelle tournure. En six mois, l'ensemble de la communauté de modélisation a trouvé une nouvelle façon de créer un modèle presque proche de GPT-3.5 en termes de performances, mais avec moins de 2 % d'empreinte mémoire.
L'un de mes points à retenir est le suivant : si vous créez quelque chose d'assez bon, quelqu'un d'autre trouvera un moyen de le rendre rapide et rentable.
Ce qui suit est basé sur les données rapportées dans l'article Guanaco, qui compare les performances de Guanaco 7B avec ChatGPT GPT-3.5 et GPT-4.
Il est important de noter que, dans l’ensemble, les performances de ces modèles sont loin d’être parfaites. Pour LLM, il est encore très difficile d’améliorer significativement les performances.
Je me souviens qu'il y a quatre ans, lorsque j'ai commencé à rédiger les notes de la section « Model Compression » du livre « Designing Machine Learning Systems », il existait quatre principales techniques d'optimisation/compression de modèles dans l'industrie :
Quantification : de loin la méthode d’optimisation de modèle la plus courante. La quantification réduit la taille du modèle en utilisant moins de bits pour représenter les paramètres du modèle. Par exemple, au lieu d'utiliser 32 bits pour représenter les nombres à virgule flottante, seuls 16 bits, voire 4 bits, sont utilisés.
Distillation des connaissances : c'est-à-dire former un petit modèle (modèle étudiant), qui peut imiter un modèle ou un ensemble de modèles plus grand (modèle enseignant).
Décomposition de bas rang : Son idée clé est d'utiliser des tenseurs de basse dimension pour remplacer les tenseurs de haute dimension afin de réduire le nombre de paramètres. Par exemple, un tenseur 3x3 peut être décomposé en produit d'un tenseur 3x1 et d'un tenseur 1x3, de sorte qu'au lieu de 9 paramètres, il n'y a que 6 paramètres.
Élagage : fait référence à la réduction de la taille du modèle en supprimant les poids ou les connexions du modèle qui contribuent moins aux performances globales.
Ces quatre techniques sont encore populaires aujourd’hui. Alpaga est formé grâce à la distillation des connaissances, tandis que QLoRA utilise une combinaison de décomposition et de quantification de bas rang.
05Concevoir une nouvelle architecture de modèle
Depuis AlexNet en 2012, nous avons vu de nombreuses architectures aller et venir, notamment LSTM, seq2seq, etc.
Comparé à ces architectures, Transformer, lancé en 2017, est extrêmement stable, même si on ne sait pas combien de temps cette architecture sera populaire.
Il n’est pas facile de développer une nouvelle architecture capable de surpasser Transformer. Au cours des 6 dernières années, Transformer a subi de nombreuses optimisations. Sur un matériel approprié, l'échelle et l'effet de ce modèle peuvent donner des résultats étonnants (PS : Transformer a d'abord été conçu par Google pour fonctionner rapidement sur TPU, puis a été optimisé sur le GPU).
En 2021, la recherche « Efficiently Modelling Long Sequences with Structured State Spaces » (Gu et al., 2021) du laboratoire de Chris Ré a déclenché de nombreuses discussions dans l'industrie. Je ne suis pas sûr de ce qui s'est passé ensuite. Mais Chris Ré Labs développe toujours activement de nouvelles architectures et a récemment lancé une architecture appelée Monarch Mixer en partenariat avec la startup Together.
Leur idée principale est que pour l'architecture Transformer existante, la complexité de l'attention est proportionnelle au carré de la longueur de la séquence, et la complexité du MLP est proportionnelle au carré de la dimension du modèle. Les architectures de complexité sous-quadratique seront plus efficaces.
Je suis sûr que de nombreux autres laboratoires explorent cette idée, même si je ne connais aucune étude qui l'ait essayée publiquement. Si vous connaissez l'avancement, contactez-moi !
06Développement d'alternatives GPU
Depuis l’avènement d’AlexNet en 2012, le GPU est le principal matériel d’apprentissage profond.
En fait, l’une des raisons généralement reconnues de la popularité d’AlexNet est qu’il s’agit du premier article à utiliser avec succès des GPU pour entraîner des réseaux neuronaux. Avant les GPU, si vous vouliez entraîner un modèle de la taille d'AlexNet, vous auriez besoin de milliers de CPU, tout comme le serveur Google sorti quelques mois avant AlexNet.
Comparés à des milliers de processeurs, quelques GPU sont plus accessibles aux doctorants et aux chercheurs, déclenchant un boom de la recherche sur l'apprentissage profond.
Au cours de la dernière décennie, de nombreuses entreprises, grandes et startups, ont tenté de créer de nouveaux matériels pour l’intelligence artificielle. Les tentatives les plus remarquables incluent le TPU de Google, l'IPU de Graphcore et Cerebras. SambaNova a également levé plus d’un milliard de dollars pour développer de nouvelles puces d’IA, mais semble avoir évolué pour devenir une plateforme d’IA générative.
Durant cette période, l’informatique quantique a également suscité de nombreuses attentes, parmi lesquelles les principaux acteurs incluent :
·Le processeur quantique d'IBM
·L'ordinateur quantique de Google. Une étape majeure dans la réduction des erreurs quantiques a été signalée dans Nature plus tôt cette année. Sa machine virtuelle quantique est accessible au public via Google Colab.
·Laboratoires de recherche dans les universités, tels que le MIT Quantum Engineering Center, le Max Planck Institute for Quantum Optics, le Chicago Quantum Exchange Center, etc.
Une autre direction tout aussi passionnante est celle des puces photoniques. C'est la direction que je connais le moins. S'il y a des erreurs, merci de me corriger.
Les puces existantes utilisent de l'électricité pour transmettre des données, ce qui consomme beaucoup d'énergie et crée de la latence. Les puces photoniques utilisent des photons pour transmettre des données, exploitant la vitesse de la lumière pour un calcul plus rapide et plus efficace. Diverses startups dans ce domaine ont levé des centaines de millions de dollars, notamment Lightmatter (270 millions de dollars), Ayar Labs (220 millions de dollars), Lightelligence (200 millions de dollars et plus) et Luminous Computing (115 millions de dollars).
Voici la chronologie des progrès des trois principales méthodes de calcul de matrice de photons, extraite de La multiplication de matrice photonique éclaire l'accélérateur photonique et au-delà (Zhou et al., Nature 2022). Les trois méthodes différentes sont la conversion de lumière planaire (PLC), l'interféromètre de Mach-Zehnder (MZI) et le multiplexage par répartition en longueur d'onde (WDM).
07Amélioration de la disponibilité des agents
Les agents peuvent être considérés comme des LLM capables d'effectuer des actions, telles que naviguer sur Internet, envoyer des e-mails, etc. Par rapport aux autres directions de recherche présentées dans cet article, il s’agit peut-être de la direction la plus récente.
Les agents suscitent un grand intérêt en raison de leur nouveauté et de leur grand potentiel. Auto-GPT est désormais la 25e bibliothèque la plus populaire en nombre d'étoiles sur GitHub. GPT-Engineering est également une autre bibliothèque populaire.
Malgré cela, des doutes subsistent quant à la fiabilité, à la performance et à la capacité opérationnelle des LLM.
Il existe désormais une direction d'application intéressante, qui consiste à utiliser des agents pour la recherche sociale. Une expérience de Stanford a montré qu'un petit groupe d'agents générateurs produisait un comportement social émergent : à partir d'une seule idée spécifiée par l'utilisateur, selon laquelle un agent souhaitait organiser une fête pour la Saint-Valentin, un certain nombre d'autres agents la diffusaient de manière autonome au cours des deux jours suivants. Invitations à des fêtes, se faire de nouveaux amis, s'inviter mutuellement à des fêtes... (Generative Agents : Interactive Simulacra of Human Behaviour, Park et al., 2023).
La startup la plus remarquable dans ce domaine est peut-être Adept, fondée par deux co-auteurs de Transformer (bien que tous deux soient partis depuis) et un ancien vice-président d'OpenAI, et qui a levé près de 500 millions de dollars à ce jour. L'année dernière, ils ont montré comment leur agent pouvait naviguer sur Internet et ajouter de nouveaux comptes sur Salesforce. J'ai hâte de voir leur nouvelle démo 🙂 .
08 Améliorer la capacité d'apprendre des préférences humaines
RLHF (Reinforcement Learning from Human Preference) est cool, mais un peu fastidieux.
Je ne suis pas surpris que les gens trouvent de meilleures façons de former des LLM. Il existe de nombreuses questions ouvertes concernant le RLHF, telles que :
·Comment représenter mathématiquement les préférences humaines ?
Actuellement, les préférences humaines sont déterminées par comparaison : un annotateur humain détermine si la réponse A est meilleure que la réponse B. Cependant, il ne prend pas en compte la mesure dans laquelle la réponse A est meilleure ou pire que la réponse B.
·Quelles sont les préférences humaines ?
Anthropic mesure la qualité des réponses du modèle selon trois dimensions : utile, honnête et inoffensive. Document de référence : Constitutional AI : Harmlessness from AI Feedback (Bai et al., 2022).
DeepMind essaie de générer des réponses qui plairont au plus grand nombre. Article de référence : Affiner les modèles de langage pour trouver un accord entre les humains ayant des préférences diverses (Bakker et al., 2022).
Voulons-nous également une IA capable de prendre position, ou une IA générique qui évite de parler de sujets potentiellement controversés ?
· Quelles préférences sont des préférences « humaines », prenant en compte les différences de culture, de religion, de tendances politiques, etc. ?
Il existe de nombreux défis pour obtenir des données de formation suffisamment représentatives de tous les utilisateurs potentiels.
Par exemple, les données InstructGPT d'OpenAI n'ont aucun annotateur âgé de plus de 65 ans. Les tagueurs sont principalement des Philippins et des Bangladais. Document de référence : InstructGPT : Former des modèles de langage pour suivre des instructions avec des commentaires humains (Ouyang et al., 2022).
Même si les intentions initiales des efforts menés par la communauté de l’IA au cours des dernières années sont admirables, le biais des données existe toujours. Par exemple, dans l’ensemble de données OpenAssistant, 201 des 222 répondants (90,5 %) se sont déclarés être des hommes. Jeremy Howard a publié une série de tweets sur le sujet sur Twitter.
09Améliorer l'efficacité de l'interface de chat
Depuis l'introduction de ChatGPT, une discussion a eu lieu pour savoir si le chat est adapté à un large éventail de tâches. Par exemple:
·Le langage naturel est l'interface utilisateur paresseuse (Austin Z. Henley, 2023)
·Pourquoi les chatbots ne sont pas l'avenir (Amelia Wattenberger, 2023)
·Quels types de questions nécessitent une conversation pour répondre ? Une étude de cas des questions AskReddit (Huang et al., 2023)
·Les interfaces de chat IA pourraient devenir la principale interface utilisateur pour lire la documentation (Tom Johnson, 2023)
·Interagir avec les LLM avec Minimal Chat (Eugene Yan, 2023)
Cependant, ce n’est pas une discussion nouvelle. Dans de nombreux pays, notamment en Asie, le chat est utilisé comme interface pour les super applications depuis environ une décennie. Dan Grover a évoqué ce phénomène en 2014.
Ce type de débat est redevenu brûlant en 2016, de nombreuses personnes estimant que les types d'applications existants sont obsolètes et que les chatbots sont l'avenir. Par exemple, les études suivantes :
·Sur le chat comme interface (Alistair Croll, 2016)
·La tendance des chatbots est-elle un gros malentendu ? (Will Knight, 2016)
· Les robots ne remplaceront pas les applications. De meilleures applications remplaceront les applications (Dan Grover, 2016)
Personnellement, j'aime l'interface de chat pour les raisons suivantes :
L'interface de chat est une interface que tout le monde (même les personnes n'ayant aucune expérience préalable avec les ordinateurs ou Internet) peut rapidement apprendre à utiliser.
Lorsque j'étais bénévole dans un quartier à faible revenu du Kenya au début des années 2010, j'ai été surpris de voir à quel point tout le monde était à l'aise avec les opérations bancaires par SMS sur leur téléphone. Même si personne dans cette communauté ne possède d’ordinateur.
L’interface de chat est généralement facile d’accès. Nous pouvons également utiliser la parole au lieu du texte si nos mains sont occupées à autre chose.
L'interface de chat est également une interface très puissante, elle répondra à toute demande formulée par l'utilisateur, même si certaines réponses ne sont pas très bonnes.
Cependant, je pense qu'il y a certains domaines dans lesquels l'interface de chat pourrait être améliorée :
·Plusieurs messages en un seul tour
Actuellement, nous supposons qu’il n’y a qu’un seul message à la fois. Mais lorsque mes amis et moi envoyons des SMS, il faut souvent plusieurs messages pour terminer une conversation car je dois insérer différentes données (par exemple des images, des lieux, des liens), j'ai oublié quelque chose dans un message précédent ou je ne veux tout simplement pas y entrer. tout en un seul grand paragraphe.
·Entrée multimodale
Dans le domaine des applications multimodales, la plupart des efforts sont consacrés à la création de meilleurs modèles et moins à la création de meilleures interfaces. Prenons l'exemple du chatbot NeVA de NVIDIA. Je ne suis pas un expert en expérience utilisateur, mais je pense qu'il pourrait y avoir des améliorations à apporter ici.
PS Désolé, l'équipe NeVA, de vous avoir nommé. Pourtant ton travail est génial !
Figure : Interface NeVA de NVIDIA
·Intégrer l'IA générative dans les flux de travail
Linus Lee aborde très bien ce sujet dans son exposé « Interface IA générative au-delà des chats ». Par exemple, si vous souhaitez poser une question sur une colonne de graphique sur laquelle vous travaillez, vous devriez pouvoir simplement pointer vers cette colonne et poser la question.
·Modifier et supprimer des messages
Comment la modification ou la suppression des entrées utilisateur modifie-t-elle le flux de la conversation avec le chatbot ?
10 Création de LLM pour les langues autres que l'anglais
Nous savons que les LLM actuels dirigés en anglais fonctionnent mal dans de nombreuses autres langues, que ce soit en termes de performances, de latence ou de vitesse.
Voici des études pertinentes auxquelles vous pouvez vous référer :
·ChatGPT au-delà de l'anglais : vers une uation complète des grands modèles linguistiques dans l'apprentissage multilingue (Lai et al., 2023)
·Toutes les langues ne sont PAS créées (tokenisées) égales (Yennie Jun, 2023)
Certains lecteurs m'ont dit qu'ils ne pensaient pas que je devrais poursuivre dans cette direction pour deux raisons.
Il s’agit plus d’une question « logistique » que d’une question de recherche. Nous savons déjà comment procéder. Il suffit que quelqu’un investisse de l’argent et fasse des efforts.
Ce n'est pas tout à fait exact. La plupart des langues sont considérées comme des langues à faibles ressources, car elles disposent de données de bien moindre qualité que l'anglais ou le chinois, par exemple, et peuvent nécessiter des techniques différentes pour former de grands modèles linguistiques.
Voici des études pertinentes auxquelles vous pouvez vous référer :
·Langues à faibles ressources : revue des travaux passés et défis futurs (Magueresse et al., 2020)
·JW300 : Un corpus parallèle à large couverture pour les langues à faibles ressources (Agić et al., 2019)
Ceux qui sont les plus pessimistes pensent qu’à l’avenir, de nombreuses langues disparaîtront et qu’Internet sera constitué de deux mondes composés de deux langues : l’anglais et le chinois. Cette façon de penser n’est pas nouvelle. Est-ce que quelqu'un se souvient de l'espéranto ?
L’impact des outils d’IA, tels que la traduction automatique et les chatbots, sur l’apprentissage des langues reste flou. Vont-ils aider les gens à apprendre de nouvelles langues plus rapidement, ou élimineront-ils complètement le besoin d'apprendre de nouvelles langues ?
en conclusion
Parmi les 10 défis évoqués ci-dessus, certains sont effectivement plus difficiles que d’autres.
Par exemple, je pense que le point 10, Création de LLM pour les langues autres que l'anglais, pointe plus directement vers un temps et des ressources adéquats.
Le point 1, réduire les hallucinations, sera plus difficile car les hallucinations ne sont que des LLM accomplissant leur tâche probabiliste.
Le point 4, qui rend les LLM plus rapides et moins chers, n’atteindra jamais un état entièrement résolu. De nombreux progrès ont été réalisés dans ce domaine et d’autres restent à venir, mais nous ne cesserons jamais de nous améliorer.
Les éléments 5 et 6, nouvelle architecture et nouveau matériel, sont très difficiles et inévitables. En raison de la relation symbiotique entre l'architecture et le matériel, les nouvelles architectures doivent être optimisées pour le matériel commun, et le matériel doit prendre en charge les architectures communes. Ils peuvent être réglés par la même société.
Certains de ces problèmes peuvent être résolus avec plus que de simples connaissances techniques. Par exemple, le point 8, Améliorer l'apprentissage à partir des préférences humaines, peut être davantage une question de stratégie qu'une question technique.
Le point 9, améliorant l’efficacité de l’interface de chat, relève davantage d’un problème d’expérience utilisateur. Nous avons besoin de davantage de personnes ayant une formation non technique et travaillant ensemble pour résoudre ces problèmes.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Les plus grands talents des modèles linguistiques ne se soucient que de ces 10 défis
Source : Course de lapins de silicium
Auteur : Lin Ju Editeur : Man Manzhou
**Note de l'éditeur : cet article explore les dix principaux défis de la recherche sur les grands modèles de langage (LLM). L'auteur est Chip Huyen, diplômé de l'Université de Stanford et aujourd'hui fondateur de Claypot AI, une plateforme d'apprentissage automatique en temps réel. Elle était auparavant chez NVIDIA, Snorkel AI, Netflix et Primer développent des outils d'apprentissage automatique. **
Je suis témoin d'une situation sans précédent : un grand nombre des plus grands esprits du monde se consacrent désormais à l'objectif unifié de « rendre les modèles linguistiques (LLM) meilleurs ».
Après avoir échangé avec de nombreux collègues de l’industrie et du monde universitaire, j’ai tenté de résumer dix grandes orientations de recherche en plein essor :
1. Réduire et mesurer les hallucinations (NDLR : hallucinations, hallucinations de l'IA, c'est-à-dire parties incorrectes ou dénuées de sens de la sortie de l'IA, bien que cette sortie soit syntaxiquement raisonnable)
2. Optimiser la longueur et la construction du contexte
3. Intégrez d'autres modes de données
4. Augmentez la vitesse et réduisez les coûts des LLM
5. Concevoir une nouvelle architecture de modèle
6. Développer des alternatives GPU
7. Améliorer la disponibilité des agents
8. Capacité améliorée à apprendre des préférences humaines
9. Améliorer l'efficacité de l'interface de chat
10. Création de LLM pour les langues autres que l'anglais
Parmi elles, les deux premières orientations, à savoir la réduction des « illusions » et « l'apprentissage contextuel », pourraient être les orientations les plus populaires à l'heure actuelle. Personnellement, je suis plus intéressé par les éléments 3 (multimodalité), 5 (nouvelle architecture) et 6 (alternatives GPU).
01 Réduire et mesurer les illusions
Il fait référence au phénomène qui se produit lorsqu’un modèle d’IA crée du faux contenu.
L’illusion est une qualité incontournable dans de nombreuses situations qui nécessitent de la créativité. Cependant, pour la plupart des autres scénarios d’application, cela constitue un inconvénient.
J'ai récemment participé à un groupe de discussion sur le LLM et parlé avec des personnes d'entreprises telles que Dropbox, Langchain, Elastics et Anthropic, et ils pensent qu'une entreprise à grande échelle adoption Le plus grand obstacle à la production commerciale de LLM est le problème de l'illusion.
Atténuer le phénomène des hallucinations et développer des métriques pour les mesurer est un sujet de recherche en plein essor, et de nombreuses startups se concentrent sur la résolution de ce problème.
Il existe actuellement des méthodes temporaires pour réduire les hallucinations, telles que l'ajout de plus de contexte, de chaînes de pensée, d'auto-cohérence aux invites ou l'exigence que le résultat du modèle reste concis.
Voici les discours connexes auxquels vous pouvez vous référer
·Enquête sur les hallucinations dans la génération du langage naturel (Ji et al., 2022)·Comment les hallucinations des modèles de langage peuvent faire boule de neige (Zhang et al., 2023)·Une uation multitâche, multilingue et multimodale de ChatGPT sur le raisonnement, les hallucinations et l'interactivité (Bang et al., 2023) · L'apprentissage contrastif réduit les hallucinations dans les conversations (Sun et al., 2022) · L'auto-cohérence améliore le raisonnement en chaîne de pensée dans les modèles linguistiques (Wang et al., 2022) · SelfCheckGPT : boîte noire sans ressource Détection d'hallucinations pour les grands modèles de langage génératifs (Manakul et al., 2023)
02 Optimiser la longueur et la construction du contexte
La grande majorité des problèmes rencontrés par l’IA nécessitent un contexte.
Par exemple, si nous demandons à ChatGPT : « Quel restaurant vietnamien est le meilleur ? », le contexte requis pourrait être « où » car le meilleur restaurant du Vietnam peut être différent du meilleur restaurant vietnamien des États-Unis.
Selon l'intéressant article "SituedQA" (Zhang & Choi, 2021), une proportion considérable de questions de recherche d'informations ont des réponses qui dépendent du contexte. Par exemple, environ 16,5 % des questions de l'ensemble de données NQ-Open sont de ce type. .
Personnellement, je pense que pour les scénarios d'applications d'entreprise, ce ratio peut être encore plus élevé. Supposons qu'une entreprise crée un chatbot pour ses clients. Si le robot doit être capable de répondre à n'importe quelle question d'un client sur un produit, le contexte requis peut être l'historique du client ou des informations sur le produit.
Étant donné que le modèle « apprend » du contexte qui lui est fourni, ce processus est également appelé apprentissage contextuel.
RAG peut être simplement divisé en deux étapes :
Phase 1 : Chunking (également appelé indexation)
Collectez tous les documents à utiliser par LLM, divisez ces documents en morceaux qui peuvent être introduits dans LLM pour générer des intégrations et stockez ces intégrations dans une base de données vectorielle.
Deuxième étape : requête
Lorsqu'un utilisateur envoie une requête, telle que « Ma police d'assurance couvrira-t-elle ce médicament ?
Plus la longueur du contexte est longue, plus nous pouvons insérer de blocs dans le contexte. Mais est-ce que plus un modèle aura accès à des informations, meilleures seront ses réponses ?
Ce n'est pas toujours le cas. La quantité de contexte qu'un modèle peut utiliser et l'efficacité avec laquelle le modèle sera utilisé sont deux questions différentes. Tout aussi important que l'augmentation de la longueur du contexte du modèle est un apprentissage plus efficace du contexte, également appelé « ingénierie des indices ».
Un article récent largement diffusé montre que les modèles parviennent bien mieux à comprendre les informations du début et de la fin de l'index qu'à partir du milieu : Lost in the Middle : How Language Models Use Long Contexts (Liu et al., 2023).
03Intégrer d'autres modes de données
À mon avis, la multimodalité est si puissante mais souvent sous-estimée.
Tout d’abord, de nombreux scénarios d’application réels nécessitent le traitement de grandes quantités de données multimodales, telles que les soins de santé, la robotique, le commerce électronique, la vente au détail, les jeux, le divertissement, etc. Les prédictions médicales nécessitent l'utilisation à la fois de texte (tels que les notes des médecins, les questionnaires des patients) et d'images (telles que les tomodensitogrammes, les rayons X, les IRM) ; les données sur les produits comprennent souvent des images, des vidéos, des descriptions et même des données tabulaires (telles que date de production, poids, couleur).
Deuxièmement, la multimodalité promet d’apporter d’énormes améliorations aux performances des modèles. Un modèle capable de comprendre à la fois le texte et les images ne serait-il pas plus performant qu’un modèle capable de comprendre uniquement le texte ? Les modèles basés sur du texte nécessitent de grandes quantités de données textuelles, et nous craignons désormais de manquer de données Internet pour entraîner des modèles basés sur du texte. Une fois le texte épuisé, nous devons exploiter d’autres modalités de données.
Voici quelques développements remarquables en matière de recherche multimodale : · [CLIP] Apprentissage de modèles visuels transférables à partir de la supervision du langage naturel (OpenAI, 2021)·Flamingo : un modèle de langage visuel pour un apprentissage en quelques étapes (DeepMind, 2022)·BLIP-2 : démarrage de la pré-formation langage-image avec des encodeurs d'images figés et de grands modèles de langage (Salesforce, 2023)·KOSMOS-1 : Le langage n'est pas tout ce dont vous avez besoin : aligner la perception avec les modèles de langage (Microsoft, 2023)·PaLM-E : Un modèle de langage multimodal incarné (Google, 2023)·LLaVA : Réglage des instructions visuelles (Liu et al., 2023)·NeVA : Assistant de vision et de langage NeMo (NVIDIA, 2023)
04Améliorer la rapidité et réduire les coûts des LLM
Lorsque GPT-3.5 a été lancé pour la première fois fin novembre 2022, de nombreuses personnes ont exprimé leurs inquiétudes quant aux retards et aux coûts liés à l’utilisation du modèle en production.
Désormais, l’analyse retard/coût provoquée par l’utilisation de GPT-3.5 a pris une nouvelle tournure. En six mois, l'ensemble de la communauté de modélisation a trouvé une nouvelle façon de créer un modèle presque proche de GPT-3.5 en termes de performances, mais avec moins de 2 % d'empreinte mémoire.
L'un de mes points à retenir est le suivant : si vous créez quelque chose d'assez bon, quelqu'un d'autre trouvera un moyen de le rendre rapide et rentable.
Il est important de noter que, dans l’ensemble, les performances de ces modèles sont loin d’être parfaites. Pour LLM, il est encore très difficile d’améliorer significativement les performances.
Je me souviens qu'il y a quatre ans, lorsque j'ai commencé à rédiger les notes de la section « Model Compression » du livre « Designing Machine Learning Systems », il existait quatre principales techniques d'optimisation/compression de modèles dans l'industrie :
Quantification : de loin la méthode d’optimisation de modèle la plus courante. La quantification réduit la taille du modèle en utilisant moins de bits pour représenter les paramètres du modèle. Par exemple, au lieu d'utiliser 32 bits pour représenter les nombres à virgule flottante, seuls 16 bits, voire 4 bits, sont utilisés.
Distillation des connaissances : c'est-à-dire former un petit modèle (modèle étudiant), qui peut imiter un modèle ou un ensemble de modèles plus grand (modèle enseignant).
Décomposition de bas rang : Son idée clé est d'utiliser des tenseurs de basse dimension pour remplacer les tenseurs de haute dimension afin de réduire le nombre de paramètres. Par exemple, un tenseur 3x3 peut être décomposé en produit d'un tenseur 3x1 et d'un tenseur 1x3, de sorte qu'au lieu de 9 paramètres, il n'y a que 6 paramètres.
Élagage : fait référence à la réduction de la taille du modèle en supprimant les poids ou les connexions du modèle qui contribuent moins aux performances globales.
Ces quatre techniques sont encore populaires aujourd’hui. Alpaga est formé grâce à la distillation des connaissances, tandis que QLoRA utilise une combinaison de décomposition et de quantification de bas rang.
05Concevoir une nouvelle architecture de modèle
Depuis AlexNet en 2012, nous avons vu de nombreuses architectures aller et venir, notamment LSTM, seq2seq, etc.
Comparé à ces architectures, Transformer, lancé en 2017, est extrêmement stable, même si on ne sait pas combien de temps cette architecture sera populaire.
Il n’est pas facile de développer une nouvelle architecture capable de surpasser Transformer. Au cours des 6 dernières années, Transformer a subi de nombreuses optimisations. Sur un matériel approprié, l'échelle et l'effet de ce modèle peuvent donner des résultats étonnants (PS : Transformer a d'abord été conçu par Google pour fonctionner rapidement sur TPU, puis a été optimisé sur le GPU).
En 2021, la recherche « Efficiently Modelling Long Sequences with Structured State Spaces » (Gu et al., 2021) du laboratoire de Chris Ré a déclenché de nombreuses discussions dans l'industrie. Je ne suis pas sûr de ce qui s'est passé ensuite. Mais Chris Ré Labs développe toujours activement de nouvelles architectures et a récemment lancé une architecture appelée Monarch Mixer en partenariat avec la startup Together.
Leur idée principale est que pour l'architecture Transformer existante, la complexité de l'attention est proportionnelle au carré de la longueur de la séquence, et la complexité du MLP est proportionnelle au carré de la dimension du modèle. Les architectures de complexité sous-quadratique seront plus efficaces.
06Développement d'alternatives GPU
Depuis l’avènement d’AlexNet en 2012, le GPU est le principal matériel d’apprentissage profond.
En fait, l’une des raisons généralement reconnues de la popularité d’AlexNet est qu’il s’agit du premier article à utiliser avec succès des GPU pour entraîner des réseaux neuronaux. Avant les GPU, si vous vouliez entraîner un modèle de la taille d'AlexNet, vous auriez besoin de milliers de CPU, tout comme le serveur Google sorti quelques mois avant AlexNet.
Comparés à des milliers de processeurs, quelques GPU sont plus accessibles aux doctorants et aux chercheurs, déclenchant un boom de la recherche sur l'apprentissage profond.
Au cours de la dernière décennie, de nombreuses entreprises, grandes et startups, ont tenté de créer de nouveaux matériels pour l’intelligence artificielle. Les tentatives les plus remarquables incluent le TPU de Google, l'IPU de Graphcore et Cerebras. SambaNova a également levé plus d’un milliard de dollars pour développer de nouvelles puces d’IA, mais semble avoir évolué pour devenir une plateforme d’IA générative.
Durant cette période, l’informatique quantique a également suscité de nombreuses attentes, parmi lesquelles les principaux acteurs incluent :
·Le processeur quantique d'IBM
·L'ordinateur quantique de Google. Une étape majeure dans la réduction des erreurs quantiques a été signalée dans Nature plus tôt cette année. Sa machine virtuelle quantique est accessible au public via Google Colab.
·Laboratoires de recherche dans les universités, tels que le MIT Quantum Engineering Center, le Max Planck Institute for Quantum Optics, le Chicago Quantum Exchange Center, etc.
Une autre direction tout aussi passionnante est celle des puces photoniques. C'est la direction que je connais le moins. S'il y a des erreurs, merci de me corriger.
Les puces existantes utilisent de l'électricité pour transmettre des données, ce qui consomme beaucoup d'énergie et crée de la latence. Les puces photoniques utilisent des photons pour transmettre des données, exploitant la vitesse de la lumière pour un calcul plus rapide et plus efficace. Diverses startups dans ce domaine ont levé des centaines de millions de dollars, notamment Lightmatter (270 millions de dollars), Ayar Labs (220 millions de dollars), Lightelligence (200 millions de dollars et plus) et Luminous Computing (115 millions de dollars).
Voici la chronologie des progrès des trois principales méthodes de calcul de matrice de photons, extraite de La multiplication de matrice photonique éclaire l'accélérateur photonique et au-delà (Zhou et al., Nature 2022). Les trois méthodes différentes sont la conversion de lumière planaire (PLC), l'interféromètre de Mach-Zehnder (MZI) et le multiplexage par répartition en longueur d'onde (WDM).
07Amélioration de la disponibilité des agents
Les agents peuvent être considérés comme des LLM capables d'effectuer des actions, telles que naviguer sur Internet, envoyer des e-mails, etc. Par rapport aux autres directions de recherche présentées dans cet article, il s’agit peut-être de la direction la plus récente.
Les agents suscitent un grand intérêt en raison de leur nouveauté et de leur grand potentiel. Auto-GPT est désormais la 25e bibliothèque la plus populaire en nombre d'étoiles sur GitHub. GPT-Engineering est également une autre bibliothèque populaire.
Malgré cela, des doutes subsistent quant à la fiabilité, à la performance et à la capacité opérationnelle des LLM.
Il existe désormais une direction d'application intéressante, qui consiste à utiliser des agents pour la recherche sociale. Une expérience de Stanford a montré qu'un petit groupe d'agents générateurs produisait un comportement social émergent : à partir d'une seule idée spécifiée par l'utilisateur, selon laquelle un agent souhaitait organiser une fête pour la Saint-Valentin, un certain nombre d'autres agents la diffusaient de manière autonome au cours des deux jours suivants. Invitations à des fêtes, se faire de nouveaux amis, s'inviter mutuellement à des fêtes... (Generative Agents : Interactive Simulacra of Human Behaviour, Park et al., 2023).
La startup la plus remarquable dans ce domaine est peut-être Adept, fondée par deux co-auteurs de Transformer (bien que tous deux soient partis depuis) et un ancien vice-président d'OpenAI, et qui a levé près de 500 millions de dollars à ce jour. L'année dernière, ils ont montré comment leur agent pouvait naviguer sur Internet et ajouter de nouveaux comptes sur Salesforce. J'ai hâte de voir leur nouvelle démo 🙂 .
08 Améliorer la capacité d'apprendre des préférences humaines
RLHF (Reinforcement Learning from Human Preference) est cool, mais un peu fastidieux.
Je ne suis pas surpris que les gens trouvent de meilleures façons de former des LLM. Il existe de nombreuses questions ouvertes concernant le RLHF, telles que :
·Comment représenter mathématiquement les préférences humaines ?
Actuellement, les préférences humaines sont déterminées par comparaison : un annotateur humain détermine si la réponse A est meilleure que la réponse B. Cependant, il ne prend pas en compte la mesure dans laquelle la réponse A est meilleure ou pire que la réponse B.
·Quelles sont les préférences humaines ?
Anthropic mesure la qualité des réponses du modèle selon trois dimensions : utile, honnête et inoffensive. Document de référence : Constitutional AI : Harmlessness from AI Feedback (Bai et al., 2022).
DeepMind essaie de générer des réponses qui plairont au plus grand nombre. Article de référence : Affiner les modèles de langage pour trouver un accord entre les humains ayant des préférences diverses (Bakker et al., 2022).
Voulons-nous également une IA capable de prendre position, ou une IA générique qui évite de parler de sujets potentiellement controversés ?
· Quelles préférences sont des préférences « humaines », prenant en compte les différences de culture, de religion, de tendances politiques, etc. ?
Il existe de nombreux défis pour obtenir des données de formation suffisamment représentatives de tous les utilisateurs potentiels.
Par exemple, les données InstructGPT d'OpenAI n'ont aucun annotateur âgé de plus de 65 ans. Les tagueurs sont principalement des Philippins et des Bangladais. Document de référence : InstructGPT : Former des modèles de langage pour suivre des instructions avec des commentaires humains (Ouyang et al., 2022).
09Améliorer l'efficacité de l'interface de chat
Depuis l'introduction de ChatGPT, une discussion a eu lieu pour savoir si le chat est adapté à un large éventail de tâches. Par exemple:
·Le langage naturel est l'interface utilisateur paresseuse (Austin Z. Henley, 2023)
·Pourquoi les chatbots ne sont pas l'avenir (Amelia Wattenberger, 2023)
·Quels types de questions nécessitent une conversation pour répondre ? Une étude de cas des questions AskReddit (Huang et al., 2023)
·Les interfaces de chat IA pourraient devenir la principale interface utilisateur pour lire la documentation (Tom Johnson, 2023)
·Interagir avec les LLM avec Minimal Chat (Eugene Yan, 2023)
Cependant, ce n’est pas une discussion nouvelle. Dans de nombreux pays, notamment en Asie, le chat est utilisé comme interface pour les super applications depuis environ une décennie. Dan Grover a évoqué ce phénomène en 2014.
·Sur le chat comme interface (Alistair Croll, 2016)
·La tendance des chatbots est-elle un gros malentendu ? (Will Knight, 2016)
· Les robots ne remplaceront pas les applications. De meilleures applications remplaceront les applications (Dan Grover, 2016)
Personnellement, j'aime l'interface de chat pour les raisons suivantes :
L'interface de chat est une interface que tout le monde (même les personnes n'ayant aucune expérience préalable avec les ordinateurs ou Internet) peut rapidement apprendre à utiliser.
Lorsque j'étais bénévole dans un quartier à faible revenu du Kenya au début des années 2010, j'ai été surpris de voir à quel point tout le monde était à l'aise avec les opérations bancaires par SMS sur leur téléphone. Même si personne dans cette communauté ne possède d’ordinateur.
L’interface de chat est généralement facile d’accès. Nous pouvons également utiliser la parole au lieu du texte si nos mains sont occupées à autre chose.
L'interface de chat est également une interface très puissante, elle répondra à toute demande formulée par l'utilisateur, même si certaines réponses ne sont pas très bonnes.
Cependant, je pense qu'il y a certains domaines dans lesquels l'interface de chat pourrait être améliorée :
·Plusieurs messages en un seul tour
Actuellement, nous supposons qu’il n’y a qu’un seul message à la fois. Mais lorsque mes amis et moi envoyons des SMS, il faut souvent plusieurs messages pour terminer une conversation car je dois insérer différentes données (par exemple des images, des lieux, des liens), j'ai oublié quelque chose dans un message précédent ou je ne veux tout simplement pas y entrer. tout en un seul grand paragraphe.
·Entrée multimodale
Dans le domaine des applications multimodales, la plupart des efforts sont consacrés à la création de meilleurs modèles et moins à la création de meilleures interfaces. Prenons l'exemple du chatbot NeVA de NVIDIA. Je ne suis pas un expert en expérience utilisateur, mais je pense qu'il pourrait y avoir des améliorations à apporter ici.
PS Désolé, l'équipe NeVA, de vous avoir nommé. Pourtant ton travail est génial !
·Intégrer l'IA générative dans les flux de travail
Linus Lee aborde très bien ce sujet dans son exposé « Interface IA générative au-delà des chats ». Par exemple, si vous souhaitez poser une question sur une colonne de graphique sur laquelle vous travaillez, vous devriez pouvoir simplement pointer vers cette colonne et poser la question.
·Modifier et supprimer des messages
Comment la modification ou la suppression des entrées utilisateur modifie-t-elle le flux de la conversation avec le chatbot ?
10 Création de LLM pour les langues autres que l'anglais
Nous savons que les LLM actuels dirigés en anglais fonctionnent mal dans de nombreuses autres langues, que ce soit en termes de performances, de latence ou de vitesse.
Voici des études pertinentes auxquelles vous pouvez vous référer :
·ChatGPT au-delà de l'anglais : vers une uation complète des grands modèles linguistiques dans l'apprentissage multilingue (Lai et al., 2023)
·Toutes les langues ne sont PAS créées (tokenisées) égales (Yennie Jun, 2023)
Il s’agit plus d’une question « logistique » que d’une question de recherche. Nous savons déjà comment procéder. Il suffit que quelqu’un investisse de l’argent et fasse des efforts.
Ce n'est pas tout à fait exact. La plupart des langues sont considérées comme des langues à faibles ressources, car elles disposent de données de bien moindre qualité que l'anglais ou le chinois, par exemple, et peuvent nécessiter des techniques différentes pour former de grands modèles linguistiques.
Voici des études pertinentes auxquelles vous pouvez vous référer :
·Langues à faibles ressources : revue des travaux passés et défis futurs (Magueresse et al., 2020)
·JW300 : Un corpus parallèle à large couverture pour les langues à faibles ressources (Agić et al., 2019)
Ceux qui sont les plus pessimistes pensent qu’à l’avenir, de nombreuses langues disparaîtront et qu’Internet sera constitué de deux mondes composés de deux langues : l’anglais et le chinois. Cette façon de penser n’est pas nouvelle. Est-ce que quelqu'un se souvient de l'espéranto ?
L’impact des outils d’IA, tels que la traduction automatique et les chatbots, sur l’apprentissage des langues reste flou. Vont-ils aider les gens à apprendre de nouvelles langues plus rapidement, ou élimineront-ils complètement le besoin d'apprendre de nouvelles langues ?
en conclusion
Parmi les 10 défis évoqués ci-dessus, certains sont effectivement plus difficiles que d’autres.
Par exemple, je pense que le point 10, Création de LLM pour les langues autres que l'anglais, pointe plus directement vers un temps et des ressources adéquats.
Le point 1, réduire les hallucinations, sera plus difficile car les hallucinations ne sont que des LLM accomplissant leur tâche probabiliste.
Le point 4, qui rend les LLM plus rapides et moins chers, n’atteindra jamais un état entièrement résolu. De nombreux progrès ont été réalisés dans ce domaine et d’autres restent à venir, mais nous ne cesserons jamais de nous améliorer.
Les éléments 5 et 6, nouvelle architecture et nouveau matériel, sont très difficiles et inévitables. En raison de la relation symbiotique entre l'architecture et le matériel, les nouvelles architectures doivent être optimisées pour le matériel commun, et le matériel doit prendre en charge les architectures communes. Ils peuvent être réglés par la même société.
Certains de ces problèmes peuvent être résolus avec plus que de simples connaissances techniques. Par exemple, le point 8, Améliorer l'apprentissage à partir des préférences humaines, peut être davantage une question de stratégie qu'une question technique.
Le point 9, améliorant l’efficacité de l’interface de chat, relève davantage d’un problème d’expérience utilisateur. Nous avons besoin de davantage de personnes ayant une formation non technique et travaillant ensemble pour résoudre ces problèmes.