22 personnes valorisées à 1 milliard ! Dialogue avec le PDG de Character.ai : Au lieu d'étudier directement la médecine, il vaut mieux étudier l'intelligence artificielle
Presse de Wall Street :
Character.ai est l'une des stars les plus en vogue du boom actuel de l'IA. Le produit principal de la société est un robot de chat IA personnalisable, orienté vers les besoins de divertissement des consommateurs finaux C, et capable d'accompagner émotionnellement et de créer des personnages fictifs. Charater.AI permet aux utilisateurs de créer leurs propres chatbots avec des personnalités, des conceptions et des réserves de connaissances spécifiques, telles que des célébrités mondiales, des personnages historiques, des personnages fictifs de la littérature, du cinéma et de la télévision, et même des animaux, offrant aux utilisateurs une expérience de chat inédite et immersive.
Source de l'image : générée par l'IA illimitée
Au début de cette année, Charater.ai a réalisé un financement de 150 millions de dollars US, avec une valorisation de plus de 1 milliard de dollars US, et a été promu licorne, avec une équipe de seulement 22 personnes.
En avril, le PDG de Character.ai, Noam Shazeer, ancien membre de l'équipe Google Brain, a été interviewé par le podcast No Priors.
Point de vue central :
Dès 2021, Google avait la capacité de lancer un chatbot IA avant OpenAI, mais il a renoncé pour des raisons de sécurité.La timidité des grandes entreprises est également devenue la raison pour laquelle il a quitté Google et a choisi de créer une entreprise.
Le plus grand avantage de Character réside dans sa stratégie produit orientée utilisateur. Le chatbot AI entièrement personnalisable est devenu un moyen pour beaucoup d'éliminer la solitude, certains utilisateurs affirmant même que Character est leur nouveau conseiller. Noam pense que l'IA a un grand potentiel de soutien émotionnel. Le travail de soutien émotionnel ne nécessite pas une intelligence élevée. Par exemple, les chiens de compagnie peuvent bien faire un travail de soutien émotionnel, bien que les chiens ne soient pas intelligents et ne puissent pas parler. De même, une IA avec des paramètres limités peut également accomplir cette tâche.
3 Les besoins en données ont tendance à augmenter de façon exponentielle avec la puissance de calcul, mais les données ne sont pas rares. Internet peut fournir des données presque illimitées, et Character envisage également d'utiliser l'IA pour générer plus de données.
4 Character.ai en est encore au stade de la combustion des fonds pour l'échelle, et le modèle commercial est toujours à l'étude. À l'avenir, l'équipe envisagera d'étendre l'activité TOB.
5 Noam pense que l'AGI est l'objectif de nombreuses startups de l'IA. Mais ** la vraie raison pour laquelle il a créé une entreprise est de promouvoir le développement de la technologie et d'utiliser la technologie pour surmonter des problèmes difficiles, tels que les maladies médicales incurables. Il a souligné que l'IA peut accélérer les progrès de nombreuses recherches.Au lieu d'étudier directement la médecine, il est préférable d'étudier l'IA. **
Ce qui suit est la transcription textuelle du podcast audio. ELAD et SARAH sont les hôtes du podcast. Par souci de compréhension, certains passages ont été supprimés.
Première expérience professionnelle chez Google et naissance de Transformer
EN DIRECT:
Vous avez longtemps travaillé en PNL et en IA. Vous avez travaillé chez Google par intermittence pendant 17 ans, où les questions d'entretien tournaient autour des solutions de vérification orthographique. Lorsque j'ai rejoint Google, l'un des principaux systèmes de ciblage publicitaire à l'époque était Phil Cluster, que je pense que vous et George Herrick avez écrit. J'aimerais connaître l'historique de vos travaux sur les modèles de langage NLP pour l'intelligence artificielle, comment tout cela a évolué, comment avez-vous commencé, qu'est-ce qui a suscité votre intérêt ?
NOAM ：
Merci Elad. Oui, juste, toujours un attrait naturel pour l'IA. Espérons que cela incitera l'ordinateur à faire quelque chose d'intelligent. Semble être le jeu le plus drôle qui soit. J'ai eu la chance de découvrir Google très tôt et j'ai été impliqué dans un grand nombre des premiers projets là-bas, peut-être que vous n'appelleriez pas cela de l'intelligence artificielle maintenant. Depuis 2012, j'ai rejoint l'équipe de Google Brain. Faites des trucs amusants avec un tas de gens vraiment intelligents. Je n'ai jamais fait d'apprentissage en profondeur ou de réseaux de neurones auparavant.
EN DIRECT:
Vous avez été l'un des participants à l'article sur le transformateur en 2017, puis vous avez participé aux travaux sur Mesh-TensorFlow. Pouvez-vous nous expliquer un peu comment tout cela fonctionne ?
NOAM ：
L'apprentissage en profondeur est un succès car il est vraiment bien adapté au matériel moderne, et vous avez cette génération de puces qui, dans la multiplication matricielle et d'autres formes de choses, nécessitent beaucoup de calcul par rapport à la communication. Donc, fondamentalement, l'apprentissage en profondeur a vraiment décollé, il fonctionne des milliers de fois plus vite que toute autre chose. Une fois que j'ai compris, j'ai commencé à concevoir des choses vraiment intelligentes et rapides. Le problème le plus excitant en ce moment est la modélisation du langage. Parce qu'il y a une quantité infinie de données, il suffit de gratter le réseau et vous pouvez obtenir toutes les données d'entraînement que vous souhaitez.
La définition du problème est très simple, il s'agit de prédire le mot suivant, le gros chat est assis dessus, quel est le suivant. C'est très facile à définir, et si vous pouvez bien le faire, alors vous pouvez obtenir tout ce que vous voyez maintenant, et vous pouvez parler directement à cette chose, c'est vraiment de l'intelligence artificielle. Donc, vers 2015 environ, j'ai commencé à travailler sur la modélisation du langage et sur les réseaux de neurones récurrents, ce qui était génial à l'époque. Puis le transformateur est apparu.
J'ai entendu mes collègues d'à côté discuter de vouloir remplacer les RNN par quelque chose de mieux. J'étais comme, ça sonne bien, je veux aider, les RNN sont ennuyeux, ce sera plus intéressant.
EN DIRECT:
Pouvez-vous décrire rapidement la différence entre un réseau de neurones récurrent et un modèle basé sur le transformateur ou l'attention ?
NOAM ：
Les réseaux de neurones récurrents sont des calculs continus, chaque mot que vous lisez jusqu'au mot suivant, vous calculez votre état actuel du cerveau en fonction de l'ancien état de votre cerveau et du contenu du mot suivant. Ensuite, vous, vous prédisez le mot suivant. Donc, vous avez cette très longue séquence de calculs qui doivent être effectués de manière séquentielle, et donc, la magie du transformateur est que vous pouvez traiter la séquence entière en une seule fois.
La prédiction du mot suivant dépend de ce qu'était le mot précédent, mais cela se produit en une étape constante, et vous pouvez profiter de ce parallélisme, vous pouvez regarder le tout d'un coup, comme le parallélisme que le matériel moderne est bon pour .
Maintenant, vous pouvez profiter de la longueur de la séquence, de votre parallélisme, et tout fonctionne très bien. attention elle-même. C'est un peu comme si vous créiez cette grande association clé-valeur en mémoire, vous construisiez cette grande table avec une entrée pour chaque mot de la séquence. Ensuite, vous cherchez des choses dans ce tableau. C'est comme une fonction floue, différenciante et une grande fonction française à travers laquelle vous pouvez faire l'inverse. Les gens l'utilisent pour des problèmes avec deux séquences, où vous avez une traduction automatique et vous êtes comme traduire de l'anglais vers le français, donc lorsque vous générez la séquence française, vous regardez la séquence anglaise et essayez de faire attention à la position correcte dans la séquence. Mais l'idée ici est que vous pouvez utiliser cette même attention pour revenir sur le passé de cette séquence que vous essayez de créer. La mouche dans la pommade est qu'il fonctionne bien sur les GPU et les GPU, ce qui est parallèle au développement de l'apprentissage en profondeur car il fonctionne bien sur le matériel existant. Et cela amène la même chose aux séquences.
SARAH：
Ouais, je pense que l'exemple classique pour aider les gens à le visualiser est de dire la même phrase en français et en anglais, l'ordre des mots est différent, vous n'êtes pas un mappage un à un dans cette séquence, et trouver comment faire cela sans l'information Faire ceci avec un calcul parallèle en cas de perte. C'est donc une chose très élégante à faire.
EN DIRECT:
Il semble également que la technique soit utilisée dans une variété de domaines différents. Il s'agit clairement de modèles de langage multimodaux. C'est donc comme le chat GPT ou un personnage que vous faites. J'ai également été étonné par certaines applications comme Alpha Folding, le travail de repliement des protéines effectué par Google, qui fonctionne en fait de manière extrêmement performante. Y a-t-il des domaines d'application que vous avez trouvés vraiment inattendus par rapport au fonctionnement des transformateurs et à ce qu'ils peuvent faire ?
NOAM ：
J'incline juste la tête sur la langue, comme ici tu as un problème et tu peux tout faire. J'espère que cette chose est assez bonne. Alors je lui ai demandé, comment soigne-t-on le cancer ? Ensuite, c'est comme inventer une solution. Donc, j'ai complètement ignoré ce que les gens font dans tous ces autres modes, et je pense qu'une grande partie des premiers succès de l'apprentissage en profondeur a été avec les images, et les gens sont enthousiasmés par les images mais l'ignorent complètement. Parce qu'une image vaut mille mots, mais elle a un million de pixels, donc le texte est mille fois plus dense. Donc, je suis un grand fan littéral. Mais c'est assez excitant de le voir décoller de toutes ces autres manières. Ces choses sont super. C'est super utile pour créer des produits que les gens veulent utiliser, mais je pense qu'une grande partie de l'intelligence de base viendra de ces modèles de texte.
Limites des grands modèles : la puissance de calcul n'est pas un problème, les données non plus
EN DIRECT:
Selon vous, quelles sont les limites de ces modèles ? Les gens parlent souvent d'échelle, comme si vous ajoutiez simplement plus de puissance de calcul et que cette chose évoluerait davantage. Il y a des données et différents types de données qui peuvent ou non être là. Et des ajustements algorithmiques, et l'ajout de nouvelles choses comme la mémoire ou les bouclages ou quelque chose comme ça. Selon vous, quelles sont les grandes choses que les gens ont encore besoin de construire, et où pensez-vous que cela est exploité en tant qu'architecture ?
NOAM ：
Oui, je ne sais pas s'il sera éliminé. Je veux dire, nous ne l'avons pas encore vu sortir. Probablement rien comparé à la quantité de travail qui y est consacrée. Il y a donc probablement toutes sortes d'inefficacités que les gens obtiennent avec de meilleurs algorithmes de formation, de meilleures architectures de modèles, de meilleures façons de construire des puces et d'utiliser la quantification et tout ça. Et puis il y aura des dizaines, des centaines et des milliers de facteurs comme la mise à l'échelle et l'argent que les gens jetteront sur cette chose parce que tout le monde vient de réaliser que cette chose est incroyablement précieuse. En même temps, je pense que personne ne voit à quel point cette chose est bonne pour un mur. Donc je pense que c'est juste, ça va continuer à s'améliorer. Je ne sais pas et je ne sais pas ce qui l'arrête.
SARAH：
Que pensez-vous de cette idée, nous pouvons augmenter la puissance de calcul, mais les plus grandes données de formation du modèle ne suffisent pas. Nous avons utilisé toutes les données textuelles facilement disponibles sur Internet. Il faut aller vers l'amélioration de la qualité, il faut aller vers la rétroaction humaine. à quoi penses-tu.
NOAM ：
Avec 10 milliards de personnes, chaque personne produit 1 000 ou 10 000 mots, ce qui représente une énorme quantité de données. Nous avons tous beaucoup de conversations avec les systèmes d'IA. Donc, j'ai le sentiment que beaucoup de données vont entrer dans certains systèmes d'IA, je veux dire d'une manière qui préserve la confidentialité, j'espère que les données pourront y aller. Ensuite, les exigences en matière de données ont tendance à évoluer de manière exponentielle avec la puissance de calcul, car vous formez un modèle plus grand, puis vous lui envoyez plus de données. Je ne m'inquiète pas du manque de données, nous pourrons peut-être générer plus de données avec l'IA.
EN DIRECT:
Selon vous, quels sont les principaux problèmes que ces modèles résoudront à l'avenir ? Est-ce une hallucination, un souvenir ou autre chose ?
NOAM ：
Je n'ai aucune idée. J'aime bien les hallucinations.
SARAH：
C'est aussi une caractéristique.
NOAM ：
La chose que nous voulons le plus faire est de nous souvenir, car nos utilisateurs veulent vraiment que leurs amis virtuels se souviennent d'eux. Vous pouvez faire beaucoup avec la personnalisation, vous voulez vider beaucoup de données et les utiliser efficacement. Il y a beaucoup de travail en cours pour essayer de comprendre ce qui est réel et ce qui est hallucinatoire. Bien sûr, je pense que nous allons résoudre ce problème.
L'histoire entrepreneuriale de Character.ai
EN DIRECT:
Parlez-moi un peu de LaMDA et de votre rôle, comment avez-vous créé Character ?
NOAM ：
Mon co-fondateur, Daniel Freitas, est le gars le plus travailleur, le plus travailleur et le plus intelligent que j'aie jamais rencontré. Il a travaillé sur cette tâche de construction de chatbots toute sa vie. Il essaie de construire des chatbots depuis qu'il est enfant. Il a donc rejoint Google Brain. Il a lu quelques articles et a pensé que cette technique de modélisation du langage neuronal était quelque chose qui pouvait vraiment généraliser et créer un domaine vraiment ouvert.
Bien qu'il n'ait pas reçu le soutien de beaucoup de monde, il n'a pris ce projet qu'en marge et y a consacré 20% de son temps.
Puis il a recruté une armée de 20 % d'assistants qui l'ont aidé à mettre en place le système.
Il va même jusqu'à récupérer le quota de TPU d'autres personnes, il appelle son projet Mina parce qu'il l'aime bien, il l'a imaginé dans un rêve je suppose. À un moment donné, j'ai regardé le tableau de bord et j'ai pensé qu'est-ce que cette chose appelée Mina, pourquoi a-t-elle 30 points TPU ?
EN DIRECT:
LaMDA est comme ça, je sais que c'est un chatbot interne que Google a fait avant GPT. La nouvelle est devenue célèbre parce qu'un ingénieur pensait qu'elle avait de la sagesse.
NOAM ：
Ouais, nous l'avons mis sur de grands modèles de langage, puis il y a eu un buzz à l'intérieur de l'entreprise, et Mina a été renommée LaMDA, et à ce moment-là, nous étions partis, et il y avait des gens qui pensaient que cela avait une vie.
SARAH：
Pourquoi n'a-t-il pas été publié plus tard, et quelles sont les préoccupations ?
NOAM ：
Pour une grande entreprise, lancer un produit qui sait tout est un peu dangereux. Je suppose que c'est juste une question de risque. Ainsi, après de longues délibérations, démarrer une entreprise semblait être la bonne idée.
SARAH：
À quoi ressemble l'histoire d'origine du personnage ?
NOAM ：
Nous voulons juste construire quelque chose et le mettre sur le marché le plus rapidement possible. J'ai formé une équipe punk d'ingénieurs, de chercheurs, j'ai obtenu de la puissance de calcul et j'ai démarré une entreprise.
EN DIRECT:
Comment recrutez-vous ?
NOAM ：
Certains des gars que nous avons rencontrés chez Google ont été présentés à Myat qui était de Meta, et il a beaucoup déployé et construit beaucoup de leurs gros modèles de langage et leur infrastructure de modèle de langage neuronal, et quelques autres personnes de Meta l'a suivi, Ils sont très gentils.
EN DIRECT:
Avez-vous des exigences spécifiques ou des méthodes de test lorsque vous recherchez des talents ? Ou est-ce juste une entrevue régulière?
NOAM
Je pense que cela dépend en grande partie de la motivation. Je pense que Daniel est très axé sur la motivation, il recherche un état entre un désir fort et un rêve d'enfant, donc il y a beaucoup de bonnes personnes que nous n'embauchons pas parce qu'elles n'atteignent pas ce niveau, mais nous embauchons aussi beaucoup de gens, ils sont parfaits pour rejoindre une start-up, ils sont très talentueux et motivés.
Il y a déjà Siri et Alexa sur le marché, ne concurrencez pas frontalement les grandes entreprises en termes de fonctionnalités
SARAH：
En parlant de rêves d'enfant, voudriez-vous décrire ce produit ? Vous avez ces bots, ils peuvent être créés par l'utilisateur, ils peuvent être créés par des personnages, ils peuvent être des personnages publics, des personnages historiques, des personnages fictifs, comment avez-vous trouvé ce modèle ?
NOAM ：
Les utilisateurs savent souvent mieux que vous ce qu'ils veulent faire avec cette chose. ** Siri et Alexa et Google Assistant sont déjà sur le marché, il n'est pas nécessaire de concurrencer ces grandes entreprises sur les fonctionnalités. **
Si vous essayez de présenter un personnage public que tout le monde aime, vous vous retrouvez avec rien d'autre que l'ennui. Et les gens n'aiment pas s'ennuyer, ils veulent interagir avec des choses qui leur ressemblent.
Donc, fondamentalement, vous devez créer plusieurs personnages et laisser les gens inventer des personnages à leur guise, et il y a quelque chose que j'aime dans le nom Personnage, qui a plusieurs significations différentes : texte, personnage, rôle.
SARAH：
Alors, que veulent les gens ? un ami? écrire un roman ? Rien d'autre de complètement nouveau ?
NOAM ：
Certains utilisateurs discuteront avec des personnalités publiques virtuelles et des influenceurs sur nos produits. Les utilisateurs peuvent créer un personnage et lui parler. Alors que certains utilisateurs peuvent se sentir seuls et avoir besoin de parler à quelqu'un, beaucoup n'ont personne à qui parler. Certains diront que ce rôle est maintenant mon nouveau conseiller.
SARAH：
Deux façons de penser aux émotions, n'est-ce pas ? Par exemple, quelle est l'importance de la relation que les gens entretiennent avec les personnages, ou à quel niveau sommes-nous lorsqu'il s'agit d'exprimer des émotions cohérentes ?
NOAM ：
Oui, ** Je veux dire que vous n'avez probablement pas besoin de ce niveau intellectuel de haut niveau pour un soutien émotionnel. Les émotions sont grandes et super importantes, mais un chien peut aussi faire un excellent travail de soutien émotionnel. Les chiens fournissent un grand soutien émotionnel mais ont peu de capacités verbales, **
EN DIRECT:
Que pensez-vous qu'il advienne du système lorsque vous évoluez ?
NOAM ：
Je pense que nous devrions pouvoir le rendre plus intelligent de différentes manières. Obtenir plus de puissance de calcul, former un modèle plus grand et s'entraîner plus longtemps devrait devenir plus intelligent, mieux informé, mieux comprendre ce que les gens veulent, ce que les gens recherchent.
SARAH：
Vous avez des utilisateurs qui utilisent Character plusieurs heures par jour. Qui est votre public cible? Quel est votre modèle d'utilisation prévu.
NOAM ：
Nous allons laisser cela à l'utilisateur de décider. Notre objectif a toujours été de diffuser des éléments et de laisser les utilisateurs décider à quoi ils pensent que c'est bon.
Nous voyons que les personnes qui sont sur le site Web de Character aujourd'hui, le temps d'activité moyen est de deux heures. C'est lui qui a envoyé le message aujourd'hui, ce qui est fou mais significatif, et il dit que les gens trouvent une sorte de valeur.
Et puis, comme je l'ai dit, il est vraiment difficile de dire exactement quelle est cette valeur parce que c'est vraiment comme un gros truc mixte. Mais notre objectif est de rendre cette chose plus utile pour que les gens puissent la personnaliser et décider ce qu'ils veulent en faire. Mettons-le entre les mains des utilisateurs et voyons ce qui se passe.
Brûler de l'argent pour l'échelle TOC est la première priorité
SARAH：
Comment envisagez-vous la commercialisation ?
NOAM ：
** Nous perdons de l'argent par utilisateur et le récupérons avec le volume. **
SARAH：
bien. C'est une bonne stratégie.
NOAM ：
Non, je plaisante.
EN DIRECT:
Comme le modèle commercial traditionnel des années 1990, donc ça va.
SARAH：
C'est aussi un modèle économique pour 2022.
EN DIRECT:
Vous devez émettre un jeton et le transformer en une crypto-monnaie.
NOAM ：
** Nous allons bientôt monétiser. C'est une entreprise qui bénéficie d'une grande puissance de calcul. Au lieu de brûler l'argent des investisseurs, nous espérons offrir de la valeur à suffisamment d'utilisateurs et gagner de l'argent en cours de route. Certains services tels que les types d'abonnement premium peuvent être essayés ultérieurement. Au fur et à mesure que nous développons de nouvelles fonctionnalités, les frais ultérieurs peuvent augmenter de prix. **
EN DIRECT:
Je veux dire, Character en tant que service TOC a vraiment décollé de manière vraiment spectaculaire. Si vous regardez le nombre d'utilisateurs et le temps d'utilisation par utilisateur, c'est fou. Allez-vous lancer l'activité TOB dans le futur ? Comme un robot de service client ?
NOAM ：
À l'heure actuelle, nous avons 22 employés, nous devons donc établir des priorités et nous embauchons. La première priorité est TOC.
SARAH：
Vous avez donc dit que l'une des principales raisons pour lesquelles LaMDA n'a pas été lancé tout de suite était la sécurité. Qu'en pensez-vous?
NOAM ：
Il y a d'autres raisons. Par exemple, Google ne veut pas que les gens se blessent ou blessent d'autres personnes, et il doit bloquer la pornographie. Il y a eu quelques protestations à ce sujet.
EN DIRECT:
Pensez-vous que tout cela est la voie vers l'AGI ou la superintelligence ? Pour certaines entreprises, cela semble faire partie de l'objectif, et pour d'autres, cela ne semble pas être un objectif explicite.
NOAM ：
Oui, AGI est l'objectif de nombreuses startups d'IA. **La vraie raison est que je veux faire avancer la technologie. Il y a tellement de problèmes techniques dans le monde qui peuvent être résolus, comme les maladies médicales incurables. Nous pouvons proposer des solutions techniques. **
C'est pourquoi j'ai fait des recherches sur l'intelligence artificielle, ** car au lieu d'étudier directement la médecine, il vaut mieux étudier l'intelligence artificielle, et l'intelligence artificielle peut ensuite être utilisée pour accélérer d'autres efforts de recherche. Donc, fondamentalement, c'est pourquoi je travaille si dur sur l'IA, je veux démarrer une entreprise qui est à la fois AGI d'abord et produit d'abord. **
Votre produit dépend entièrement de la qualité de l'IA. Le plus grand déterminant de la qualité de notre produit est son degré d'intelligence. Alors maintenant, nous sommes comme pleinement motivés pour améliorer l'IA, améliorer les produits.
EN DIRECT:
Ouais, c'est une très belle boucle de rétroaction d'achat parce que lorsque vous améliorez un produit, plus de gens interagissent avec lui, ce qui contribue à le rendre meilleur. Le produit. C'est donc une approche très astucieuse. Selon vous, à quelle distance sommes-nous d'une intelligence artificielle aussi intelligente ou plus intelligente que les humains ? De toute évidence, ils sont déjà plus intelligents que les humains à certains égards, mais je pensais justement à quelque chose comme ça.
NOAM ：
Nous sommes toujours étonnés par la façon dont l'intelligence artificielle peut surpasser les humains. Certaines IA peuvent désormais faire vos devoirs à votre place. J'aurais aimé avoir quelque chose comme ça quand j'étais enfant.
EN DIRECT:
Quels conseils donneriez-vous à ceux qui ont un parcours similaire au vôtre ? Comme qu'avez-vous appris en tant que fondateur que vous n'aviez pas forcément appris lorsque vous travailliez chez Google ou ailleurs ?
NOAM ：
bonne question. Fondamentalement, vous apprenez de vos horribles erreurs. Bien que je ne pense pas que nous ayons commis de très, très graves erreurs, ou du moins que nous les ayons rattrapées.
SARAH：
Quel genre de talent recherchez-vous?
NOAM ：
jusqu'à présent? 21 des 22 sont ingénieurs. Nous allons également embaucher plus d'ingénieurs. Qu'il s'agisse d'apprentissage en profondeur ou de front-end et back-end, assurez-vous d'embaucher plus de personnes du côté de l'entreprise et du produit.
EN DIRECT:
Deux ou trois dernières questions rapides, qui est votre mathématicien ou informaticien préféré.
NOAM ：
Je travaille beaucoup avec Jeff Dean (responsable de Google Brain) chez Google. Il est vraiment agréable et amusant de travailler avec lui. Je pense qu'il travaille sur leur grand modèle de langage en ce moment. C'est un peu dommage de quitter Google, et j'espère travailler avec lui dans le futur.
EN DIRECT:
Pensez-vous que les mathématiques ont été inventées ou découvertes ?
NOAM ：
Je pense que cela a peut-être été découvert, peut-être que tout a été découvert, et nous ne faisons que découvrir.
Voir l'original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
22 personnes valorisées à 1 milliard ! Dialogue avec le PDG de Character.ai : Au lieu d'étudier directement la médecine, il vaut mieux étudier l'intelligence artificielle
Au début de cette année, Charater.ai a réalisé un financement de 150 millions de dollars US, avec une valorisation de plus de 1 milliard de dollars US, et a été promu licorne, avec une équipe de seulement 22 personnes.
En avril, le PDG de Character.ai, Noam Shazeer, ancien membre de l'équipe Google Brain, a été interviewé par le podcast No Priors.
Ce qui suit est la transcription textuelle du podcast audio. ELAD et SARAH sont les hôtes du podcast. Par souci de compréhension, certains passages ont été supprimés.
Première expérience professionnelle chez Google et naissance de Transformer
EN DIRECT:
Vous avez longtemps travaillé en PNL et en IA. Vous avez travaillé chez Google par intermittence pendant 17 ans, où les questions d'entretien tournaient autour des solutions de vérification orthographique. Lorsque j'ai rejoint Google, l'un des principaux systèmes de ciblage publicitaire à l'époque était Phil Cluster, que je pense que vous et George Herrick avez écrit. J'aimerais connaître l'historique de vos travaux sur les modèles de langage NLP pour l'intelligence artificielle, comment tout cela a évolué, comment avez-vous commencé, qu'est-ce qui a suscité votre intérêt ?
NOAM ：
Merci Elad. Oui, juste, toujours un attrait naturel pour l'IA. Espérons que cela incitera l'ordinateur à faire quelque chose d'intelligent. Semble être le jeu le plus drôle qui soit. J'ai eu la chance de découvrir Google très tôt et j'ai été impliqué dans un grand nombre des premiers projets là-bas, peut-être que vous n'appelleriez pas cela de l'intelligence artificielle maintenant. Depuis 2012, j'ai rejoint l'équipe de Google Brain. Faites des trucs amusants avec un tas de gens vraiment intelligents. Je n'ai jamais fait d'apprentissage en profondeur ou de réseaux de neurones auparavant.
EN DIRECT:
Vous avez été l'un des participants à l'article sur le transformateur en 2017, puis vous avez participé aux travaux sur Mesh-TensorFlow. Pouvez-vous nous expliquer un peu comment tout cela fonctionne ?
NOAM ：
L'apprentissage en profondeur est un succès car il est vraiment bien adapté au matériel moderne, et vous avez cette génération de puces qui, dans la multiplication matricielle et d'autres formes de choses, nécessitent beaucoup de calcul par rapport à la communication. Donc, fondamentalement, l'apprentissage en profondeur a vraiment décollé, il fonctionne des milliers de fois plus vite que toute autre chose. Une fois que j'ai compris, j'ai commencé à concevoir des choses vraiment intelligentes et rapides. Le problème le plus excitant en ce moment est la modélisation du langage. Parce qu'il y a une quantité infinie de données, il suffit de gratter le réseau et vous pouvez obtenir toutes les données d'entraînement que vous souhaitez.
La définition du problème est très simple, il s'agit de prédire le mot suivant, le gros chat est assis dessus, quel est le suivant. C'est très facile à définir, et si vous pouvez bien le faire, alors vous pouvez obtenir tout ce que vous voyez maintenant, et vous pouvez parler directement à cette chose, c'est vraiment de l'intelligence artificielle. Donc, vers 2015 environ, j'ai commencé à travailler sur la modélisation du langage et sur les réseaux de neurones récurrents, ce qui était génial à l'époque. Puis le transformateur est apparu.
J'ai entendu mes collègues d'à côté discuter de vouloir remplacer les RNN par quelque chose de mieux. J'étais comme, ça sonne bien, je veux aider, les RNN sont ennuyeux, ce sera plus intéressant.
EN DIRECT:
Pouvez-vous décrire rapidement la différence entre un réseau de neurones récurrent et un modèle basé sur le transformateur ou l'attention ?
NOAM ：
Les réseaux de neurones récurrents sont des calculs continus, chaque mot que vous lisez jusqu'au mot suivant, vous calculez votre état actuel du cerveau en fonction de l'ancien état de votre cerveau et du contenu du mot suivant. Ensuite, vous, vous prédisez le mot suivant. Donc, vous avez cette très longue séquence de calculs qui doivent être effectués de manière séquentielle, et donc, la magie du transformateur est que vous pouvez traiter la séquence entière en une seule fois.
La prédiction du mot suivant dépend de ce qu'était le mot précédent, mais cela se produit en une étape constante, et vous pouvez profiter de ce parallélisme, vous pouvez regarder le tout d'un coup, comme le parallélisme que le matériel moderne est bon pour .
Maintenant, vous pouvez profiter de la longueur de la séquence, de votre parallélisme, et tout fonctionne très bien. attention elle-même. C'est un peu comme si vous créiez cette grande association clé-valeur en mémoire, vous construisiez cette grande table avec une entrée pour chaque mot de la séquence. Ensuite, vous cherchez des choses dans ce tableau. C'est comme une fonction floue, différenciante et une grande fonction française à travers laquelle vous pouvez faire l'inverse. Les gens l'utilisent pour des problèmes avec deux séquences, où vous avez une traduction automatique et vous êtes comme traduire de l'anglais vers le français, donc lorsque vous générez la séquence française, vous regardez la séquence anglaise et essayez de faire attention à la position correcte dans la séquence. Mais l'idée ici est que vous pouvez utiliser cette même attention pour revenir sur le passé de cette séquence que vous essayez de créer. La mouche dans la pommade est qu'il fonctionne bien sur les GPU et les GPU, ce qui est parallèle au développement de l'apprentissage en profondeur car il fonctionne bien sur le matériel existant. Et cela amène la même chose aux séquences.
SARAH：
Ouais, je pense que l'exemple classique pour aider les gens à le visualiser est de dire la même phrase en français et en anglais, l'ordre des mots est différent, vous n'êtes pas un mappage un à un dans cette séquence, et trouver comment faire cela sans l'information Faire ceci avec un calcul parallèle en cas de perte. C'est donc une chose très élégante à faire.
EN DIRECT:
Il semble également que la technique soit utilisée dans une variété de domaines différents. Il s'agit clairement de modèles de langage multimodaux. C'est donc comme le chat GPT ou un personnage que vous faites. J'ai également été étonné par certaines applications comme Alpha Folding, le travail de repliement des protéines effectué par Google, qui fonctionne en fait de manière extrêmement performante. Y a-t-il des domaines d'application que vous avez trouvés vraiment inattendus par rapport au fonctionnement des transformateurs et à ce qu'ils peuvent faire ?
NOAM ：
J'incline juste la tête sur la langue, comme ici tu as un problème et tu peux tout faire. J'espère que cette chose est assez bonne. Alors je lui ai demandé, comment soigne-t-on le cancer ? Ensuite, c'est comme inventer une solution. Donc, j'ai complètement ignoré ce que les gens font dans tous ces autres modes, et je pense qu'une grande partie des premiers succès de l'apprentissage en profondeur a été avec les images, et les gens sont enthousiasmés par les images mais l'ignorent complètement. Parce qu'une image vaut mille mots, mais elle a un million de pixels, donc le texte est mille fois plus dense. Donc, je suis un grand fan littéral. Mais c'est assez excitant de le voir décoller de toutes ces autres manières. Ces choses sont super. C'est super utile pour créer des produits que les gens veulent utiliser, mais je pense qu'une grande partie de l'intelligence de base viendra de ces modèles de texte.
Limites des grands modèles : la puissance de calcul n'est pas un problème, les données non plus
EN DIRECT:
Selon vous, quelles sont les limites de ces modèles ? Les gens parlent souvent d'échelle, comme si vous ajoutiez simplement plus de puissance de calcul et que cette chose évoluerait davantage. Il y a des données et différents types de données qui peuvent ou non être là. Et des ajustements algorithmiques, et l'ajout de nouvelles choses comme la mémoire ou les bouclages ou quelque chose comme ça. Selon vous, quelles sont les grandes choses que les gens ont encore besoin de construire, et où pensez-vous que cela est exploité en tant qu'architecture ?
NOAM ：
Oui, je ne sais pas s'il sera éliminé. Je veux dire, nous ne l'avons pas encore vu sortir. Probablement rien comparé à la quantité de travail qui y est consacrée. Il y a donc probablement toutes sortes d'inefficacités que les gens obtiennent avec de meilleurs algorithmes de formation, de meilleures architectures de modèles, de meilleures façons de construire des puces et d'utiliser la quantification et tout ça. Et puis il y aura des dizaines, des centaines et des milliers de facteurs comme la mise à l'échelle et l'argent que les gens jetteront sur cette chose parce que tout le monde vient de réaliser que cette chose est incroyablement précieuse. En même temps, je pense que personne ne voit à quel point cette chose est bonne pour un mur. Donc je pense que c'est juste, ça va continuer à s'améliorer. Je ne sais pas et je ne sais pas ce qui l'arrête.
SARAH：
Que pensez-vous de cette idée, nous pouvons augmenter la puissance de calcul, mais les plus grandes données de formation du modèle ne suffisent pas. Nous avons utilisé toutes les données textuelles facilement disponibles sur Internet. Il faut aller vers l'amélioration de la qualité, il faut aller vers la rétroaction humaine. à quoi penses-tu.
NOAM ：
Avec 10 milliards de personnes, chaque personne produit 1 000 ou 10 000 mots, ce qui représente une énorme quantité de données. Nous avons tous beaucoup de conversations avec les systèmes d'IA. Donc, j'ai le sentiment que beaucoup de données vont entrer dans certains systèmes d'IA, je veux dire d'une manière qui préserve la confidentialité, j'espère que les données pourront y aller. Ensuite, les exigences en matière de données ont tendance à évoluer de manière exponentielle avec la puissance de calcul, car vous formez un modèle plus grand, puis vous lui envoyez plus de données. Je ne m'inquiète pas du manque de données, nous pourrons peut-être générer plus de données avec l'IA.
EN DIRECT:
Selon vous, quels sont les principaux problèmes que ces modèles résoudront à l'avenir ? Est-ce une hallucination, un souvenir ou autre chose ?
NOAM ：
Je n'ai aucune idée. J'aime bien les hallucinations.
SARAH：
C'est aussi une caractéristique.
NOAM ：
La chose que nous voulons le plus faire est de nous souvenir, car nos utilisateurs veulent vraiment que leurs amis virtuels se souviennent d'eux. Vous pouvez faire beaucoup avec la personnalisation, vous voulez vider beaucoup de données et les utiliser efficacement. Il y a beaucoup de travail en cours pour essayer de comprendre ce qui est réel et ce qui est hallucinatoire. Bien sûr, je pense que nous allons résoudre ce problème.
L'histoire entrepreneuriale de Character.ai
EN DIRECT:
Parlez-moi un peu de LaMDA et de votre rôle, comment avez-vous créé Character ?
NOAM ：
Mon co-fondateur, Daniel Freitas, est le gars le plus travailleur, le plus travailleur et le plus intelligent que j'aie jamais rencontré. Il a travaillé sur cette tâche de construction de chatbots toute sa vie. Il essaie de construire des chatbots depuis qu'il est enfant. Il a donc rejoint Google Brain. Il a lu quelques articles et a pensé que cette technique de modélisation du langage neuronal était quelque chose qui pouvait vraiment généraliser et créer un domaine vraiment ouvert.
Bien qu'il n'ait pas reçu le soutien de beaucoup de monde, il n'a pris ce projet qu'en marge et y a consacré 20% de son temps.
Puis il a recruté une armée de 20 % d'assistants qui l'ont aidé à mettre en place le système.
Il va même jusqu'à récupérer le quota de TPU d'autres personnes, il appelle son projet Mina parce qu'il l'aime bien, il l'a imaginé dans un rêve je suppose. À un moment donné, j'ai regardé le tableau de bord et j'ai pensé qu'est-ce que cette chose appelée Mina, pourquoi a-t-elle 30 points TPU ?
EN DIRECT:
LaMDA est comme ça, je sais que c'est un chatbot interne que Google a fait avant GPT. La nouvelle est devenue célèbre parce qu'un ingénieur pensait qu'elle avait de la sagesse.
NOAM ：
Ouais, nous l'avons mis sur de grands modèles de langage, puis il y a eu un buzz à l'intérieur de l'entreprise, et Mina a été renommée LaMDA, et à ce moment-là, nous étions partis, et il y avait des gens qui pensaient que cela avait une vie.
SARAH：
Pourquoi n'a-t-il pas été publié plus tard, et quelles sont les préoccupations ?
NOAM ：
Pour une grande entreprise, lancer un produit qui sait tout est un peu dangereux. Je suppose que c'est juste une question de risque. Ainsi, après de longues délibérations, démarrer une entreprise semblait être la bonne idée.
SARAH：
À quoi ressemble l'histoire d'origine du personnage ?
NOAM ：
Nous voulons juste construire quelque chose et le mettre sur le marché le plus rapidement possible. J'ai formé une équipe punk d'ingénieurs, de chercheurs, j'ai obtenu de la puissance de calcul et j'ai démarré une entreprise.
EN DIRECT:
Comment recrutez-vous ?
NOAM ：
Certains des gars que nous avons rencontrés chez Google ont été présentés à Myat qui était de Meta, et il a beaucoup déployé et construit beaucoup de leurs gros modèles de langage et leur infrastructure de modèle de langage neuronal, et quelques autres personnes de Meta l'a suivi, Ils sont très gentils.
EN DIRECT:
Avez-vous des exigences spécifiques ou des méthodes de test lorsque vous recherchez des talents ? Ou est-ce juste une entrevue régulière?
NOAM
Je pense que cela dépend en grande partie de la motivation. Je pense que Daniel est très axé sur la motivation, il recherche un état entre un désir fort et un rêve d'enfant, donc il y a beaucoup de bonnes personnes que nous n'embauchons pas parce qu'elles n'atteignent pas ce niveau, mais nous embauchons aussi beaucoup de gens, ils sont parfaits pour rejoindre une start-up, ils sont très talentueux et motivés.
Il y a déjà Siri et Alexa sur le marché, ne concurrencez pas frontalement les grandes entreprises en termes de fonctionnalités
SARAH：
En parlant de rêves d'enfant, voudriez-vous décrire ce produit ? Vous avez ces bots, ils peuvent être créés par l'utilisateur, ils peuvent être créés par des personnages, ils peuvent être des personnages publics, des personnages historiques, des personnages fictifs, comment avez-vous trouvé ce modèle ?
NOAM ：
Les utilisateurs savent souvent mieux que vous ce qu'ils veulent faire avec cette chose. ** Siri et Alexa et Google Assistant sont déjà sur le marché, il n'est pas nécessaire de concurrencer ces grandes entreprises sur les fonctionnalités. **
Si vous essayez de présenter un personnage public que tout le monde aime, vous vous retrouvez avec rien d'autre que l'ennui. Et les gens n'aiment pas s'ennuyer, ils veulent interagir avec des choses qui leur ressemblent.
Donc, fondamentalement, vous devez créer plusieurs personnages et laisser les gens inventer des personnages à leur guise, et il y a quelque chose que j'aime dans le nom Personnage, qui a plusieurs significations différentes : texte, personnage, rôle.
SARAH：
Alors, que veulent les gens ? un ami? écrire un roman ? Rien d'autre de complètement nouveau ?
NOAM ：
Certains utilisateurs discuteront avec des personnalités publiques virtuelles et des influenceurs sur nos produits. Les utilisateurs peuvent créer un personnage et lui parler. Alors que certains utilisateurs peuvent se sentir seuls et avoir besoin de parler à quelqu'un, beaucoup n'ont personne à qui parler. Certains diront que ce rôle est maintenant mon nouveau conseiller.
SARAH：
Deux façons de penser aux émotions, n'est-ce pas ? Par exemple, quelle est l'importance de la relation que les gens entretiennent avec les personnages, ou à quel niveau sommes-nous lorsqu'il s'agit d'exprimer des émotions cohérentes ?
NOAM ：
Oui, ** Je veux dire que vous n'avez probablement pas besoin de ce niveau intellectuel de haut niveau pour un soutien émotionnel. Les émotions sont grandes et super importantes, mais un chien peut aussi faire un excellent travail de soutien émotionnel. Les chiens fournissent un grand soutien émotionnel mais ont peu de capacités verbales, **
EN DIRECT:
Que pensez-vous qu'il advienne du système lorsque vous évoluez ?
NOAM ：
Je pense que nous devrions pouvoir le rendre plus intelligent de différentes manières. Obtenir plus de puissance de calcul, former un modèle plus grand et s'entraîner plus longtemps devrait devenir plus intelligent, mieux informé, mieux comprendre ce que les gens veulent, ce que les gens recherchent.
SARAH：
Vous avez des utilisateurs qui utilisent Character plusieurs heures par jour. Qui est votre public cible? Quel est votre modèle d'utilisation prévu.
NOAM ：
Nous allons laisser cela à l'utilisateur de décider. Notre objectif a toujours été de diffuser des éléments et de laisser les utilisateurs décider à quoi ils pensent que c'est bon.
Nous voyons que les personnes qui sont sur le site Web de Character aujourd'hui, le temps d'activité moyen est de deux heures. C'est lui qui a envoyé le message aujourd'hui, ce qui est fou mais significatif, et il dit que les gens trouvent une sorte de valeur.
Et puis, comme je l'ai dit, il est vraiment difficile de dire exactement quelle est cette valeur parce que c'est vraiment comme un gros truc mixte. Mais notre objectif est de rendre cette chose plus utile pour que les gens puissent la personnaliser et décider ce qu'ils veulent en faire. Mettons-le entre les mains des utilisateurs et voyons ce qui se passe.
Brûler de l'argent pour l'échelle TOC est la première priorité
SARAH：
Comment envisagez-vous la commercialisation ?
NOAM ：
** Nous perdons de l'argent par utilisateur et le récupérons avec le volume. **
SARAH：
bien. C'est une bonne stratégie.
NOAM ：
Non, je plaisante.
EN DIRECT:
Comme le modèle commercial traditionnel des années 1990, donc ça va.
SARAH：
C'est aussi un modèle économique pour 2022.
EN DIRECT:
Vous devez émettre un jeton et le transformer en une crypto-monnaie.
NOAM ：
** Nous allons bientôt monétiser. C'est une entreprise qui bénéficie d'une grande puissance de calcul. Au lieu de brûler l'argent des investisseurs, nous espérons offrir de la valeur à suffisamment d'utilisateurs et gagner de l'argent en cours de route. Certains services tels que les types d'abonnement premium peuvent être essayés ultérieurement. Au fur et à mesure que nous développons de nouvelles fonctionnalités, les frais ultérieurs peuvent augmenter de prix. **
EN DIRECT:
Je veux dire, Character en tant que service TOC a vraiment décollé de manière vraiment spectaculaire. Si vous regardez le nombre d'utilisateurs et le temps d'utilisation par utilisateur, c'est fou. Allez-vous lancer l'activité TOB dans le futur ? Comme un robot de service client ?
NOAM ：
À l'heure actuelle, nous avons 22 employés, nous devons donc établir des priorités et nous embauchons. La première priorité est TOC.
SARAH：
Vous avez donc dit que l'une des principales raisons pour lesquelles LaMDA n'a pas été lancé tout de suite était la sécurité. Qu'en pensez-vous?
NOAM ：
Il y a d'autres raisons. Par exemple, Google ne veut pas que les gens se blessent ou blessent d'autres personnes, et il doit bloquer la pornographie. Il y a eu quelques protestations à ce sujet.
EN DIRECT:
Pensez-vous que tout cela est la voie vers l'AGI ou la superintelligence ? Pour certaines entreprises, cela semble faire partie de l'objectif, et pour d'autres, cela ne semble pas être un objectif explicite.
NOAM ：
Oui, AGI est l'objectif de nombreuses startups d'IA. **La vraie raison est que je veux faire avancer la technologie. Il y a tellement de problèmes techniques dans le monde qui peuvent être résolus, comme les maladies médicales incurables. Nous pouvons proposer des solutions techniques. **
C'est pourquoi j'ai fait des recherches sur l'intelligence artificielle, ** car au lieu d'étudier directement la médecine, il vaut mieux étudier l'intelligence artificielle, et l'intelligence artificielle peut ensuite être utilisée pour accélérer d'autres efforts de recherche. Donc, fondamentalement, c'est pourquoi je travaille si dur sur l'IA, je veux démarrer une entreprise qui est à la fois AGI d'abord et produit d'abord. **
Votre produit dépend entièrement de la qualité de l'IA. Le plus grand déterminant de la qualité de notre produit est son degré d'intelligence. Alors maintenant, nous sommes comme pleinement motivés pour améliorer l'IA, améliorer les produits.
EN DIRECT:
Ouais, c'est une très belle boucle de rétroaction d'achat parce que lorsque vous améliorez un produit, plus de gens interagissent avec lui, ce qui contribue à le rendre meilleur. Le produit. C'est donc une approche très astucieuse. Selon vous, à quelle distance sommes-nous d'une intelligence artificielle aussi intelligente ou plus intelligente que les humains ? De toute évidence, ils sont déjà plus intelligents que les humains à certains égards, mais je pensais justement à quelque chose comme ça.
NOAM ：
Nous sommes toujours étonnés par la façon dont l'intelligence artificielle peut surpasser les humains. Certaines IA peuvent désormais faire vos devoirs à votre place. J'aurais aimé avoir quelque chose comme ça quand j'étais enfant.
EN DIRECT:
Quels conseils donneriez-vous à ceux qui ont un parcours similaire au vôtre ? Comme qu'avez-vous appris en tant que fondateur que vous n'aviez pas forcément appris lorsque vous travailliez chez Google ou ailleurs ?
NOAM ：
bonne question. Fondamentalement, vous apprenez de vos horribles erreurs. Bien que je ne pense pas que nous ayons commis de très, très graves erreurs, ou du moins que nous les ayons rattrapées.
SARAH：
Quel genre de talent recherchez-vous?
NOAM ：
jusqu'à présent? 21 des 22 sont ingénieurs. Nous allons également embaucher plus d'ingénieurs. Qu'il s'agisse d'apprentissage en profondeur ou de front-end et back-end, assurez-vous d'embaucher plus de personnes du côté de l'entreprise et du produit.
EN DIRECT:
Deux ou trois dernières questions rapides, qui est votre mathématicien ou informaticien préféré.
NOAM ：
Je travaille beaucoup avec Jeff Dean (responsable de Google Brain) chez Google. Il est vraiment agréable et amusant de travailler avec lui. Je pense qu'il travaille sur leur grand modèle de langage en ce moment. C'est un peu dommage de quitter Google, et j'espère travailler avec lui dans le futur.
EN DIRECT:
Pensez-vous que les mathématiques ont été inventées ou découvertes ?
NOAM ：
Je pense que cela a peut-être été découvert, peut-être que tout a été découvert, et nous ne faisons que découvrir.