La prochaine étape du grand modèle d'IA pourrait être la solution bon marché des premières années de Google

Source : Wang Jianshuo

Auteur : Wang Jianshuo

L'apparition des premiers serveurs de Google me vient à l'esprit depuis de nombreuses années et est devenue une référence pour ma compréhension de la technologie et des startups.

En voici un que j'ai vu dans un musée informatique de la Silicon Valley en 2007 :

Sur la photo ci-dessous, la ligne verte et blanche est la ligne de réinitialisation, qui est connectée à un bouton, et l'autre ligne est le voyant du disque dur d'un PC normal. Quatre de ces boutons et voyants sont fixés directement sur un carton à l'aide de quatre vis.

Il n'y a rien d'inséré à l'emplacement de la carte graphique et les autres emplacements d'extension sont également vides.

Il n'y a qu'une seule carte réseau et un seul câble réseau.

Le processeur est Ben II.

Voilà à quoi ressemble toute la carte mère.

Ce commutateur HP dispose d'un total de 80 lignes entrantes.

Ce cabinet compte au total 20 étages. Chaque étagère est recouverte d'une couche de planches de pin, sur laquelle sont placées quatre cartes principales identiques, et quatre disques durs sont placés au milieu.

Il en existe également un dans le centre des visiteurs de Google.

Aux débuts d’Internet, très vite, la recherche est devenue une chose utile et prometteuse. À cette époque, les moteurs de recherche monopolisés étaient Lycos, AltaVista, InfoSeek, etc., ce qui ressemblait beaucoup aux récentes entreprises modèles à grande échelle luttant pour l'hégémonie.

Mais à l'instar des grandes sociétés modèles d'aujourd'hui, ces sociétés de recherche utilisent le système de Sun Micro et des serveurs haut de gamme tels que HP, qui offrent une stabilité de premier ordre et un coût incroyable. À l’époque, gérer un moteur de recherche était une activité coûteuse. À mesure que le trafic continue d’augmenter, les coûts augmentent également de manière alarmante. Dans le même temps, en raison de la limitation de la puissance de calcul, leur recherche reste une recherche de base, qui est la table d'indexation inversée du texte, et l'effet de recherche est moyen.

Google a initialement pensé à l’algorithme PageRank, qui consiste à calculer l’importance d’une page web en fonction du poids des liens provenant d’autres pages web. C'est une bonne idée, mais sa réalisation nécessite beaucoup de puissance de calcul. Ce processus est fondamentalement similaire au grand modèle actuel pour calculer le vecteur de texte. Si je veux connaître le poids d'une page Web, je dois lire l'ensemble du Web pour voir quelles autres pages Web pointent vers cette page Web, et le poids de ces pages Web, et le poids de ces pages Web doit être calculé à nouveau selon une telle logique, ce qui est presque une boucle sans fin. Même exigence de puissance de calcul.

La solution de Google n'a pas acheté un serveur haut de gamme coûtant des dizaines de milliers de dollars auprès du seul fabricant d'hôtes correct à l'époque, mais a placé quatre petites cartes mères sur un morceau de papier de liège, puis a attaché un disque dur, branché une carte réseau, et c'était fini.

Évidemment, ce type de stabilité est très différent de celui du mainframe du fabricant. Par conséquent, Google utilise un logiciel pour créer un système de fichiers distribué par Google File, permettant aux fichiers d'être réécrits à plusieurs endroits. Si un matériel est cassé, les données peuvent être reconstruites immédiatement à d'autres endroits, de sorte que vous vous précipitez et en écrasez quelques-uns " Les petits ordinateurs ne sont pas concernés. En ajoutant notre propre framework MapReduce, l'informatique peut être distribuée (map) sur ces petits ordinateurs, puis les résultats sont agrégés (Reduce), de sorte que la puissance de calcul de tant d'ordinateurs puisse être additionnée sans utiliser un ou plusieurs ordinateurs. ordinateur très puissant.

En bref, après tant d'efforts, grâce à un matériel bon marché, une puissance de calcul suffisante et un stockage bon marché, Google est suffisant pour supporter l'énorme consommation d'énergie de calcul du PageRank, et a très rapidement vaincu le géant de l'époque depuis une petite station inconnue. à Stanford, est devenu le Google d'aujourd'hui. Par conséquent, d'un certain point de vue, l'énorme avantage en termes de coût du matériel par rapport aux logiciels est un facteur qui ne peut être ignoré dans les premiers succès de Google.

Cette histoire inspirera-t-elle le paysage actuel de l’IA ?

Le modèle ChatGPT d'OpenAI associé à la carte graphique Nvdia V100 nous a certainement aidé à franchir la première étape de rien à quelque chose, de la vision de la possibilité à la preuve de la possibilité, tout comme le moteur de recherche coûteux construit par le service Lycos Same. Cependant, existe-t-il un moyen, comme Google, la possibilité d'utiliser des logiciels pour réduire follement les coûts du matériel ? Bien sûr, nous avons dépassé l'ère des serveurs construits à la main, et souder le GPU avec un fer à souder ne semble pas être un moyen fiable (Google ne le faisait pas à l'époque, mais utilisait directement le processeur Intel Pentium II), mais y aura-t-il des solutions étonnantes qui peuvent réduire les coûts à grande échelle ?

Je ne suis pas un grand mannequin et je ne trouve aucune solution. Mais si un tel plan existe, il pourrait modifier considérablement le modèle de concurrence dans l’industrie du modélisme à grande échelle.