El siguiente paso en el gran modelo de IA puede ser la solución barata de los primeros años de Google

Fuente: Wang Jianshuo

Autor: Wang Jianshuo

La aparición de los primeros servidores de Google ha estado presente en mi mente durante muchos años y se ha convertido en un punto de referencia para mi comprensión de la tecnología y las nuevas empresas.

Aquí hay uno que vi en un museo de informática en Silicon Valley en 2007:

En la foto de abajo, la línea verde y blanca es la línea de reinicio, que está conectada a un botón, y la otra línea es la luz del disco duro de una PC normal. Cuatro de estos botones y luces se fijan directamente sobre un cartón con cuatro tornillos.

No hay nada insertado en la posición de la tarjeta gráfica y las otras ranuras de expansión también están vacías.

Sólo hay una tarjeta de red y un cable de red.

La CPU es Ben II.

Así es como se ve toda la placa base.

Este Switch HP tiene un total de 80 líneas entrantes.

Este gabinete tiene un total de 20 pisos. Cada estante está cubierto con una capa de tablas de pino, sobre las cuales se colocan cuatro placas principales idénticas y en el medio se colocan cuatro discos duros.

También existe uno en el centro de visitantes de Google.

En los primeros días de Internet, muy rápidamente, la búsqueda se convirtió en algo útil y prometedor. En ese momento, los motores de búsqueda monopolizados eran Lycos, AltaVista, InfoSeek, etc., lo que era muy similar a las recientes empresas modelo a gran escala que luchaban por la hegemonía.

Pero al igual que las grandes empresas modelo actuales, estas empresas de búsqueda utilizan el sistema de Sun Micro y servidores de alta gama como HP, que tienen una estabilidad de primera clase y un costo sorprendente. En aquel entonces, gestionar un motor de búsqueda era un negocio caro. A medida que el tráfico sigue aumentando, el coste también aumenta de forma alarmante. Al mismo tiempo, debido a la limitación de la potencia informática, su búsqueda sigue siendo una búsqueda básica, que es una tabla de texto de índice inverso, y el efecto de búsqueda es promedio.

Google originalmente pensó en el algoritmo PageRank, que consiste en calcular la importancia de una página web en función del peso de los enlaces de otras páginas web. Esta es una buena idea, pero requiere mucha potencia informática para implementarla. Este proceso es básicamente similar al modelo grande actual para calcular el vector de texto. Si quiero saber el peso de una página web, necesito leer toda la web para ver qué otras páginas web apuntan a esta página web y el peso de estas páginas web, y el peso de estas páginas web debe calcularse nuevamente con esa lógica, que es casi un bucle sin fin. Los mismos requisitos de potencia informática.

La solución de Google no compró un servidor de alta gama que costaba decenas de miles de dólares al único fabricante de host correcto en ese momento, sino que colocó cuatro placas base pequeñas en un trozo de papel de corcho, luego ató un disco duro, conectó una tarjeta de red y y se acabó.

Obviamente, este tipo de estabilidad es muy diferente a la del mainframe del fabricante. Por lo tanto, Google utiliza software para crear un sistema de archivos distribuido por Google File, lo que permite que los archivos se reescriban en varios lugares. Si algún hardware se rompe, los datos se pueden reconstruir inmediatamente en otros lugares, de modo que usted se apresure y rompa algunos ". Los "pequeños ordenadores" no se ven afectados. Al agregar nuestro propio marco MapReduce, la computación se puede distribuir (mapa) en estas pequeñas computadoras y luego agregar los resultados (Reducir), de modo que la potencia informática de tantas computadoras se pueda sumar sin usar una o varias computadoras. ordenador muy potente.

En resumen, después de tantos lanzamientos, debido al hardware barato, la potencia informática suficiente y el almacenamiento barato, Google es suficiente para soportar el enorme consumo de potencia informática de PageRank, y muy rápidamente derrotó al gigante en ese momento desde una pequeña estación desconocida. en Stanford., se convirtió en el Google de hoy. Por lo tanto, desde cierto punto de vista, la enorme ventaja de costos del hardware a cambio de software es un factor que no puede ignorarse en el éxito inicial de Google.

¿Esta historia inspirará el panorama actual de la IA?

El modelo ChatGPT de OpenAI combinado con la tarjeta gráfica Nvdia V100 ciertamente nos ayudó a completar el primer paso de la nada a algo, desde ver la posibilidad hasta probar la posibilidad, al igual que el costoso motor de búsqueda creado por Lycos. Sin embargo, ¿existe alguna manera, como Google, de utilizar software para reducir enormemente los costos de hardware? Por supuesto, hemos pasado la era de los servidores hechos a mano y soldar la GPU con un soldador no parece ser una forma confiable (Google no hizo esto en ese entonces, sino que usó directamente la CPU Intel Pentium II), pero ¿Qué tal algunas soluciones sorprendentes que puedan reducir costos a gran escala?

No soy un gran modelo y no se me ocurre ninguna solución. Pero si tal plan existe, podría cambiar en gran medida el patrón de competencia de la industria de modelos a gran escala.