O próximo passo no grande modelo de IA pode ser a solução barata dos primeiros anos do Google

Fonte: Wang Jianshuo

Autor: Wang Jianshuo

A aparência dos primeiros servidores do Google está presente em minha mente há muitos anos e se tornou uma referência para minha compreensão de tecnologia e startups.

Aqui está um que vi em um museu de informática no Vale do Silício em 2007:

Na foto abaixo, a linha verde e branca é a linha de reset, que está conectada a um botão, e a outra linha é a luz do disco rígido de um PC normal. Quatro desses botões e luzes são fixados diretamente em um papelão com quatro parafusos.

Não há nada inserido na posição da placa gráfica e os outros slots de expansão também estão vazios.

Existe apenas uma placa de rede e um cabo de rede.

CPU é Ben II.

Esta é a aparência de toda a placa-mãe.

Este switch HP tem um total de 80 linhas de entrada.

Este gabinete tem um total de 20 andares. Cada prateleira é coberta com uma camada de tábuas de pinho, sobre as quais são colocadas quatro placas principais idênticas e quatro discos rígidos no meio.

Também existe um no centro de visitantes do Google.

Nos primórdios da Internet, muito rapidamente, a pesquisa tornou-se útil e promissora. Naquela época, os motores de busca monopolizados eram Lycos, AltaVista, InfoSeek, etc., o que era muito semelhante aos recentes modelos de empresas em grande escala que lutavam pela hegemonia.

Mas, assim como as grandes empresas modelo de hoje, essas empresas de pesquisa usam o sistema da Sun Micro e servidores de última geração, como a HP, que possuem estabilidade de primeira classe e custos incríveis. Administrar um mecanismo de pesquisa era um negócio caro naquela época. À medida que o tráfego continua a aumentar, o custo também aumenta de forma alarmante. Ao mesmo tempo, devido à limitação do poder computacional, sua busca ainda é uma busca básica, que é a tabela de índice reverso do texto, e o efeito de busca é médio.

O Google originalmente pensou no algoritmo PageRank, que calcula a importância das páginas da web com base no peso dos links de outras páginas da web. Esta é uma boa ideia, mas requer muito poder de computação para realizá-la. Este processo é basicamente semelhante ao grande modelo atual para calcular o vetor de texto. Se eu quiser saber o peso de uma página da web, preciso ler toda a web para ver quais outras páginas apontam para esta página, e o peso dessas páginas, e o peso dessas páginas precisa ser calculado novamente por essa lógica, que é quase um loop infinito. O mesmo requisito de poder de computação.

A solução do Google não comprou um servidor de última geração que custava dezenas de milhares de dólares do único fabricante de host correto na época, mas colocou quatro pequenas placas-mãe em um pedaço de papel de cortiça, depois amarrou um disco rígido, conectou uma placa de rede, e acabou.

Obviamente, esse tipo de estabilidade é muito diferente do mainframe do fabricante. Portanto, o Google usa software para criar um sistema de arquivos distribuído pelo Google File, permitindo que os arquivos sejam reescritos em vários locais. Se algum hardware for quebrado, os dados podem ser reconstruídos em outros locais imediatamente, para que você corra e quebre alguns " Pequenos computadores" não são afetados. Ao adicionar nossa própria estrutura MapReduce, a computação pode ser distribuída (mapear) nesses pequenos computadores e, em seguida, os resultados são agregados (Reduce), de modo que o poder de computação de tantos computadores possa ser somado sem usar um ou vários computadores. computador muito poderoso.

Resumindo, depois de tanto lançamento, por causa de hardware barato, poder de computação suficiente e armazenamento barato, o Google é suficiente para suportar o enorme consumo de energia de computação do PageRank e rapidamente derrotou o gigante da época de uma pequena estação desconhecida em Stanford., tornou-se o Google de hoje. Portanto, de um certo ponto de vista, a enorme vantagem de custo do hardware em troca do software é um fator que não pode ser ignorado no sucesso inicial do Google.

Será que esta história inspirará o cenário atual da IA?

O modelo ChatGPT da OpenAI empilhado com a placa gráfica Nvdia V100 certamente nos ajudou a completar o primeiro passo do nada para alguma coisa, de ver a possibilidade até provar a possibilidade, assim como o caro mecanismo de busca construído pelo serviço Lycos Same. Porém, existe uma maneira como o Google, a possibilidade de usar software para reduzir loucamente os custos de hardware? Claro, já passamos da era dos servidores feitos à mão, e soldar a GPU com um ferro de solda não parece ser uma forma confiável (o Google não fazia isso naquela época, mas usava diretamente a CPU Intel Pentium II), mas haverá Que tal algumas soluções incríveis que podem reduzir custos em grande escala?

Não sou um grande modelo e não consigo pensar em nenhuma solução. Mas se tal plano existir, poderá alterar enormemente o padrão de concorrência da indústria modelo de grande escala.