A Microsoft é ambiciosa e, no mesmo dia em que o Windows 11 está totalmente habilitado para IA, é revelado que ela tomou novas medidas.
Em 25 de setembro, horário local, a Microsoft postou repentinamente uma mensagem de recrutamento para "Gerente de Projeto Chefe de Tecnologia Nuclear" em seu site oficial. Não é difícil perceber que depois do Microsoft Cloud, Nadella está cheia de poder de fogo ao lidar com modelos grandes.
Mas o que é surpreendente é que desde o acesso do “Office Family Bucket” ao GPT4, Azure fornecendo recursos de nuvem, até o recente e abrangente Windows 11 baseado em IA, exatamente quando a nova Microsoft está prestes a surgir, por que a Microsoft decidiu também se concentrar em o setor energético? Por onde começar?
Inteligência artificial e energia nuclear, a Microsoft não abrirá mão de nenhuma delas!
O cargo de "Gerente de programa principal para tecnologia nuclear" que a Microsoft está recrutando tem a tarefa de liderar a avaliação tecnológica do reator modular pequeno (SMR) global e da integração de microrreatores para fornecer energia aos data centers onde a nuvem e a IA da Microsoft estão localizadas. “Esta posição manterá um roteiro claro e adaptável para integração tecnológica, selecionará e gerenciará cuidadosamente parceiros e soluções tecnológicas e avaliará continuamente o progresso e o impacto nos negócios da implementação”, afirma o anúncio de emprego.
Fonte: Microsoft
Além disso, a Microsoft também possui requisitos para os candidatos ideais para esta posição: eles devem ter experiência no setor de energia e ter um conhecimento profundo de tecnologia nuclear e assuntos regulatórios. Esta posição também será responsável pela pesquisa e desenvolvimento de outras tecnologias energéticas pré-comerciais.
O modelo grande “esgota” o Tesla!
Wu Jun, um conhecido especialista do setor, certa vez deu uma metáfora para o treinamento ChatGPT: cada treinamento ChatGPT equivale a permitir que 3.000 carros elétricos Tesla completem uma jornada de 21 anos em um mês, e basicamente todos eles são inúteis. Esta descrição não é um exagero.
De acordo com o "Relatório de Índice de Inteligência Artificial de 2023" divulgado pelo Stanford Artificial Intelligence Institute (HAI), a potência necessária para treinar o GPT3 é suficiente para durar centenas de anos para uma família americana média. De acordo com estimativas da Guosheng Securities, o custo único de treinamento do GPT-3 chega a US$ 1,4 milhão. Para alguns LLMs maiores (grandes modelos de linguagem), o custo de treinamento está entre US$ 2 milhões e US$ 12 milhões.
Fonte de dados: Luccioni et al.
"60% do custo do treinamento de grandes modelos é eletricidade." Tian Qi, cientista-chefe da Huawei AI, também expressou preocupação com a questão energética, acreditando que a redução de custos e a melhoria da eficiência da energia são urgentes. Se os grandes modelos forem popularizados e os servidores funcionarem rapidamente em todo o mundo, temo que isso não queimará a Terra.
Não é de admirar que o fundador da OpenAI tenha dito em um evento na segunda-feira que, para o GPT, o foco agora está em “reduzir custos e melhorar a confiabilidade”, em vez de apressar o lançamento do GPT-5.
Para economizar energia, os chefes do Vale do Silício estão pensando grande
Vejamos primeiro a Microsoft. Atualmente, a Microsoft está de olho na energia nuclear. Talvez você não saiba que Bill Gates também tem outra identidade, ou seja, o presidente da empresa de inovação nuclear TerraPower, que desenvolve e promove projetos de pequenos reatores modulares. No entanto, um porta-voz da TerraPower disse: “Atualmente não há acordo para vender reatores à Microsoft”.
De acordo com a Administração de Informação de Energia dos EUA, os reatores nucleares existentes nos Estados Unidos geram atualmente cerca de 18% da eletricidade total gerada nos Estados Unidos. As esperanças para a próxima geração de tecnologia de reactores nucleares baseiam-se em grande parte em pequenos reactores nucleares.
Como o nome indica, os pequenos reatores nucleares são menores que os reatores tradicionais e são mais baratos e rápidos de construir porque são projetados com uma estrutura modular e nem todas as partes do reator precisam ser feitas sob medida.
Além disso, a Microsoft comprometeu-se publicamente a procurar obter energia nuclear de inovadores no domínio da fusão nuclear. Em maio deste ano, a Microsoft anunciou que assinou um acordo de compra de energia com a startup de fusão nuclear Helion para adquirir energia da Helion em 2028. Acontece que o CEO da OpenAI, Sam Altman, também foi um importante investidor inicial na Helion.
Além disso, o famoso "Homem de Ferro do Vale do Silício" Musk também considerou a energia. Houve rumores em abril de que Musk e Bezos estavam se preparando para unir forças para treinar um modelo supergrande. Para economizar refrigeração e consumo de energia, os dois propuseram um plano de "data center espacial", enviando 50.000 placas H100 NVIDIA ao espaço pela SpaceX e carregando uma enorme quantidade de painéis solares, na esperança de usar o poder do espaço para resolver o problema da eletricidade O problema. No entanto, alguns especialistas analisaram que esta solução não é confiável. Atualmente, o sistema de fornecimento de energia dos painéis solares de satélite geralmente tem uma potência de apenas 1200 W. Tanto o fornecimento de energia quanto o custo não são tão bons quanto as soluções terrestres.
Claro, existe outra solução mais confiável, que é otimizar o consumo de energia do próprio chip. A lógica desse tipo de gerenciamento de consumo de energia é que existem vários chips no data center, e cada chip possui bilhões ou até dezenas de bilhões de transistores. Um transistor equivale a uma unidade de consumo de eletricidade. A partir disso, pode-se inferiu que o tamanho de uma unha é O chip é uma rede de energia em grande escala. Se o consumo de energia de cada transistor puder ser otimizado, a economia final de energia poderá irradiar para todo o data center.
A Synopsys, empresa líder mundial em EDA, tem explorado mais esta área e já há 7 anos lançou um projeto denominado "Design de Eficiência Energética" para maximizar a eficiência energética do chip.
Microsoft, quer apenas resolver o problema de consumo de energia?
A decisão da Microsoft não se deve apenas à sua aposta na IA e na fonte de energia do data center, mas também por outras razões.
Segundo a imprensa estrangeira theVerge, Bill Gates sempre foi um fã leal da energia nuclear porque a energia nuclear não produz emissões de gases com efeito de estufa e pode desempenhar um certo papel no combate às alterações climáticas.
Além disso, o problema de consumo de energia dos modelos grandes não é tão grave quanto se imagina. Um analista sênior disse francamente que o mercado não precisa se preocupar muito com o consumo de energia dos grandes modelos. “Muitas pessoas ignoram o facto de que a procura de poder de computação para modelos grandes irá inevitavelmente diminuir gradualmente no futuro, o que significa que o consumo de energia também diminuirá em conformidade.”
Por exemplo, o DeepSpeed-Chat de código aberto da Microsoft em 12 de abril ilustra totalmente esse ponto: pode aumentar a velocidade de treinamento em mais de 15 vezes e reduzir significativamente o custo do poder de computação. Uma única GPU sozinha pode suportar um modelo semelhante ao ChatGPT com 13 bilhões de parâmetros, e o tempo de treinamento leva apenas 1,25 horas.
Finalmente, só se pode dizer que, uma vez iniciada a marcha da mudança, é difícil reverter. O investimento da Microsoft em IA desta vez excede a imaginação da indústria.
Links de referência:
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Aposte na energia nuclear! A Microsoft está determinada a alimentar modelos grandes com novas “munições”!
Fonte丨Pilha de tecnologia 51CTO
Escrito por Yun Zhao
A Microsoft é ambiciosa e, no mesmo dia em que o Windows 11 está totalmente habilitado para IA, é revelado que ela tomou novas medidas.
Em 25 de setembro, horário local, a Microsoft postou repentinamente uma mensagem de recrutamento para "Gerente de Projeto Chefe de Tecnologia Nuclear" em seu site oficial. Não é difícil perceber que depois do Microsoft Cloud, Nadella está cheia de poder de fogo ao lidar com modelos grandes.
Mas o que é surpreendente é que desde o acesso do “Office Family Bucket” ao GPT4, Azure fornecendo recursos de nuvem, até o recente e abrangente Windows 11 baseado em IA, exatamente quando a nova Microsoft está prestes a surgir, por que a Microsoft decidiu também se concentrar em o setor energético? Por onde começar?
Inteligência artificial e energia nuclear, a Microsoft não abrirá mão de nenhuma delas!
O cargo de "Gerente de programa principal para tecnologia nuclear" que a Microsoft está recrutando tem a tarefa de liderar a avaliação tecnológica do reator modular pequeno (SMR) global e da integração de microrreatores para fornecer energia aos data centers onde a nuvem e a IA da Microsoft estão localizadas. “Esta posição manterá um roteiro claro e adaptável para integração tecnológica, selecionará e gerenciará cuidadosamente parceiros e soluções tecnológicas e avaliará continuamente o progresso e o impacto nos negócios da implementação”, afirma o anúncio de emprego.
Além disso, a Microsoft também possui requisitos para os candidatos ideais para esta posição: eles devem ter experiência no setor de energia e ter um conhecimento profundo de tecnologia nuclear e assuntos regulatórios. Esta posição também será responsável pela pesquisa e desenvolvimento de outras tecnologias energéticas pré-comerciais.
O modelo grande “esgota” o Tesla!
Wu Jun, um conhecido especialista do setor, certa vez deu uma metáfora para o treinamento ChatGPT: cada treinamento ChatGPT equivale a permitir que 3.000 carros elétricos Tesla completem uma jornada de 21 anos em um mês, e basicamente todos eles são inúteis. Esta descrição não é um exagero.
De acordo com o "Relatório de Índice de Inteligência Artificial de 2023" divulgado pelo Stanford Artificial Intelligence Institute (HAI), a potência necessária para treinar o GPT3 é suficiente para durar centenas de anos para uma família americana média. De acordo com estimativas da Guosheng Securities, o custo único de treinamento do GPT-3 chega a US$ 1,4 milhão. Para alguns LLMs maiores (grandes modelos de linguagem), o custo de treinamento está entre US$ 2 milhões e US$ 12 milhões.
"60% do custo do treinamento de grandes modelos é eletricidade." Tian Qi, cientista-chefe da Huawei AI, também expressou preocupação com a questão energética, acreditando que a redução de custos e a melhoria da eficiência da energia são urgentes. Se os grandes modelos forem popularizados e os servidores funcionarem rapidamente em todo o mundo, temo que isso não queimará a Terra.
Não é de admirar que o fundador da OpenAI tenha dito em um evento na segunda-feira que, para o GPT, o foco agora está em “reduzir custos e melhorar a confiabilidade”, em vez de apressar o lançamento do GPT-5.
Para economizar energia, os chefes do Vale do Silício estão pensando grande
Vejamos primeiro a Microsoft. Atualmente, a Microsoft está de olho na energia nuclear. Talvez você não saiba que Bill Gates também tem outra identidade, ou seja, o presidente da empresa de inovação nuclear TerraPower, que desenvolve e promove projetos de pequenos reatores modulares. No entanto, um porta-voz da TerraPower disse: “Atualmente não há acordo para vender reatores à Microsoft”.
De acordo com a Administração de Informação de Energia dos EUA, os reatores nucleares existentes nos Estados Unidos geram atualmente cerca de 18% da eletricidade total gerada nos Estados Unidos. As esperanças para a próxima geração de tecnologia de reactores nucleares baseiam-se em grande parte em pequenos reactores nucleares.
Como o nome indica, os pequenos reatores nucleares são menores que os reatores tradicionais e são mais baratos e rápidos de construir porque são projetados com uma estrutura modular e nem todas as partes do reator precisam ser feitas sob medida.
Além disso, a Microsoft comprometeu-se publicamente a procurar obter energia nuclear de inovadores no domínio da fusão nuclear. Em maio deste ano, a Microsoft anunciou que assinou um acordo de compra de energia com a startup de fusão nuclear Helion para adquirir energia da Helion em 2028. Acontece que o CEO da OpenAI, Sam Altman, também foi um importante investidor inicial na Helion.
Além disso, o famoso "Homem de Ferro do Vale do Silício" Musk também considerou a energia. Houve rumores em abril de que Musk e Bezos estavam se preparando para unir forças para treinar um modelo supergrande. Para economizar refrigeração e consumo de energia, os dois propuseram um plano de "data center espacial", enviando 50.000 placas H100 NVIDIA ao espaço pela SpaceX e carregando uma enorme quantidade de painéis solares, na esperança de usar o poder do espaço para resolver o problema da eletricidade O problema. No entanto, alguns especialistas analisaram que esta solução não é confiável. Atualmente, o sistema de fornecimento de energia dos painéis solares de satélite geralmente tem uma potência de apenas 1200 W. Tanto o fornecimento de energia quanto o custo não são tão bons quanto as soluções terrestres.
A Synopsys, empresa líder mundial em EDA, tem explorado mais esta área e já há 7 anos lançou um projeto denominado "Design de Eficiência Energética" para maximizar a eficiência energética do chip.
Microsoft, quer apenas resolver o problema de consumo de energia?
A decisão da Microsoft não se deve apenas à sua aposta na IA e na fonte de energia do data center, mas também por outras razões.
Segundo a imprensa estrangeira theVerge, Bill Gates sempre foi um fã leal da energia nuclear porque a energia nuclear não produz emissões de gases com efeito de estufa e pode desempenhar um certo papel no combate às alterações climáticas.
Além disso, o problema de consumo de energia dos modelos grandes não é tão grave quanto se imagina. Um analista sênior disse francamente que o mercado não precisa se preocupar muito com o consumo de energia dos grandes modelos. “Muitas pessoas ignoram o facto de que a procura de poder de computação para modelos grandes irá inevitavelmente diminuir gradualmente no futuro, o que significa que o consumo de energia também diminuirá em conformidade.”
Por exemplo, o DeepSpeed-Chat de código aberto da Microsoft em 12 de abril ilustra totalmente esse ponto: pode aumentar a velocidade de treinamento em mais de 15 vezes e reduzir significativamente o custo do poder de computação. Uma única GPU sozinha pode suportar um modelo semelhante ao ChatGPT com 13 bilhões de parâmetros, e o tempo de treinamento leva apenas 1,25 horas.
Finalmente, só se pode dizer que, uma vez iniciada a marcha da mudança, é difícil reverter. O investimento da Microsoft em IA desta vez excede a imaginação da indústria.
Links de referência: