Fonte original: Science and Technology Innovation Board Daily
Crédito da imagem: Gerado por Unbounded AI
Em 11 de julho, a Intel lançou um chip de treinamento de IA em nuvem - Habana® Gaudi® 2 no mercado chinês. O chip pode atender às necessidades de modelos de linguagem em grande escala, modelos multimodais e modelos de IA generativos. De acordo com a introdução no local, o desempenho do chip é melhor que o da Nvidia A100 em alguns indicadores-chave.
Entende-se que o processador Gaudi2 e a placa de mezanino Gaudi2 HL-225B são baseados na arquitetura de alto desempenho Gaudi de primeira geração e possuem 24 núcleos de processador Tensor programáveis (TPCs).
Cada chip integra 21 interfaces Ethernet de 100 Gbps (RoCEv2 RDMA) dedicadas à interconexão interna, equipadas com memória de alta velocidade HBM de 96 GB e uma largura de banda total de memória de 2,4 TB/s, atendendo a modelos de linguagem em larga escala, modelos multimodais e modelos generativos. necessidades do modelo de IA.
De acordo com a introdução no local, o desempenho por watt do Intel Gaudi2 executando o ResNet-50 é cerca de duas vezes o do NVIDIA A100, e o desempenho por watt do modelo BLOOMZ de 176 bilhões de parâmetros é cerca de 1,6 vezes o do A100. **
Na coletiva de imprensa, Liu Jun, vice-presidente sênior da Inspur Information e gerente geral de AI e HPC, lançou uma nova geração de servidor AI NF5698G7 equipado com Gaudi2 no local.
Atualmente, a Intel cooperou com a Inspur Information para criar um servidor AI NF5698G7 baseado no acelerador de aprendizado profundo Gaudi2. O servidor integra 8 placas aceleradoras Gaudi2 HL-225B e também inclui processadores escalonáveis Intel Xeon duplos de quarta geração, com suporte para mecanismos de aceleração AI, como AMX/DSA. No mesmo dia, o servidor AI também foi lançado oficialmente.
Wang Lei, gerente de produto sênior da Inspur Information, enfatizou que o NF5698G7 é uma nova geração de servidor de IA especialmente desenvolvido para o mercado de IA generativa. Ele oferece suporte a 8 aceleradores Gaudi2 interconectados de alta velocidade OAM e fornecerá aos clientes de IA treinamento de modelo em larga escala e capacidades de raciocínio.
Liu Hongcheng, vice-presidente da linha de produtos de computação e armazenamento da H3C, disse que com base no acelerador Intel Gaudi2 AI, a H3C está cooperando com a Intel para desenvolver servidores de IA de alto desempenho adequados para treinamento e raciocínio de modelos em larga escala. **
Ao mesmo tempo, Tang Qiming, presidente do campo de infra-estrutura de poder de computação da Super Fusion Digital Technology Co., Ltd., destacou que ** Super Fusion e Intel lançarão em conjunto novos produtos e soluções com base em Gaudi2. **
Anteriormente, Wang Rui, presidente da Intel China, apontou em entrevista a um repórter do "Science and Technology Board Daily" que a onda **ChatGPT trouxe um aumento significativo na demanda de computação e atualmente está desenvolvendo com clientes chineses incluindo Baidu e Ali. Pesquisa conjunta. **Wang Rui revelou que tanto a computação de alto desempenho quanto a computação distribuída foram apresentadas.
Um repórter do Science and Technology Innovation Board Daily, especialista em tecnologia da Intel, compartilhou o layout da Intel no campo de modelos grandes. No nível de treinamento, para computação heterogênea, como CPU, GPU, IPU e Habana, a Intel usa as plataformas oneAPI e XPU para fornecer mais opções. Em termos de raciocínio, após o lançamento do Sapphire Rapids de quarta geração, baseado no acelerador AMX, ele pode resolver mais de 80% das necessidades de raciocínio do cliente no setor. Ao mesmo tempo, também faz uso total da CPU, incluindo Ponte Vecchio para treinamento e Arctic Sound para raciocínio.
Com o surgimento de grandes modelos, o modelo de negócios da computação em nuvem está evoluindo para MaaS (Model as a Service), e a demanda por poder computacional trazida por ele também merece atenção.
"Sua ideia é usar o modelo pré-treinamento para treinar os dados do setor para formar um modelo segmentado para cenários específicos e para vários setores. Sabemos que o número de parâmetros do modelo geral é muito grande, por exemplo, o GPT-3 pode chegar a 175 bilhões, a implantação desses modelos será complicada, portanto, grandes modelos podem precisar ser destilados e compactados para formar um modelo que possa ser implantado pela indústria", disseram os especialistas técnicos mencionados acima.
Além disso, a implantação privatizada de grandes modelos é uma demanda potencial em muitos setores. "Muitas indústrias subdivididas não aceitam serviços SaaS, especialmente financeiras e outras indústrias. Portanto, a Intel está discutindo como miniaturizar este modelo e implementar localmente a implantação privatizada para que possa ser realmente implementado na indústria."
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Quer competir com a Nvidia? Intel lança chips de IA na nuvem e pretende se unir a fabricantes nacionais para desenvolver servidores de IA
Fonte original: Science and Technology Innovation Board Daily
Em 11 de julho, a Intel lançou um chip de treinamento de IA em nuvem - Habana® Gaudi® 2 no mercado chinês. O chip pode atender às necessidades de modelos de linguagem em grande escala, modelos multimodais e modelos de IA generativos. De acordo com a introdução no local, o desempenho do chip é melhor que o da Nvidia A100 em alguns indicadores-chave.
Entende-se que o processador Gaudi2 e a placa de mezanino Gaudi2 HL-225B são baseados na arquitetura de alto desempenho Gaudi de primeira geração e possuem 24 núcleos de processador Tensor programáveis (TPCs).
Cada chip integra 21 interfaces Ethernet de 100 Gbps (RoCEv2 RDMA) dedicadas à interconexão interna, equipadas com memória de alta velocidade HBM de 96 GB e uma largura de banda total de memória de 2,4 TB/s, atendendo a modelos de linguagem em larga escala, modelos multimodais e modelos generativos. necessidades do modelo de IA.
De acordo com a introdução no local, o desempenho por watt do Intel Gaudi2 executando o ResNet-50 é cerca de duas vezes o do NVIDIA A100, e o desempenho por watt do modelo BLOOMZ de 176 bilhões de parâmetros é cerca de 1,6 vezes o do A100. **
Na coletiva de imprensa, Liu Jun, vice-presidente sênior da Inspur Information e gerente geral de AI e HPC, lançou uma nova geração de servidor AI NF5698G7 equipado com Gaudi2 no local.
Atualmente, a Intel cooperou com a Inspur Information para criar um servidor AI NF5698G7 baseado no acelerador de aprendizado profundo Gaudi2. O servidor integra 8 placas aceleradoras Gaudi2 HL-225B e também inclui processadores escalonáveis Intel Xeon duplos de quarta geração, com suporte para mecanismos de aceleração AI, como AMX/DSA. No mesmo dia, o servidor AI também foi lançado oficialmente.
Wang Lei, gerente de produto sênior da Inspur Information, enfatizou que o NF5698G7 é uma nova geração de servidor de IA especialmente desenvolvido para o mercado de IA generativa. Ele oferece suporte a 8 aceleradores Gaudi2 interconectados de alta velocidade OAM e fornecerá aos clientes de IA treinamento de modelo em larga escala e capacidades de raciocínio.
Liu Hongcheng, vice-presidente da linha de produtos de computação e armazenamento da H3C, disse que com base no acelerador Intel Gaudi2 AI, a H3C está cooperando com a Intel para desenvolver servidores de IA de alto desempenho adequados para treinamento e raciocínio de modelos em larga escala. **
Ao mesmo tempo, Tang Qiming, presidente do campo de infra-estrutura de poder de computação da Super Fusion Digital Technology Co., Ltd., destacou que ** Super Fusion e Intel lançarão em conjunto novos produtos e soluções com base em Gaudi2. **
Anteriormente, Wang Rui, presidente da Intel China, apontou em entrevista a um repórter do "Science and Technology Board Daily" que a onda **ChatGPT trouxe um aumento significativo na demanda de computação e atualmente está desenvolvendo com clientes chineses incluindo Baidu e Ali. Pesquisa conjunta. **Wang Rui revelou que tanto a computação de alto desempenho quanto a computação distribuída foram apresentadas.
Um repórter do Science and Technology Innovation Board Daily, especialista em tecnologia da Intel, compartilhou o layout da Intel no campo de modelos grandes. No nível de treinamento, para computação heterogênea, como CPU, GPU, IPU e Habana, a Intel usa as plataformas oneAPI e XPU para fornecer mais opções. Em termos de raciocínio, após o lançamento do Sapphire Rapids de quarta geração, baseado no acelerador AMX, ele pode resolver mais de 80% das necessidades de raciocínio do cliente no setor. Ao mesmo tempo, também faz uso total da CPU, incluindo Ponte Vecchio para treinamento e Arctic Sound para raciocínio.
Com o surgimento de grandes modelos, o modelo de negócios da computação em nuvem está evoluindo para MaaS (Model as a Service), e a demanda por poder computacional trazida por ele também merece atenção.
"Sua ideia é usar o modelo pré-treinamento para treinar os dados do setor para formar um modelo segmentado para cenários específicos e para vários setores. Sabemos que o número de parâmetros do modelo geral é muito grande, por exemplo, o GPT-3 pode chegar a 175 bilhões, a implantação desses modelos será complicada, portanto, grandes modelos podem precisar ser destilados e compactados para formar um modelo que possa ser implantado pela indústria", disseram os especialistas técnicos mencionados acima.
Além disso, a implantação privatizada de grandes modelos é uma demanda potencial em muitos setores. "Muitas indústrias subdivididas não aceitam serviços SaaS, especialmente financeiras e outras indústrias. Portanto, a Intel está discutindo como miniaturizar este modelo e implementar localmente a implantação privatizada para que possa ser realmente implementado na indústria."