Em 2023, as empresas de chips de IA serão questionadas três vezes seguidas

Fonte: Insights de Si Rui, autor | Renee, editor | Sun Yue

Em 2023, instituições de investimento e acionistas estão fazendo três perguntas mortais às empresas listadas na área de chips de IA:

Você já fez um chip integrado de armazenamento e cálculo?

(Fonte de investidores fazendo perguntas à Montage Technology: Tonghuashun Finance)

Como está o progresso do chip integrado de computação de memória?

(Os investidores perguntam a Dongxin compartilha a fonte da pergunta: Tonghuashun Finance)

Qual é a perspectiva de armazenamento integrado e chips de computação?

(Fonte das perguntas dos investidores às ações da Hengshuo: Tonghuashun Finance)

A série de perguntas acima significa que a integração de armazenamento e cálculo não "fica" mais nos círculos acadêmicos e industriais, e parece ser popular no mercado secundário: acionistas e corretoras estão fazendo horas extras para compensar a integração de armazenamento e cálculo, tão tradicionais fabricantes de chips desde o início de 2023, o layout da integração de armazenamento e computação foi "torturado".

**Uma pergunta natural é por que a integração de depósito e cálculo de repente se tornou tão popular? **

A Huawei, que lançou o novo produto de armazenamento OceanStor A310 em 7.14, deu sua própria resposta. Zhou Yuefeng, presidente da linha de produtos de armazenamento de dados da Huawei, disse que há muitos problemas de dados no treinamento e raciocínio de grandes modelos de propósito geral e grandes modelos da indústria: coleta lenta de dados massivos entre domínios, baixa eficiência de interação de dados no pré-processamento e treinamento e difícil segurança do fluxo de dados.

O grande modelo de IA traz novos desafios para o armazenamento. Por exemplo, a estabilidade é pior que a da IA tradicional. Ao mesmo tempo, há uma grande quantidade de trabalho de pré-processamento e preparação de dados. É necessário usar computação de memória próxima ( um tipo de armazenamento e integração de computação) para resolver o problema. Aborde esta questão sistematicamente. **

Então, quanto é a "grande quantidade de dados" aqui? De acordo com os cálculos do SI Rui Insight, o ChatGPT tem atualmente 100 milhões de usuários diários.Se 5% das pessoas fizerem perguntas a cada segundo no mesmo horário todos os dias, ele engolirá a geração de energia da Barragem das Três Gargantas por quase um ano. **

Em outras palavras, modelos grandes exigem poder computacional freneticamente, e soluções emergentes representadas pela integração de armazenamento e computação podem resolver muitos desafios trazidos por modelos grandes. De fato, além de impor requisitos rígidos ao poder de computação, o modelo grande também oferece aos fabricantes de chips de IA "muito açúcar para comer".

Este artigo tenta explorar, sob o pano de fundo do modelo grande, quais benefícios são dados aos fabricantes de chips de IA? Qual é o futuro padrão dos fabricantes integrados de armazenamento e computação que foram "demitidos" pelo ChatGPT?

"Sorte e infortúnio dependem um do outro" fabricantes de chips de IA

** Os ventos de maquetes ainda estão soprando e as discussões sobre maquetes ainda estão em pleno andamento. **

No início de agosto, no subfórum da Conferência de Inteligência Artificial da China Computer Federation (CCF) - "Seeing Kunlun in Frontiers AI Large-scale Model Computing Power Frontier", especialistas e estudiosos concordaram que na era dos modelos em grande escala , o poder de computação inteligente de última geração tornou-se "escasso". Ativos", como fazer bom uso dos recursos de poder de computação e maximizar seus benefícios tornou-se um desafio que todos os participantes devem enfrentar.

Quanto à quantidade de poder de computação exigida apenas pelo GPT-3, em circunstâncias conservadoras, a Represa das Três Gargantas precisa "trabalhar" a noite toda para atender:

Supondo que existam 100 milhões de pessoas online ao mesmo tempo, 5% delas fazem perguntas a cada segundo no mesmo horário todos os dias, cada uma ocupando 30 tokens, e 15,3 milhões de chips H100 são necessários para fornecer seu poder de computação de inferência; e o poder consumo de cada H100 é de 750W Aproximadamente, se funcionar 10 horas por dia, o consumo anual de energia do data center onde esses chips H100 estão localizados chegará a 84 bilhões de kWh, enquanto a geração anual de energia da Represa das Três Gargantas é 88,2 bilhões de kWh.

O que deixa os fabricantes de chips AI ainda mais ansiosos é que este é apenas o consumo de energia de um grande modelo ChatGPT no estágio de inferência.

**Como resultado, uma série de soluções emergentes foram escavadas pelos fabricantes: **Armazenamento e cálculo integrados, chiplet, HBM, etc. Entre eles, porque a integração de armazenamento e computação derrubou o muro de armazenamento sob a arquitetura tradicional de von Neumann, na verdade alcançou redução de custos e aumento de eficiência, tornando-se o "Ziweixing" deste ano.

(Fonte da foto: "AI Big Computing Power Chip Industry Report-Centenas de navios de guerra, inovadores primeiro" por Cirui Insights)

**Além do surgimento de soluções emergentes que deram fôlego aos fabricantes de chips de IA, o grande modelo também traz boas notícias aos fabricantes de chips, especialmente aos fabricantes de chips iniciantes: a importância da ecologia de software está diminuindo. **

Quando a tecnologia não estava madura o suficiente nos primeiros dias, os pesquisadores só podiam começar resolvendo um problema específico, e nasceram pequenos modelos com menos de um milhão de parâmetros. Por exemplo, a DeepMind, uma empresa de IA de propriedade do Google, permite que o AlphaGO conduza um "aprendizado" especial nas etapas do jogo de xadrez de milhões de jogadores profissionais humanos.

Depois que houver modelos mais pequenos, o problema de hardware, como adaptação de chip, é iminente. Portanto, quando a Nvidia lançou o CUDA ecológico unificado, o GPU+CUDA rapidamente ganhou o reconhecimento da comunidade de ciência da computação e se tornou a configuração padrão para o desenvolvimento de inteligência artificial.

Os grandes modelos que estão surgindo um após o outro hoje têm recursos multimodais, podem lidar com texto, imagens, programação e outros problemas, e também podem cobrir vários campos verticais, como escritório, educação e assistência médica. Isso também significa que a adaptação à ecologia dominante não é a única escolha: quando a demanda por chips para modelos grandes está disparando, os fabricantes de chips podem se adaptar apenas a 1-2 modelos grandes e podem concluir o desenvolvimento de vários modelos pequenos no passado. Ordem. **

Em outras palavras, o surgimento do ChatGPT oferece aos fabricantes iniciantes de chips a oportunidade de ultrapassar nas curvas. Isso significa que a estrutura do mercado de chips de IA passará por grandes mudanças: os chips de IA não são mais um show individual de fabricantes individuais, mas um jogo em grupo de vários inovadores. **

**Quando o poder de computação se torna uma mercadoria escassa e a adaptação à ecologia dominante não é mais uma obrigação, a integração de armazenamento e computação dificilmente pode esconder sua luz. **Neste momento, investir ou não e quanto investir tornou-se o segundo problema enfrentado pelos fabricantes de chips de IA. **

A esse respeito, A resposta dada pela gigante de chips NVIDIA há muitos anos é ser corajosa em inovação e investir muito dinheiro:

Todo fabricante de P&D de uma tecnologia emergente sem dúvida enfrentará problemas em vários níveis, como obstáculos de exploração técnica e desacordo de fabricantes a jusante. No estágio inicial, quem primeiro prevê a tendência de desenvolvimento futuro, toma coragem para dar os passos de exploração e estabelece recursos razoáveis para tentar aproveitar a oportunidade.

Quando a onda de data centers ainda não atingiu de forma esmagadora e o treinamento em inteligência artificial ainda é um campo de nicho, a Nvidia investiu pesadamente no desenvolvimento de GPUs de computação de uso geral e software de programação unificado CUDA, e é um bom trabalho para a Nvidia- plataformas de computação.

Naquela época, tornar a GPU programável era uma opção "inútil e deficitária": não sei se seu desempenho pode ser dobrado, mas o desenvolvimento do produto será dobrado. Por esse motivo, nenhum cliente está disposto a pagar por isso. No entanto, a Nvidia, que previu que um processador gráfico de função única não é uma solução de longo prazo, decidiu aplicar o CUDA a todas as linhas de produtos.

Em uma entrevista entre Xindongxi e o Dr. Lai Junjie, diretor sênior de engenharia e soluções da Nvidia China, Lai Junjie disse: "Para a visão da plataforma de computação, Huang Renxun rapidamente mobilizou muitos recursos da Nvidia para cima e para baixo no início dias."

Previsão + investimento pesado, em 2012, a Nvidia ganhou a recompensa do inovador: Em 2012, o desempenho de computação do algoritmo de aprendizado profundo causou sensação no círculo acadêmico. Como uma ferramenta de produtividade de alta computação, mais versátil e fácil de usar, GPU+CUDA rapidamente se tornou popular A comunidade de ciência da computação tornou-se a "configuração padrão" para o desenvolvimento da inteligência artificial.

Na jornada dos chips de IA com grande poder de computação, o chip tudo-em-um para armazenamento e computação inaugurou seu próprio "período de ouro". **

Não técnico, rico financeiramente, não entre

Vendo os vários benefícios da integração de armazenamento e computação, nesta fase, o campo de jogadores que integram armazenamento e chips de computação está crescendo.

(Fonte da foto: "AI Big Computing Power Chip Industry Report-Centenas de navios de guerra, inovadores primeiro" por Cirui Insights)

De acordo com as estatísticas incompletas do CIRUI Insight, desde 2019, a maioria dos novos fabricantes de chips AI integrou armazenamento e computação: há 20 novos fabricantes de chips AI em 2019-2021, e 10 deles escolhem a rota de integração de depósito e cálculo.

Tudo isso mostra que a integração de armazenamento e computação se tornará uma estrela em ascensão após GPGPU, ASIC e outras arquiteturas. ** E esta nova estrela, nem todos podem escolher. **

Sob a circunstância de que os círculos acadêmicos, os círculos da indústria e o capital estão unanimemente otimistas sobre a integração de armazenamento e computação, a forte força técnica do país, o sólido banco de talentos e o controle preciso sobre a aceitação dos custos de migração são a chave para empresas iniciantes para manter sua competitividade no setor.Três barreiras que se colocam diante de novos players. **

** Forte força técnica é sempre a montanha mais alta no campo de chips. **

A primeira é a integração de armazenamento e computação, que envolve todo o processo de fabricação do chip: desde o dispositivo mais básico, até o design do circuito, design da arquitetura, cadeia de ferramentas e, em seguida, a pesquisa e desenvolvimento da camada de software; Corpo inteiro”: Ao fazer as alterações correspondentes em cada camada, o grau de adaptação entre cada camada também deve ser considerado.

**Vamos olhar camada por camada, que tipo de problemas técnicos existem quando um chip integrado de computação de memória é fabricado. **

Em primeiro lugar, em termos de seleção de dispositivos, os fabricantes estão "andando sobre gelo fino": o design da memória determina a taxa de rendimento do chip e, uma vez que a direção esteja errada, o chip pode não ser produzido em massa.

O segundo é o nível de projeto de circuito. Depois que o dispositivo estiver disponível no nível do circuito, ele precisará ser usado para o projeto do circuito da matriz de armazenamento. Atualmente, no projeto de circuitos, não há orientação da ferramenta EDA para cálculo na memória, e isso precisa ser feito manualmente, o que sem dúvida aumenta muito a dificuldade de operação.

Logo a seguir, após existirem circuitos a nível arquitectónico, é necessário desenhar a camada arquitectónica. Cada circuito é um módulo básico de computação, e toda a arquitetura é composta de diferentes módulos.O design do módulo integrado de computação de memória determina a taxa de eficiência energética do chip. Os circuitos analógicos serão perturbados pelo ruído e os chips encontrarão muitos problemas quando forem afetados pelo ruído.

Nesse caso, os arquitetos de chip devem entender completamente as características do processo de computação analógica em memória e, ao mesmo tempo, projetar a arquitetura de acordo com essas características. Com base nisso, a adaptabilidade entre a arquitetura e o desenvolvimento de software também deve ser considerada . Após a conclusão do projeto de arquitetura em nível de software, a cadeia de ferramentas correspondente precisa ser desenvolvida.

(Fonte da foto: "AI Big Computing Power Chip Industry Report-Centenas de navios de guerra, inovadores primeiro" por Cirui Insights)

Como o modelo original de integração de computação de armazenamento é diferente do modelo sob a arquitetura tradicional, o compilador precisa se adaptar a uma arquitetura de integração de computação de armazenamento completamente diferente para garantir que todas as unidades de computação possam ser mapeadas para o hardware e executadas sem problemas.

**Uma cadeia técnica completa testará a capacidade de cada elo do dispositivo, design de circuito, design de arquitetura, cadeia de ferramentas e desenvolvimento da camada de software e coordenará a capacidade de adaptação de cada elo, que é uma batalha prolongada que consome tempo, esforço e dinheiro. **

** Ao mesmo tempo, de acordo com o processo de operação dos links acima, pode-se ver que o chip integrado de computação de memória precisa urgentemente de designers de circuitos experientes e arquitetos de chip. **

Tendo em vista a particularidade da integração de armazenamento e cálculo, as empresas que podem integrar armazenamento e cálculo precisam ter as duas características a seguir em termos de reservas de pessoal:

1. O líder precisa ter coragem suficiente. Deve haver uma ideia clara na escolha da seleção do dispositivo (RRAM, SRAM, etc.) e no modo de computação (tradicional von Neumann, armazenamento e cálculo integrados, etc.). Isso ocorre porque, como uma tecnologia subversiva e inovadora, a integração de armazenamento e cálculo não tem ninguém para liderar, e o custo de tentativa e erro é extremamente alto. Os fundadores de empresas que podem alcançar a comercialização geralmente têm uma vasta experiência na indústria, grandes fabricantes e formações acadêmicas e podem liderar a equipe para concluir rapidamente as iterações do produto.

2. Na equipe principal, é necessário equipar talentos experientes em todos os níveis de tecnologia. Por exemplo, o arquiteto, que é o núcleo da equipe. Os arquitetos precisam ter uma compreensão e cognição profundas das ferramentas de hardware e software subjacentes e ser capazes de realizar a arquitetura de armazenamento e computação no conceito por meio da tecnologia e, finalmente, alcançar o desembarque do produto;

3. Além disso, de acordo com o relatório qubit, há uma falta de talentos de ponta em design de circuitos na China, especialmente no campo de circuitos híbridos. A computação em memória envolve um grande número de projetos de circuitos analógicos.Comparado com o projeto de circuito digital que enfatiza o trabalho em equipe, o projeto de circuito analógico requer projetistas individuais extremamente familiarizados com processo, projeto, layout, modelo pdk e embalagem.

E essa série de talentos e tecnologias deve ter o efeito de pouso como objetivo final – a produção de primeira classe é a principal força produtiva. **Durante a entrega, o que o cliente considera não é apenas a tecnologia integrada de computação de armazenamento, mas se os indicadores de desempenho do SoC integrado de computação de armazenamento, como taxa de eficiência energética, taxa de eficiência de área e facilidade de uso, são suficientes em comparação com produtos anteriores A melhoria e, mais importante, se o custo da migração está dentro da faixa aceitável.

Se a escolha de um novo chip para melhorar o desempenho do algoritmo exigir o reaprendizado de um sistema de programação e o custo de mão-de-obra da migração do modelo for maior do que o custo de compra de uma nova GPU, os clientes provavelmente não optarão por usar um novo chip.

** Portanto, se a integração de depósito e cálculo pode minimizar o custo de migração durante o processo de desembarque é um fator importante para os clientes na escolha dos produtos. **

No contexto de modelos de grande escala, o chip integrado de computação de memória está se tornando uma estrela em ascensão na trilha do chip em virtude de seu baixo consumo de energia, mas alta taxa de eficiência energética. Hoje em dia, o mercado integrado de depósito e cálculo ainda está na fase de "Xiaohe está apenas emergindo".

**No entanto, não podemos negar que os jogadores integrados de armazenamento e cálculo já construíram três muros altos, e aqueles com forte força técnica e sólidas reservas de talento não devem entrar. **