Se você olhar para as reportagens da mídia sobre grandes modelos todos os dias, ficará deslumbrado com a variedade de modelos e as aplicações assustadoras de curta duração, pensando que o futuro dos modelos está no próximo modelo completo. Portanto, a IA parece ser uma história de OpenAI ou Anthropic vencendo.
O financiamento que foi concluído com incrível velocidade e volume parece comprovar essa perceção.
A Anthropic, que é considerada uma das maiores rivais da OpenAI, está em uma rodada de financiamento em um ciclo mensal de 2 bilhões - em 27 de outubro, o Google disse que investiu mais US$ 2 bilhões nela, menos de um mês depois que a Amazon investiu US$ 4 bilhões nela, e seu modelo Claude, que compete com recursos como comprimento de contexto, é considerado um dos concorrentes mais fortes do ChatGPT. Ao mesmo tempo, o OpenAI também está reunindo vários recursos, e por trás de cada movimento, SoftBank, Microsoft e Apple são todos rumores com ele de várias maneiras.
No entanto, na realidade, esta não é a história toda.
Para os praticantes, o outro lado da história é mais profundo:
Obviamente, é uma escolha melhor pegar os dólares daqueles investidores que têm mais dinheiro e menos para fazer, no entanto, todos eles escolhem grandes fábricas uma após a outra, e até mesmo grandes fábricas que estão de olho nelas, apenas por causa de uma coisa - elas têm recursos de computação em nuvem. A contribuição da OpenAI para o Microsoft Azure foi dita muitas vezes no caminho para o sucesso, e a Anthropic agora garante a si mesma o suporte de poder de computação em nuvem do Google e da Amazon ao mesmo tempo, e disse que um dos propósitos importantes do financiamento é construir uma garantia de poder de computação para si mesma para treinar a próxima geração de modelos.
Este é um excelente testemunho da necessidade da nuvem para modelos grandes.
Na Conferência Apsara em 31 de outubro, uma série de dados do Alibaba Cloud dizia a mesma coisa.
O Alibaba Cloud anunciou alguns dos modelos que funcionam em cima de seus serviços, desde seu próprio modelo grande Tongyi, até Baichuan Intelligence, Zhipu AI, Zero One Everything, Kunlun Wanwei, vivo, Fudan University, etc., metade das grandes empresas e instituições de modelos da China são treinadas aqui.
Esses modelos principais na China também estão fornecendo serviços de API através do Alibaba Cloud, incluindo a série Tongyi, a série Baichuan, a série Zhipu AI ChatGLM, o modelo geral Jiang Ziya, etc.
Estes modelos alcançam o nível superior ao mesmo tempo, mas também começam a crescer suas próprias características, entre as quais uma das empresas de modelos mais importantes da China, Baichuan Intelligence, estabeleceu uma média de 28 dias para iterar uma versão do recorde de um modelo grande, ele 30 de outubro A última versão do Baichuan2-192K tornou-se o suporte mais longo do mundo para a janela de contexto do modelo grande, pode inserir 350.000 palavras de cada vez, liderando Claude2-100K.
Todas essas vantagens apontam para aplicações mais realistas. Wang Xiaochuan, CEO da Baichuan Intelligence, descreveu isso como "um passo mais lento do que o ideal e três passos mais rápido no solo". A infraestrutura em nuvem, por outro lado, oferece possibilidades rápidas.
Wang Xiaochuan introduziu que uma razão importante para a iteração mensal do modelo Baichuan é o suporte da computação em nuvem. "A rápida iteração e implantação do modelo é inseparável da computação em nuvem, e a Baichuan Intelligence e o Alibaba Cloud realizaram uma cooperação aprofundada. Com os esforços conjuntos de ambas as partes, Baichuan completou com sucesso a tarefa de treinamento do modelo quilocalórico grande, reduzindo efetivamente o custo de inferência do modelo e melhorando a eficiência da implantação do modelo. "
Outra razão pela qual a importância da computação em nuvem tem sido negligenciada é que o campo da IA tem sido distraído pela "falta de cartas para todos".
"As pessoas estão prestando muita atenção às GPUs." Muitos grandes profissionais de modelos me disseram que, como uma unidade de computação, ela é de fato constantemente aprimorada, mas para resolver o problema da IA, o que é necessário, em última análise, é uma solução sistemática e ótima de poder de computação. Mesmo a nuvem tem sido uma coisa que resolve o problema de uma única unidade não ser forte o suficiente desde a sua criação.
"Só o cartão, só o modelo incrível no papel, não é suficiente, e finalmente contar com a nuvem para pousar e depois realizar o ideal." Ele disse. Se você cuidadosamente furar os ouvidos e ouvir os "gritos" desses participantes reais na linha de frente da ecologia de modelos, então você pode ouvir uma palavra:
Nuvem!
Como o futuro da IA evolui depende da nuvem hoje mais do que nunca.
Uma nova nuvem
Mas isso definitivamente não significa que os fornecedores de nuvem que estabeleceram uma vantagem possam se deitar e vencer.
Basta dar uma olhada no que aconteceu depois que o Google e a Microsoft divulgaram recentemente seus relatórios de ganhos no mesmo dia.
Em 25 de outubro, o Google divulgou um relatório de lucros que superou as expectativas, com um aumento anual de 11%, e o negócio principal de publicidade também aumentou 9%. Mas então o preço das ações caiu. Só há uma razão, a computação em nuvem cresceu 22%, mas o mercado acredita que não é suficiente. Em particular, o relatório financeiro da Microsoft divulgado no mesmo dia mostrou que sua divisão de nuvem inteligente se tornou a maior fonte de receita.
Pela primeira vez, os gigantes estão se vendo marginalizados com negócios como publicidade, de que um dia falaram, porque a computação em nuvem é considerada uma métrica observável em comparação com a receita direta gerada por modelos que ainda são ilusórios. Por trás desse indicador está a capacidade dos fornecedores de nuvem de se adaptarem aos desafios trazidos pela IA.
Até mesmo a AWS, a participação de mercado número 1, está sentindo a pressão, e o investimento da Amazon na Anthropic também aconteceu durante esses relatórios de lucros. Foi relatado que 3% da receita do Azure da Microsoft vem da IA, e seus clientes incluem um grande número de usuários do OpenAI, e a AWS está começando a enfatizar seus serviços para vários modelos. Depois de lançar 2 bilhões na Anthropic, foi imediatamente anunciado que o LLM após a empresa modelo seria construído com o chip de aceleração de treinamento da AWS Trainium e o chip de inferência Inferentia. Além disso, como a nova solução de cluster destacada no relatório financeiro da Microsoft, e a Bedrock, um serviço de modelo básico totalmente gerenciado para a AWS, também estão enfatizando sua própria transformação para novas necessidades de IA.
"Enfrentando a era inteligente, o Alibaba Cloud atualizará seu sistema de computação em nuvem por meio de inovação tecnológica full-stack do poder de computação subjacente para a plataforma de IA para o serviço modelo." Zhou Jingren, que determina a rota técnica do Alibaba Cloud, também deu sua resposta na Conferência Apsara. As mudanças refletidas pelo Alibaba Cloud desta vez são decisivas e completas, desde a textura até o núcleo, todas elas são transformadas para IA.
De acordo com a introdução de Zhou Jingren, o Alibaba Cloud primeiro usou um modelo grande para se transformar, e mais de 30 produtos de nuvem foram conectados aos recursos do modelo grande.
Por exemplo, o DataWorks, plataforma de governança de big data do Alibaba Cloud, adicionou um novo formulário interativo, o Copilot, que permite aos usuários gerar instruções SQL com entrada em linguagem natural e executar automaticamente as operações ETL de dados correspondentes, melhorando a eficiência geral de desenvolvimento e análise em mais de 30%.
Zhou Jingren descreveu isso como um modo de condução autônoma da computação em nuvem, que melhorará muito a eficiência e a experiência dos desenvolvedores que usam a nuvem.
Ao mesmo tempo, o Alibaba Cloud também atualizou sua plataforma de inteligência artificial PAI. A camada subjacente do PAI usa a arquitetura de rede de cluster de IA de próxima geração HPN 7.0, suporta a escala escalável de clusters de até 100.000 cartões e a taxa de aceleração do treinamento distribuído em escala ultra-grande é tão alta quanto 96%, excedendo em muito o nível da indústria. Em grandes tarefas de treinamento de modelos, ele pode economizar mais de 50% dos recursos de computação, e o desempenho é líder mundial.
Esses termos profissionais são um pouco complexos, explicados por casos simples de clientes, e Zhou Jingren também compartilhou alguns casos no mesmo dia: "Através de nossa plataforma PAI, pode ajudar a otimizar o raciocínio, ajudar Xiaohongshu a economizar 30% dos custos e pode realmente promover o rápido crescimento dos negócios da Xiaohongshu, bem como uma variedade de necessidades de negócios." "
Os fornecedores de nuvem, incluindo o Alibaba Cloud, estão essencialmente descobrindo uma nova infraestrutura. As mudanças trazidas pelas tecnologias de IA, como modelos grandes, são full-stack, da camada inferior do modelo às ideias de treinamento, dos requisitos de dados à interface interativa, estão mudando e até precisam ser "refeitos".
O ponto de partida de todas as transformações do Alibaba Cloud é o MaaS (model as a Service) proposto por Zhou Jingren no início.
"O modelo em si é uma abstração de alto nível de dados e computação." Zhou Jingren disse em uma pequena conversa conosco naquele dia.
"Por exemplo, no passado, costumávamos usar mais dados de logs ou bancos de dados. Qual é o modelo? Um modelo é uma coleção processada de dados, que é uma abstração altamente intelectual. Então, deste ponto de vista, você pode pensar que os dados originais são um material de produção mais primitivo, contando com o poder de computação original. O modelo atual é uma camada de processamento, que é um elemento de produção mais abstrato baseado em matérias-primas de dados, e você pode usar esses elementos de produção para desenvolver sistemas de negócios de maior dimensão. Antes tínhamos a Infraestrutura, que era um elemento de produção, e hoje o modelo é também um elemento de produção. "
Essa nova infraestrutura em torno do modelo requer recursos de sistema mais complexos do que no passado.
Embora o limiar para aplicações de IA esteja a ficar cada vez mais baixo, o limiar para fornecer computação em nuvem que satisfaça as necessidades da nova era da IA só vai ficar cada vez mais alto. Para explorar essa coisa nova, é óbvio que você precisa dominar a tecnologia central da computação em nuvem, e você precisa ter uma compreensão real da tecnologia de grandes modelos - você sabe o que você tem, e você sabe o que seus clientes precisam.
"Com base em nosso acúmulo em computação em nuvem, construímos uma infraestrutura completa de IA. Através da série atual de otimizações em rede, armazenamento, programação, compilação, tolerância a falhas e assim por diante. Estabelecemos uma plataforma de treinamento completa para modelos grandes de IA. Zhou Jingren disse. Ao mesmo tempo, através de uma série de otimizações combinadas com a alta elasticidade da própria nuvem, podemos fornecer um serviço de inferência e treinamento de modelo muito completo. "
No mesmo dia, o Alibaba Cloud também lançou o modelo de parâmetros de nível 100 bilhões auto-desenvolvido Tongyi Qianwen 2.0.
Tongyi Qianwen 2.0 fez um grande progresso no desempenho, e melhorou significativamente sua capacidade de entender instruções complexas, capacidade de criação literária, habilidade matemática geral, memória de conhecimento, resistência à ilusão, etc., e seu desempenho abrangente ultrapassou o GPT-3.5, acelerando para alcançar o GPT-4.
Ao mesmo tempo, o site oficial do modelo Tongyi foi totalmente atualizado, adicionando interação multimodal e funções de plug-in, que permitem aos usuários interagir com o Tongyi Qianwen 2.0 através de imagens, e também chamar novos recursos de plug-in mais ricos.
Zhou Jingren disse: "Tongyi Qianwen 2.0 é mais maduro e mais fácil de usar."
Abrir, Abrir ou Abrir
Com uma transformação tão abrangente, levanta-se naturalmente a questão de saber se tanto o modelo como a infraestrutura acabarão por se tornar uma situação em que você é um árbitro e um atleta.
A resposta dada pelo Alibaba Cloud é a máxima abertura.
O Alibaba Cloud é a primeira empresa de tecnologia na China a abrir modelos de grande porte autodesenvolvidos e, atualmente, o Alibaba Cloud tem versões de código aberto Tongyi Qianwen 7B e 14B, com mais de um milhão de downloads. No local, Zhou Jingren anunciou que o modelo Tongyi Qianwen 72B será de código aberto em breve, e se tornará o maior modelo de código aberto na China.
Na verdade, esse tipo de abertura não é algo que acontecerá depois do ChatGPT. Na Conferência Apsara há um ano, o Alibaba Cloud começou a construir um modelo de construção mágica da comunidade, na verdade, o primeiro lote de código aberto naquela época era o próprio modelo central do Alibaba Cloud. Naquela época, o plano da Moda era usar o Alibaba Cloud para entregar as coisas na parte inferior da caixa para levar todos a mudar o estado fechado da IA no passado e usar a abertura para realmente torná-la acessível ao público.
Zhou Jingren revelou que a comunidade reuniu mais de 2.300 modelos de IA hoje, atraiu 2,8 milhões de desenvolvedores de IA e o número de downloads de modelos de IA ultrapassou 100 milhões, tornando-se a maior e mais ativa comunidade de IA na China. Esta conquista é o reconhecimento mais direto da sua abertura ao mundo exterior.
Hoje, na Comunidade Mágica, Baichuan Intelligence, Zhipu AI, Shanghai Artificial Intelligence Laboratory, IDEA Research Institute, etc. abriram seus principais modelos grandes, e o Alibaba Cloud oferece aos desenvolvedores poder de computação GPU gratuito para "early adopters" de modelos grandes, que ultrapassaram 30 milhões de horas até agora.
"Nosso posicionamento hoje é atender uma variedade de clientes com diferentes necessidades." Zhou Jingren disse.
No ecossistema Alibaba Cloud, há um supercomputador construído em conjunto com a Universidade Fudan, que suporta treinamento de grandes modelos com centenas de bilhões de parâmetros e está entre os 15 melhores do mundo em termos de poder de computação geral. O cluster de computação por trás dele é composto por Jinsi No. 1 no campus Fudan e Qiewen No. 1 no data center Ulanqab do Alibaba Cloud a 1.500 quilômetros de distância.
A vivo desenvolveu grandes modelos, desde poder de computação, funções de plataforma, desempenho de treinamento, etc., até a estrutura de otimização de treinamento da plataforma de inteligência artificial PAI do Alibaba Cloud em termos de supervisão SFT e ajuste fino de grandes modelos e aprendizagem de reforço, vivo e Alibaba Cloud cooperam para iterar grandes modelos de forma mais eficiente.
Há também a popular "Wonderful Duck Camera", cuja geração de fotos requer pelo menos alguns milhares de servidores GPU no nível de pico, e a implantação offline é impraticável, e a implantação em nuvem pode economizar muito custo e tempo para startups. Além disso, aplicações como a Miaoya representam uma tendência que, no futuro, a necessidade de inferência superará a necessidade de treinamento, o que só tornará a computação em nuvem mais crítica para a sustentabilidade dos serviços de IA.
Sob tal posicionamento, o grande modelo do Alibaba Cloud é mais como uma continuação de uma ideia que o Alibaba sempre usou no passado - as melhores práticas. O seu pensamento é que só depois de ter realizado as tarefas mais complexas e testado a sua infraestrutura com ela poderá fornecer serviços e tecnologias mais fiáveis ao mundo exterior. E todos esses esforços são, em última análise, direcionados a um objetivo - promover a industrialização da IA.
Com esse objetivo em mente, o Alibaba Cloud também lançou o Alibaba Cloud Bailian, uma plataforma de desenvolvimento de aplicativos modelo de grande escala única. O Alibaba Cloud é um integrador sistemático e aberto.
O Alibaba Cloud disse que, com base nele, os desenvolvedores podem desenvolver um aplicativo modelo grande em 5 minutos e "refinar" um modelo específico da empresa em poucas horas. Depois de ajudar os desenvolvedores a escolher o modelo mais adequado, ele também fornece uma variedade de métodos de ajuste fino, como SFT e LoRA, permitindo que você ajuste seu modelo. Após a conclusão do treinamento, você também pode implantá-lo através do Alibaba Cloud com um clique. O desenvolvimento de aplicativos também é muito simplificado, e até mesmo os agentes mais recentes e outros plug-ins estão disponíveis para os usuários escolherem.
"Cada link e cada grupo de pessoas é uma parte importante de todo o ecossistema de desenvolvedores hoje." Zhou Jingren disse.
"Nosso objetivo é tornar o Alibaba Cloud a nuvem mais aberta, e esperamos que hoje o Alibaba Cloud possa não apenas atender um tipo de cliente, mas todos os nossos clientes hoje, todos os quais são mencionados de várias maneiras, possam efetivamente fornecer suporte na era da inteligência artificial e possam ajudá-los a inovar e fazer avanços em suas próprias áreas de especialização. Este é o nosso objetivo e uma reflexão por trás do design dos nossos produtos hoje. "
No "ideal um passo atrás" de hoje, o ecossistema de modelos animado não só precisa da nuvem no desenvolvimento real, mas também a inspiração da computação em nuvem para as empresas de tecnologia chinesas também é extremamente importante para os profissionais de IA e modelos de hoje.
O processo de desenvolvimento da computação em nuvem da China sempre teve um significado simbólico, ou seja, quando temos fortes talentos de desenvolvimento de tecnologia e as mais extensas necessidades de aplicação industrial, como compreender espontaneamente a tecnologia subjacente. E quando você está em uma certa desvantagem tecnológica, essas oportunidades só aparecerão quando o grande sistema de tecnologia estiver totalmente transformado.
Quando a nova revolução tecnológica vem novamente e a tecnologia subjacente precisa ser reconstruída novamente, a computação em nuvem tornou-se a confiança e o custo do modelo da China para continuar a lutar com seus pares avançados, e também é uma inspiração e alerta. Enquanto a indústria e as aplicações de IA estão a acelerar, ter a nossa própria base tecnológica de ponta, e formar uma relação aberta e de assistência mútua com base nela, tornar-se-á importante para todo o ecossistema progredir em conjunto, e também é importante lembrar-nos como compreender esta inovação tecnológica, e espera-se mesmo que se torne uma vantagem nesta competição com esforços contínuos.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Não olhe apenas para o grande modelo, o futuro da IA depende da nuvem como nunca antes
Fonte original: Silicon Star People
**Nuvem! **
Se você olhar para as reportagens da mídia sobre grandes modelos todos os dias, ficará deslumbrado com a variedade de modelos e as aplicações assustadoras de curta duração, pensando que o futuro dos modelos está no próximo modelo completo. Portanto, a IA parece ser uma história de OpenAI ou Anthropic vencendo.
O financiamento que foi concluído com incrível velocidade e volume parece comprovar essa perceção.
A Anthropic, que é considerada uma das maiores rivais da OpenAI, está em uma rodada de financiamento em um ciclo mensal de 2 bilhões - em 27 de outubro, o Google disse que investiu mais US$ 2 bilhões nela, menos de um mês depois que a Amazon investiu US$ 4 bilhões nela, e seu modelo Claude, que compete com recursos como comprimento de contexto, é considerado um dos concorrentes mais fortes do ChatGPT. Ao mesmo tempo, o OpenAI também está reunindo vários recursos, e por trás de cada movimento, SoftBank, Microsoft e Apple são todos rumores com ele de várias maneiras.
No entanto, na realidade, esta não é a história toda.
Para os praticantes, o outro lado da história é mais profundo:
Obviamente, é uma escolha melhor pegar os dólares daqueles investidores que têm mais dinheiro e menos para fazer, no entanto, todos eles escolhem grandes fábricas uma após a outra, e até mesmo grandes fábricas que estão de olho nelas, apenas por causa de uma coisa - elas têm recursos de computação em nuvem. A contribuição da OpenAI para o Microsoft Azure foi dita muitas vezes no caminho para o sucesso, e a Anthropic agora garante a si mesma o suporte de poder de computação em nuvem do Google e da Amazon ao mesmo tempo, e disse que um dos propósitos importantes do financiamento é construir uma garantia de poder de computação para si mesma para treinar a próxima geração de modelos.
Este é um excelente testemunho da necessidade da nuvem para modelos grandes.
O Alibaba Cloud anunciou alguns dos modelos que funcionam em cima de seus serviços, desde seu próprio modelo grande Tongyi, até Baichuan Intelligence, Zhipu AI, Zero One Everything, Kunlun Wanwei, vivo, Fudan University, etc., metade das grandes empresas e instituições de modelos da China são treinadas aqui.
Esses modelos principais na China também estão fornecendo serviços de API através do Alibaba Cloud, incluindo a série Tongyi, a série Baichuan, a série Zhipu AI ChatGLM, o modelo geral Jiang Ziya, etc.
Estes modelos alcançam o nível superior ao mesmo tempo, mas também começam a crescer suas próprias características, entre as quais uma das empresas de modelos mais importantes da China, Baichuan Intelligence, estabeleceu uma média de 28 dias para iterar uma versão do recorde de um modelo grande, ele 30 de outubro A última versão do Baichuan2-192K tornou-se o suporte mais longo do mundo para a janela de contexto do modelo grande, pode inserir 350.000 palavras de cada vez, liderando Claude2-100K.
Todas essas vantagens apontam para aplicações mais realistas. Wang Xiaochuan, CEO da Baichuan Intelligence, descreveu isso como "um passo mais lento do que o ideal e três passos mais rápido no solo". A infraestrutura em nuvem, por outro lado, oferece possibilidades rápidas.
Wang Xiaochuan introduziu que uma razão importante para a iteração mensal do modelo Baichuan é o suporte da computação em nuvem. "A rápida iteração e implantação do modelo é inseparável da computação em nuvem, e a Baichuan Intelligence e o Alibaba Cloud realizaram uma cooperação aprofundada. Com os esforços conjuntos de ambas as partes, Baichuan completou com sucesso a tarefa de treinamento do modelo quilocalórico grande, reduzindo efetivamente o custo de inferência do modelo e melhorando a eficiência da implantação do modelo. "
Outra razão pela qual a importância da computação em nuvem tem sido negligenciada é que o campo da IA tem sido distraído pela "falta de cartas para todos".
"As pessoas estão prestando muita atenção às GPUs." Muitos grandes profissionais de modelos me disseram que, como uma unidade de computação, ela é de fato constantemente aprimorada, mas para resolver o problema da IA, o que é necessário, em última análise, é uma solução sistemática e ótima de poder de computação. Mesmo a nuvem tem sido uma coisa que resolve o problema de uma única unidade não ser forte o suficiente desde a sua criação.
"Só o cartão, só o modelo incrível no papel, não é suficiente, e finalmente contar com a nuvem para pousar e depois realizar o ideal." Ele disse. Se você cuidadosamente furar os ouvidos e ouvir os "gritos" desses participantes reais na linha de frente da ecologia de modelos, então você pode ouvir uma palavra:
Nuvem!
Como o futuro da IA evolui depende da nuvem hoje mais do que nunca.
Uma nova nuvem
Mas isso definitivamente não significa que os fornecedores de nuvem que estabeleceram uma vantagem possam se deitar e vencer.
Basta dar uma olhada no que aconteceu depois que o Google e a Microsoft divulgaram recentemente seus relatórios de ganhos no mesmo dia.
Em 25 de outubro, o Google divulgou um relatório de lucros que superou as expectativas, com um aumento anual de 11%, e o negócio principal de publicidade também aumentou 9%. Mas então o preço das ações caiu. Só há uma razão, a computação em nuvem cresceu 22%, mas o mercado acredita que não é suficiente. Em particular, o relatório financeiro da Microsoft divulgado no mesmo dia mostrou que sua divisão de nuvem inteligente se tornou a maior fonte de receita.
Pela primeira vez, os gigantes estão se vendo marginalizados com negócios como publicidade, de que um dia falaram, porque a computação em nuvem é considerada uma métrica observável em comparação com a receita direta gerada por modelos que ainda são ilusórios. Por trás desse indicador está a capacidade dos fornecedores de nuvem de se adaptarem aos desafios trazidos pela IA.
Até mesmo a AWS, a participação de mercado número 1, está sentindo a pressão, e o investimento da Amazon na Anthropic também aconteceu durante esses relatórios de lucros. Foi relatado que 3% da receita do Azure da Microsoft vem da IA, e seus clientes incluem um grande número de usuários do OpenAI, e a AWS está começando a enfatizar seus serviços para vários modelos. Depois de lançar 2 bilhões na Anthropic, foi imediatamente anunciado que o LLM após a empresa modelo seria construído com o chip de aceleração de treinamento da AWS Trainium e o chip de inferência Inferentia. Além disso, como a nova solução de cluster destacada no relatório financeiro da Microsoft, e a Bedrock, um serviço de modelo básico totalmente gerenciado para a AWS, também estão enfatizando sua própria transformação para novas necessidades de IA.
De acordo com a introdução de Zhou Jingren, o Alibaba Cloud primeiro usou um modelo grande para se transformar, e mais de 30 produtos de nuvem foram conectados aos recursos do modelo grande.
Por exemplo, o DataWorks, plataforma de governança de big data do Alibaba Cloud, adicionou um novo formulário interativo, o Copilot, que permite aos usuários gerar instruções SQL com entrada em linguagem natural e executar automaticamente as operações ETL de dados correspondentes, melhorando a eficiência geral de desenvolvimento e análise em mais de 30%.
Zhou Jingren descreveu isso como um modo de condução autônoma da computação em nuvem, que melhorará muito a eficiência e a experiência dos desenvolvedores que usam a nuvem.
Ao mesmo tempo, o Alibaba Cloud também atualizou sua plataforma de inteligência artificial PAI. A camada subjacente do PAI usa a arquitetura de rede de cluster de IA de próxima geração HPN 7.0, suporta a escala escalável de clusters de até 100.000 cartões e a taxa de aceleração do treinamento distribuído em escala ultra-grande é tão alta quanto 96%, excedendo em muito o nível da indústria. Em grandes tarefas de treinamento de modelos, ele pode economizar mais de 50% dos recursos de computação, e o desempenho é líder mundial.
Esses termos profissionais são um pouco complexos, explicados por casos simples de clientes, e Zhou Jingren também compartilhou alguns casos no mesmo dia: "Através de nossa plataforma PAI, pode ajudar a otimizar o raciocínio, ajudar Xiaohongshu a economizar 30% dos custos e pode realmente promover o rápido crescimento dos negócios da Xiaohongshu, bem como uma variedade de necessidades de negócios." "
Os fornecedores de nuvem, incluindo o Alibaba Cloud, estão essencialmente descobrindo uma nova infraestrutura. As mudanças trazidas pelas tecnologias de IA, como modelos grandes, são full-stack, da camada inferior do modelo às ideias de treinamento, dos requisitos de dados à interface interativa, estão mudando e até precisam ser "refeitos".
O ponto de partida de todas as transformações do Alibaba Cloud é o MaaS (model as a Service) proposto por Zhou Jingren no início.
"O modelo em si é uma abstração de alto nível de dados e computação." Zhou Jingren disse em uma pequena conversa conosco naquele dia.
"Por exemplo, no passado, costumávamos usar mais dados de logs ou bancos de dados. Qual é o modelo? Um modelo é uma coleção processada de dados, que é uma abstração altamente intelectual. Então, deste ponto de vista, você pode pensar que os dados originais são um material de produção mais primitivo, contando com o poder de computação original. O modelo atual é uma camada de processamento, que é um elemento de produção mais abstrato baseado em matérias-primas de dados, e você pode usar esses elementos de produção para desenvolver sistemas de negócios de maior dimensão. Antes tínhamos a Infraestrutura, que era um elemento de produção, e hoje o modelo é também um elemento de produção. "
Essa nova infraestrutura em torno do modelo requer recursos de sistema mais complexos do que no passado.
Embora o limiar para aplicações de IA esteja a ficar cada vez mais baixo, o limiar para fornecer computação em nuvem que satisfaça as necessidades da nova era da IA só vai ficar cada vez mais alto. Para explorar essa coisa nova, é óbvio que você precisa dominar a tecnologia central da computação em nuvem, e você precisa ter uma compreensão real da tecnologia de grandes modelos - você sabe o que você tem, e você sabe o que seus clientes precisam.
"Com base em nosso acúmulo em computação em nuvem, construímos uma infraestrutura completa de IA. Através da série atual de otimizações em rede, armazenamento, programação, compilação, tolerância a falhas e assim por diante. Estabelecemos uma plataforma de treinamento completa para modelos grandes de IA. Zhou Jingren disse. Ao mesmo tempo, através de uma série de otimizações combinadas com a alta elasticidade da própria nuvem, podemos fornecer um serviço de inferência e treinamento de modelo muito completo. "
No mesmo dia, o Alibaba Cloud também lançou o modelo de parâmetros de nível 100 bilhões auto-desenvolvido Tongyi Qianwen 2.0.
Ao mesmo tempo, o site oficial do modelo Tongyi foi totalmente atualizado, adicionando interação multimodal e funções de plug-in, que permitem aos usuários interagir com o Tongyi Qianwen 2.0 através de imagens, e também chamar novos recursos de plug-in mais ricos.
Zhou Jingren disse: "Tongyi Qianwen 2.0 é mais maduro e mais fácil de usar."
Abrir, Abrir ou Abrir
Com uma transformação tão abrangente, levanta-se naturalmente a questão de saber se tanto o modelo como a infraestrutura acabarão por se tornar uma situação em que você é um árbitro e um atleta.
A resposta dada pelo Alibaba Cloud é a máxima abertura.
O Alibaba Cloud é a primeira empresa de tecnologia na China a abrir modelos de grande porte autodesenvolvidos e, atualmente, o Alibaba Cloud tem versões de código aberto Tongyi Qianwen 7B e 14B, com mais de um milhão de downloads. No local, Zhou Jingren anunciou que o modelo Tongyi Qianwen 72B será de código aberto em breve, e se tornará o maior modelo de código aberto na China.
Na verdade, esse tipo de abertura não é algo que acontecerá depois do ChatGPT. Na Conferência Apsara há um ano, o Alibaba Cloud começou a construir um modelo de construção mágica da comunidade, na verdade, o primeiro lote de código aberto naquela época era o próprio modelo central do Alibaba Cloud. Naquela época, o plano da Moda era usar o Alibaba Cloud para entregar as coisas na parte inferior da caixa para levar todos a mudar o estado fechado da IA no passado e usar a abertura para realmente torná-la acessível ao público.
Zhou Jingren revelou que a comunidade reuniu mais de 2.300 modelos de IA hoje, atraiu 2,8 milhões de desenvolvedores de IA e o número de downloads de modelos de IA ultrapassou 100 milhões, tornando-se a maior e mais ativa comunidade de IA na China. Esta conquista é o reconhecimento mais direto da sua abertura ao mundo exterior.
"Nosso posicionamento hoje é atender uma variedade de clientes com diferentes necessidades." Zhou Jingren disse.
No ecossistema Alibaba Cloud, há um supercomputador construído em conjunto com a Universidade Fudan, que suporta treinamento de grandes modelos com centenas de bilhões de parâmetros e está entre os 15 melhores do mundo em termos de poder de computação geral. O cluster de computação por trás dele é composto por Jinsi No. 1 no campus Fudan e Qiewen No. 1 no data center Ulanqab do Alibaba Cloud a 1.500 quilômetros de distância.
A vivo desenvolveu grandes modelos, desde poder de computação, funções de plataforma, desempenho de treinamento, etc., até a estrutura de otimização de treinamento da plataforma de inteligência artificial PAI do Alibaba Cloud em termos de supervisão SFT e ajuste fino de grandes modelos e aprendizagem de reforço, vivo e Alibaba Cloud cooperam para iterar grandes modelos de forma mais eficiente.
Há também a popular "Wonderful Duck Camera", cuja geração de fotos requer pelo menos alguns milhares de servidores GPU no nível de pico, e a implantação offline é impraticável, e a implantação em nuvem pode economizar muito custo e tempo para startups. Além disso, aplicações como a Miaoya representam uma tendência que, no futuro, a necessidade de inferência superará a necessidade de treinamento, o que só tornará a computação em nuvem mais crítica para a sustentabilidade dos serviços de IA.
Sob tal posicionamento, o grande modelo do Alibaba Cloud é mais como uma continuação de uma ideia que o Alibaba sempre usou no passado - as melhores práticas. O seu pensamento é que só depois de ter realizado as tarefas mais complexas e testado a sua infraestrutura com ela poderá fornecer serviços e tecnologias mais fiáveis ao mundo exterior. E todos esses esforços são, em última análise, direcionados a um objetivo - promover a industrialização da IA.
Com esse objetivo em mente, o Alibaba Cloud também lançou o Alibaba Cloud Bailian, uma plataforma de desenvolvimento de aplicativos modelo de grande escala única. O Alibaba Cloud é um integrador sistemático e aberto.
"Cada link e cada grupo de pessoas é uma parte importante de todo o ecossistema de desenvolvedores hoje." Zhou Jingren disse.
"Nosso objetivo é tornar o Alibaba Cloud a nuvem mais aberta, e esperamos que hoje o Alibaba Cloud possa não apenas atender um tipo de cliente, mas todos os nossos clientes hoje, todos os quais são mencionados de várias maneiras, possam efetivamente fornecer suporte na era da inteligência artificial e possam ajudá-los a inovar e fazer avanços em suas próprias áreas de especialização. Este é o nosso objetivo e uma reflexão por trás do design dos nossos produtos hoje. "
No "ideal um passo atrás" de hoje, o ecossistema de modelos animado não só precisa da nuvem no desenvolvimento real, mas também a inspiração da computação em nuvem para as empresas de tecnologia chinesas também é extremamente importante para os profissionais de IA e modelos de hoje.
Quando a nova revolução tecnológica vem novamente e a tecnologia subjacente precisa ser reconstruída novamente, a computação em nuvem tornou-se a confiança e o custo do modelo da China para continuar a lutar com seus pares avançados, e também é uma inspiração e alerta. Enquanto a indústria e as aplicações de IA estão a acelerar, ter a nossa própria base tecnológica de ponta, e formar uma relação aberta e de assistência mútua com base nela, tornar-se-á importante para todo o ecossistema progredir em conjunto, e também é importante lembrar-nos como compreender esta inovação tecnológica, e espera-se mesmo que se torne uma vantagem nesta competição com esforços contínuos.