O mais recente padrão da plataforma de IA da China é lançado! A pontuação abrangente do Baidu é o primeiro, o segundo escalão é ferozmente competitivo e o modelo grande acelera a evolução dos fornecedores de nuvem
A tendência dos grandes modelos trouxe centenas de milhões de "pequenos choques" a tudo o que lhe está relacionado.
Uma plataforma de IA/ML é uma delas.
Está intimamente relacionado com a tendência de grandes modelos e pode refletir diretamente o nível de reservas de P&D de tecnologia de IA dos principais fornecedores de nuvem, bem como a capacidade de perceção e compreensão das últimas tendências.
Quem é mais forte? Está a ser falado pela indústria.
Sob as mudanças drásticas no vento tecnológico, as plataformas de IA/ML também têm novos padrões de avaliação.
O mais recente "First Chinese Artificial Intelligence/Machine Learning Platform Report" da Forrester, divulgado pela autoridade internacional, fornece uma referência oportuna.
A Forrester Research é uma empresa independente de tecnologia e pesquisa de mercado que publica relatórios temáticos altamente reconhecidos na China e em todo o mundo.
The Forrester Wave, publicado bienalmente, é o tipo de relatório mais influente da Forrester.
O relatório entrevistou 14 fornecedores de nuvem mainstream no mercado doméstico, incluindo Baidu Intelligent Cloud, Alibaba Cloud, Huawei Cloud, Tencent Cloud, etc., e os avaliou a partir de três aspetos: capacidades do produto, planejamento estratégico e desempenho do mercado.
Com base em uma avaliação abrangente de 25 segmentos, a Forrester divide os 14 principais fornecedores em quatro quadrantes: Líderes, Top Performers, Contenders e Challengers.
Vamos dar uma olhada nos destaques específicos.
Que novos padrões trazem as novas tendências
Comecemos pelas principais conclusões do relatório.
Neste gráfico de quadrantes, o nível estratégico é o eixo horizontal, a capacidade do produto é o eixo vertical, e é dividido em quatro quadrantes: líderes, excelentes executantes, concorrentes e desafiantes, e também reflete o desempenho de mercado de cada empresa.
A distribuição dos quadrantes é a seguinte:
Líderes (2), Top Performers (5), Concorrentes (4), Challengers (3).
No primeiro escalão estão Baidu Intelligent Cloud e Alibaba Cloud. Entre eles, o Baidu Intelligent Cloud teve um desempenho brilhante e conquistou o primeiro lugar na pontuação abrangente.
O segundo escalão é o mais competitivo, com 5 vendedores numa posição muito compacta no quadrante.
A conclusão acima é o resultado de 25 avaliações conduzidas pela Forrester.
Além de resolver o atual cenário competitivo das plataformas de IA/ML no mercado chinês, a Forrester propôs ainda uma nova referência padrão para avaliar as plataformas de IA/ML.
Os três pontos seguintes são os mais críticos:
Cadeia de ferramentas abrangente
Acelerador fácil de usar
Modelo Ops em escala
Porquê?
A Forrester acredita que, sob a influência da IA generativa e das grandes tendências de modelos, as aplicações de IA estão se tornando mais importantes para promover a produtividade e acelerar a inovação empresarial.
No mercado chinês de hoje, as empresas precisam urgentemente de uma plataforma de IA/ML que possa resolver problemas complexos dentro de seu próprio ambiente de negócios.
Para atender à demanda do mercado, os três aspetos mencionados acima são indispensáveis.
Primeiro, deve haver uma cadeia de ferramentas que forneça gerenciamento de dados, treinamento de modelos e recursos de desenvolvimento de aplicativos de IA. **
Este é também o núcleo da plataforma de IA/ML.
A Forrester propõe que o lado da plataforma não deve apenas prestar atenção às principais ferramentas na construção de modelos, treinamento e avaliação, mas também prestar atenção às ferramentas necessárias para o desenvolvimento de aplicativos de IA.
Por exemplo, frameworks de IA e notebooks para profissionais; Ferramentas visuais low-code para pessoas de negócios.
Além disso, as ferramentas de gerenciamento de dados também têm um impacto significativo na construção de modelos.
Em segundo lugar, fornece um acelerador fácil de usar para a indústria. **
A Forrester aponta que a maioria das empresas no mercado nacional carece de engenheiros que entendam tanto os algoritmos de IA quanto o conhecimento de negócios, o que dificulta a adaptação dos algoritmos às suas necessidades de negócios.
No momento, eles estão adotando a "pose" da tendência do modelo grande, usando o modelo grande para ajuste fino, ou fazendo engenharia rápida.
Portanto, ferramentas de aceleração que podem acelerar a construção de modelos de IA e o desenvolvimento de aplicativos são muito importantes. Ferramentas de visualização, desenvolvimento low-code e muito mais podem acelerar ainda mais a inovação.
Em terceiro lugar, acelerar a implementação de modelos de grande escala através de operações de modelos em grande escala. **
O Model Ops inclui implantação, monitoramento, atualização e automação de modelos, que podem resolver problemas como desvio de modelo, degradação de desempenho, manutenção de segurança e atualizações de modelo, além de fornecer testes A/B, ajuste automático e retreinamento de modelos.
À medida que as empresas adotam a tendência de modelos grandes, as plataformas de IA/ML com operações de modelos em grande escala podem ajudar melhor as empresas a desenvolver, implantar e gerenciar modelos de IA, promover ainda mais a transformação digital empresarial, reduzir custos e aumentar a eficiência.
Em resumo, para que uma plataforma de IA/ML se torne líder na nova tendência, ela precisa fornecer ferramentas fáceis de usar, atender às necessidades do setor e acelerar a adoção da IA pelas empresas.
E quais capacidades são mais específicas a serem possuídas, temos que analisar a partir dos líderes atuais.
Como chegar ao quadrante dos Líderes? **
Neste relatório da Forrester, o desempenho do Baidu Intelligent Cloud é atraente.
É o único fornecedor de nuvem a entrar no quadrante "Líder", e também ganhou o primeiro lugar na pontuação geral e o primeiro lugar nas pontuações de 9 subdivisões.
Em termos de recursos do produto, o Baidu Intelligent Cloud está no nível líder em quatro subdivisões: dados, treinamento, raciocínio preditivo e aplicação.
Ao mesmo tempo, em termos de dimensão estratégica e dimensão do mercado, a Baidu também conquistou o primeiro lugar em muitos destes projetos.
A Forrester descreve o Baidu Intelligent Cloud como "um dos pioneiros do modelo básico da China":
Baidu Intelligent Cloud incorpora a família ERNIE de modelos de fundação em um portfólio com um sólido roteiro de produtos, e seu ecossistema ativo em torno do PaddlePaddle é uma maneira eficaz de envolver desenvolvedores de IA para co-inovar.
Seus recursos específicos vêm da plataforma de IA da Baidu, e seus produtos incluem BML, EasyDL e a plataforma de modelo inteligente de nuvem Qianfan da Baidu.
Tomando a plataforma inteligente de IA em nuvem da Baidu como exemplo, podemos analisar mais especificamente quais recursos a atual plataforma de IA/ML deve ter se quiser ocupar uma posição de liderança no mercado.
De acordo com as dimensões do relatório da Forrester, as capacidades específicas podem ser divididas em cinco aspetos: dados, treinamento, raciocínio preditivo, aplicação e arquitetura. Estes são também os cinco elementos centrais no desenvolvimento e aplicação de modelos de IA.
**Vamos começar com os dados. **
Na parte de processamento de dados, a plataforma de IA da Baidu pode processar dados estruturados e não estruturados.
Mais de 65 tipos de visualizações de dados são suportados, incluindo gráficos circulares, mapas de calor, gráficos de dispersão, mapas e muito mais. Ele suporta 10+ tipos de componentes de filtro, e os usuários só precisam fazer uma configuração simples e arrastar e soltar para obter monitoramento de dados em tempo real e tomada de decisão auxiliar.
Ao mesmo tempo, também suporta anotações de formato de dados 30+, melhorando a eficiência do link de anotação com a mão de obra mais concentrada no processo de modelagem.
Vale a pena mencionar que a plataforma de IA Baidu forneceanotação de aprendizagem ativacapacidade, o sistema pode analisar diretamente o padrão de imagens do conjunto de dados, filtrar automaticamente as imagens mais críticas e solicitar anotação limitada.
Por exemplo, se houver 10.000 imagens que precisam ser rotuladas, o sistema colocará as imagens características na frente e as repetitivas atrás, de modo que apenas as primeiras 3.000 imagens serão marcadas e as últimas 7.000 imagens poderão ser marcadas automaticamente.
De acordo com relatórios, este método pode economizar 70-90% de mão de obra para usuários corporativos em média. A proporção de trabalho humano na "inteligência artificial" foi drasticamente reduzida.
Além disso, em termos de engenharia de recursos, a plataforma de IA da Baidu integra a capacidade de gerenciamento de banco de dados de recursos de nível profissional**, fornecendo funções como adição de recursos, exclusão, modificação e consulta, produção de recursos, compartilhamento de recursos, gerenciamento de versões de recursos e verificação de dados.
Diferentes formas de dados em lote e streaming são suportadas para serviços de previsão, o que pode garantir que as características do modelo sejam consistentes durante o treinamento e a previsão final, o que está diretamente relacionado à precisão do modelo.
Os recursos acima são refletidos em números específicos, e o relatório da Forrester dá à plataforma de IA da Baidu uma pontuação de 5 de 5 (de uma pontuação) para seus recursos de dados, significativamente à frente de outros fornecedores.
**O segundo é o treinamento modelo. **
Este é um dos aspetos mais óbvios da última tendência em termos de procura do mercado, que se destina não só a programadores profissionais, mas também a empresários que não são especializados em algoritmos de IA, pelo que exige que a plataforma de IA/ML que fornece capacidades seja fácil de usar e flexível.
Consulte a prática da plataforma de IA do Baidu.
Por um lado, atribui importância à "amplitude" e apoia a modelagem e o treinamento de uma variedade de dados, como imagens, vídeos, texto e fala.
O método de modelagem também é muito flexível, suportando uma variedade de métodos de modelagem, como desenvolvimento de notebook/WebIDE, desenvolvimento visual drag-and-drop, ajuste de parâmetros de script, trabalhos personalizados, etc., que podem completar o desenvolvimento personalizado de modelos de alta precisão para pessoas com diferentes níveis profissionais.
Do outro lado está a "profundidade". Com o apoio de sua própria equipe de algoritmos de remo, a plataforma de IA da Baidu fez uma otimização profunda de um grande número de operadores de cena. Incluindo classificação de imagem, deteção de objetos, classificação de texto, anotação de sequência, etc.
Por exemplo, o PP YOLO, que é profundamente otimizado com base no operador Paddle, superou o benchmark YOLO V3 no campo da deteção de objetos.
A facilidade de uso também é um grande foco. Na plataforma Baidu AI, a modelagem de código zero e a modelagem visual podem ser realizadas. No primeiro, os usuários só precisam carregar dados e selecionar um tipo para iniciar a modelagem. Este último pode montar um processo de modelagem arrastando e soltando os componentes e definindo os parâmetros de cada peça.
Além disso, a quantidade de computação de IA está aumentando pelo menos 10 vezes por ano, e a capacidade de ajustar os recursos de tarefas no treinamento de aprendizagem profunda tornou-se particularmente importante. A plataforma de IA da Baidu suporta treinamento distribuído multi-máquina e multi-cartão, e fornece uma variedade de tipos de recursos de computação.
Além disso, a própria Baidu tem uma rica experiência no treinamento de modelos supergrandes, e pode integrar suas próprias capacidades em modelos visuais grandes, IA generativa, etc. Por exemplo, a pesquisa automática de hiperparâmetros, o processamento automático de dados desequilibrados e o pré-treinamento em grande escala podem ser realizados.
Como resultado, na plataforma Baidu AI, você também pode ver muitas ferramentas de desenvolvimento para melhorar a eficiência da programação.
A terceira dimensão da competência é o raciocínio. **
Com o desenvolvimento de grandes modelos, o mercado de inferência se expandirá ainda mais e até crescerá exponencialmente, o que coloca grandes desafios às plataformas de IA/ML.
Do ponto de vista da plataforma de IA da Baidu, eles se concentram principalmente na eficiência do desenvolvimento, otimização de desempenho, flexibilidade e amplitude.
Seu módulo de inferência, Model Serve, suporta 16 estruturas de IA, incluindo os mais comuns Paddle, Tensor Flow e PyTorch, bem como Matlab/R para computação científica e Xg boost para aprendizado de máquina.
Em termos de otimização de desempenho, um agendador de inferência assíncrono é diretamente abstraído na camada de agendamento para alcançar trabalhadores de inferência heterogêneos, melhorando o desempenho de todo o servidor e a utilização da GPU em mais de 1 vez.
Ao mesmo tempo, suporta processamento automático em lote, classifica tarefas de diferentes comprimentos e compila tarefas de tamanhos semelhantes no mesmo lote para fazer pleno uso de recursos heterogêneos, o que pode melhorar a eficiência em 70% com base na dissociação assíncrona.
A quarta área a focar é a aplicação. **
A aplicação no relatório examina principalmente a eficiência da aplicação de cada plataforma.
Ou seja, como usar os recursos existentes para transformar rapidamente os dados em produtividade empresarial.
A plataforma de IA da Baidu pode fornecer recursos de gerenciamento de ciclo de vida completo para o processo de desenvolvimento de IA, desde a coleta e limpeza de dados até o desenvolvimento e treinamento de modelos, gerenciamento de modelos e gerenciamento de serviços de inferência em nuvem e offline.
Vale ressaltar que a plataforma de IA Baidu é a primeira plataforma na China a atingir o nível principal do padrão MLOps da Academia de Tecnologia da Informação e Comunicação.
Atualmente, os recursos da plataforma de IA da Baidu foram exportados para setores como finanças, energia e transporte. Servindo Shanghai Pudong Development Bank, Banco de Pequim, bem como State Grid, China Southern Power Grid, etc.
Em 2022, o número de usuários pagantes de nuvem pública da plataforma inteligente de IA em nuvem da Baidu aumentará em 49%, o número de clientes privatizados aumentará em 32% e o número de desenvolvedores aumentará em 1,228 milhão, com uma taxa de crescimento de cerca de 40%; A taxa de recompra tem aumentado ano após ano, e a taxa de recompra nos principais setores atingiu 50%.
Finalmente, em termos de arquitetura, o projeto de arquitetura da plataforma de IA da Baidu recebeu uma pontuação completa na pontuação da Forrester.
Se pode ser resumido em uma frase, a plataforma de IA do Baidu atingiu o nível de "líder", ou seja, o fez:
Existem muitos algoritmos, ferramentas, operação rápida, bons resultados, e também economiza servidores e mão de obra, garantindo segurança e facilidade de uso.
Através da análise das capacidades gerais da plataforma de IA da Baidu, não é difícil descobrir que muitas dessas ferramentas e ideias estão em linha com as novas necessidades da atual tendência de grandes modelos.
Na verdade, no contexto de mudanças drásticas na direção da tecnologia, não é apenas a tendência de ajustar a arquitetura existente para se adaptar às mudanças na demanda, mas também propor novas maneiras de lidar com ela.
Na era dos grandes modelos, o novo padrão de competição da IA na nuvem foi preliminarmente determinado
Então, com o impacto da onda de grandes modelos, que novas mudanças ocorreram na demanda do mercado por plataformas de IA / ML?
No passado, muitos modelos de CV e PNL eram chamados de SOTA, mas ainda eram mais frequentemente usados em negócios não essenciais na indústria. Agora, com sua incrível capacidade de subverter fluxos de trabalho tradicionais, grandes modelos estão começando a ser reconhecidos cada vez mais, e são considerados a chave para quebrar o gargalo da inteligência em vários setores.
No entanto, para os fornecedores de nuvem, isso não significa que a era dos modelos grandes esteja "começando do zero" na era dos modelos pequenos.
De fato, com o aprofundamento da aplicação de grandes modelos, áreas técnicas como agentes têm atraído cada vez mais atenção. O núcleo reside no fato de que o modelo grande é baseado em suas próprias capacidades e conecta o modelo pequeno com programação madura para resolver o problema em aplicações práticas, o que é considerado mais rápido e valioso no cenário de produção.
Portanto, na "nova era" aberta pelos grandes modelos, para os "líderes" das plataformas de IA/ML, a acumulação técnica na era dos pequenos modelos e a inovação tecnológica na era dos grandes modelos são complementares e indispensáveis.
A plataforma de IA da Baidu na "nova era" entregou a folha de respostas - Baidu Intelligent Cloud Qianfan Large Model Platform é um exemplo.
Como uma plataforma de modelo grande de nível empresarial única, a Baidu Intelligent Cloud Qianfan Platform é essencialmente o produto da profunda acumulação da Baidu na camada de chip, camada de estrutura, camada de modelo e camada de aplicação.
Está consubstanciado em cinco aspetos:
Primeiro, no nível do poder de computação, a plataforma inteligente de nuvem Qianfan da Baidu pode fornecer serviços de computação heterogêneos eficientes e econômicos.
No processo de treinamento de modelo grande, através da estratégia de treinamento paralelo distribuído e recursos de interconexão de nível de microssegundo, a taxa de aceleração do treinamento de cluster em escala de 10.000 cartões na plataforma Baidu Qianfan pode chegar a 95%. Ao mesmo tempo, o tempo de treinamento efetivo do cluster Vanka pode chegar a 96%, o que reduz muito o custo de poder de computação e tempo.
Em segundo lugar, no nível modelo, a plataforma Baidu Qianfan gerenciou 44 modelos grandes mainstream no país e no exterior, incluindo o modelo grande Wenxin, a série Llama, o ChatGLM, etc., e suporta os usuários a chamar rapidamente APIs e obter diretamente recursos de modelo grande.
Para modelos grandes de terceiros, a plataforma Baidu Qianfan também foi otimizada de forma direcionada, incluindo aprimoramento chinês, aprimoramento de desempenho, aprimoramento de contexto e assim por diante.
A Baidu revelou que o número de chamadas de API de grandes modelos na plataforma Qianfan da Baidu continua a aumentar em alta velocidade. Atualmente, a plataforma Baidu Qianfan já atendeu mais de 20.000 clientes.
Em terceiro lugar, para os clientes que desejam realizar o desenvolvimento secundário com base em modelos grandes existentes, a plataforma Baidu Qianfan fornece uma cadeia de ferramentas de ciclo de vida completo para o retreinamento, ajuste fino, avaliação e implantação de modelos grandes, bem como 41 conjuntos de dados de alta qualidade, que podem realizar otimização rápida de modelos para cenários de negócios específicos.
Em quarto lugar, no nível de aplicação, em resposta às necessidades das empresas de desenvolver aplicações nativas de IA baseadas em grandes modelos, a plataforma Baidu Qianfan fornece uma série de componentes e estruturas de capacidade.
Por exemplo, há 226 modelos integrados, para que os desenvolvedores possam melhorar rapidamente a qualidade das respostas de modelos grandes, mesmo que não estejam familiarizados com a engenharia imediata.
Na Conferência Mundial Baidu em 17 de outubro, a Baidu Intelligent Cloud também lançou o "Baidu Qianfan AI Native Application Development Workbench". Especificamente, essa "bancada de trabalho" consiste em duas partes: componentes de aplicativos + estruturas de aplicativos.
**Os serviços de componentes de aplicativos são compostos por dois componentes: IA e nuvem básica. **
Entre eles, o componente de IA, ou seja, o encapsulamento baseado em componentes de grandes capacidades de modelo, inclui grandes componentes de modelo de linguagem, como Perguntas e Respostas e Cadeia de Pensamento (CoT), bem como componentes multimodais, como diagrama de Wensheng e reconhecimento de fala.
Os componentes básicos da nuvem incluem serviços de nuvem tradicionais, como bancos de dados vetoriais e armazenamento de objetos.
A estrutura de aplicação é orientada para tarefas de cenário específicas, que podem ser entendidas como uma combinação eficaz dos componentes de aplicação acima com base nas capacidades de modelos grandes.
Atualmente, a plataforma Baidu Qianfan fornece estruturas de aplicativos nativos de IA comumente usadas, como Retrieval Enhanced Generation (RAG) e Agent.
Entre eles, a estrutura RAG pode combinar o conhecimento no domínio proprietário da empresa com a capacidade de perguntas e respostas do grande modelo para dar respostas mais precisas ao conhecimento profissional.
Com base nesta estrutura RAG, a Sany Heavy Industry rapidamente percebeu o desenvolvimento e lançamento do aplicativo inteligente de atendimento ao cliente no site oficial.
Shen Dou, vice-presidente executivo do Baidu Group e presidente do Baidu Intelligent Cloud Business Group, revelou que, mesmo que você precise processar milhares de documentos de longa duração, o custo de construir um "pequeno assistente" é de apenas algumas centenas de yuans; Depois disso, o custo de cada informação para os utilizadores é de apenas alguns cêntimos.
Com base na estrutura do agente, o modelo grande pode desmontar automaticamente as tarefas dadas por humanos, planejar e chamar automaticamente vários componentes para concluir as tarefas de forma colaborativa e, ao mesmo tempo, fornecer autofeedback de acordo com o efeito de conclusão da tarefa para melhorar suas próprias capacidades.
Atualmente, com base nesta estrutura de agentes, a Zhongtian Iron and Steel construiu um "centro de agendamento empresarial" inteligente para realizar a perceção, decomposição e execução automáticas de instruções de tarefas.
Por exemplo, quando se constata que a produção de aço não está de acordo com o padrão, o modelo grande pode ligar automaticamente para vários recursos e APIs gerenciados pela plataforma para descobrir o motivo da não conformidade, ajustar o cronograma de produção a tempo e enviar um e-mail para notificar o despachante.
Por fim, a Baidu Qianfan também lançou a "AI Native App Store", que conecta o lado da oferta e o lado da demanda de aplicativos nativos de IA, e fornece um local de encontro para oportunidades de negócios de modelos em grande escala.
Não é difícil ver que, por um lado, o rápido lançamento da plataforma inteligente de modelos de nuvem Qianfan da Baidu se beneficia do desenvolvimento da própria tecnologia de modelo grande da Baidu; Por outro lado, os recursos de produto acumulados pela plataforma de IA da Baidu ao longo dos anos, bem como sua rica experiência prática na indústria, fizeram com que a plataforma Qianfan da Baidu assumisse a liderança em desempenhar um papel eficaz no lado da aplicação.
De acordo com dados da IDC, o mercado de serviços de nuvem pública de IA da China mostrará um crescimento positivo de 80,6% em 2022, com o tamanho geral do mercado atingindo 7,97 bilhões de yuans.
A análise da IDC acredita que a implementação de IA generativa e grandes modelos está atualmente em sua infância, e esses recursos podem ser atualizados e iterados mais rapidamente na nuvem pública, o que trará benefícios significativos para os serviços de nuvem pública de IA no curto prazo.
O Gartner também aponta que a IA generativa é impulsionada por grandes modelos, o que apresenta os requisitos para uma infraestrutura de computação robusta e altamente escalável. "A nuvem fornece a solução e a plataforma perfeitas, e os principais participantes na corrida da IA generativa devem ser os principais fornecedores de nuvem."
Combinado com o último relatório da Forrester, pode-se ver que, para os fornecedores de nuvem, os serviços de nuvem de IA se tornaram o novo foco da concorrência.
E como medir a competitividade, agora os critérios de avaliação são gradualmente claros.
Em última análise, há dois aspetos centrais:
Em primeiro lugar, do ponto de vista de desenvolvedores e usuários corporativos, é se a capacidade da plataforma de serviços de nuvem de IA pode realmente resolver de forma rentável os problemas práticos enfrentados por negócios complexos, bem como a escassez de talentos profissionais no processo de atualização inteligente, especialmente sob a onda de grandes modelos.
Em segundo lugar, do ponto de vista das tendências tecnológicas, está mais estreitamente integrado com grandes modelos.
O layout da plataforma de IA da Baidu pode ser considerado como uma resposta de referência dada pelos principais fornecedores de nuvem de IA nas últimas mudanças no cenário competitivo.
Quanto aos resultados? Em mais casos de pouso, você pode ver o capítulo real.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
O mais recente padrão da plataforma de IA da China é lançado! A pontuação abrangente do Baidu é o primeiro, o segundo escalão é ferozmente competitivo e o modelo grande acelera a evolução dos fornecedores de nuvem
Fonte: Qubits
A tendência dos grandes modelos trouxe centenas de milhões de "pequenos choques" a tudo o que lhe está relacionado.
Uma plataforma de IA/ML é uma delas.
Está intimamente relacionado com a tendência de grandes modelos e pode refletir diretamente o nível de reservas de P&D de tecnologia de IA dos principais fornecedores de nuvem, bem como a capacidade de perceção e compreensão das últimas tendências.
Quem é mais forte? Está a ser falado pela indústria.
O mais recente "First Chinese Artificial Intelligence/Machine Learning Platform Report" da Forrester, divulgado pela autoridade internacional, fornece uma referência oportuna.
A Forrester Research é uma empresa independente de tecnologia e pesquisa de mercado que publica relatórios temáticos altamente reconhecidos na China e em todo o mundo.
The Forrester Wave, publicado bienalmente, é o tipo de relatório mais influente da Forrester.
Com base em uma avaliação abrangente de 25 segmentos, a Forrester divide os 14 principais fornecedores em quatro quadrantes: Líderes, Top Performers, Contenders e Challengers.
Vamos dar uma olhada nos destaques específicos.
Que novos padrões trazem as novas tendências
Comecemos pelas principais conclusões do relatório.
Neste gráfico de quadrantes, o nível estratégico é o eixo horizontal, a capacidade do produto é o eixo vertical, e é dividido em quatro quadrantes: líderes, excelentes executantes, concorrentes e desafiantes, e também reflete o desempenho de mercado de cada empresa.
Líderes (2), Top Performers (5), Concorrentes (4), Challengers (3).
No primeiro escalão estão Baidu Intelligent Cloud e Alibaba Cloud. Entre eles, o Baidu Intelligent Cloud teve um desempenho brilhante e conquistou o primeiro lugar na pontuação abrangente.
O segundo escalão é o mais competitivo, com 5 vendedores numa posição muito compacta no quadrante.
A conclusão acima é o resultado de 25 avaliações conduzidas pela Forrester.
Além de resolver o atual cenário competitivo das plataformas de IA/ML no mercado chinês, a Forrester propôs ainda uma nova referência padrão para avaliar as plataformas de IA/ML.
Os três pontos seguintes são os mais críticos:
Porquê?
A Forrester acredita que, sob a influência da IA generativa e das grandes tendências de modelos, as aplicações de IA estão se tornando mais importantes para promover a produtividade e acelerar a inovação empresarial.
No mercado chinês de hoje, as empresas precisam urgentemente de uma plataforma de IA/ML que possa resolver problemas complexos dentro de seu próprio ambiente de negócios.
Para atender à demanda do mercado, os três aspetos mencionados acima são indispensáveis.
Primeiro, deve haver uma cadeia de ferramentas que forneça gerenciamento de dados, treinamento de modelos e recursos de desenvolvimento de aplicativos de IA. **
Este é também o núcleo da plataforma de IA/ML.
A Forrester propõe que o lado da plataforma não deve apenas prestar atenção às principais ferramentas na construção de modelos, treinamento e avaliação, mas também prestar atenção às ferramentas necessárias para o desenvolvimento de aplicativos de IA.
Por exemplo, frameworks de IA e notebooks para profissionais; Ferramentas visuais low-code para pessoas de negócios.
Além disso, as ferramentas de gerenciamento de dados também têm um impacto significativo na construção de modelos.
A Forrester aponta que a maioria das empresas no mercado nacional carece de engenheiros que entendam tanto os algoritmos de IA quanto o conhecimento de negócios, o que dificulta a adaptação dos algoritmos às suas necessidades de negócios.
No momento, eles estão adotando a "pose" da tendência do modelo grande, usando o modelo grande para ajuste fino, ou fazendo engenharia rápida.
Portanto, ferramentas de aceleração que podem acelerar a construção de modelos de IA e o desenvolvimento de aplicativos são muito importantes. Ferramentas de visualização, desenvolvimento low-code e muito mais podem acelerar ainda mais a inovação.
O Model Ops inclui implantação, monitoramento, atualização e automação de modelos, que podem resolver problemas como desvio de modelo, degradação de desempenho, manutenção de segurança e atualizações de modelo, além de fornecer testes A/B, ajuste automático e retreinamento de modelos.
À medida que as empresas adotam a tendência de modelos grandes, as plataformas de IA/ML com operações de modelos em grande escala podem ajudar melhor as empresas a desenvolver, implantar e gerenciar modelos de IA, promover ainda mais a transformação digital empresarial, reduzir custos e aumentar a eficiência.
E quais capacidades são mais específicas a serem possuídas, temos que analisar a partir dos líderes atuais.
Como chegar ao quadrante dos Líderes? **
Neste relatório da Forrester, o desempenho do Baidu Intelligent Cloud é atraente.
É o único fornecedor de nuvem a entrar no quadrante "Líder", e também ganhou o primeiro lugar na pontuação geral e o primeiro lugar nas pontuações de 9 subdivisões.
Em termos de recursos do produto, o Baidu Intelligent Cloud está no nível líder em quatro subdivisões: dados, treinamento, raciocínio preditivo e aplicação.
Ao mesmo tempo, em termos de dimensão estratégica e dimensão do mercado, a Baidu também conquistou o primeiro lugar em muitos destes projetos.
Seus recursos específicos vêm da plataforma de IA da Baidu, e seus produtos incluem BML, EasyDL e a plataforma de modelo inteligente de nuvem Qianfan da Baidu.
Tomando a plataforma inteligente de IA em nuvem da Baidu como exemplo, podemos analisar mais especificamente quais recursos a atual plataforma de IA/ML deve ter se quiser ocupar uma posição de liderança no mercado.
De acordo com as dimensões do relatório da Forrester, as capacidades específicas podem ser divididas em cinco aspetos: dados, treinamento, raciocínio preditivo, aplicação e arquitetura. Estes são também os cinco elementos centrais no desenvolvimento e aplicação de modelos de IA.
**Vamos começar com os dados. **
Na parte de processamento de dados, a plataforma de IA da Baidu pode processar dados estruturados e não estruturados.
Mais de 65 tipos de visualizações de dados são suportados, incluindo gráficos circulares, mapas de calor, gráficos de dispersão, mapas e muito mais. Ele suporta 10+ tipos de componentes de filtro, e os usuários só precisam fazer uma configuração simples e arrastar e soltar para obter monitoramento de dados em tempo real e tomada de decisão auxiliar.
Ao mesmo tempo, também suporta anotações de formato de dados 30+, melhorando a eficiência do link de anotação com a mão de obra mais concentrada no processo de modelagem.
Por exemplo, se houver 10.000 imagens que precisam ser rotuladas, o sistema colocará as imagens características na frente e as repetitivas atrás, de modo que apenas as primeiras 3.000 imagens serão marcadas e as últimas 7.000 imagens poderão ser marcadas automaticamente.
De acordo com relatórios, este método pode economizar 70-90% de mão de obra para usuários corporativos em média. A proporção de trabalho humano na "inteligência artificial" foi drasticamente reduzida.
Além disso, em termos de engenharia de recursos, a plataforma de IA da Baidu integra a capacidade de gerenciamento de banco de dados de recursos de nível profissional**, fornecendo funções como adição de recursos, exclusão, modificação e consulta, produção de recursos, compartilhamento de recursos, gerenciamento de versões de recursos e verificação de dados.
Diferentes formas de dados em lote e streaming são suportadas para serviços de previsão, o que pode garantir que as características do modelo sejam consistentes durante o treinamento e a previsão final, o que está diretamente relacionado à precisão do modelo.
Os recursos acima são refletidos em números específicos, e o relatório da Forrester dá à plataforma de IA da Baidu uma pontuação de 5 de 5 (de uma pontuação) para seus recursos de dados, significativamente à frente de outros fornecedores.
Este é um dos aspetos mais óbvios da última tendência em termos de procura do mercado, que se destina não só a programadores profissionais, mas também a empresários que não são especializados em algoritmos de IA, pelo que exige que a plataforma de IA/ML que fornece capacidades seja fácil de usar e flexível.
Consulte a prática da plataforma de IA do Baidu.
Por um lado, atribui importância à "amplitude" e apoia a modelagem e o treinamento de uma variedade de dados, como imagens, vídeos, texto e fala.
O método de modelagem também é muito flexível, suportando uma variedade de métodos de modelagem, como desenvolvimento de notebook/WebIDE, desenvolvimento visual drag-and-drop, ajuste de parâmetros de script, trabalhos personalizados, etc., que podem completar o desenvolvimento personalizado de modelos de alta precisão para pessoas com diferentes níveis profissionais.
Do outro lado está a "profundidade". Com o apoio de sua própria equipe de algoritmos de remo, a plataforma de IA da Baidu fez uma otimização profunda de um grande número de operadores de cena. Incluindo classificação de imagem, deteção de objetos, classificação de texto, anotação de sequência, etc.
Por exemplo, o PP YOLO, que é profundamente otimizado com base no operador Paddle, superou o benchmark YOLO V3 no campo da deteção de objetos.
Além disso, a quantidade de computação de IA está aumentando pelo menos 10 vezes por ano, e a capacidade de ajustar os recursos de tarefas no treinamento de aprendizagem profunda tornou-se particularmente importante. A plataforma de IA da Baidu suporta treinamento distribuído multi-máquina e multi-cartão, e fornece uma variedade de tipos de recursos de computação.
Além disso, a própria Baidu tem uma rica experiência no treinamento de modelos supergrandes, e pode integrar suas próprias capacidades em modelos visuais grandes, IA generativa, etc. Por exemplo, a pesquisa automática de hiperparâmetros, o processamento automático de dados desequilibrados e o pré-treinamento em grande escala podem ser realizados.
Como resultado, na plataforma Baidu AI, você também pode ver muitas ferramentas de desenvolvimento para melhorar a eficiência da programação.
A terceira dimensão da competência é o raciocínio. **
Com o desenvolvimento de grandes modelos, o mercado de inferência se expandirá ainda mais e até crescerá exponencialmente, o que coloca grandes desafios às plataformas de IA/ML.
Do ponto de vista da plataforma de IA da Baidu, eles se concentram principalmente na eficiência do desenvolvimento, otimização de desempenho, flexibilidade e amplitude.
Seu módulo de inferência, Model Serve, suporta 16 estruturas de IA, incluindo os mais comuns Paddle, Tensor Flow e PyTorch, bem como Matlab/R para computação científica e Xg boost para aprendizado de máquina.
Em termos de otimização de desempenho, um agendador de inferência assíncrono é diretamente abstraído na camada de agendamento para alcançar trabalhadores de inferência heterogêneos, melhorando o desempenho de todo o servidor e a utilização da GPU em mais de 1 vez.
Ao mesmo tempo, suporta processamento automático em lote, classifica tarefas de diferentes comprimentos e compila tarefas de tamanhos semelhantes no mesmo lote para fazer pleno uso de recursos heterogêneos, o que pode melhorar a eficiência em 70% com base na dissociação assíncrona.
A aplicação no relatório examina principalmente a eficiência da aplicação de cada plataforma.
Ou seja, como usar os recursos existentes para transformar rapidamente os dados em produtividade empresarial.
A plataforma de IA da Baidu pode fornecer recursos de gerenciamento de ciclo de vida completo para o processo de desenvolvimento de IA, desde a coleta e limpeza de dados até o desenvolvimento e treinamento de modelos, gerenciamento de modelos e gerenciamento de serviços de inferência em nuvem e offline.
Atualmente, os recursos da plataforma de IA da Baidu foram exportados para setores como finanças, energia e transporte. Servindo Shanghai Pudong Development Bank, Banco de Pequim, bem como State Grid, China Southern Power Grid, etc.
Em 2022, o número de usuários pagantes de nuvem pública da plataforma inteligente de IA em nuvem da Baidu aumentará em 49%, o número de clientes privatizados aumentará em 32% e o número de desenvolvedores aumentará em 1,228 milhão, com uma taxa de crescimento de cerca de 40%; A taxa de recompra tem aumentado ano após ano, e a taxa de recompra nos principais setores atingiu 50%.
Finalmente, em termos de arquitetura, o projeto de arquitetura da plataforma de IA da Baidu recebeu uma pontuação completa na pontuação da Forrester.
Através da análise das capacidades gerais da plataforma de IA da Baidu, não é difícil descobrir que muitas dessas ferramentas e ideias estão em linha com as novas necessidades da atual tendência de grandes modelos.
Na verdade, no contexto de mudanças drásticas na direção da tecnologia, não é apenas a tendência de ajustar a arquitetura existente para se adaptar às mudanças na demanda, mas também propor novas maneiras de lidar com ela.
Na era dos grandes modelos, o novo padrão de competição da IA na nuvem foi preliminarmente determinado
Então, com o impacto da onda de grandes modelos, que novas mudanças ocorreram na demanda do mercado por plataformas de IA / ML?
No passado, muitos modelos de CV e PNL eram chamados de SOTA, mas ainda eram mais frequentemente usados em negócios não essenciais na indústria. Agora, com sua incrível capacidade de subverter fluxos de trabalho tradicionais, grandes modelos estão começando a ser reconhecidos cada vez mais, e são considerados a chave para quebrar o gargalo da inteligência em vários setores.
No entanto, para os fornecedores de nuvem, isso não significa que a era dos modelos grandes esteja "começando do zero" na era dos modelos pequenos.
De fato, com o aprofundamento da aplicação de grandes modelos, áreas técnicas como agentes têm atraído cada vez mais atenção. O núcleo reside no fato de que o modelo grande é baseado em suas próprias capacidades e conecta o modelo pequeno com programação madura para resolver o problema em aplicações práticas, o que é considerado mais rápido e valioso no cenário de produção.
Portanto, na "nova era" aberta pelos grandes modelos, para os "líderes" das plataformas de IA/ML, a acumulação técnica na era dos pequenos modelos e a inovação tecnológica na era dos grandes modelos são complementares e indispensáveis.
Como uma plataforma de modelo grande de nível empresarial única, a Baidu Intelligent Cloud Qianfan Platform é essencialmente o produto da profunda acumulação da Baidu na camada de chip, camada de estrutura, camada de modelo e camada de aplicação.
Está consubstanciado em cinco aspetos:
Primeiro, no nível do poder de computação, a plataforma inteligente de nuvem Qianfan da Baidu pode fornecer serviços de computação heterogêneos eficientes e econômicos.
No processo de treinamento de modelo grande, através da estratégia de treinamento paralelo distribuído e recursos de interconexão de nível de microssegundo, a taxa de aceleração do treinamento de cluster em escala de 10.000 cartões na plataforma Baidu Qianfan pode chegar a 95%. Ao mesmo tempo, o tempo de treinamento efetivo do cluster Vanka pode chegar a 96%, o que reduz muito o custo de poder de computação e tempo.
Para modelos grandes de terceiros, a plataforma Baidu Qianfan também foi otimizada de forma direcionada, incluindo aprimoramento chinês, aprimoramento de desempenho, aprimoramento de contexto e assim por diante.
A Baidu revelou que o número de chamadas de API de grandes modelos na plataforma Qianfan da Baidu continua a aumentar em alta velocidade. Atualmente, a plataforma Baidu Qianfan já atendeu mais de 20.000 clientes.
Em terceiro lugar, para os clientes que desejam realizar o desenvolvimento secundário com base em modelos grandes existentes, a plataforma Baidu Qianfan fornece uma cadeia de ferramentas de ciclo de vida completo para o retreinamento, ajuste fino, avaliação e implantação de modelos grandes, bem como 41 conjuntos de dados de alta qualidade, que podem realizar otimização rápida de modelos para cenários de negócios específicos.
Em quarto lugar, no nível de aplicação, em resposta às necessidades das empresas de desenvolver aplicações nativas de IA baseadas em grandes modelos, a plataforma Baidu Qianfan fornece uma série de componentes e estruturas de capacidade.
Por exemplo, há 226 modelos integrados, para que os desenvolvedores possam melhorar rapidamente a qualidade das respostas de modelos grandes, mesmo que não estejam familiarizados com a engenharia imediata.
Na Conferência Mundial Baidu em 17 de outubro, a Baidu Intelligent Cloud também lançou o "Baidu Qianfan AI Native Application Development Workbench". Especificamente, essa "bancada de trabalho" consiste em duas partes: componentes de aplicativos + estruturas de aplicativos.
Entre eles, o componente de IA, ou seja, o encapsulamento baseado em componentes de grandes capacidades de modelo, inclui grandes componentes de modelo de linguagem, como Perguntas e Respostas e Cadeia de Pensamento (CoT), bem como componentes multimodais, como diagrama de Wensheng e reconhecimento de fala.
Os componentes básicos da nuvem incluem serviços de nuvem tradicionais, como bancos de dados vetoriais e armazenamento de objetos.
A estrutura de aplicação é orientada para tarefas de cenário específicas, que podem ser entendidas como uma combinação eficaz dos componentes de aplicação acima com base nas capacidades de modelos grandes.
Atualmente, a plataforma Baidu Qianfan fornece estruturas de aplicativos nativos de IA comumente usadas, como Retrieval Enhanced Generation (RAG) e Agent.
Entre eles, a estrutura RAG pode combinar o conhecimento no domínio proprietário da empresa com a capacidade de perguntas e respostas do grande modelo para dar respostas mais precisas ao conhecimento profissional.
Com base nesta estrutura RAG, a Sany Heavy Industry rapidamente percebeu o desenvolvimento e lançamento do aplicativo inteligente de atendimento ao cliente no site oficial.
Com base na estrutura do agente, o modelo grande pode desmontar automaticamente as tarefas dadas por humanos, planejar e chamar automaticamente vários componentes para concluir as tarefas de forma colaborativa e, ao mesmo tempo, fornecer autofeedback de acordo com o efeito de conclusão da tarefa para melhorar suas próprias capacidades.
Atualmente, com base nesta estrutura de agentes, a Zhongtian Iron and Steel construiu um "centro de agendamento empresarial" inteligente para realizar a perceção, decomposição e execução automáticas de instruções de tarefas.
Por exemplo, quando se constata que a produção de aço não está de acordo com o padrão, o modelo grande pode ligar automaticamente para vários recursos e APIs gerenciados pela plataforma para descobrir o motivo da não conformidade, ajustar o cronograma de produção a tempo e enviar um e-mail para notificar o despachante.
A análise da IDC acredita que a implementação de IA generativa e grandes modelos está atualmente em sua infância, e esses recursos podem ser atualizados e iterados mais rapidamente na nuvem pública, o que trará benefícios significativos para os serviços de nuvem pública de IA no curto prazo.
O Gartner também aponta que a IA generativa é impulsionada por grandes modelos, o que apresenta os requisitos para uma infraestrutura de computação robusta e altamente escalável. "A nuvem fornece a solução e a plataforma perfeitas, e os principais participantes na corrida da IA generativa devem ser os principais fornecedores de nuvem."
Combinado com o último relatório da Forrester, pode-se ver que, para os fornecedores de nuvem, os serviços de nuvem de IA se tornaram o novo foco da concorrência.
E como medir a competitividade, agora os critérios de avaliação são gradualmente claros.
Em última análise, há dois aspetos centrais:
Em primeiro lugar, do ponto de vista de desenvolvedores e usuários corporativos, é se a capacidade da plataforma de serviços de nuvem de IA pode realmente resolver de forma rentável os problemas práticos enfrentados por negócios complexos, bem como a escassez de talentos profissionais no processo de atualização inteligente, especialmente sob a onda de grandes modelos.
Em segundo lugar, do ponto de vista das tendências tecnológicas, está mais estreitamente integrado com grandes modelos.
O layout da plataforma de IA da Baidu pode ser considerado como uma resposta de referência dada pelos principais fornecedores de nuvem de IA nas últimas mudanças no cenário competitivo.
Quanto aos resultados? Em mais casos de pouso, você pode ver o capítulo real.