O grande modelo da Xiaomi foi exposto pela primeira vez, e a Huawei Xiaoyi entregou o papel primeiro. A hora do GPT para telefones celulares está se aproximando?

Fonte丨Coisas Inteligentes

Autor | Yunpeng

Editar | Destino do Coração

A grande batalha de modelos entre os fabricantes de celulares está por vir.

Agora mesmo, o modelo grande da Xiaomi apareceu repentinamente na tela e alcançou o décimo lugar e o primeiro lugar em chinês nas duas plataformas de teste de modelo grande de C- e CMMLU, respectivamente. Sua classificação C está à frente de Tongyi Qianwen do Alibaba Cloud.

▲C-lista

Você deve saber que o C- e o CMMLU são atualmente reconhecidos na indústria como testes de benchmark de modelo de grande escala chinês autorizados, principalmente examinando a reserva de conhecimento abrangente e a capacidade de compreensão da linguagem do modelo de grande escala no campo chinês.

▲Lista de avaliação CMMLU

Na semana passada, o assistente de voz da Huawei, Xiaoyi, também integrou alguns dos recursos de seu próprio modelo Pangu. Tornou-se uma realidade usar o assistente de voz para escrever resumos de artigos, e-mails de convite para reuniões ou usar suas próprias fotos para design personalizado.

Os fabricantes nacionais de telefones celulares têm uma postura de "Se você não fizer barulho, será um sucesso de bilheteria" na faixa de grandes modelos. Um já pousou no aplicativo e o outro varreu a tela pela primeira vez.

Antes, fossem chips autodesenvolvidos ou carregamento rápido, os fabricantes de celulares pareciam ser as "vanguardas" que empurravam as "novas tecnologias" para o mercado consumidor, permitindo o contato do público em geral com as novas tecnologias.

Na onda da IA generativa baseada em modelos grandes, os fabricantes de telefones celulares devem iniciar uma nova batalha.

No exterior, Google e Apple já começaram a "mobilizar" seus próprios assistentes de voz inteligentes, fermentando a aplicação de modelos em grande escala. Na China, antes do anúncio dos resultados dos modelos em grande escala da Xiaomi, Wang Bin, diretor do laboratório de IA da Xiaomi , já havia falado ao mundo exterior sobre o modelo de grande escala da Xiaomi. Em relação ao planejamento e progresso do campo do modelo, o CEO da Xiaomi, Lei Jun, e o presidente da Xiaomi, Lu Weibing, também falaram sobre o grande modelo da Xiaomi e layouts relacionados em público em muitas ocasiões .

For Honor, seu CEO Zhao Ming mencionou que Honor cooperou com empresas de Internet na demanda por modelos de rede em grande escala, e OPPO e vivo, que parecem ser discretos, estão na área de IA há muitos anos . Classificado entre os melhores no teste e cooperou com algumas grandes empresas de IA. Do lado da Huawei, Xiaoyi já pousou.

Embora as ondas estejam calmas na superfície, a guerra dos modelos grandes entre os fabricantes de celulares é iminente. Toda família constrói estradas de tábuas secretamente, e um jogo feroz de tecnologia de IA pode estar prestes a ser encenado.

A Xiaomi formou uma grande equipe de modelos e o Honor OV pode adotar o modelo de "autopesquisa + cooperação"

Os fabricantes de telefones celulares usam modelos em grande escala de duas maneiras: uma é fazer modelos em grande escala para uso próprio e a outra é usar modelos em grande escala de outras pessoas.

No momento, Huawei e Xiaomi estão um passo à frente e o usam para uso próprio. Honor, OPPO e vivo não têm informações oficiais sobre o layout de modelos grandes. Entre eles, OV e outros fabricantes têm informações relevantes sobre cooperação em modelos grandes. No entanto , ainda não está claro como os dois serão adotados.

Em primeiro lugar, vamos dar uma olhada em Xiaomi que está deslizando a tela hoje. Na verdade, o assistente de voz inteligente da Xiaomi, Xiao Ai, deve ser considerado o mais famoso entre os assistentes de voz de várias empresas e também possui o mais amplo gama de usuários. Quase todos os tipos de dispositivos IoT da Xiaomi têm acesso ao Xiao Ai, e a Xiaomi tem o maior número de dispositivos ecológicos IoT entre todos os fabricantes de smartphones. A Xiaomi deixou claro que o modelo Xiaomi AI pode ser combinado com o Xiao Ai em o futuro.

Seja na teleconferência de resultados ou em algumas entrevistas públicas, os executivos relevantes da Xiaomi expressaram opiniões positivas sobre o modelo grande e explicaram em detalhes o layout e o planejamento da Xiaomi para o modelo grande.

Em abril deste ano, o CEO da Xiaomi, Lei Jun, emitiu pessoalmente um documento afirmando que a Xiaomi adotará resolutamente a tecnologia de modelos em grande escala. equipe de modelos em escala, com mais de 1.200 pessoas na área de IA.

O chefe da grande equipe de modelos da Xiaomi é Luan Jian, que se reporta a Wang Bin, diretor do Laboratório de IA da Xiaomi. Wang Bin ingressou na Xiaomi em 2018 após conduzir pesquisas sobre NLP (Natural Language Processing) na Academia Chinesa de Ciências por mais de 20 anos .

Em uma entrevista com Shenran, Wang Bin mencionou que o objetivo de sua equipe é um modelo de linguagem grande de propósito geral com uma escala de parâmetros de dezenas de bilhões, e o investimento em equipamentos para treinamento é de dezenas de milhões de RMB. Os produtos de pouso de modelo em grande escala da Xiaomi adotarão um "modelo híbrido", e o modelo tradicional e o modelo em grande escala resolverão os problemas em que são bons.

De acordo com Wang Bin, antes do ChatGPT, a Xiaomi havia feito pesquisas e aplicações relacionadas a modelos em grande escala. No entanto, a escala do modelo está na casa dos bilhões e não é um modelo de grande escala de uso geral. É principalmente um modelo específico de diálogo para o diálogo homem-máquina.

Do lado da Xiaomi, os executivos frequentemente divulgavam informações e, do lado da Honor, seu CEO Zhao Ming também revelou as opiniões da Honor sobre IA generativa e modelos de grande escala em entrevistas.

Zhao Ming mencionou no Shanghai Mobile World Congress que a Honor está cooperando com empresas de Internet na demanda por modelos de rede de grande escala.Na época, eles já estavam em contato com empresas interessadas.

Atualmente, Wenxin Yiyan da Baidu, Tongyi Qianwen da Ali e Xunfei Xinghuo da Xunfei são todos modelos tripartidos em grande escala lançados por grandes empresas domésticas de Internet e empresas de IA. estabelecido por três anos. Para Honor, não é a coisa mais importante. Obviamente, é mais crítico aumentar a participação no mercado e as remessas. Portanto, a cooperação pode ser o caminho para a Honor aplicar tecnologia em larga escala.

Do lado da OPPO, Liu Bo, presidente da OPPO China, mencionou em uma entrevista que a OPPO está pensando na aplicação de modelos grandes em telefones celulares.

Em abril deste ano, o Alibaba Cloud anunciou que construirá em conjunto a infraestrutura de modelo em grande escala da OPPO com a OPPO Andes Smart Cloud. Com base em Tongyi Qianwen, concluirá o projeto de aprendizado contínuo, ajuste fino e solicitação de front-end do modelo grande e crie serviços de IA para usuários finais da OPPO.

A julgar pelo exemplo da Huawei Xiaoyi, é possível ajustar e otimizar o Tongyi Qianwen para criar um modelo leve que possa ser usado no assistente de voz inteligente da OPPO.

No entanto, fontes relevantes da Xiaomi revelaram que OPPO e vivo também podem estar fazendo seus próprios modelos grandes.

Nesse sentido, também podemos ver alguns sinais de algumas ações anteriores da OV. Por exemplo, a equipe de assistentes Xiaobu da OPPO tem conduzido muitas pesquisas no campo da tecnologia AI, incluindo reconhecimento de fala, compreensão semântica, geração de diálogo, sistema de resposta a perguntas de conhecimento, bate-papo de domínio aberto, multimodalidade, etc., e estes são tudo relacionado a tecnologias-chave de IA generativa.

A equipe assistente de Xiaobu explorou e implementou modelos de pré-treinamento antes e desenvolveu modelos de pré-treinamento OBERT com 100 milhões, 300 milhões e 1 bilhão de parâmetros. O quinto lugar na lista e o primeiro lugar no mapa de conhecimento em larga escala pergunta e resposta lista KgCLUE1.0.

Na Conferência de Tecnologia do Futuro da OPPO no ano passado, a tecnologia de IA generativa foi usada na função de pintura de Xiaobu, que pode criar imagens por meio de descrições de usuários e imagens carregadas.

Para vivo, sua equipe de IA desenvolveu um modelo de pré-treinamento de texto 3MP-Text para tarefas de compreensão de linguagem natural em maio deste ano. Na lista CLUE do benchmark de avaliação de compreensão da língua chinesa, o 3MP-Text obteve a mesma classificação do parâmetro 100 milhões efeito de modelo. Tamanho primeiro.

O modelo grande chega ao celular e o assistente de voz inteligente se torna a vanguarda dos primeiros usuários

Os fabricantes de telefones celulares estão adotando ativamente modelos grandes, o que eles farão? Uma coisa que foi determinada até agora é usar o modelo grande nos assistentes de voz inteligentes de várias empresas, para que o modelo grande possa se tornar a capacidade de "nível do sistema" do seu telefone celular, tornando-o mais inteligente e os assistentes não serão mais "Retardados".

A Samsung está considerando mudar o mecanismo de busca padrão de telefones celulares e tablets do Google para o novo Bing da Microsoft, que suporta bate-papo AI. Na conferência I/O em maio, o Google lançou quatro modelos de linguagem grande de nova geração PaLM 2 com diferentes escalas de parâmetros, entre os quais o menor modelo grande "Gecko" pode ser executado em telefones celulares.

Do lado da Apple, alguns meios de comunicação estrangeiros revelaram que está desenvolvendo uma nova função AI com o codinome "Bobcat" para Siri, e a estrutura técnica do novo projeto é chamada de "Siri Natural Language Generation". A integração da tecnologia AI também se tornará inevitável.

O potencial de modelos grandes em assistentes de voz em smartphones é óbvio para todos.

Para os consumidores, podemos ver claramente nos casos existentes de combinação de assistentes de voz inteligentes e modelos grandes que a integração de recursos de modelos grandes resolve um dos maiores problemas no hábito dos usuários de usar assistentes de voz - diálogo natural insuficiente, comunicação natural isso não pode ser feito à vontade.

Simplificando, é fazer com que o assistente de voz inteligente mude de divertido e inovador para fácil de usar e até mesmo se torne uma "ação habitual". O modelo grande permite que o assistente de voz inteligente realmente nos entenda e entenda, e a melhoria em sua facilidade de uso é extremamente significativa.

Na opinião de alguns fabricantes de terminais, a aplicação de modelos grandes como o ChatGPT é mais focada em direitos autorais criativos, organização de informações, chat de perguntas e respostas, resumo de artigos, etc., mas o posicionamento dos assistentes de voz é "assistentes pessoais inteligentes", do controle de dispositivos, personalidade Para melhorar a eficiência do nosso trabalho diário de escritório, fornecendo serviços de consultoria personalizados, a aplicação de assistentes de voz inteligentes em cenários de consumo deve ser mais ampla.

Ao mesmo tempo, em comparação com os chatbots de IA generativos, como o ChatGPT da OpenAI e o Bard do Google, os assistentes de voz inteligentes se tornarão os recursos de "nível de sistema" dos fabricantes de terminais, desde diálogo de voz, reconhecimento gráfico e de texto, sugestões de serviço até gerenciamento de interconexão de dispositivos.

Especialistas relevantes em IA disseram a Zhishi que os recursos no nível do sistema significam que a entrada no nível do sistema está mais integrada ao sistema operacional, e a interconexão com a ecologia também atingiu a camada inferior da ecologia do sistema. Esse tipo de interconexão é realmente eficiente e a experiência pode ser a melhor. Bem, essa interconexão está longe de ser comparável à chamada um-para-um do SDK entre ChatGPT e App.

Além disso, seja Huawei, Xiaomi, Honor ou OV, esses fabricantes já lançaram uma ampla gama de layouts de negócios IoT, e os assistentes de voz inteligentes se tornaram os principais portais de serviços de IA conectando seus dispositivos inteligentes. A integração de modelos expande rapidamente o capacidades de grandes modelos para todo o seu ecossistema de software e hardware, o que também é muito importante para os fabricantes.

É difícil colocar um modelo grande em um celular?

Não é difícil pensar em usar modelos grandes em assistentes de voz inteligentes. Desde o primeiro dia em que o ChatGPT apareceu, todas as empresas de assistentes de voz pensaram nisso.

Mas a chave é, como alcançá-lo? O custo é proporcional ao retorno que ele traz? Um grande modelo de linguagem como o GPT-4, com centenas de bilhões de parâmetros, vai ser usado em um celular com consumo de energia de apenas alguns watts.Como resolver os desafios técnicos?

Relativamente a estas questões, podemos encontrar algumas respostas no exemplo da Huawei Xiaoyi acima referido.

De um modo geral, para aplicar um modelo grande em um assistente de voz inteligente, pelo menos duas coisas devem ser feitas. Primeiro, otimizar o modelo grande geral em uma versão adequada para assistentes de voz. As coisas deram certo.

A partir do exemplo da Huawei, baseado no modelo grande Pangu L0, a Huawei ajustou e otimizou os dados envolvidos nos cenários usuais do consumidor e construiu um modelo de diálogo de camada L1, que é usado em Xiaoyi.

Para esses cenários de consumo, os fabricantes precisam construir dados de corpus correspondentes, saídas de modelo de design que o sistema possa entender e executar e, ao mesmo tempo, inserir conhecimento estruturado e não estruturado confiável no modelo grande, para que o modelo grande possa aprender conhecimento geral , relação lógica.

O ChatGPT não pode ajudá-lo a configurar seu telefone celular ou controlar vários dispositivos inteligentes em sua casa, mas os assistentes de voz precisam ter esses recursos, o que também é uma função muito importante dos assistentes de voz inteligentes.

Portanto, os fabricantes também precisam obter uma análise eficaz e uma conexão eficiente entre o modelo grande e o sistema por meio da otimização técnica e, primeiro, "treinar e aprender" o modelo grande para cenários complexos, para que o modelo grande possa aprender essas habilidades de manipulação e, finalmente, compare o custo de inferência de modelo grande e o tempo de inferência O problema de atraso está resolvido.

Não basta fazer uma versão de modelo em grande escala adequada para assistentes de voz. Para resolver os problemas de consumo de energia e poder de computação, a combinação de dispositivos e nuvens também é mais importante.

Hoje em dia, os aplicativos ChatGPT dependem do poder da computação em nuvem, mas quando são realmente usados em assistentes de voz, envolvem o uso e processamento de informações pessoais dos usuários, o que inevitavelmente requer operação localizada, mas a operação totalmente localizada não pode resolver o problema do consumo insuficiente de energia e poder de computação.

A Huawei fez diferentes versões de modelos em grande escala, tanto no lado do terminal quanto no lado da nuvem.De acordo com diferentes tarefas, ambos os lados são processados de forma colaborativa.

Como fabricante de chips móveis, a Qualcomm tem se concentrado em promover seu conceito de "IA híbrida". Na verdade, isso significa que a aplicação de IA generativa no lado móvel deve envolver a colaboração do lado do dispositivo e do lado da nuvem. A julgar pelas ações de todas as partes do setor, isso se tornou basicamente o consenso do setor.

É claro que usar um modelo grande em um assistente de voz inteligente definitivamente não é tão simples quanto mencionamos em poucas palavras, há muitos desafios técnicos e industriais por trás disso, e podemos ter uma pequena ideia com o exemplo da Huawei.

Mas dito isto, embora seja difícil, a Huawei acaba de provar a viabilidade desta questão, e a aplicação de grandes modelos em assistentes de voz inteligentes pode de facto trazer muitas "mudanças qualitativas" nas capacidades.

A batalha de grandes modelos está chegando ferozmente, e dados, poder de computação e talentos ainda são o foco principal da competição

A IA generativa está varrendo milhares de indústrias, e o impacto de grandes modelos na indústria de telefonia móvel será de longo alcance.

Para os consumidores, os telemóveis tornaram-se mais “inteligentes” e mais “eficientes”. aprenderam que o uso de modelos grandes para assistentes de voz inteligentes certamente será benéfico e altamente esperado pelos consumidores.

Para os fabricantes, é uma tendência inevitável para o desenvolvimento futuro que os smartphones e dispositivos IoT relacionados incorporem recursos de IA generativa com base em modelos grandes. As mudanças que os modelos grandes trazem para esses negócios serão significativas e valiosas.

Seja para fazer modelos em grande escala sozinhos ou cooperar, todo fabricante deve prestar atenção a essa batalha de modelos em grande escala.

É claro que para diversos fabricantes de smartphones também são óbvios os desafios trazidos por essa onda.Para vencer de verdade essa batalha, são muitas as dificuldades que precisam ser superadas.

Algumas pessoas na indústria de IA disseram a Zhishi que, para fabricantes que desejam construir seus próprios modelos em grande escala, o acúmulo de dados, poder de computação e talentos é indispensável, como aquisição e limpeza de dados de alta qualidade em grande escala, e poder de computação Como superar desafios de nível de sistema, Treinamento como tornar o custo controlável. Para os fabricantes que adotam o modelo de cooperação, como garantir um melhor processamento colaborativo de nuvem final, como equilibrar custos e benefícios e explorar modelos de cooperação comercial serão enfrentados por eles.

Conclusão: modelo AI, uma dura batalha para os fabricantes de celulares

No nó de hoje, a batalha dos modelos de telefones celulares começou. Os fabricantes que deram o primeiro passo já mostraram seus cartões, e os fabricantes que não fizeram nenhum movimento também estão em processo de preparação. A batalha dos modelos de telefones celulares é subcorrente.

A julgar pelas conquistas do assistente de voz existente combinado com o modelo grande, é óbvio que o modelo grande AI melhorará a experiência dos smartphones. O modelo grande AI também terá um impacto profundo no desenvolvimento de vários negócios linhas de fabricantes de telefones celulares no futuro. O modelo grande de IA inevitavelmente se tornará a principal tendência de desenvolvimento da indústria de tecnologia de acompanhamento e também se tornará uma das principais faixas de tecnologia às quais todos prestam atenção.

O modelo de IA é, sem dúvida, uma dura batalha para os fabricantes de celulares, mas ainda não está claro quem trará produtos ou tecnologias inovadoras que quebrem a estrutura industrial ou até mesmo subvertam a jogabilidade existente.

De frente para o futuro, a combinação de modelos grandes e assistentes de voz inteligentes estará mais próxima.Com o acompanhamento de vários gigantes da tecnologia, a onda de "evolução" dos assistentes de voz inteligentes será imparável. Que novos cenários de aplicação, novas formas de aplicação e funções surgirão no futuro estão cheios de imaginação.