Envolvidos no grande modelo, a nova narrativa dos fabricantes de celulares

Autor｜Wu Jingjing

Editar｜Castanhas

Fonte: Jiazi Guangnian

O modelo grande da Xiaomi fez sua estreia pública durante o discurso anual de Lei Jun em 2023.

Lei Jun mencionou que, ao contrário de muitas plataformas da Internet, a principal direção inovadora do modelo grande da Xiaomi é leve e implantação local, que pode funcionar sem problemas no lado do telefone móvel.

Ele disse que, atualmente, o modelo MiLM1.3B com uma escala de 1,3 bilhão de parâmetros foi executado em telefones celulares e o efeito é comparável aos resultados de grandes modelos com 6 bilhões de parâmetros em computação em nuvem. No boletim que ele postou, o grande modelo Xiaomi de ponta a ponta teve um desempenho melhor do que o modelo ChatGLM2-6B da Zhipu AI em vários tópicos da avaliação chinesa CMMLU e a diferença de pontuação com o modelo grande Baichuan-13B da Baichuan Intelligent foi cerca de cerca de 5 minutos.

(Fonte: Xiaomi)

Anteriormente, o modelo de linguagem de pré-treinamento em larga escala MiLM-6B/1.3B desenvolvido pela Xiaomi pousou no GitHub, a plataforma de hospedagem de código, e ficou em décimo lugar na lista C-geral, ocupando o primeiro lugar na mesma magnitude de parâmetro e classificado primeiro no benchmark de modelo grande chinês "CMMLU ", "MiLM-6B" ficou em primeiro lugar.

Obviamente, como as dimensões dessas listas de teste são todas públicas, não é difícil para muitas empresas modelo de grande escala pontuar de acordo com as tarefas do teste. Portanto, esses resultados de avaliação podem ser usados apenas como referência e não significam que os resultados são absolutamente excelentes.

Ao mesmo tempo, Lei Jun também anunciou que Xiao Ai, como o primeiro negócio de aplicativos do grande modelo da Xiaomi, passou por uma nova atualização e abriu oficialmente o teste de convite.

Esta é a conquista do modelo em grande escala feita pela Xiaomi em quatro meses desde o anúncio da nova equipe de modelos em grande escala em abril deste ano.

Que novo pensamento a prática da Xiaomi traz para a implementação de modelos grandes? O que isso significa para os fabricantes de telefones celulares que dependem de novas iterações de tecnologia?

1. A Xiaomi não fabrica modelos grandes de uso geral e a equipe principal tem cerca de 30 pessoas

A Xiaomi pertence à escola racional na rota de modelos de grande escala - ** não busca a escala de parâmetros e não fabrica modelos de grande escala de uso geral. **

No início da teleconferência de resultados, Lu Weibing, presidente do Xiaomi Group, disse que a Xiaomi adotará ativamente modelos de grande escala, e a direção é integrar profundamente produtos e negócios, e não fará modelos de grande escala de uso geral como OpenAI .

De acordo com os relatórios anteriores de Shenran, o Dr. Wang Bin, diretor do Laboratório de IA do Grupo Xiaomi, disse uma vez que a Xiaomi não lançará um produto semelhante ao ChatGPT sozinho, e o modelo grande autodesenvolvido será eventualmente lançado pelo produto, e o governo relevante investirá dezenas de milhões de RMB. **

Ele disse: "Para modelos grandes, pertencemos à escola racional. A Xiaomi tem vantagens em cenários de aplicação e o que vemos é uma grande oportunidade para a combinação de modelos e cenários grandes."

Ele revelou que, antes do nascimento do ChatGPT, a Xiaomi havia feito pesquisa interna, desenvolvimento e aplicação de grandes modelos. Naquela época, usava pré-treinamento + supervisão de tarefas downstream e ajuste fino para conduzir o diálogo homem-máquina, com uma escala de parâmetros de 2,8 bilhões para 3 bilhões. Isso é alcançado principalmente por meio do ajuste fino dos dados de diálogo com base no modelo básico pré-treinado, não no modelo grande de uso geral, como agora é chamado.

Segundo informações públicas, o atual chefe da equipe de grandes modelos da Xiaomi é Luan Jian, especialista na direção de voz de IA, reportando-se a Wang Bin, vice-presidente do comitê técnico e diretor do laboratório de IA. Toda a equipe de grandes modelos tem cerca de 30 pessoas.

Luan Jian costumava ser o principal cientista de voz e líder da equipe de voz do robô de voz inteligente "Microsoft Xiaoice", pesquisador do Toshiba (China) Research Institute e cientista de voz sênior da Microsoft (China) Academy of Engineering. Depois de ingressar na Xiaomi, Luan Jian foi responsável pela geração de voz, NLP e outras equipes sucessivamente e pela implementação de tecnologias relacionadas em produtos como Xiao Ai. Wang Bin ingressou na Xiaomi em 2018 e é responsável pelo laboratório de IA desde 2019. Antes de ingressar na Xiaomi, foi pesquisador e supervisor de doutorado no Instituto de Engenharia da Informação da Academia Chinesa de Ciências. Ele tem quase 30 anos de pesquisa experiência nas áreas de recuperação de informação e processamento de linguagem natural.

O modelo em grande escala também conta com a equipe de IA por trás da Xiaomi. Lei Jun disse que, após 7 anos e 6 expansões, a equipe de IA da Xiaomi tem mais de 3.000 pessoas, cobrindo CV, NLP, imagem de IA, direção autônoma, robótica e outros campos. .

(Fonte: Xiaomi)

2. Google, Qualcomm e Huawei entraram no jogo um após o outro

Além da Xiaomi, fazer modelos grandes rodarem em celulares é o principal objetivo atual de muitas empresas de tecnologia.

As empresas de tecnologia estão imaginando a possibilidade de grandes modelos: não importa o que você abra seja WPS, documentos de grafite ou e-mails, desde que você digite comandos como escrever, o celular pode chamar recursos locais para gerar um artigo completo ou um e-mail. No celular, todos os aplicativos podem ligar para o modelo local em grande escala a qualquer momento para ajudar a lidar com o trabalho e resolver problemas da vida. A interação entre pessoas e vários aplicativos no celular não é mais cliques frequentes, mas pode ser chamada de forma inteligente por voz.

Muitas empresas estão tentando comprimir o tamanho do modelo, tornando mais prático e econômico rodar modelos grandes localmente em celulares. Na conferência Google I/O em maio deste ano, quando o Google lançou o PaLM2, ele foi dividido em quatro especificações de acordo com o tamanho, de pequeno a grande na ordem de Gecko, Otter, Bison e Unicorn. Entre eles, o menor Gecko pode executado em telefones celulares. E é rápido, pode processar 20 tokens por segundo, aproximadamente o equivalente a 16 ou 17 palavras, e também pode suportar telefones celulares para execução offline. Mas, na época, o Google não disse em qual telefone o modelo seria usado.

Atualmente, é a Qualcomm quem apresentou resultados específicos. No 2023MWC em março deste ano, a Qualcomm executou o Stable Diffusion, um modelo gráfico Wensheng com mais de 1 bilhão de parâmetros, em um smartphone equipado com o Snapdragon 8 de segunda geração. Na demonstração, a equipe usou o Stable Diffusion para gerar imagens em um telefone Android sem conexão com a Internet, e todo o processo levou 15 segundos.

Na CVPR, a principal conferência de acadêmicos de visão computacional em junho, a Qualcomm demonstrou o modelo ControlNet rodando em um telefone Android com uma escala de 1,5 bilhão de parâmetros, e o tempo de desenho foi de apenas 11,26 segundos. Ziad Asghar, vice-presidente sênior de gerenciamento de produtos e chefe de IA da Qualcomm, disse: **Tecnicamente, leva menos de um mês para mover esses modelos grandes com mais de 1 bilhão de parâmetros para telefones celulares. **

A ação mais recente é que a Qualcomm anunciou a cooperação com a Meta para explorar os aplicativos e aplicativos baseados no modelo Llama 2 em smartphones, PCs, dispositivos de exibição de cabeça AR/VR, carros e outros dispositivos baseados no chip Qualcomm Snapdragon sem rede. Servir. De acordo com a Qualcomm, em comparação com o LLM baseado em nuvem, a execução de modelos de linguagem em grande escala, como o Llama 2 localmente no dispositivo, não apenas tem custo mais baixo e melhor desempenho, mas também não precisa se conectar a serviços online**, e o serviço é mais personalizado e mais eficiente, seguro e mais privado.

A Apple, que não anunciou oficialmente nenhuma ação de modelo em grande escala, também está explorando o desembarque de modelos em grande escala no lado do dispositivo. De acordo com o relatório do "Financial Times", a Apple está recrutando engenheiros e pesquisadores para comprimir grandes modelos de linguagem para que possam ser executados com eficiência no iPhone e no iPad, e a equipe principal responsável é a Machine Intelligence and Neural Design ( MENTE) equipe.

Atualmente, no Github, um popular projeto MLC LLM de modelo de código aberto pode oferecer suporte à implantação local. Ele resolve as restrições de memória planejando cuidadosamente a alocação e compactando ativamente os parâmetros do modelo e pode executar modelos de IA em vários dispositivos de hardware, como o iPhone. O projeto foi desenvolvido em conjunto pelo professor assistente da CMU, OctoML CTO Chen Tianqi e outros pesquisadores. A equipe usa a tecnologia Machine Learning Compilation (MLC) como base para implantar modelos de IA com eficiência. Menos de dois dias após o lançamento do MLC-LLM, o número de estrelas no GitHub se aproxima de 1.000. Alguém testou a execução de um modelo de linguagem grande localmente no modo avião do iPhone.

Ao contrário do Google e da Qualcomm estrangeiros, que enfatizam que modelos grandes podem ser implantados localmente no lado do dispositivo e podem ser executados off-line, os fabricantes de telefones celulares domésticos estão priorizando a implantação de modelos grandes em assistentes de voz de telefones celulares ou funções de pesquisa de imagem existentes. esta atualização é para chamar mais recursos de nuvem para usar modelos grandes.

Desta vez, a Xiaomi usou o modelo grande no assistente de voz Xiao Ai. No entanto, como as informações relevantes sobre o modelo grande de ponta a ponta da Xiaomi não foram divulgadas, é impossível julgar com precisão o caminho de desenvolvimento do modelo grande da Xiaomi no futuro. A julgar pela direção de implantação local e leve que Lei Jun enfatizou, a Xiaomi pode tentar rodar o modelo grande offline no celular no futuro.

A Huawei também está tentando implementar modelos de grande escala em telefones celulares, mas o foco ainda está em assistentes de voz de telefones celulares e cenas de pesquisa de imagens. No início de abril, no recém-lançado telefone celular P60 da Huawei, por trás da nova função de pesquisa de imagem inteligente estava a tecnologia de modelo multimodal em grande escala, e o modelo foi miniaturizado no lado do telefone móvel durante o processo. Recentemente, o assistente inteligente de terminal recém-atualizado da Huawei, Xiaoyi, também otimizou a experiência com base no modelo grande e pode recomendar restaurantes de acordo com comandos de voz e executar novas funções, como resumos.

A OPPO e a vivo também estão fazendo esforços nessa direção. Em 13 de agosto, a OPPO anunciou que o novo Assistente Xiaobu baseado no AndesGPT começará a ser experimentado em breve. Pode ser visto pelos dados que, após o Assistente Xiaobu integrar os recursos de modelos grandes, ele será mais eficaz no diálogo e copywriting.A capacidade de escrever e outros aspectos serão fortalecidos. AndesGPT é um modelo generativo de linguagem grande baseado na arquitetura de nuvem híbrida criada pela OPPO Andes Intelligent Cloud Team.

Para fabricantes de telefones celulares, seja implantação local ou recursos de nuvem, o modelo grande para telefones celulares é uma nova oportunidade que não pode ser desperdiçada.

**3. O modelo grande roda no celular, onde está o problema principal? **

Não é uma tarefa fácil fazer um modelo grande rodar em um celular.

O poder de computação é a questão principal. Usar o modelo grande no telefone celular requer não apenas o poder de computação da nuvem, mas também o poder de computação do dispositivo terminal.Devido ao grande consumo de recursos do modelo grande, cada chamada significa um alto custo. O presidente da Alphabet, John Hennessy, mencionou uma vez que o custo de pesquisa de usar um modelo de idioma grande é 10 vezes maior do que o custo de pesquisa de palavra-chave anterior. No ano passado, o Google realizou 3,3 trilhões de consultas de pesquisa, custando cerca de um quinto de centavo cada. Analistas de Wall Street preveem que, se o Google usar modelos de linguagem grandes para lidar com metade de suas consultas de pesquisa, cada uma fornecendo uma resposta de cerca de 50 palavras**, o Google poderá enfrentar um aumento de US$ 6 bilhões em gastos até 2024. **

(Fonte: Reuters)

A execução de modelos grandes no telefone celular enfrenta problemas de custo semelhantes. Isso é mencionado no relatório "Hybrid AI is the Future of AI" divulgado pela Qualcomm, assim como a computação tradicional evoluiu de um mainframe e cliente para uma combinação de nuvem e terminais de borda . No mesmo modo, a execução de um modelo grande no lado do terminal também requer uma arquitetura de IA híbrida para permitir que as cargas de trabalho de IA sejam distribuídas e coordenadas entre a nuvem e os terminais periféricos,** permitindo que os fabricantes de celulares usem o poder de computação dos terminais periféricos para reduzir custos. É por causa dessa consideração de custo que modelos grandes podem ser implantados localmente.

Além disso, como pertences pessoais de todos, o telefone celular é o local onde os dados são gerados e uma grande quantidade de dados privados também é armazenada localmente. Se a implantação local puder ser realizada, ela fornecerá proteção aos indivíduos em termos de segurança e privacidade .

Isso traz o segundo problema: se você deseja usar mais recursos de extremidade para executar modelos grandes, como pode tornar o consumo de energia do telefone celular muito baixo e, ao mesmo tempo, tornar o modelo mais eficaz?

A Qualcomm afirmou certa vez que a principal capacidade de implantar modelos grandes em dispositivos locais, como telefones celulares, está na otimização completa de IA de hardware e software da Qualcomm, incluindo Qualcomm AI Model Enhancement Toolkit (AIMET), Qualcomm AI Engine e tecnologias relacionadas à Qualcomm, como a pilha de software AI pode comprimir o volume do modelo, acelerar o raciocínio e reduzir o atraso do tempo de execução e o consumo de energia. Hou Jilei, vice-presidente global da Qualcomm e chefe de pesquisa de IA da Qualcomm, mencionou certa vez que uma parte importante da pesquisa e desenvolvimento de IA de alta eficiência da Qualcomm é a pesquisa geral de eficiência do modelo. O objetivo é reduzir o modelo de IA em várias direções para que ele possa ser executado de forma eficiente no hardware.

A compactação de modelo único não é uma dificuldade pequena. Alguma compressão de modelo causará perda no desempenho de modelos grandes, e alguns métodos técnicos podem alcançar compressão sem perdas, os quais requerem tentativas de engenharia em diferentes direções com a ajuda de várias ferramentas.

Esses principais recursos de software e hardware são um grande desafio para os fabricantes de telefones celulares. Hoje, muitos fabricantes de telefones celulares deram o primeiro passo para executar modelos grandes em telefones celulares. Em seguida, como fazer com que um modelo grande melhor caiba em cada telefone celular de maneira mais econômica e eficiente é uma etapa mais difícil e crítica.

A aventura apenas começou.