A mania dos modelos grandes: o bolo mais doce e o mais difícil

Autor 丨Bai Jiajia

Editor Americano – Fisherman

Fonte: Laboratório de pesquisa baseado em silício

Nota do editor:

Um lado é fanático e o outro lado é frio. Este é o status atual da indústria de modelos em grande escala da China. "Era do Caos" pode ser o rótulo mais apropriado para esta indústria. Nos últimos seis meses, tecnologia e pessoas, tecnologia e indústria, civilização humana e civilização tecnológica entraram em um novo estágio de reconstrução. Por trás dessa mudança não está apenas o avanço da tecnologia, mas também a promoção de pessoas-chave e empresas-chave.

Como observador de fronteira da era inteligente, o "Escritório de Pesquisa baseado em Silício" presta atenção a todas as histórias relacionadas à tecnologia. Hoje, lançaremos o plano de "A Era do Caos dos Modelos em Grande Escala", a partir da desconstrução modelos em grande escala, e voltando as lentes para a vanguarda dessas ondas, empresas e pessoas, compartilham e interpretam seus insights exclusivos para os leitores.

Este artigo é o segundo planejado nesta série: "The Application Craze of Large Models: The Sweetest Cake and Hardest Pass". Parte 1: A Era Caótica dos Grandes Modelos: Contradições, Diferenciação e o Futuro

Fonte da imagem: Gerada pela ferramenta Unbounded AI

"Eu vi coisas que vocês, humanos, nunca acreditariam. Eu vi navios de guerra queimando na orla de Orion, e vi raios C piscarem na escuridão perto do Portão de Tannhauser. Todos esses momentos passarão com o tempo, como lágrimas desaparecendo no chuva."

Este é o monólogo final do filme "Blade Runner", proferido pelo replicante Roy Batty.

Esta linha foi posteriormente selecionada pelo britânico "Observer" como o sexto dos dez melhores momentos clássicos da história do cinema, e é frequentemente citado como um representante de obras de ficção científica.

De certa forma, esta passagem está se tornando uma realidade. Hoje, o modelo em grande escala que fez o mundo entrar em frenesi está absorvendo o conhecimento global a uma velocidade inimaginável. A torrente de pessoas, coisas e coisas por trás desses personagens pode não ser tão clara quanto Starheap Wars.

E os estudiosos, engenheiros e empresários que fizeram tudo isso ainda estão esperando, talvez eles não saibam o que querem esperar, sondas de tecnologia mais sofisticadas? Ferramentas de produção mais eficientes? Um super app com mais dinheiro?

Ou um replicante como Roy Batty, aliviando a solidão quase desesperada dos seres humanos olhando para a galáxia.

está chegando

o que isso traz

Como isso aconteceu?

Onde brotou pela primeira vez?

Qual é a diferença entre a China e os países estrangeiros?

……

Diante dos infinitos modelos em grande escala de hoje, é tarde demais para se preocupar ou esperar. Para este parceiro que estará conosco por muito tempo no futuro, a melhor cerimônia de boas-vindas é olhar para ele.

O lado C rola para o lado B, o código aberto impacta o código fechado

O surgimento do ChatGPT é como a inteligência artificial batendo à sua porta.

Foi lançado ao público em 30 de novembro de 2022. Em apenas dois meses, o ChatGPT ultrapassou com sucesso 100 milhões de usuários ativos mensais, tornando-se o aplicativo de consumidor que mais cresce na história.

No início de março, a Codeway Dijital desenvolveu o Chat com Ask AI baseado na API ChatGPT. Com sua poderosa função de perguntas e respostas, sua receita no primeiro semestre do ano ultrapassou 16 milhões de dólares americanos (cerca de 112 milhões de Renminbi), tornando-se a faixa AI+Chatbot com os maiores downloads e receita.

**O sucesso do ChatGPT parece indicar que a lógica de negócios dos aplicativos de IA para usuários C-end está estabelecida - entregue o produto aos usuários e eles explorarão as infinitas possibilidades trazidas pela IA. No processo, uma curva de receita maravilhosa também será Então surja. **

Infelizmente, as coisas não são tão simples.

Em 4 de julho, a empresa de análise da web Similarweb divulgou dados dizendo que as visitas globais do ChatGPT em junho caíram 9,7% mês a mês, e o número de visitantes únicos caiu 5,7% mês a mês.

Além do ChatCPT, o volume de visitas do Character.AI também sofreu uma queda acentuada em junho, com uma queda mensal de 32%.

O Character.AI pode imitar as personalidades de celebridades do entretenimento, figuras históricas e personagens fictícios para conversas, ocupando o segundo lugar entre todas as ferramentas de IA semelhantes.

A esse respeito, David Carr, analista da Similarweb, disse: "A partir de agora, os chatbots devem provar seu valor e não considerar tudo garantido".

Até certo ponto, o declínio no número de visitas ao ChatGPT e ao Character.AI simboliza que os aplicativos de IA para usuários C-end atingiram gradualmente o limite superior e isso mostra que—

**Os usuários não estão tão interessados em explorar a possibilidade de IA de forma independente. Integrar profundamente a IA com cenários de aplicação e "colocar o martelo ao lado do prego" são condições necessárias para o desembarque de modelos grandes. **

A Microsoft assumiu a liderança ao se tornar um "portador de martelos".

Usando a tecnologia da OpenAI, empresa controladora da ChatGPT, a Microsoft lançou o Microsoft 365 Copilot e, na conferência anual Inspire, em 18 de julho, ofereceu um preço de US$ 30 por mês para clientes comerciais.

De acordo com relatórios, o Microsoft 365 Copilot pode ajudar as empresas a raciocinar sobre todos os dados de negócios, incluindo gerar as informações mais recentes de reuniões matinais, e-mails e registros de bate-papo e enviá-los para a equipe; ajudar os usuários a entender o andamento dos projetos na semana passada; ou de internos arquivos e redes Crie uma análise SWOT a partir dos dados.

**Ao combinar com seus próprios cenários, a Microsoft embarcou em um caminho de monetização mais sólido, e este também é o modelo de muitas grandes empresas que estão testando IA de água hoje. Todo o processo é um circuito fechado e os dados e modelos fluem apenas entre gigantes . **

É como se a tecnologia de fabricação de robôs mais avançada em "Blade Runner" fosse firmemente controlada pela Taylor Corporation.

No entanto, os desenvolvimentos reais costumam ser mais dramáticos do que os filmes. Recentemente, a Meta, também uma gigante da Internet, anunciou o modelo básico de código aberto Llama2, que é distribuído pela Microsoft Cloud e está disponível para uso comercial gratuito por empresas, disparando o primeiro tiro de " monopólio anti-tecnologia".

A julgar pelos resultados da avaliação, o Llama2 ainda tem uma certa lacuna em relação ao GPT-4 e tem suas próprias vantagens e desvantagens em relação ao GPT-3.5. Atualmente, é o melhor modelo de código aberto do mercado.

Mas o que exatamente isso significa?

Tomando a divisão de grandes níveis de modelos da Huawei como exemplo, ela pode ser dividida em grandes modelos básicos (simulando funções humanas, como linguagem e visão), modelos grandes da indústria (de acordo com as divisões da indústria, as funções de vários modelos grandes básicos podem ser coordenadas) e Modelos de cenários (correspondentes a cenários específicos da indústria, como assistentes de outlet, logística da cadeia de suprimentos e otimização de pequenas moléculas).

O Llama2 de código aberto da Meta é um modelo de linguagem grande no modelo grande básico. Não requer uma grande quantidade de dados para treinar o modelo, mas apenas um grande corpus. Por meio do ajuste fino, os empreendedores de modelos em larga escala podem desenvolver aplicativos de IA adequados para setores ou cenários correspondentes.

Assim como o sistema Android oferece suporte ao ecossistema de Internet móvel de telefones celulares que não são da Apple, o Llama2 minimiza o custo de desenvolvimento de modelos de grande escala para empresas, para que possam se concentrar mais em seus próprios cenários industriais.

A "Câmera Miaoya", que explodiu repentinamente na China recentemente, é uma beneficiária do código aberto.

Stable Diffusion (SD) é uma das ferramentas de pintura de IA mais populares atualmente. É um projeto gratuito e de código aberto que pode ser implantado e usado por qualquer pessoa gratuitamente. De acordo com as previsões de mercado, o princípio da "Câmera Miaoya" é resolver o problema de aleatoriedade na saída de imagem SD por meio do plug-in do modelo LoRA.

LoRA é, na verdade, um modelo de tecnologia de ajuste fino que é gratuito e aberto ao público. Em 25 de julho, o Alibaba Cloud lançou um plano de treinamento e implantação para a série completa de versões do Llama2 na China, incluindo o ajuste fino do LoRA.

Do ChatGPT voltado diretamente para os consumidores C-end, à combinação da Microsoft de grandes modelos com seus próprios cenários e, em seguida, empurrando-os para consumidores ou empresas e, em seguida, para o Meta open source Llama2, fornecendo modelos básicos grandes e serviços de ajuste fino para empresas, ** vários caminhos para promover em grande escala Atrás da aterrissagem do modelo, existem players de modelo em grande escala tentando abrir o ciclo fechado de negócios o mais rápido possível, e a consideração de retirar fundos para apoiar a iteração tecnológica também é um longo prazo investimento na construção de uma ecologia industrial de IA e competindo pelo direito de falar. **

Vale ressaltar que, embora o artigo use Microsoft, OpenAI e Meta como exemplos, isso não significa que eles se limitam aos caminhos correspondentes. Na verdade, com o apoio de tecnologia e recursos, as empresas líderes têm força para implantar vários caminhos, e isso também tornou a situação de batalha mais ansiosa.

Por exemplo, de acordo com um artigo publicado pelo The Information em 24 de julho, o modelo de linguagem em larga escala de código aberto que a OpenAI está desenvolvendo atualmente tem o codinome G3PO, e o cronograma de lançamento ainda não foi determinado internamente.

Curiosamente, embora o pé da frente Zuckerberg tenha afirmado no Facebook que "o código aberto promove a inovação porque permite que mais desenvolvedores usem novas tecnologias... Acredito que se o ecossistema for mais aberto, mais progresso será liberado", mas em uma teleconferência alguns dias depois, ele propôs que cobraria uma parte da receita da revenda de serviços para grandes empresas de computação em nuvem, como Microsoft, Amazon e Google.

Os dados podem se tornar o fosso mais forte para as empresas chinesas

Dai Yusen, sócio-gerente da ZhenFund, tem uma analogia engenhosa para essa rodada de modelo de empreendedorismo em grande escala: o surgimento do GPT-3 é equivalente à descoberta de um novo continente, e o ChatGPT-4 é como descobrir ouro em um novo continente.

A jornada de recuperação da empresa chinesa é como conhecer o Novo Mundo e onde está o ouro, e saber que o OpenAI está indo de barco, e conhecer a aparência geral do barco, mas sem um mapa detalhado.

Portanto, para os jogadores chineses de modelos em grande escala, encontrar suprimentos em terra durante esta longa viagem é uma questão de vida ou morte.

Docking é encontrar uma cena de pouso para o grande modelo e formar um modelo de negócios sustentável.

É inegável que ainda existe uma certa lacuna entre os chips domésticos de inteligência artificial e os padrões de classe mundial. Limitada pelas sanções dos chips, é difícil para as empresas chinesas expandir a escala do poder de computação.

Além disso, do lado do algoritmo, incluindo vários modelos grandes, como processamento de linguagem natural, visão computacional, áudio e multimodalidade, a China tem certas vantagens, mas o algoritmo em si e o poder de computação se complementam, portanto, também está temporariamente no mesma posição que OpenAI e outros líderes da indústria. uma certa distância.

Nesta situação atual, as empresas nacionais devem trabalhar duro em dados se não quiserem ficar para trás nesta onda de IA.

**Em outras palavras, uma das principais barreiras para os players chineses de modelos em grande escala nesta rodada da competição é baseada nos dados formados no mercado chinês. **

No processo de desenvolvimento de grandes modelos, os dados são o fator decisivo, e a qualidade e a escala dos dados afetam diretamente o custo de desenvolvimento e o efeito de apresentação final do modelo.

No entanto, dados de alta qualidade geralmente contêm um grande número de segredos corporativos, que nem mesmo podem ser carregados em redes externas, muito menos enviados a outras empresas para desenvolvimento de modelos em larga escala.

Em março deste ano, o "economista" da mídia coreana informou que houve três casos envolvendo o uso indevido e abuso do ChatGPT dentro da Samsung, resultando em dados de medição de equipamentos semicondutores, rendimento do produto e outros conteúdos sendo armazenados no banco de dados de aprendizado do ChatGPT, causando grandes perdas para a empresa.

É precisamente por causa do risco de vazamento de informações e do alto custo de confiança entre as empresas que as empresas estrangeiras de modelos em grande escala geralmente começam a aumentar a escala dos modelos em grande escala, estabelecem uma ecologia industrial e depois seguem com as aplicações.

Até certo ponto, a "Carta de Compromisso Voluntário" recentemente assinada por empresas como Microsoft, OpenAI e Amazon na Casa Branca não é apenas uma resposta às preocupações sociais causadas pelo rápido desenvolvimento da IA, mas também um sinal para o mercado , na esperança de obter mais instituições sociais e confiança empresarial.

** De volta à China, sob a orientação do poder nacional, empresas estatais e governos locais estão relativamente abertos a modelos de grande escala, e aplicações, ecologia e construção de modelos estão se desenvolvendo simultaneamente. **

Por exemplo, o modelo de grande escala Pangea da Huawei pousou na moderna mina de carvão Lilou com as maiores reservas de mineração e a vida útil mais longa da mina na província de Shandong.

Em outubro de 2022, a Huawei assinou um acordo de cooperação com a Yunding Technology, uma subsidiária do Shanneng Group, para lançar totalmente minas, inteligência artificial, infraestrutura de TIC, parques inteligentes, treinamento de talentos, wearables inteligentes, terminais de mineração e soluções de TIC para cenários industriais. cooperação.

Desde então, especialistas de ambos os lados se aprofundaram na linha de frente da mina e participaram profundamente da aplicação de modelos em grande escala. Na produção real, 21 majors em 9 disciplinas, incluindo mineração de carvão, escavação, transporte principal, transporte auxiliar, levantamento, supervisão de segurança, anti-desgaste, lavagem e coque foram escavados Cenários de aplicação, atualização constante do modelo e lançamento oficial do primeiro grande modelo AI no campo de mineração em 18 de julho deste ano.

Entende-se que uma das funções do grande modelo Pangu é auxiliar o departamento anti-desgaste na verificação padrão dos projetos anti-desgaste e alívio de pressão, o que pode reduzir a carga de trabalho da revisão manual em 82% e atingir 100 % taxa de aceitação dos projetos antidesgaste.

Histórias semelhantes também aconteceram com empresas como Baidu e HKUST Xunfei.

Em 27 de junho deste ano, Pequim lançou o primeiro lote de 10 casos de aplicação típicos de modelos industriais de grande escala, a maioria dos quais são campos "núcleos" como governança urbana, finanças inteligentes, assistência médica e modernização industrial.

Isso inclui o "Assistente de Conhecimento de Inspeção de Operação de Equipamento Equipado com o Modelo Grande NLP da Indústria de Energia" desenvolvido em conjunto pela Baidu e pela Unidade de Pesquisa de Rede Inteligente da State Grid, que pode melhorar os indicadores F1 de segmentação de palavra profissional de energia elétrica e reconhecimento de entidade sensível de marketing de energia elétrica em 9,27 % e 13,28%, chegando a 92,376% e 94,947%;

O "Urban Brain Large Model" desenvolvido em conjunto pela iFLYTEK e Zhongguancun Science City City Brain resolve problemas como acesso limitado e aplicação de recursos de dados de governança urbana, fraca capacidade de generalização de modelos de serviço de governança urbana e segurança da informação na era da inteligência artificial.

**As empresas chinesas embarcaram em um caminho único - de grandes modelos da indústria para grandes modelos gerais e, em seguida, analisam que tipo de tecnologia de modelo em grande escala é necessária para a implementação em larga escala de aplicativos. **

**E esse processo também está de acordo com o consenso geral do setor sobre produção de dados de alta qualidade - reduza o limite popularizando a IA e, ao mesmo tempo, implemente a IA no setor e, em seguida, acumule e colete mais dados de alta qualidade, e, finalmente, empurrar o modelo para frente Iterar rapidamente. **

A razão pela qual os cenários domésticos de aplicação de modelos em larga escala são diferentes daqueles no exterior é essencialmente que sob o pano de fundo que o poder de computação e os algoritmos não dominam, o país e as empresas formam uma força conjunta para acelerar o desenvolvimento do "dados-modelo-dados " volante.

**E o que realmente determina a direção futura durante esta rodada de encaixe é, na verdade, se um mercado de dados com alta qualidade, liquidez e segurança pode ser construído na China. **

Há alguns dias, a China Communications Standards Association e a China Academy of Information and Communications Technology lançaram o "Relatório de pesquisa de desenvolvimento de banco de dados (2023)". O relatório apontou que o tamanho do mercado global de banco de dados em 2022 será de 83,3 bilhões de dólares americanos, e o tamanho do mercado de banco de dados chinês será de 5,97 bilhões de dólares americanos (cerca de 40,36 bilhões de dólares americanos). bilhões de yuans), representando 7,2% do mundo.

Estima-se que até 2027, o tamanho total do mercado de banco de dados da China chegará a 128,68 bilhões de yuans, com uma taxa de crescimento anual composta de mercado (CAGR) de 26,1%.

** Onde está o bolo mais doce? **

Resumindo, existem duas tendências na faixa de modelo grande como um todo.

**Uma delas é que as empresas líderes estão migrando de aplicativos do lado C para o lado B. Alguns players optam por integrar seus próprios recursos e estabelecer um sistema de serviço de cadeia completa, desde o banco de dados até os aplicativos industriais. A outra parte escolhe construir um grande plataforma de modelo em escala para integrar com pequenas e médias empresas Formar uma força conjunta para atacar os principais players. **

**Em segundo lugar, as empresas estrangeiras são as primeiras a implementar modelos de grande escala em seus próprios cenários, e as empresas nacionais estão profundamente integradas com indústrias reais para formar um volante de dados. **

Entre o fluxo e refluxo da maré, o "pedaço de bolo mais doce" na camada de aplicação da cadeia da indústria de IA gradualmente veio à tona.

** A julgar pela situação atual, os modelos de linguagem em grande escala e os modelos visuais em grande escala são os caminhos de comercialização mais claros e os modelos de grande escala mais concentrados no mercado. **Além de aplicativos diretos ao consumidor, como ChatGPT e Miaoya Camera, também está progredindo constantemente em áreas como escritório colaborativo, edição de imagens e atendimento inteligente ao cliente.

No entanto, o grau de homogeneidade de tais aplicativos é relativamente alto. A menos que a tecnologia seja tão líder quanto a OpenAI, o efeito não será muito diferente. Além disso, até mesmo a OpenAI precisa introduzir continuamente novas funções para reter os clientes.

Nos dias 20 e 21 de julho, o ChatGPT aumentou o número de mensagens que podem ser enviadas por meio do GPT-4 e lançou a função de comando personalizado.

Em contrapartida, os jogos multiplayer online (MMO) têm barreiras mais altas da indústria, também baseadas em recursos de geração de gráficos. A função de aprendizado profundo da IA se encaixa nas características multifacetadas do jogo e desempenha um papel de liderança no atual processo de desenvolvimento de tecnologia de jogos, trazendo aos jogadores uma experiência de jogo mais inteligente, rica e personalizada.

Tendo como pano de fundo a distribuição estável de números de versões de jogos, espera-se que a indústria de jogos se torne o pedaço de bolo mais doce a curto prazo para aplicações de modelos em larga escala.

**No longo prazo, o modelo grande é essencialmente uma ferramenta para melhorar a qualidade e a eficiência do setor.A disposição dos clientes em adquirir serviços ou produtos está diretamente relacionada aos benefícios que o modelo grande pode alavancar. Portanto, para encontrar os cenários de aplicação mais imaginativos no futuro, os principais indicadores que precisam ser investigados são a escala da própria indústria e a altura do fosso. **

"Escritório de pesquisa baseado em silício" acredita que os novos veículos de energia são o campo mais imaginativo para futuros modelos em grande escala.

Do ponto de vista das perspectivas de desenvolvimento, os novos veículos de energia estão em conformidade com a tendência global de consumo "baixo carbono e ambientalmente amigável", que é propício para reduzir o consumo de energia petroquímica.

Por exemplo, em junho de 2022, os ministros do meio ambiente dos 27 países da UE chegaram a um acordo sobre uma nova legislação de proteção climática.

Apenas do ponto de vista da redução das emissões de CO2, os grandes modelos podem encontrar o seu caminho.

Além de dirigir, toda a cadeia da indústria automobilística em si também é um grande emissor de carbono, e a fundição de matérias-primas metálicas, transporte transnacional, manufatura e outros elos são o foco da redução de emissões de carbono. No entanto, devido à complexa cadeia industrial, dados triviais e amplos cenários de aplicação, é difícil para as montadoras coletar e avaliar a pegada de carbono de todo o ciclo de vida dos carros.

Com a inteligência da cadeia da indústria automobilística, vários dados são transmitidos para a nuvem e, aos poucos, é possível definir um caminho claro de redução de carbono. Nesse processo, espera-se que o volante de "dados" do modelo grande se torne o " quinto" do automóvel. "uma roda" para quebrar as barreiras de dados entre os links e formar um caminho inteligente na cadeia industrial.

** Por outro lado, a combinação de modelos grandes e veículos de nova energia é, na verdade, uma estrada em que todos saem ganhando. **

O alto custo de inferência de grandes modelos é a razão pela qual muitas empresas são desencorajadas a usá-lo. Com o desenvolvimento da tecnologia, grandes modelos são liberados da nuvem para produtos, e o próprio carro também pode executar um certo grau de tarefas de raciocínio com base no chip de bordo e enviar os resultados para a nuvem. Para os proprietários de carros, isso significa que os veículos de nova energia ainda manterão um certo grau de "inteligência" sem estarem conectados à Internet, o que é um bônus para a experiência do usuário.

**No entanto, ainda há várias dificuldades a serem superadas antes que o grande modelo possa realmente fortalecer a indústria de veículos de nova energia. **

Por exemplo, problemas de armazenamento de dados.

Já em 2017, houve uma onda de boom industrial de big data na China, em que um cenário típico era o alerta precoce e a manutenção de equipamentos essenciais. Em termos leigos, é prever quando o equipamento pode desligar por meio dos dados realimentados pelo sensor e avisar que tipo de equipamento deve ser substituído.

No entanto, após a implementação real, descobriu-se que pelo menos 2 a 3 ciclos de dados são necessários para formar um modelo de dados completo, e o custo de armazenamento sozinho chega a dezenas de milhões, o que é muito arriscado para as empresas.

E isso também é verdade hoje, porque a pesquisa e o desenvolvimento de grandes modelos e as iterações subsequentes também exigem dados massivos como suporte, portanto, as montadoras de hoje estão mais inclinadas a construir plataformas primeiro, conectar dados e negócios e depois usar modelos grandes para fazer alguns encaixa.

**Em segundo lugar, em comparação com grandes modelos generativos, o campo industrial presta mais atenção à estabilidade. **

Para dar um exemplo simples, usamos o ChatGPT para escrever poemas, esperando que seja criativo, cada peça é diferente, mas no campo industrial, se cada instrução for diferente, causará grandes problemas.

Portanto, a integração profunda de grandes modelos e linhas de produção deve ser semelhante a escrever códigos para gerar instruções industriais ou propor soluções de otimização para links específicos, sendo impossível realmente intervir na produção.

Como diz o ditado, as bênçãos vêm dos infortúnios e os infortúnios vêm das bênçãos. As duas dificuldades para os modelos de grande escala entrarem na indústria de veículos de nova energia são, na verdade, os fossos para as empresas que farão conquistas nesse campo no futuro. Com o desenvolvimento contínuo da tecnologia de armazenamento e o surgimento de novas fábricas digitais, como "fábricas de luz negra", a resistência em conectar grandes modelos com a nova indústria de energia também está diminuindo.

Em alguns campos mais avançados, os dois começaram a produzir reações químicas.

Atualmente, a implementação de modelos em grande escala no campo de veículos de novas energias é basicamente focada na direção autônoma. Baidu, Tesla, Huawei e Google já foram implantados. Área de demonstração na estrada.