Lin Junchao: Olhando para as oportunidades de investimento da IA sob a perspectiva do mercado primário

Fonte: Titanium Capital Research Institute

Depois que o ChatGPT varreu o mundo, a inteligência artificial foi empurrada para uma nova saída. Como uma ferramenta de produtividade inteligente subversiva, já se tornou um tema quente. Atualmente, países e regiões desenvolvidos em todo o mundo elevaram o desenvolvimento da indústria de inteligência artificial à estratégia nacional, e tecnologias e aplicativos emergentes relacionados foram implementados continuamente. Com o desenvolvimento aprofundado da nova onda de IA, uma revolução industrial liderada pela tecnologia de inteligência digital está prestes a emergir e também abriu o prelúdio para a "era do modelo grande" em todas as esferas da vida.

Por que grandes modelos de linguagem podem liderar a tendência da IA? Quais são as oportunidades de investimento para IA doméstica? Recentemente, a Titanium Capital convidou Lin Junchao, diretor de investimentos da Rongyi Capital, para compartilhar o tema: Observando as oportunidades de investimento da IA sob a perspectiva do mercado primário. O Sr. Lin é bacharel em engenharia elétrica e eletrônica e possui mestrado honorário de primeira classe pela University College London (UCL), e tem três anos de experiência empresarial e seis anos de experiência em investimentos de capital. Seus focos de investimento incluem ferramentas básicas de desenvolvimento de software, Metaverse e AIGC, incluindo Jingye Intelligence, Smart Open Source China e outros projetos. O anfitrião deste compartilhamento é Wu Kai, diretor administrativo da Titanium Capital. O seguinte é o registro de compartilhamento:

Por que o grande modelo de linguagem pode liderar a tendência da IA‍‍‍

Uma Breve História do Desenvolvimento de IA

Desde que Shannon propôs jogos de computador em 1950, a IA passou por mais de 70 anos de desenvolvimento. Podemos dividi-lo aproximadamente em quatro estágios: iluminação inicial + era do sistema especialista (anos 50-70), aprendizado de máquina + era da visão computacional (anos 80-90), era do aprendizado profundo (2006-2017), multimodal + era do modelo de linguagem grande (2018-presente).

O evento marcante no estágio inicial de iluminação ocorreu no Dartmouth College Summer Symposium em 1956. O conceito de inteligência artificial foi proposto pela primeira vez na reunião, que deu início oficialmente ao prelúdio da inteligência artificial.

Na era do aprendizado de máquina, existe uma figura marcante, ou seja, o padrinho da IA que deixou o Google há algum tempo - Jeffrey Hinton. Em 1986, ele propôs o algoritmo de retropropagação, que possibilitou o treinamento de redes neurais em larga escala e abriu caminho para redes neurais posteriores e aprendizado profundo. Ao mesmo tempo, muitos eventos e figuras marcantes também apareceram nesta fase, como o jogo de gamão em 1979 e a vitória do Deep Blue sobre o campeão mundial de xadrez Kastrov em 1997. Em 2006, Jeffrey Hinton e outros propuseram formalmente o conceito de aprendizado profundo, introduzindo assim a IA no terceiro estágio – a era do aprendizado profundo.

Na era do aprendizado profundo, Jeffrey Hinton propôs a rede neural convolucional AlexNet em 2012 e venceu a competição de classificação de imagem ImageNet. A taxa de erro geral foi 10,8% menor que o segundo colocado, abrindo oficialmente o primeiro ano de aprendizado profundo em visão computacional. Em março de 2013, o Google adquiriu a DNNResearch, empresa iniciante de Jeffrey Hinton, por US$ 44 milhões. Desde então, o Google começou a liderar o desenvolvimento da IA global; em 2015, o TensorFlow, o framework de aprendizado profundo mais influente do mundo, tinha código aberto; em 2016, o AlphaGo derrotou o mestre Go de nove dan Li Sedol 4:1; em 2017, lançou o modelo Transformer, que desde então abriu a era do modelo de linguagem grande atual. Ao mesmo tempo, junto com a onda de IA liderada pelo Google, unicórnios de IA como Scale AI, HuggingFace e OpenAI também foram estabelecidos em 2016. A gigante da Internet Meta também abriu o código de uma estrutura de aprendizagem profunda mais útil Pytorch em 2017.

O OpenAI, líder na era dos modelos de linguagem grande, apareceu pela primeira vez no início de abril de 2019. O OpenAI Five desenvolvido por ele derrotou a equipe OG campeã mundial de Dota2 com uma vantagem absoluta de 2: 0 e lançou o GPT-3 com 175 bilhões de parâmetros em maio de 2020, ChatGPT (GPT-3.5) em novembro de 2022 e GPT-4 em março de 2023. Desde então, assumiu oficialmente o lugar do Google e começou a liderar o mundo. Desenvolvimento de Modelos. Gigantes da Internet/software como Google, Meta e Microsoft também ajustaram suas estratégias e participaram ativamente da competição de modelos em larga escala. Desde o ChatGPT no final de 2022, vimos que grandes fabricantes em todo o mundo entraram no modelo de grande escala, e universidades nacionais, gigantes da tecnologia, start-ups, etc. também lançaram continuamente vários produtos e aplicativos de modelo em grande escala.

A história do desenvolvimento de IA na China pode ser rastreada até o estabelecimento do Microsoft Asia Research Institute em 1998. Hoje, os fundadores e as principais equipes por trás de empresas nacionais conhecidas, como Innovation Works, Baidu, Kingsoft, Alibaba, SenseTime e Questyle, todos vêm do Microsoft Asia Research Institute. O primeiro lote de empresas domésticas de IA iFlytek, Dahua e Hikvision foram listadas no mercado de ações A por volta de 2008-2010. De 2011 a 2015, muitas startups de visão computacional surgiram na China, como Megvii (fundada em 2011), YITU (fundada em 2012), SenseTime (fundada em 2014) e Yuncong (fundada em 2015). Em 2018, a equipe nacional - Beijing Zhiyuan Artificial Intelligence Research Institute foi estabelecida. O desenvolvimento de modelos grandes desta vez também se beneficiou dessa onda. Desde 2002, empresas relacionadas à IA, como Cambrian, SenseTime, Haitian Ruisheng e Yuncong, foram listadas no Conselho de Inovação em Ciência e Tecnologia e na Bolsa de Valores de Hong Kong.

O charme do ChatGPT e GPT-4

Por que o ChatGPT e o GPT-4 nos permitem sentir intuitivamente a diferença e o poder dessa onda de IA do passado? Pode ser visto principalmente sob os seguintes aspectos:

**Primeiro, do ponto de vista do usuário, este é um método de interação muito humano. **Ao conversar com o ChatGPT, o conteúdo é gerado palavra por palavra, e a resposta é gerada enquanto se pensa. Ao mesmo tempo, também possui a capacidade de múltiplas rodadas de diálogo. Além disso, também pode desempenhar algumas funções, como tradutores, conselheiros psicológicos, etc.

**Em segundo lugar, a capacidade de generalização, refletida principalmente na capacidade de entender rapidamente os requisitos e fornecer respostas relativamente precisas sem contexto. **Isso conta com o suporte de corpus maciço de pré-treinamento e engenharia de dicas.

**Terceiro, a cadeia de pensamento. ** Capacidade de entender contexto e contexto, mesmo textos longos. Por exemplo, o recém-lançado Claude2 tem uma capacidade de processamento de contexto de 100.000 tokens, que pode basicamente alimentar um livro inteiro para processamento. Ao mesmo tempo, há também uma forte capacidade de raciocínio lógico, que pode gradualmente desmontar e deduzir o problema de acordo com o pensamento humano.

Na verdade, essas capacidades surgem com o aumento dos parâmetros do modelo e a extensão do tempo de treinamento. Além disso, podemos ver que o GPT-4 tem excelentes resultados em vários exames humanos, atingindo basicamente o nível de futuros estudantes universitários.

A composição do grande modelo de linguagem

Voltando ao modelo de linguagem grande em si, recomendo a todos que assistam ao discurso principal do State of GPT compartilhado pelo cofundador da OpenAI, Andrej Karpathy, na Microsoft Developers Conference. Ele desmontou o processo de treinamento do modelo grande em quatro etapas:

**No estágio de pré-treinamento, uma grande quantidade de dados de treinamento de qualidade relativamente baixa (incluindo livros, rastreamento da Internet, papéis, etc.) e 99% do poder de computação e tempo em todo o processo de treinamento de modelo grande são necessários para treinar um modelo básico **Por exemplo, treinar um modelo básico LLaMA de 650 bilhões de parâmetros requer 2.048 GPUs Nvidia A100, o que leva 21 dias, e o custo total do treinamento é de cerca de 5 milhões de dólares americanos. Portanto, treinar um modelo básico não é amigável para start-ups, e esses recursos e custos geralmente estão disponíveis apenas para grandes fabricantes.

A segunda etapa é supervisionada e ajustada no modelo básico, para treinar o modelo SFT, como Vicuna-13B e outros modelos comuns de código aberto, são modelos supervisionados e ajustados. Nesse estágio, apenas uma pequena quantidade de dados de alta qualidade precisa ser fornecida e a demanda por poder de computação é relativamente pequena.

**O terceiro e quarto estágios são os estágios de modelagem de recompensa e aprendizado por reforço, ou seja, aprendizado de feedback de reforço humano RLHF. ** Por meio desses dois estágios, a saída do modelo será muito melhor do que o modelo de ajuste fino supervisionado e o modelo básico, mas a entropia do modelo básico será sacrificada.

Do ponto de vista da indústria do mercado primário para ver as oportunidades de IA

Olhando para as oportunidades de investimento em IA sistematicamente da perspectiva do investimento no mercado primário, ele pode ser dividido em camada básica, camada de implantação e camada de aplicativo. A comunidade de modelos de IA passa por essas três camadas.

**A camada básica pode ser dividida em camada de infraestrutura, camada de dados e camada de algoritmo. **

A camada inferior da camada de infraestrutura é o poder de computação, e é também o local que atualmente enfrenta o gargalo mais direto.Agora, as GPUs Nvidia e AMD estão embargadas na China. A Huawei Kunpeng, líder em poder de computação doméstico, também enfrenta o problema da saída de fita.No futuro, a China pode enfrentar uma pressão crescente em termos de poder de computação de ponta. Ao mesmo tempo, ainda há o problema da utilização da GPU. Mesmo para OpenAI, um grande número de engenheiros da Nvidia residem no local para ajuste manual, mas a utilização da GPU é de apenas 50% a 60%. Acima do poder de computação está a camada básica de software em torno do modelo grande, como armazenamento de dados nativo de IA, transmissão de dados, segurança de dados e outras ferramentas e plataformas de desenvolvimento e manutenção em torno dos dados, incluindo bancos de dados vetoriais, LLMOps, MLOps, etc.

Pode haver mais oportunidades na camada de dados, porque o modelo básico pode ser desenvolvido por empresas líderes no futuro, e haverá um grande número de modelos básicos de código aberto, portanto, não há necessidade de gastar muito dinheiro para desenvolver seu próprio modelo básico. Devemos nos concentrar no acúmulo de dados das próprias indústrias e empresas verticais e em como formar aplicativos de grande escala pelos quais os clientes estejam dispostos a pagar. No momento, o maior problema dos grandes modelos é como obter conjuntos de dados de alta qualidade e conjuntos de dados verticais da indústria.Todos viram o potencial de grandes modelos nas áreas de indústria, ciência, medicina, direito, finanças e educação. As oportunidades futuras podem estar em como obter dados de alta qualidade com eficiência, como processar dados multimodais, como identificar, como capitalizar dados, como confirmar direitos, como negociar, como proteger a segurança, etc.

O núcleo da camada de algoritmo está na estrutura de aprendizado profundo e no modelo básico

A estrutura de aprendizado profundo pode ser descrita como o sistema operacional da IA. Ele coordena a implantação de recursos de computação para baixo, assume os recursos de construção de modelos de algoritmo de IA para cima e fornece um grande número de bibliotecas de operadores, bibliotecas de modelos e tutoriais de documentos. Também é uma ecologia por natureza e reduz o limite de desenvolvimento. Atualmente, as principais estruturas de aprendizado profundo do mundo são principalmente TensorFlow do Google e Pytorch da Meta. Na China, existem principalmente Baidu Fei Paddle, Huawei Shengsi e Oneflow, que foi adquirido anteriormente pela Light Years Beyond.

O próprio modelo básico também tem diversidade. Por exemplo, em termos de caminhos técnicos, existem CNN, RNN, GAN, Transformer, etc. O modelo Transformer pode ser dividido em modelo de codificação automática, modelo autorregressivo, modelo de codificador-decodificador, etc. Essa direção é a mais provável de dar origem a empresas com valor de mercado de centenas de bilhões ou até trilhões, mas também é o principal campo de batalha com a competição mais intensa.

Na era da guerra dos 100 modelos, a avaliação de modelos tornou-se uma ferramenta essencial para medir as capacidades de vários modelos. Atualmente, várias ferramentas de avaliação para modelos pequenos tradicionais (GLUE, SuperGLUE, etc.), modelos de linguagem grandes (HELM, BIG-Bench, etc.) e modelos de linguagem chinesa grandes (SuperCLUE, C-, etc.) apareceram no mercado. Como SuperCLUE e C-, um grande número de questões com características chinesas (Pensamento Mao Zedong, os princípios básicos do muskismo, etc.) e características chinesas (idiomas, poemas, chinês clássico, etc.) e outras dimensões foram adicionadas aos seus conjuntos de avaliação. A julgar pelos resultados da avaliação, exceto para GPT-4, GPT-3.5 e Claude, os modelos domésticos de grande escala são melhores do que outros modelos estrangeiros no desempenho geral da avaliação, portanto, a necessidade de treinar modelos chineses de grande escala é muito alta.

A camada de aplicação pode ser dividida em grandes modelos gerais e grandes modelos verticais da indústria. Nós nos concentramos principalmente na nova geração de ferramentas de produtividade habilitadas para IA no campo de grandes modelos gerais e nas oportunidades de aplicação de grandes modelos em vários campos verticais da indústria.

para C—ferramenta de produtividade com IA

Na era da epidemia, as ferramentas de produtividade com tema de colaboração, como Notion, Figma e Canva, passaram por mudanças. Da mesma forma, nesta onda de IA, as ferramentas de produtividade também darão início a uma nova revolução.

Agora vemos que grandes modelos penetraram em vários graus em texto, código, imagem, música, vídeo, 3D, etc. Vários novos produtos e novos aplicativos estão surgindo um após o outro, como chatbots no campo de texto e copiloto de produtos de escritório, GitHub copiloto no campo de código, Midjourney e Stable Diffusion no campo de imagem, AI Stefanie Sun, que era popular no campo da música antes, e pista no campo de vídeo, etc. Empresas nacionais como Baidu, Kingsoft Office, Evernote, Zhipu Huazhang, etc. também lançaram produtos semelhantes de IA. , estão mudando a forma das ferramentas tradicionais de produtividade em vários graus, mas atualmente estão limitadas a ferramentas de eficiência no processo de produção industrial em vários campos e não podem realizar a AGI no verdadeiro sentido.

Ao mesmo tempo, pode-se ver que fabricantes como Microsoft Office, Adobe Photoshop, Unity e Notion também estão adotando ativamente essa onda de IA, incorporando recursos de AGI em seus próprios produtos e cadeias de ferramentas. Originalmente, pensava-se que o surgimento de Midjourney e Stable Diffusion substituiria completamente o Photoshop, mas depois descobriu-se que o AGI, devido a problemas de controlabilidade e outros aspectos, tornava o Photoshop combinado com os recursos de geração de IA mais poderosos e fáceis de usar.

O campo 3D é atualmente um dos campos mais difíceis de implementar IA. O fator principal é que há poucos dados 3D de alta qualidade. Atualmente, o AGI para conteúdo 3D é explorado e liderado principalmente pela NVIDIA, Unity, Stability.ai e institutos de pesquisa científica, mas, neste estágio, ainda é principalmente ferramentas de demonstração e dispersão, e ainda há um longo caminho a percorrer antes que possa ser aplicado a campos industriais, como efeitos especiais de cinema e televisão, jogos e metaverso.

para B—modelo industrial vertical

Atualmente, a maioria dos produtos de modelos em grande escala lançados pelos principais fabricantes são modelos de grande escala de uso geral. No entanto, ao enfrentar indústrias verticais, os clientes B-end precisam de modelos grandes de alta precisão, consistência e fáceis de implantar que possam resolver com eficiência problemas de cenários específicos com menos dados e menor poder de computação. O mais recente modelo grande Pangu 3.0 lançado pela Huawei é baseado no modelo grande básico, adicionando modelos grandes da indústria N L1 e recursos de modelo de cena X L2.

Os principais pontos-chave dos grandes modelos verticais do setor são conjuntos de dados do setor de alta qualidade e recursos de engenharia para ajuste, compactação e implantação de modelos. Este também é um ponto de oportunidade de investimento, assim como a oportunidade de contêiner na era nativa da nuvem, um grande número de pequenas e médias empresas B em setores tradicionais precisam contar com fabricantes de contêineres especializados para ajudá-los a embarcar no caminho da nuvem nativa.

Atualmente, tem havido muita exploração e prática no exterior no campo de grandes modelos da indústria vertical, como BloombergGPT no campo FinGPT. Bloomberg converteu os dados financeiros acumulados nos últimos 40 anos em um conjunto de dados financeiros de 365 bilhões de tokens e combinados com conjuntos de dados gerais para treinar seus próprios 50 bilhões de parâmetros.

Por fim, vamos falar sobre o foco de capital da trilha AGI no exterior: **Do ponto de vista do valor do investimento, os cinco principais são aplicativos de texto de marketing, áudio, robôs de suporte/atendimento ao cliente, imagens e plataformas MLOps; do ponto de vista do valor do financiamento, mais fundos fluem para as plataformas MLOps, cujo valor principal está em diminuir o limite para o desenvolvimento de grandes modelos, seguido por robôs de atendimento ao cliente, áudio, humanos digitais, dublagem e imagens. **

Perguntas e respostas

**Q1: As empresas de serviços de terceirização que fazem anotação de dados e auxiliam no desenvolvimento de IA parecem estar indo muito bem recentemente. Qual é a sua tendência de investimento? **

R: No momento, estamos prestando atenção a essas duas direções. O campo de anotação de dados se concentra principalmente em como essas empresas usam os recursos de grandes modelos para melhorar a eficiência da anotação, como o uso de GPT-4 para anotar texto e SAM para anotar imagens, etc. Como a principal competição atual no campo da rotulagem de dados é a eficiência e o lucro bruto, quem pode obter uma rotulagem mais eficiente com a ajuda de grandes recursos de modelo. Em termos de serviços de modelo em grande escala, será semelhante às oportunidades de contêiner na era nativa da nuvem. Fornecedores profissionais são necessários para reduzir o limite para treinamento, desenvolvimento e implantação de modelo em grande escala e ajudar cada empresa a perceber a liberdade de modelos em grande escala.

**Q2: AI agora tem duas categorias: TO C e TO B. Você acha que a oportunidade é maior para TO C ou TO B? **

A: Prestamos mais atenção ao TO B. Como existem muitos gigantes da Internet no campo TOC, especialmente em locais com uma forte ecologia de aplicativos de APP domésticos, é mais fácil para os principais fabricantes incorporar recursos de IA em seus próprios APPs. Portanto, prestamos mais atenção às suas capacidades de integração de dados, compreensão comercial e capacidades de engenharia.

**T3: Mesmo para modelos grandes com mais de um bilhão de parâmetros, mais de 80 foram relatados na China. E quanto à tendência de investimento no modelo grande? Como escolher entre código aberto e código fechado? **

R: Em relação ao código aberto e ao código fechado, é preciso pensar em como fazer bom uso do código aberto e como usar o modelo de código aberto para comercialização, por exemplo, o LLaMA tem restrições comerciais dentro do contrato de código aberto. O código fechado requer sua própria ecologia e suporte, que só podem ser mantidos por grandes fabricantes com capacidade e recursos financeiros.

**Q4: Do ponto de vista dos empreendedores de IA, eles podem ser divididos em três categorias. Uma categoria vem de grandes fábricas e fundadores já famosos. A outra categoria são acadêmicos, acadêmicos e especialistas da Universidade de Tsinghua ou de outras áreas. Há também uma categoria de empresários que tendem a ser de base. Qual dessas três categorias você prefere? **

R: Muitas das ondas de grandes modelos na China surgiram depois que a Open AI lançou grandes modelos como ChatGPT, LLaMA e Bloom como fontes abertas. No momento, estamos mantendo uma atitude de esperar para ver. Claro, também existem muitos grandes fabricantes voltados para o futuro e empresas iniciantes acadêmicas na China que exploraram antes dessa onda de boom de modelos em grande escala.

Para as equipes acadêmicas, como alcançar a comercialização é o mais desafiador. Portanto, não acho que seja necessário fazer isso sozinho no futuro.Por exemplo, a cooperação entre a OpenAI e a Microsoft pode fornecer recursos de modelo em larga escala para grandes fabricantes. Agora estamos procurando alvos em torno da Open Source China, porque ela tem uma linha de produtos IDE e precisa de co-piloto de código, então estamos procurando a possibilidade de cooperação com equipes acadêmicas. Acho que essa abordagem é mais viável.

**P5: Quais setores verticais do lado B têm maior probabilidade de alcançar avanços comerciais? **

R: Devido à generalização e multimodalidade da capacidade do modelo grande, o campo jurídico é um cenário muito comum e a demanda por conteúdo de texto é muito grande. Modelos maiores têm exatamente essa capacidade, embora ainda existam alguns problemas a serem resolvidos em termos de precisão. Além disso, os produtos de assistente pessoal também são um cenário que se pode imaginar, embora o ciclo de desenvolvimento possa ser mais longo.