O primeiro rascunho deste artigo foi concluído durante a pesca em um dia de descanso no final de agosto.Após uma publicação apressada, recebi muitos conselhos, então o autor adicionou, modificou e excluiu alguns conteúdos para não fazer rir.
O conteúdo deste artigo é principalmente avaliar a situação atual da indústria de IA na perspectiva do investimento, refletir e conjecturar sobre as rotas de tecnologia/produto de diferentes empresas e abstrair as estratégias das empresas na área de IA. indústria. Portanto, há inevitavelmente omissões nas partes relacionadas a tecnologias específicas, por favor, tenha paciência.
Mas, em última análise, várias grandes empresas que podem publicar artigos ainda estão dilaceradas e ninguém parece ser capaz de avaliar a exatidão do conteúdo deste artigo. Assim como pontuar GPT-3.5 com GPT-4, parece razoável, mas é um pouco abstrato quando você pensa sobre isso.
Portanto, o autor sugere que este artigo seja visto como um “julgamento” formado após a coleta de informações sobre indústrias incertas. Por se tratar de um julgamento, a posição deve ser clara e deve haver algo a dizer. Quanto a julgar se está certo ou não, deixaremos isso ao teste do tempo.
O autor sempre acreditou que as novas indústrias são barulhentas, por isso é sempre certo usar mais o cérebro e ousar fazer julgamentos. Para perguntas verdadeiro-falso, a taxa correta de adivinhação cega é de 50%, e a probabilidade de adivinhar errado três vezes consecutivas é de 12,5%.Mesmo que seja um nível de julgamento de lançamento de moeda, é significativo. Não é terrível fazer um julgamento, o que é mais terrível é que a precisão do julgamento é menor do que a do lançamento de uma moeda.
Antes de iniciar oficialmente este artigo, gostaria de agradecer às seguintes pessoas pelo seu trabalho, que forneceu inspiração valiosa e fontes de dados para este artigo. É claro que, uma vez que muitas inferências neste artigo são baseadas nessas obras, se houver erros ou se o entendimento do autor estiver errado, as inferências neste artigo não serão mais robustas e os leitores serão convidados a julgar por si próprios. Este artigo não constitui aconselhamento de investimento e dificilmente constitui aconselhamento de investimento.
Centro de cadeia de pensamento: um esforço contínuo para medir o desempenho de raciocínio de grandes modelos de linguagem（
LIMA: Menos é mais para alinhamento（
Junho de 2023, Uma Revisão de Estágio de Ajuste de Instrução（
Arquitetura GPT-4, infraestrutura, conjunto de dados de treinamento, custos, visão, MoE（
Ok, vamos começar oficialmente este artigo.
Maquete: lançando um foguete cibernético
O primeiro passo para discutir a IA em 2023 é discutir se o empreendedorismo em grande escala ainda pode ser realizado.
O grande modelo (pré-treinamento) agora se transformou no problema do lançamento de um foguete: desde que possa ser queimado e a direção seja correta, qualquer um pode fazê-lo. Pode-se dizer que treinar um grande modelo é lançar um foguete cibernético.
Uma coisa contra-intuitiva é que os investidores subestimam a dificuldade de treinar grandes modelos, mas superestimam a dificuldade de lançar foguetes reais. Com o mesmo custo de 60 milhões de dólares, os investidores pensarão que existe uma segunda oportunidade para um fracasso no lançamento de um foguetão, enquanto a falha no treino de um modelo grande é considerada um desperdício de dinheiro.
GPT-4 ainda consome US$ 60 milhões em eficiência de utilização de GPU da OpenAI (relatada em aproximadamente 30%). Esta é uma questão de {desempenho = eficiência × custo}, e o desempenho é uma barreira. Se outras startups não conseguirem atingir efeitos de desempenho superiores a 30% × 60 milhões = US$ 18 milhões, os usuários também poderão usar o GPT-4 diretamente.
Atualmente, muitas empresas que afirmam treinar grandes modelos têm rodadas de financiamento na faixa de US$ 1 milhão a US$ 5 milhões. Por outras palavras, mesmo as empresas com o maior montante de financiamento só têm munições suficientes para apoiar um lançamento. Mesmo que o aproveitamento da GPU deste lançamento chegue a 100%, será difícil superar o GPT-4.
Desta perspectiva, é melhor lançar foguetes, porque a maioria dos foguetes são veículos de lançamento, transportando satélites para o céu, e a carga única é limitada, de modo que pequenas empresas de foguetes podem receber encomendas de satélites que outras não têm tempo de lançar.
Grandes modelos são diferentes.O custo marginal da expansão horizontal de grandes modelos é apenas o custo do poder computacional, e o custo do poder computacional pode ser expandido elasticamente, o que significa que para grandes empresas modelo, o lucro de cada pedido é lucro livre. , quase não há custo adicional e a capacidade do empreendimento é muito grande. Para grandes empresas modelo recém-criadas com baixa qualidade, é difícil receber uma demanda excessiva.
A menos que o custo do treinamento seja bastante reduzido, mesmo que a arquitetura completa do GPT-4 seja conhecida, será difícil para muitas empresas fabricar um modelo grande que possa ser colocado no mercado no curto prazo.
Personalização: Enfrentando o problema do “vencedor leva tudo”
Na indústria de hardware, um fenómeno comum é obter lucros antecipados através de necessidades personalizadas e, em seguida, alcançar avanços tecnológicos (ou equalização) através de lucros antecipados. No entanto, a customização na indústria de modelos de grande porte dificilmente é uma saída para novos participantes.
Em relação a este julgamento, a explicação é muito simples: a grande maioria dos modelos ajustados não consegue alcançar o GPT-4. Mesmo que o alcancem, usar diretamente o GPT-4 para generalização é mais barato, requer menos pessoal e requer menos sorte Os requisitos de dados são menores. Enquanto ainda existir a lacuna de desempenho entre o GPT-4 e outros modelos, a customização não pode ser a saída para grandes empresas de modelos.
Um exemplo muito típico é Jasper, que usa GPT-3 ajustado para atender clientes corporativos, mas depois que a OpenAI lançou o ChatGPT (GPT-3.5), seus usuários perderam rapidamente. Porque a saída do Jasper pode ser obtida simplesmente inserindo GPT-3.5, em vez de usar uma "versão anterior" que possui recursos de generalização deficientes e é limitada ao uso interno na empresa.
Comparado com novas empresas, Jasper tem pelo menos um período de janela de desenvolvimento de GPT-3 a GPT-3.5. No entanto, as novas empresas agora precisam enfrentar a pressão do GPT-3.5 de baixo custo e alta velocidade e do GPT-4 de alto desempenho ao mesmo tempo.
Portanto, a probabilidade de sobrevivência de esperar acumular lucros através da personalização para alcançar avanços tecnológicos é muito baixa.
Ajuste fino: necessário, não seja supersticioso
A actual indústria da IA tem expectativas irrealistas de ajustamento, que são sobrestimadas em termos de implementação técnica específica e de ritmo macrotécnico.
O ajuste fino atualmente discutido na indústria refere-se principalmente a “baseado no modelo pré-treinado, para que possa gerar respostas consistentes com as intenções humanas”. Esse tipo de ajuste fino pode ser chamado de "alinhamento", que consiste em alinhar as respostas com a intenção humana, em vez de adicionar inteligência ao grande modelo.
De acordo com os resultados da pesquisa de muitos artigos, o conhecimento de grandes modelos deve vir principalmente do pré-treinamento, enquanto o ajuste fino é mais utilizado para alinhamento.
A explicação simples é que o pré-treinamento determina o tamanho do cérebro e o ajuste fino determina a língua nativa. O ajuste fino do modelo pré-treinado é um processo de “eliminação do analfabetismo”.
No entanto, actualmente, o ajuste fino é frequentemente considerado na indústria como um método de "aumentar a inteligência" do modelo, ou seja, através do ajuste fino para melhorar o desempenho do modelo e aumentar o conhecimento do modelo, acredita-se que isto pode atingir o “Santo Graal da inteligência artificial”. Essa linha de pensamento é um tanto tendenciosa.
Em primeiro lugar, o desempenho do modelo em si não melhorou, mas pode alinhar melhor as intenções humanas.Se a complexidade da tarefa exceder o desempenho do modelo, o ajuste fino não produzirá os resultados esperados. Assim como deixar o cérebro humano realizar operações quânticas, deixar de fazê-lo não é uma questão de educação.
Em segundo lugar, o “suplemento de conhecimento” é realizado na parte de “alinhamento da intenção”, e o efeito é mais semelhante ao “papagaio”. Ou seja: o modelo apenas imita o que os especialistas dizem sem entender o significado. Embora muitas indústrias possam obter boas soluções “papagaiando” (afinal, a maioria das indústrias não são complicadas...), este não é obviamente o resultado que devemos perseguir a longo prazo.
Finalmente, o treinamento de "complementar conjuntos de dados adicionais, melhorar o desempenho do modelo e aumentar o conhecimento do modelo" deve ser considerado como o modelo que tem a capacidade de "aprendizado incremental/aprendizado contínuo", ou seja, todos os parâmetros do modelo podem ser processados através otimização de conjuntos de dados incrementais. Este não é um conceito da mesma categoria do chamado “ajuste fino de instruções”.
Em geral, o ajuste fino é muito importante, mas é errado ter uma atitude “supersticiosa” em relação ao ajuste fino atual, especialmente a pressa em selar o ajuste fino atual como o Santo Graal, que está bastante “no edifício da física hoje"Existem apenas duas nuvens escuras flutuando".
Dando um passo atrás, se a demanda por “aumento de inteligência” puder realmente ser resolvida por meio do ajuste fino de instruções, faça uma pesquisa vetorial simples, coloque diretamente o conhecimento no contexto e então simplesmente escreva alguns modelos, há uma alta probabilidade que haverá o mesmo ou até melhor efeito.
Todo mundo gosta de ajuste fino, talvez seja também uma espécie de renascimento das habilidades da alquimia nos tempos modernos...
Outlook para modelos grandes: quatro operações aritméticas
(Observe que esta parte do conteúdo é inteiramente baseada em dados revelados por Dylan Patel, e a confiabilidade ainda não pode ser verificada)
O treinamento do GPT-4 é baseado na série A de cartões N, a eficiência do treinamento é de 30%, o tempo de treinamento é de cerca de 2 meses, o custo é de cerca de 60 milhões e os parâmetros totais são {1,7 trilhão = 110 bilhões × 16 modelos especialistas}. O parâmetro gira em torno de 280 bilhões.
Em outras palavras, existem vários parâmetros-chave que levarão a mudanças no padrão de treinamento de grandes modelos.
Eficiência do treinamento: aumentar de 30% para 60% pode reduzir diretamente o tempo em dobro
Aumento da intensidade do poder de computação: Depois de mudar da série A para a série H e depois para a placa dedicada AI, a intensidade do poder de computação aumenta e muitos problemas arquitetônicos que afetam a eficiência podem ser resolvidos.
O custo do poder de computação caiu: Lao Huang (o fundador da Nvidia) descontou a placa gráfica e o custo caiu significativamente
Melhoria da eficiência dos parâmetros: Há espaço para melhorias na eficiência dos parâmetros do modelo. Referindo-se ao passado, a eficiência dos parâmetros do novo modelo geralmente pode ser melhorada muitas vezes em comparação com o modelo antigo. É possível usar 30% dos parâmetros do GPT-4 para obter efeitos semelhantes.
Resumindo, o custo de treinar um modelo com desempenho de nível GPT-4 a partir do zero pode ter de 10 a 20 vezes mais espaço para otimização, que é reduzido para US$ 3 milhões a US$ 6 milhões. Esse custo é muito econômico para startups e grandes empresas são mais aceitáveis.
Essa alteração pode levar cerca de 2 anos para ser concluída.
Atualmente, a tecnologia do grande modelo mainstream ainda é baseada no transformador, a estrutura básica não mudou e a ideia de fazer milagres com alquimia e parâmetros não se esgotou. O treinamento do GPT-4 é realizado com base em um grande limite de poder computacional e o tempo de treinamento não é longo o suficiente.
Se os parâmetros crescerem linearmente com o tempo de treinamento, o limite superior de parâmetros para um modelo com arquitetura semelhante ao GPT-4 pode ficar em torno de 10 trilhões, ou seja: o dobro do tempo de treinamento (× 2) e o dobro de placas gráficas paralelas ( × 2), a eficiência do treinamento é metade da velocidade (× 1,5), a eficiência do parâmetro é a metade (× 1,5) e o resultado final é dez vezes melhor. De acordo com o estilo de apetite pelo risco de Silicon Valley, este parâmetro será provavelmente alcançado dentro de um ano, independentemente de o desempenho ter melhorado.
No entanto, depois de atingir 10 trilhões de parâmetros, não se sabe se o LLM ainda pode usar a ideia de aumentar os parâmetros para realizar milagres.
Se o número de parâmetros melhorar o desempenho do modelo numa margem decrescente, então 10 biliões serão provavelmente um obstáculo. No entanto, há também uma conjectura de que o número de parâmetros melhora o desempenho do modelo com um aumento marginal, semelhante a “se uma pessoa for inteligente o suficiente, ela pode aprender tudo rapidamente”. O primeiro é aceitável, mas se o último se concretizar, o desempenho do modelo poderá melhorar exponencialmente e o que acontecerá então será completamente imprevisível.
É difícil prever o elixir, mas é fácil prever o ritmo estratégico de uma empresa. Um modelo com um parâmetro total de 10 trilhões é um ponto final de nível marcante para a maioria das empresas, seja um gigante como Google/MS/APPL ou um OpenAI menor, e é possível parar e fazer alguma posição de exploração técnica.
A preferência das empresas/capital pelo risco pode ser convertida num "tempo de resistência".Se todo o tempo de resistência estiver queimando intensamente despesas, será difícil ultrapassar 6 meses. O artesanato humano não está crescendo rápido o suficiente, geralmente em um ciclo de 5 anos ou mais. Portanto, dentro de 5 anos, a quantidade limite do parâmetro do modelo pode ser estimada, que deve ser de 20 trilhões a 50 trilhões. A menos que ocorra novamente um grande avanço no processo/arquitetura, a probabilidade de exceder esta ordem de grandeza é muito baixa.
Multimodalidade: O elefante na sala
A multimodalidade é o elefante na sala e pode impactar profundamente a paisagem da pista de corrida.
A definição simples de multimodalidade é: apoiar a entrada e saída de informações modais múltiplas. Esta definição é muito vaga. Por exemplo, alguns produtos no mercado que afirmam ser capazes de realizar entradas multimodais são, na verdade, uma camada de OCR fora do ChatBot. Existem também modelos que atendem plenamente à definição de multimodalidade, mas seu desempenho é decepcionante. Mesmo a capacidade de entrada de imagem multimodal do GPT-4 ainda não foi amplamente aberta, pode-se observar que esta função não é muito estável.
A liberação da multimodalidade não está longe, porém. Há uma grande probabilidade de que o GPT-5 suporte nativamente a multimodalidade, ou seja, precisa redesenhar a estrutura e requalificar. De acordo com o raciocínio acima, os parâmetros do modelo grande ainda têm espaço para crescer de 10 a 50 vezes, e deveria ser suficiente colocar nele capacidades multimodais. Portanto, pode-se esperar que modelos multimodais com alta disponibilidade e alto desempenho apareçam dentro de 2 anos e, com otimismo, será em quase 1 ano.
A multimodalidade é o elefante na sala, todos sabem que eventualmente haverá algo assim, mas muitos produtos/pesquisas/estratégias ignoram a sua existência, de modo que há erros de julgamento em partes fundamentais.
Por exemplo, os modelos de imagem única serão, teoricamente, severamente oprimidos pelos modelos multimodais, mas atualmente a maior parte da investigação/investimento ignora esta questão, conduzindo a avaliações excessivamente elevadas para algumas empresas que se concentram em modelos de imagem. É provável que estas empresas percam barreiras técnicas e se transformem em prestadores de serviços no futuro. O seu sistema de avaliação deve referir-se a prestadores de serviços e não a empresas tecnológicas.
Se você quer contar a história de “o investimento depende das pessoas, a mesma equipe pode fazer a transformação do negócio”, então não falei. As lendas estão sempre lá, mas você não pode acreditar em lendas quando faz pesquisas.
Quem pode treinar GPT-4: Pode, mas não é necessário
O refinamento de elixires não leva tanto tempo e grandes empresas estão comprando placas gráficas. Uma coisa que é muito óbvia é que em um ano, grandes empresas poderão treinar modelos de nível GPT-4. Mas treinar ou não é outra questão.
No campo dos games, existe uma proposta clássica chamada “Jogar Genshin Impact com Genshin Impact”, ou seja: quando os jogadores podem optar por jogar Genshin Impact ou um produto concorrente do Genshin Impact, caso o produto concorrente não seja tão bom quanto Genshin Impact, então eles podem jogar Genshin Impact, o deus original.
Esta abordagem de “o vencedor leva tudo” também se aplica à indústria de modelos em grande escala. Se uma empresa seguir o OpenAI, após meio ano de pesquisa e desenvolvimento, ela lançará seu próprio modelo em larga escala com desempenho comparável a 90% do GPT-4, e espera introduzi-lo no mercado. Neste momento, a empresa enfrentará os seguintes problemas:
OpenAI tem a vantagem de escala dos recursos da nuvem e custos mais baixos
A API da OpenAI tem sido amplamente utilizada em códigos de produtos e é difícil substituí-la.
O produto da empresa ainda não supera o GPT-4
O produto de próxima geração da OpenAI (provavelmente GPT-5) será lançado em breve
Percebe-se que a empresa está sob considerável pressão. Em vez de treinar o GPT-4, é melhor apostar diretamente no modelo de próxima geração (comparativamente ao GPT-5). Então o problema mudará de “problema de produto concorrente semelhante” para “problema de inovação tecnológica”. Este é um fardo insuportável para as pequenas empresas.
Portanto, discutir “quem pode treinar o GPT-4" é uma questão estrategicamente morta. Em vez de pensar nesse problema, é melhor encontrar uma direção com mais certezas e oportunidades.
Conselho para startups de IA: coloque o desempenho em primeiro lugar, evite ficar
O autor escreveu muitos artigos reclamando do langchain. A razão fundamental é que o langchain não deixa espaço para os desenvolvedores melhorarem o desempenho. É chamado de "quadro universal", para garantir a generalidade, muitas melhorias de desempenho de grandes modelos foram abandonadas, como o controle de formato alcançado por múltiplas rodadas de diálogo e ajuste fino. Outros semelhantes incluem orientação/Auto-GPT/BabyAGI, etc., todos os quais desejam construir uma "estrutura que pode durar a vida toda".
Um fato objetivo é que a OpenAI lançou Function Calling em maio, e muitos lugares problemáticos no código têm melhores soluções de implementação, e o custo de implementar uma solução melhor é refatorar partes importantes do código do produto. Em agosto, a OpenAI liberou permissões para ajustar o GPT-3.5, e muitos links que exigem controle preciso de saída têm novas soluções potenciais.
Portanto, as empresas iniciantes devem enfrentar uma escolha importante: devem optar por ①melhorar o desempenho e refatorar continuamente os produtos ou ②reduzir o uso de novos recursos e sempre usar recursos antigos para desenvolvimento?
Para o empreendedorismo de aplicação de novas tecnologias, “desenvolvimento” não representa apenas o processo de escrever código, mas também representa o “limite superior” da funcionalidade/estratégia do produto. Quanto maior o desempenho que pode ser controlado, mais funções teóricas o produto possui e maior sua flexibilidade estratégica.
O desenvolvimento da tecnologia não pode ser previsto e pequenas inovações tecnológicas podem trazer mudanças altamente sensíveis no cenário competitivo.As empresas start-up devem ter a capacidade de serem anti-frágeis ao desenvolvimento da tecnologia.
——Em palavras humanas: dê prioridade ao desempenho e evite parar. No nível de desenvolvimento, use mais novos recursos; no lado do produto, pense nas funções que os novos recursos podem realizar; no lado estratégico, considere o impacto dos novos recursos na estratégia.
Em "Guo Qin Lun", foi mencionado que após o estabelecimento da Dinastia Qin, as armas de metal do mundo foram confiscadas e fundidas em doze figuras de bronze para eliminar a possibilidade de revolta civil. Mas a Dinastia Qin teve vida notoriamente curta. É mais benéfico prestar atenção às mudanças do que ignorá-las.
Conselhos para startups de IA: crie aplicativos com confiança
Existe um perigo oculto muito comum quando startups desenvolvem aplicações: a entrada de grandes empresas. As grandes empresas aqui incluem não apenas gigantes de aplicativos, como Meta/Byte/Tencent, etc., mas também o upstream da indústria de IA, como OpenAI.
Geralmente há duas razões para as grandes empresas entrarem no mercado: para implantar oportunidades de produtos e para cortar upstream e downstream.
"Oportunidades de layout de produtos" é o significado literal. As grandes empresas sentem que vale a pena seguir essa direção, então o fazem.
"Cortar upstream e downstream" é principalmente um movimento inútil. Pode ser porque desenvolvemos um modelo grande que é comparável ao OpenAI. No entanto, devido ao problema de o vencedor levar tudo de modelos grandes, não há usuários, resultando em queima de custos, nenhuma receita e nenhum dado, o que por sua vez leva ao desempenho ficar gradualmente para trás. Neste momento, entrar no downstream, desenvolver aplicações específicas e usar sua própria tecnologia são as únicas opções.
De acordo com a experiência histórica, devido a problemas de estrutura organizacional, quanto mais próxima uma empresa estiver do downstream, maior será a probabilidade de a sua tecnologia ficar para trás, e quanto mais a sua tecnologia ficar para trás, mais terá de trabalhar a jusante. Estas chamadas empresas tecnológicas acabarão por competir pelo mesmo nicho ecológico que as empresas da camada de aplicação.
No entanto, no campo de batalha da camada de aplicação, porque a tecnologia de IA existe há pouco tempo, ela não tem vantagens de escala eficazes e reutilizáveis.Os pontos de partida de grandes empresas e startups são semelhantes. Em comparação com grandes empresas, as startups são mais eficientes e têm insights mais profundos, facilitando o aproveitamento.
Uma coisa digna de nota é que quase todos os materiais promocionais do MS Azure agora giram em torno do OpenAI, mas uma empresa tão grande como a Microsoft depende inteiramente do OpenAI como plataforma, o que prova que as startups têm vantagens naturais no campo da IA.
É claro que alguns fornecedores de nuvem podem não aceitar ser liderados por startups e quererem eles próprios consumir todo o mercado. É caro, lento e não é uma ameaça imediata.
O fato é que existem de fato alguns caminhos de curta duração para aplicações de IA, mas ainda existem muitos caminhos de longa duração que não foram descobertos, e as aplicações de IA não são do tipo que o vencedor leva tudo. Estender das aplicações às plataformas ou tecnologias também é um caminho mais viável.
Portanto, devemos ter uma visão racional da capacidade das grandes empresas de invadir a camada de aplicação. Nossa sugestão é que as startups de IA possam fazer aplicações com confiança.
Conselho para startups de IA: preste atenção às linhas de vida dos produtos
Conforme mencionado anteriormente, as startups de IA podem desenvolver aplicativos com segurança, mas devem considerar os problemas de desempenho do modelo de IA e evitar paralisações. Esta situação reflecte-se directamente no facto de os produtos de IA poderem perder a sua base de procura e definhar gradualmente dentro de alguns meses, e esta situação pode acontecer com frequência.
As aplicações de IA precisam utilizar os serviços de grandes modelos, e o desempenho de grandes modelos continua a melhorar. Esta melhoria não é uma melhoria em uma única dimensão, como “velocidade”, mas uma mudança em todos os aspectos, como qualidade de saída, comprimento de saída e controlabilidade de saída. Cada atualização significativa na tecnologia fará com que os produtos da camada de aplicação existentes fiquem para trás tecnologicamente e criem novas oportunidades e concorrentes.
**Chamamos o momento em que as aplicações de IA mantêm vantagens e necessidades em estratégia/produto/tecnologia de "tábua de salvação". **
Aqui estão alguns exemplos com linhas de vida mais curtas:
Quando ChatGPT/Claude suporta upload de arquivos, ChatPDF se torna desnecessário
Quando o Office 365 oferece suporte ao Copilot, os produtos que usam IA para desenhar PPT perdem a vantagem
*Quando o GPT-3.5 aparecer, o Jasper não será mais necessário
**Considerando que a indústria de IA está se desenvolvendo rapidamente, linhas de vida limitadas são a norma. Portanto, aceitar o facto de que a linha de vida é limitada e tentar escolher uma direcção com uma linha de vida mais longa para o desenvolvimento conduz à manutenção das vantagens a longo prazo e da necessidade do produto. **
Geralmente, as linhas de vida podem ser simplesmente divididas em níveis de 3/6/12 meses.
3 meses: Funções que grandes empresas não tiveram tempo de implementar (como funções de escritório/ChatGPT que ainda não tiveram tempo de implementar)
6 meses: É difícil de implementar e não pode ser integrado em soluções existentes, mas as vantagens/necessidade desaparecerão à medida que o desempenho da IA melhorar (como a estrutura geral da IA)
12 meses: Vantagens/necessidades podem existir por muito tempo e não são facilmente afetadas por grandes empresas/desenvolvimentos tecnológicos (como Hugging Face)
*O ciclo de vida dos produtos de plataforma não é necessariamente longo, afinal lojas também são plataformas
Quando uma empresa iniciante determina sua direção, ela só precisa de uma tábua de salvação de 6 meses. É difícil encontrar uma tábua de salvação de 12 meses.
Quando a linha de vida do produto chega ao fim, geralmente há duas situações. A primeira situação é que as vantagens desaparecem e a tecnologia de atualização do produto precisa ser reconstruída. Consulte o "desempenho primeiro" acima; a segunda situação é que a necessidade desaparece e o produto será gradualmente substituído. Neste momento, o produto ainda tem vários meses de “operação” Lifespan” é suficiente para as startups escolherem a próxima direção.
Conselho para startups de IA: Web3+AI pode fazer
Actualmente, existem muitos projectos empresariais em torno do tema Web3+AI, mas considerando a incerteza do desenvolvimento tecnológico e a fase inicial do mercado, o tema Web3+AI ainda terá muitas variáveis no futuro.
Este artigo tem como objetivo encontrar certezas com alta probabilidade de serem corretas entre as incertezas, portanto, o autor ainda espera se inspirar e propor alguns tópicos e direções que possam ter oportunidades de referência por empresas start-up e pesquisadores interessados.
Dessoberania/descentralização
Actualmente, os líderes da indústria de IA fornecem apenas modelos de código fechado, e a estabilidade, transparência e neutralidade da sua prestação contínua de serviços são incontroláveis. A dessoberania/descentralização pode se tornar um tema importante na indústria de IA, ou seja, fornecer serviços de IA estáveis, transparentes e neutros baseados na arquitetura básica de dessoberania/descentralização.
A desoveranização/descentralização é uma "solução alternativa" e uma "dissuasão", que pode aumentar significativamente o custo antiético das empresas de IA centralizadas/soberanizadas e impedi-las de usar modelos de IA nas forças armadas, no culto, na política, etc.
Em casos extremos, uma vez que o serviço de IA centralizado/soberano não esteja mais disponível/credível por algum motivo, a IA descentralizada/descentralizada pode continuar a fornecer serviços altamente disponíveis para evitar que países/regiões individuais e até mesmo humanos percam os serviços de IA.
Uso prático do poder de computação
Por trás da mudança da ETH de PoW para PoS está o dilema criticado de "mineração não produz valor". Combinar Web3 com IA pode fornecer cenários para poder de computação prático, realizando assim a digestão do poder de computação existente e promovendo o crescimento do poder de computação total. Efeito .
Ativos virtuais
IA é um ativo nativo para poder de computação e armazenamento. A combinação de Web3 e IA pode fornecer um canal para transformar IA em ativos virtuais e criar ativos virtuais nativos reais para Web3, ao mesmo tempo em que realiza a instanciação de valor da indústria de IA.
Variáveis para aplicações Web3
A combinação de Web3 e IA pode trazer novos pontos funcionais e oportunidades de crescimento para aplicativos Web3, e os aplicativos Web3 existentes podem ser completamente refeitos.
Escrito no final: É setembro, ainda vale a pena começar um negócio com IA agora?
Deixe-me falar primeiro sobre a conclusão: vale a pena, e essa conclusão pode ser usada até o Ano Novo Chinês com grande probabilidade.
As pessoas muitas vezes têm uma percepção tendenciosa da situação e eu não sou exceção. Algumas pessoas são muito otimistas e outras muito pessimistas. Certa vez, o autor se comunicou com duas equipes. Uma equipe acha que será capaz de produzir o Agente de IA no primeiro trimestre do próximo ano, e a outra equipe acha que a IA só é adequada para gerenciamento de base de conhecimento. Obviamente, o primeiro é muito otimista, enquanto o este último é demasiado pessimista.
Ao fazer um planeamento a longo prazo, tanto o optimismo como o pessimismo demais cairão no buraco, e as observações amplamente divulgadas são muitas vezes aquelas com grandes desvios, pelo que o pensamento independente é muito precioso. Portanto, independentemente de os leitores aceitarem os pontos de vista deste artigo, desde que os leitores tenham pensamento e julgamento independentes no processo de leitura, o autor ficará muito satisfeito.
Finalmente, anuncie. Se você tem uma boa ideia de startup de IA ou já tem um projeto em andamento, sinta-se à vontade para se comunicar com amigos da NGC (como eu).
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
NGC Ventures: É setembro, ainda vale a pena começar um negócio com IA agora?
Autor: Cherry, NGC Ventures
Prefácio
O primeiro rascunho deste artigo foi concluído durante a pesca em um dia de descanso no final de agosto.Após uma publicação apressada, recebi muitos conselhos, então o autor adicionou, modificou e excluiu alguns conteúdos para não fazer rir.
O conteúdo deste artigo é principalmente avaliar a situação atual da indústria de IA na perspectiva do investimento, refletir e conjecturar sobre as rotas de tecnologia/produto de diferentes empresas e abstrair as estratégias das empresas na área de IA. indústria. Portanto, há inevitavelmente omissões nas partes relacionadas a tecnologias específicas, por favor, tenha paciência.
Mas, em última análise, várias grandes empresas que podem publicar artigos ainda estão dilaceradas e ninguém parece ser capaz de avaliar a exatidão do conteúdo deste artigo. Assim como pontuar GPT-3.5 com GPT-4, parece razoável, mas é um pouco abstrato quando você pensa sobre isso.
Portanto, o autor sugere que este artigo seja visto como um “julgamento” formado após a coleta de informações sobre indústrias incertas. Por se tratar de um julgamento, a posição deve ser clara e deve haver algo a dizer. Quanto a julgar se está certo ou não, deixaremos isso ao teste do tempo.
O autor sempre acreditou que as novas indústrias são barulhentas, por isso é sempre certo usar mais o cérebro e ousar fazer julgamentos. Para perguntas verdadeiro-falso, a taxa correta de adivinhação cega é de 50%, e a probabilidade de adivinhar errado três vezes consecutivas é de 12,5%.Mesmo que seja um nível de julgamento de lançamento de moeda, é significativo. Não é terrível fazer um julgamento, o que é mais terrível é que a precisão do julgamento é menor do que a do lançamento de uma moeda.
Antes de iniciar oficialmente este artigo, gostaria de agradecer às seguintes pessoas pelo seu trabalho, que forneceu inspiração valiosa e fontes de dados para este artigo. É claro que, uma vez que muitas inferências neste artigo são baseadas nessas obras, se houver erros ou se o entendimento do autor estiver errado, as inferências neste artigo não serão mais robustas e os leitores serão convidados a julgar por si próprios. Este artigo não constitui aconselhamento de investimento e dificilmente constitui aconselhamento de investimento.
Ok, vamos começar oficialmente este artigo.
Maquete: lançando um foguete cibernético
O primeiro passo para discutir a IA em 2023 é discutir se o empreendedorismo em grande escala ainda pode ser realizado.
O grande modelo (pré-treinamento) agora se transformou no problema do lançamento de um foguete: desde que possa ser queimado e a direção seja correta, qualquer um pode fazê-lo. Pode-se dizer que treinar um grande modelo é lançar um foguete cibernético.
Uma coisa contra-intuitiva é que os investidores subestimam a dificuldade de treinar grandes modelos, mas superestimam a dificuldade de lançar foguetes reais. Com o mesmo custo de 60 milhões de dólares, os investidores pensarão que existe uma segunda oportunidade para um fracasso no lançamento de um foguetão, enquanto a falha no treino de um modelo grande é considerada um desperdício de dinheiro.
GPT-4 ainda consome US$ 60 milhões em eficiência de utilização de GPU da OpenAI (relatada em aproximadamente 30%). Esta é uma questão de {desempenho = eficiência × custo}, e o desempenho é uma barreira. Se outras startups não conseguirem atingir efeitos de desempenho superiores a 30% × 60 milhões = US$ 18 milhões, os usuários também poderão usar o GPT-4 diretamente.
Atualmente, muitas empresas que afirmam treinar grandes modelos têm rodadas de financiamento na faixa de US$ 1 milhão a US$ 5 milhões. Por outras palavras, mesmo as empresas com o maior montante de financiamento só têm munições suficientes para apoiar um lançamento. Mesmo que o aproveitamento da GPU deste lançamento chegue a 100%, será difícil superar o GPT-4.
Desta perspectiva, é melhor lançar foguetes, porque a maioria dos foguetes são veículos de lançamento, transportando satélites para o céu, e a carga única é limitada, de modo que pequenas empresas de foguetes podem receber encomendas de satélites que outras não têm tempo de lançar.
Grandes modelos são diferentes.O custo marginal da expansão horizontal de grandes modelos é apenas o custo do poder computacional, e o custo do poder computacional pode ser expandido elasticamente, o que significa que para grandes empresas modelo, o lucro de cada pedido é lucro livre. , quase não há custo adicional e a capacidade do empreendimento é muito grande. Para grandes empresas modelo recém-criadas com baixa qualidade, é difícil receber uma demanda excessiva.
A menos que o custo do treinamento seja bastante reduzido, mesmo que a arquitetura completa do GPT-4 seja conhecida, será difícil para muitas empresas fabricar um modelo grande que possa ser colocado no mercado no curto prazo.
Personalização: Enfrentando o problema do “vencedor leva tudo”
Na indústria de hardware, um fenómeno comum é obter lucros antecipados através de necessidades personalizadas e, em seguida, alcançar avanços tecnológicos (ou equalização) através de lucros antecipados. No entanto, a customização na indústria de modelos de grande porte dificilmente é uma saída para novos participantes.
Em relação a este julgamento, a explicação é muito simples: a grande maioria dos modelos ajustados não consegue alcançar o GPT-4. Mesmo que o alcancem, usar diretamente o GPT-4 para generalização é mais barato, requer menos pessoal e requer menos sorte Os requisitos de dados são menores. Enquanto ainda existir a lacuna de desempenho entre o GPT-4 e outros modelos, a customização não pode ser a saída para grandes empresas de modelos.
Um exemplo muito típico é Jasper, que usa GPT-3 ajustado para atender clientes corporativos, mas depois que a OpenAI lançou o ChatGPT (GPT-3.5), seus usuários perderam rapidamente. Porque a saída do Jasper pode ser obtida simplesmente inserindo GPT-3.5, em vez de usar uma "versão anterior" que possui recursos de generalização deficientes e é limitada ao uso interno na empresa.
Comparado com novas empresas, Jasper tem pelo menos um período de janela de desenvolvimento de GPT-3 a GPT-3.5. No entanto, as novas empresas agora precisam enfrentar a pressão do GPT-3.5 de baixo custo e alta velocidade e do GPT-4 de alto desempenho ao mesmo tempo.
Portanto, a probabilidade de sobrevivência de esperar acumular lucros através da personalização para alcançar avanços tecnológicos é muito baixa.
Ajuste fino: necessário, não seja supersticioso
A actual indústria da IA tem expectativas irrealistas de ajustamento, que são sobrestimadas em termos de implementação técnica específica e de ritmo macrotécnico.
O ajuste fino atualmente discutido na indústria refere-se principalmente a “baseado no modelo pré-treinado, para que possa gerar respostas consistentes com as intenções humanas”. Esse tipo de ajuste fino pode ser chamado de "alinhamento", que consiste em alinhar as respostas com a intenção humana, em vez de adicionar inteligência ao grande modelo.
De acordo com os resultados da pesquisa de muitos artigos, o conhecimento de grandes modelos deve vir principalmente do pré-treinamento, enquanto o ajuste fino é mais utilizado para alinhamento.
A explicação simples é que o pré-treinamento determina o tamanho do cérebro e o ajuste fino determina a língua nativa. O ajuste fino do modelo pré-treinado é um processo de “eliminação do analfabetismo”.
No entanto, actualmente, o ajuste fino é frequentemente considerado na indústria como um método de "aumentar a inteligência" do modelo, ou seja, através do ajuste fino para melhorar o desempenho do modelo e aumentar o conhecimento do modelo, acredita-se que isto pode atingir o “Santo Graal da inteligência artificial”. Essa linha de pensamento é um tanto tendenciosa.
Em primeiro lugar, o desempenho do modelo em si não melhorou, mas pode alinhar melhor as intenções humanas.Se a complexidade da tarefa exceder o desempenho do modelo, o ajuste fino não produzirá os resultados esperados. Assim como deixar o cérebro humano realizar operações quânticas, deixar de fazê-lo não é uma questão de educação.
Em segundo lugar, o “suplemento de conhecimento” é realizado na parte de “alinhamento da intenção”, e o efeito é mais semelhante ao “papagaio”. Ou seja: o modelo apenas imita o que os especialistas dizem sem entender o significado. Embora muitas indústrias possam obter boas soluções “papagaiando” (afinal, a maioria das indústrias não são complicadas...), este não é obviamente o resultado que devemos perseguir a longo prazo.
Finalmente, o treinamento de "complementar conjuntos de dados adicionais, melhorar o desempenho do modelo e aumentar o conhecimento do modelo" deve ser considerado como o modelo que tem a capacidade de "aprendizado incremental/aprendizado contínuo", ou seja, todos os parâmetros do modelo podem ser processados através otimização de conjuntos de dados incrementais. Este não é um conceito da mesma categoria do chamado “ajuste fino de instruções”.
Em geral, o ajuste fino é muito importante, mas é errado ter uma atitude “supersticiosa” em relação ao ajuste fino atual, especialmente a pressa em selar o ajuste fino atual como o Santo Graal, que está bastante “no edifício da física hoje"Existem apenas duas nuvens escuras flutuando".
Dando um passo atrás, se a demanda por “aumento de inteligência” puder realmente ser resolvida por meio do ajuste fino de instruções, faça uma pesquisa vetorial simples, coloque diretamente o conhecimento no contexto e então simplesmente escreva alguns modelos, há uma alta probabilidade que haverá o mesmo ou até melhor efeito.
Todo mundo gosta de ajuste fino, talvez seja também uma espécie de renascimento das habilidades da alquimia nos tempos modernos...
Outlook para modelos grandes: quatro operações aritméticas
(Observe que esta parte do conteúdo é inteiramente baseada em dados revelados por Dylan Patel, e a confiabilidade ainda não pode ser verificada)
O treinamento do GPT-4 é baseado na série A de cartões N, a eficiência do treinamento é de 30%, o tempo de treinamento é de cerca de 2 meses, o custo é de cerca de 60 milhões e os parâmetros totais são {1,7 trilhão = 110 bilhões × 16 modelos especialistas}. O parâmetro gira em torno de 280 bilhões.
Em outras palavras, existem vários parâmetros-chave que levarão a mudanças no padrão de treinamento de grandes modelos.
Resumindo, o custo de treinar um modelo com desempenho de nível GPT-4 a partir do zero pode ter de 10 a 20 vezes mais espaço para otimização, que é reduzido para US$ 3 milhões a US$ 6 milhões. Esse custo é muito econômico para startups e grandes empresas são mais aceitáveis.
Essa alteração pode levar cerca de 2 anos para ser concluída.
Atualmente, a tecnologia do grande modelo mainstream ainda é baseada no transformador, a estrutura básica não mudou e a ideia de fazer milagres com alquimia e parâmetros não se esgotou. O treinamento do GPT-4 é realizado com base em um grande limite de poder computacional e o tempo de treinamento não é longo o suficiente.
Se os parâmetros crescerem linearmente com o tempo de treinamento, o limite superior de parâmetros para um modelo com arquitetura semelhante ao GPT-4 pode ficar em torno de 10 trilhões, ou seja: o dobro do tempo de treinamento (× 2) e o dobro de placas gráficas paralelas ( × 2), a eficiência do treinamento é metade da velocidade (× 1,5), a eficiência do parâmetro é a metade (× 1,5) e o resultado final é dez vezes melhor. De acordo com o estilo de apetite pelo risco de Silicon Valley, este parâmetro será provavelmente alcançado dentro de um ano, independentemente de o desempenho ter melhorado.
No entanto, depois de atingir 10 trilhões de parâmetros, não se sabe se o LLM ainda pode usar a ideia de aumentar os parâmetros para realizar milagres.
Se o número de parâmetros melhorar o desempenho do modelo numa margem decrescente, então 10 biliões serão provavelmente um obstáculo. No entanto, há também uma conjectura de que o número de parâmetros melhora o desempenho do modelo com um aumento marginal, semelhante a “se uma pessoa for inteligente o suficiente, ela pode aprender tudo rapidamente”. O primeiro é aceitável, mas se o último se concretizar, o desempenho do modelo poderá melhorar exponencialmente e o que acontecerá então será completamente imprevisível.
É difícil prever o elixir, mas é fácil prever o ritmo estratégico de uma empresa. Um modelo com um parâmetro total de 10 trilhões é um ponto final de nível marcante para a maioria das empresas, seja um gigante como Google/MS/APPL ou um OpenAI menor, e é possível parar e fazer alguma posição de exploração técnica.
A preferência das empresas/capital pelo risco pode ser convertida num "tempo de resistência".Se todo o tempo de resistência estiver queimando intensamente despesas, será difícil ultrapassar 6 meses. O artesanato humano não está crescendo rápido o suficiente, geralmente em um ciclo de 5 anos ou mais. Portanto, dentro de 5 anos, a quantidade limite do parâmetro do modelo pode ser estimada, que deve ser de 20 trilhões a 50 trilhões. A menos que ocorra novamente um grande avanço no processo/arquitetura, a probabilidade de exceder esta ordem de grandeza é muito baixa.
Multimodalidade: O elefante na sala
A multimodalidade é o elefante na sala e pode impactar profundamente a paisagem da pista de corrida.
A definição simples de multimodalidade é: apoiar a entrada e saída de informações modais múltiplas. Esta definição é muito vaga. Por exemplo, alguns produtos no mercado que afirmam ser capazes de realizar entradas multimodais são, na verdade, uma camada de OCR fora do ChatBot. Existem também modelos que atendem plenamente à definição de multimodalidade, mas seu desempenho é decepcionante. Mesmo a capacidade de entrada de imagem multimodal do GPT-4 ainda não foi amplamente aberta, pode-se observar que esta função não é muito estável.
A liberação da multimodalidade não está longe, porém. Há uma grande probabilidade de que o GPT-5 suporte nativamente a multimodalidade, ou seja, precisa redesenhar a estrutura e requalificar. De acordo com o raciocínio acima, os parâmetros do modelo grande ainda têm espaço para crescer de 10 a 50 vezes, e deveria ser suficiente colocar nele capacidades multimodais. Portanto, pode-se esperar que modelos multimodais com alta disponibilidade e alto desempenho apareçam dentro de 2 anos e, com otimismo, será em quase 1 ano.
A multimodalidade é o elefante na sala, todos sabem que eventualmente haverá algo assim, mas muitos produtos/pesquisas/estratégias ignoram a sua existência, de modo que há erros de julgamento em partes fundamentais.
Por exemplo, os modelos de imagem única serão, teoricamente, severamente oprimidos pelos modelos multimodais, mas atualmente a maior parte da investigação/investimento ignora esta questão, conduzindo a avaliações excessivamente elevadas para algumas empresas que se concentram em modelos de imagem. É provável que estas empresas percam barreiras técnicas e se transformem em prestadores de serviços no futuro. O seu sistema de avaliação deve referir-se a prestadores de serviços e não a empresas tecnológicas.
Se você quer contar a história de “o investimento depende das pessoas, a mesma equipe pode fazer a transformação do negócio”, então não falei. As lendas estão sempre lá, mas você não pode acreditar em lendas quando faz pesquisas.
Quem pode treinar GPT-4: Pode, mas não é necessário
O refinamento de elixires não leva tanto tempo e grandes empresas estão comprando placas gráficas. Uma coisa que é muito óbvia é que em um ano, grandes empresas poderão treinar modelos de nível GPT-4. Mas treinar ou não é outra questão.
No campo dos games, existe uma proposta clássica chamada “Jogar Genshin Impact com Genshin Impact”, ou seja: quando os jogadores podem optar por jogar Genshin Impact ou um produto concorrente do Genshin Impact, caso o produto concorrente não seja tão bom quanto Genshin Impact, então eles podem jogar Genshin Impact, o deus original.
Esta abordagem de “o vencedor leva tudo” também se aplica à indústria de modelos em grande escala. Se uma empresa seguir o OpenAI, após meio ano de pesquisa e desenvolvimento, ela lançará seu próprio modelo em larga escala com desempenho comparável a 90% do GPT-4, e espera introduzi-lo no mercado. Neste momento, a empresa enfrentará os seguintes problemas:
Percebe-se que a empresa está sob considerável pressão. Em vez de treinar o GPT-4, é melhor apostar diretamente no modelo de próxima geração (comparativamente ao GPT-5). Então o problema mudará de “problema de produto concorrente semelhante” para “problema de inovação tecnológica”. Este é um fardo insuportável para as pequenas empresas.
Portanto, discutir “quem pode treinar o GPT-4" é uma questão estrategicamente morta. Em vez de pensar nesse problema, é melhor encontrar uma direção com mais certezas e oportunidades.
Conselho para startups de IA: coloque o desempenho em primeiro lugar, evite ficar
O autor escreveu muitos artigos reclamando do langchain. A razão fundamental é que o langchain não deixa espaço para os desenvolvedores melhorarem o desempenho. É chamado de "quadro universal", para garantir a generalidade, muitas melhorias de desempenho de grandes modelos foram abandonadas, como o controle de formato alcançado por múltiplas rodadas de diálogo e ajuste fino. Outros semelhantes incluem orientação/Auto-GPT/BabyAGI, etc., todos os quais desejam construir uma "estrutura que pode durar a vida toda".
Um fato objetivo é que a OpenAI lançou Function Calling em maio, e muitos lugares problemáticos no código têm melhores soluções de implementação, e o custo de implementar uma solução melhor é refatorar partes importantes do código do produto. Em agosto, a OpenAI liberou permissões para ajustar o GPT-3.5, e muitos links que exigem controle preciso de saída têm novas soluções potenciais.
Portanto, as empresas iniciantes devem enfrentar uma escolha importante: devem optar por ①melhorar o desempenho e refatorar continuamente os produtos ou ②reduzir o uso de novos recursos e sempre usar recursos antigos para desenvolvimento?
Para o empreendedorismo de aplicação de novas tecnologias, “desenvolvimento” não representa apenas o processo de escrever código, mas também representa o “limite superior” da funcionalidade/estratégia do produto. Quanto maior o desempenho que pode ser controlado, mais funções teóricas o produto possui e maior sua flexibilidade estratégica.
O desenvolvimento da tecnologia não pode ser previsto e pequenas inovações tecnológicas podem trazer mudanças altamente sensíveis no cenário competitivo.As empresas start-up devem ter a capacidade de serem anti-frágeis ao desenvolvimento da tecnologia.
——Em palavras humanas: dê prioridade ao desempenho e evite parar. No nível de desenvolvimento, use mais novos recursos; no lado do produto, pense nas funções que os novos recursos podem realizar; no lado estratégico, considere o impacto dos novos recursos na estratégia.
Em "Guo Qin Lun", foi mencionado que após o estabelecimento da Dinastia Qin, as armas de metal do mundo foram confiscadas e fundidas em doze figuras de bronze para eliminar a possibilidade de revolta civil. Mas a Dinastia Qin teve vida notoriamente curta. É mais benéfico prestar atenção às mudanças do que ignorá-las.
Conselhos para startups de IA: crie aplicativos com confiança
Existe um perigo oculto muito comum quando startups desenvolvem aplicações: a entrada de grandes empresas. As grandes empresas aqui incluem não apenas gigantes de aplicativos, como Meta/Byte/Tencent, etc., mas também o upstream da indústria de IA, como OpenAI.
Geralmente há duas razões para as grandes empresas entrarem no mercado: para implantar oportunidades de produtos e para cortar upstream e downstream.
"Oportunidades de layout de produtos" é o significado literal. As grandes empresas sentem que vale a pena seguir essa direção, então o fazem.
"Cortar upstream e downstream" é principalmente um movimento inútil. Pode ser porque desenvolvemos um modelo grande que é comparável ao OpenAI. No entanto, devido ao problema de o vencedor levar tudo de modelos grandes, não há usuários, resultando em queima de custos, nenhuma receita e nenhum dado, o que por sua vez leva ao desempenho ficar gradualmente para trás. Neste momento, entrar no downstream, desenvolver aplicações específicas e usar sua própria tecnologia são as únicas opções.
De acordo com a experiência histórica, devido a problemas de estrutura organizacional, quanto mais próxima uma empresa estiver do downstream, maior será a probabilidade de a sua tecnologia ficar para trás, e quanto mais a sua tecnologia ficar para trás, mais terá de trabalhar a jusante. Estas chamadas empresas tecnológicas acabarão por competir pelo mesmo nicho ecológico que as empresas da camada de aplicação.
No entanto, no campo de batalha da camada de aplicação, porque a tecnologia de IA existe há pouco tempo, ela não tem vantagens de escala eficazes e reutilizáveis.Os pontos de partida de grandes empresas e startups são semelhantes. Em comparação com grandes empresas, as startups são mais eficientes e têm insights mais profundos, facilitando o aproveitamento.
Uma coisa digna de nota é que quase todos os materiais promocionais do MS Azure agora giram em torno do OpenAI, mas uma empresa tão grande como a Microsoft depende inteiramente do OpenAI como plataforma, o que prova que as startups têm vantagens naturais no campo da IA.
É claro que alguns fornecedores de nuvem podem não aceitar ser liderados por startups e quererem eles próprios consumir todo o mercado. É caro, lento e não é uma ameaça imediata.
O fato é que existem de fato alguns caminhos de curta duração para aplicações de IA, mas ainda existem muitos caminhos de longa duração que não foram descobertos, e as aplicações de IA não são do tipo que o vencedor leva tudo. Estender das aplicações às plataformas ou tecnologias também é um caminho mais viável.
Portanto, devemos ter uma visão racional da capacidade das grandes empresas de invadir a camada de aplicação. Nossa sugestão é que as startups de IA possam fazer aplicações com confiança.
Conselho para startups de IA: preste atenção às linhas de vida dos produtos
Conforme mencionado anteriormente, as startups de IA podem desenvolver aplicativos com segurança, mas devem considerar os problemas de desempenho do modelo de IA e evitar paralisações. Esta situação reflecte-se directamente no facto de os produtos de IA poderem perder a sua base de procura e definhar gradualmente dentro de alguns meses, e esta situação pode acontecer com frequência.
As aplicações de IA precisam utilizar os serviços de grandes modelos, e o desempenho de grandes modelos continua a melhorar. Esta melhoria não é uma melhoria em uma única dimensão, como “velocidade”, mas uma mudança em todos os aspectos, como qualidade de saída, comprimento de saída e controlabilidade de saída. Cada atualização significativa na tecnologia fará com que os produtos da camada de aplicação existentes fiquem para trás tecnologicamente e criem novas oportunidades e concorrentes.
**Chamamos o momento em que as aplicações de IA mantêm vantagens e necessidades em estratégia/produto/tecnologia de "tábua de salvação". **
Aqui estão alguns exemplos com linhas de vida mais curtas:
**Considerando que a indústria de IA está se desenvolvendo rapidamente, linhas de vida limitadas são a norma. Portanto, aceitar o facto de que a linha de vida é limitada e tentar escolher uma direcção com uma linha de vida mais longa para o desenvolvimento conduz à manutenção das vantagens a longo prazo e da necessidade do produto. **
Geralmente, as linhas de vida podem ser simplesmente divididas em níveis de 3/6/12 meses.
*O ciclo de vida dos produtos de plataforma não é necessariamente longo, afinal lojas também são plataformas
Quando uma empresa iniciante determina sua direção, ela só precisa de uma tábua de salvação de 6 meses. É difícil encontrar uma tábua de salvação de 12 meses.
Quando a linha de vida do produto chega ao fim, geralmente há duas situações. A primeira situação é que as vantagens desaparecem e a tecnologia de atualização do produto precisa ser reconstruída. Consulte o "desempenho primeiro" acima; a segunda situação é que a necessidade desaparece e o produto será gradualmente substituído. Neste momento, o produto ainda tem vários meses de “operação” Lifespan” é suficiente para as startups escolherem a próxima direção.
Conselho para startups de IA: Web3+AI pode fazer
Actualmente, existem muitos projectos empresariais em torno do tema Web3+AI, mas considerando a incerteza do desenvolvimento tecnológico e a fase inicial do mercado, o tema Web3+AI ainda terá muitas variáveis no futuro.
Este artigo tem como objetivo encontrar certezas com alta probabilidade de serem corretas entre as incertezas, portanto, o autor ainda espera se inspirar e propor alguns tópicos e direções que possam ter oportunidades de referência por empresas start-up e pesquisadores interessados.
Actualmente, os líderes da indústria de IA fornecem apenas modelos de código fechado, e a estabilidade, transparência e neutralidade da sua prestação contínua de serviços são incontroláveis. A dessoberania/descentralização pode se tornar um tema importante na indústria de IA, ou seja, fornecer serviços de IA estáveis, transparentes e neutros baseados na arquitetura básica de dessoberania/descentralização.
A desoveranização/descentralização é uma "solução alternativa" e uma "dissuasão", que pode aumentar significativamente o custo antiético das empresas de IA centralizadas/soberanizadas e impedi-las de usar modelos de IA nas forças armadas, no culto, na política, etc.
Em casos extremos, uma vez que o serviço de IA centralizado/soberano não esteja mais disponível/credível por algum motivo, a IA descentralizada/descentralizada pode continuar a fornecer serviços altamente disponíveis para evitar que países/regiões individuais e até mesmo humanos percam os serviços de IA.
Por trás da mudança da ETH de PoW para PoS está o dilema criticado de "mineração não produz valor". Combinar Web3 com IA pode fornecer cenários para poder de computação prático, realizando assim a digestão do poder de computação existente e promovendo o crescimento do poder de computação total. Efeito .
IA é um ativo nativo para poder de computação e armazenamento. A combinação de Web3 e IA pode fornecer um canal para transformar IA em ativos virtuais e criar ativos virtuais nativos reais para Web3, ao mesmo tempo em que realiza a instanciação de valor da indústria de IA.
A combinação de Web3 e IA pode trazer novos pontos funcionais e oportunidades de crescimento para aplicativos Web3, e os aplicativos Web3 existentes podem ser completamente refeitos.
Escrito no final: É setembro, ainda vale a pena começar um negócio com IA agora?
Deixe-me falar primeiro sobre a conclusão: vale a pena, e essa conclusão pode ser usada até o Ano Novo Chinês com grande probabilidade.
As pessoas muitas vezes têm uma percepção tendenciosa da situação e eu não sou exceção. Algumas pessoas são muito otimistas e outras muito pessimistas. Certa vez, o autor se comunicou com duas equipes. Uma equipe acha que será capaz de produzir o Agente de IA no primeiro trimestre do próximo ano, e a outra equipe acha que a IA só é adequada para gerenciamento de base de conhecimento. Obviamente, o primeiro é muito otimista, enquanto o este último é demasiado pessimista.
Ao fazer um planeamento a longo prazo, tanto o optimismo como o pessimismo demais cairão no buraco, e as observações amplamente divulgadas são muitas vezes aquelas com grandes desvios, pelo que o pensamento independente é muito precioso. Portanto, independentemente de os leitores aceitarem os pontos de vista deste artigo, desde que os leitores tenham pensamento e julgamento independentes no processo de leitura, o autor ficará muito satisfeito.
Finalmente, anuncie. Se você tem uma boa ideia de startup de IA ou já tem um projeto em andamento, sinta-se à vontade para se comunicar com amigos da NGC (como eu).