Fonte original: A segunda metade da direção autônoma
Fonte da imagem: gerada por Unbounded AI
Estamos às vésperas da inteligência artificial geral. Embora o ChatGPT tenha inspirado entusiasmo em todo o mundo, também acendeu a competição por grandes modelos de IA. O Google lançou o Bard para benchmark, a Amazon também entrou no campo de batalha e a Meta, que apostava fortemente no metaverso, não ficou para trás e lançou o LLaMa e o SAM. Deste lado do oceano, a BAT, que é reconhecida como a que possui mais recursos, voltou a reunir-se no modelo generativo. Aproveitando a tendência dos grandes modelos, a inteligência incorporada parece estar provocando uma grande mudança.
Tudo parece ter voltado a ser há dez anos, com o surgimento do boom empresarial. **Só que desta vez, a singularidade da inteligência artificial geral é aberta por grandes modelos, e os dados estão oficialmente no centro do palco. **
01. Quais são os elementos-chave no desenvolvimento de modelos grandes
O poder da computação transforma grandes modelos em um jogo de riqueza
Um modelo grande, em termos leigos, é um modelo com um grande número de parâmetros. Em comparação com os pequenos modelos anteriores que podiam ser executados em uma única GPU, ele só poderia ser concluído contando com a enorme quantidade de poder de computação acumulada por grandes empresas. Por exemplo, o OpenAI ChatGPT custa atualmente até um milhão de dólares americanos por treinamento. A possibilidade de pequenos laboratórios participarem da onda de inteligência artificial foi diretamente encerrada pelos grandes modelos, e somente empresas com forte acumulação podem completá-la.
Portanto, os únicos heróis que surgiram na onda empreendedora geral de grandes modelos foram aqueles que tiveram histórias maravilhosas na onda empreendedora da Internet, como Wang Huiwen da Meituan, Kai-fu Lee da Sinovation Ventures e Wang Xiaochuan da Sogou. A Lei dos modelos de Moore surgiu, e modelos maiores trouxeram melhor compreensão do mundo e capacidades de raciocínio.Com tal tendência, não há tempo para parar e hesitar.
1. O modelo de desenvolvimento centrado no modelo de algoritmo acabou
Actualmente, o modelo de desenvolvimento das empresas comuns de inteligência artificial ainda é o modelo de desenvolvimento “tradicional” centrado no modelo, ou seja, fixando o conjunto de dados e depois iterando o modelo. Os engenheiros de algoritmos geralmente se concentram em vários conjuntos de dados de referência e, em seguida, projetam vários modelos para melhorar a precisão da previsão.
Embora grandes modelos estejam surgindo como cogumelos depois da chuva, na verdade os algoritmos por trás da maioria dos modelos tendem a ser consistentes e não ocorreram grandes alterações no modelo. O empilhamento do volume de dados faz com que o modelo treinado tenha um desempenho muito melhor do que o modelo com pequenas alterações. Por exemplo, há alguns meses, o pioneiro da inteligência artificial Yann LeCun publicou um artigo afirmando que o ChatGPT não é tecnicamente nada novo, mas alcançou excelente desempenho. Mudanças cuidadosas no algoritmo podem não produzir melhores resultados do que adicionar e iterar dados. Comparado com o desempenho do modelo treinado em um único conjunto de dados, o desempenho do modelo proporcionado pela enorme quantidade de dados de alta qualidade é um golpe na redução da dimensionalidade. **
1. Os dados tornam-se o elemento central do desenvolvimento de grandes modelos
O sucesso dos grandes modelos da OpenAI deriva da crença de Ilya de que mudanças quantitativas em big data e grandes modelos trarão mudanças qualitativas. Por exemplo, ChatGPT usa pelo menos 40T de dados em grande escala para treinamento e, se a quantidade de dados efetivos continuar a aumentar, poderá obter melhor desempenho. De acordo com a pesquisa do Google sobre habilidades emergentes de modelos de linguagem grande, em um determinado ponto crítico dos parâmetros do modelo, o modelo repentinamente ganhou capacidades inesperadas.
Para garantir que tantos parâmetros possam ser razoavelmente treinados, dados de alta qualidade tornaram-se a chave. Tomando o desenvolvimento do ChatGPT como exemplo, o GPT-1 usou apenas 4.629 MB de dados de texto, enquanto o GPT-2 usou 40 GB de texto rastreado e filtrado do Reddit, e o GPT-3 usou pelo menos 45 TB de texto simples. O processo de treinamento de -4 não foi divulgado, mas dado que a velocidade de inferência do GPT-4 é muito mais lenta que a do GPT-3, pode-se inferir que o número de parâmetros do modelo também aumentou, e o treinamento correspondente os dados obviamente exigem mais. Esses dados de alta qualidade são uma razão importante pela qual o ChatGPT apareceu pela primeira vez no mundo inglês.Os textos de treinamento em inglês são mais padronizados e ricos do que os textos de treinamento em chinês.
Yang Dong, reitor do Instituto de Ciência Interdisciplinar da Universidade Renmin da China, também acredita que a razão fundamental para o sucesso do ChatGPT não é apenas a tecnologia em si, mas também os graves problemas de não abertura e monopólio de dados na China. Quanto ao modelo de segmentação semântica lançado recentemente, Segment Anything Model by Meta, o modelo supervisionado geral não tem nenhuma inovação óbvia, mas o uso de dados massivos no campo da segmentação semântica torna o desempenho do modelo incrível. As dezenas de milhões de imagens e bilhões de máscaras de segmentação nunca foram vistas no campo da segmentação semântica de imagens.
**O modelo de desenvolvimento de IA está mudando de centrado em modelos para centrado em dados. **Onde você obtém os dados? Os dados do mundo são grandes o suficiente para os modelos?
02. Dados reais serão esgotados por modelos grandes
Neste mundo, as atividades humanas acontecem o tempo todo, então os rastros de dados deixados para trás não deveriam continuar a crescer? Por que está esgotado?
Dados de alta qualidade são escassos
Nem todos os rastros gerados por atividades humanas podem ser usados para treinamento de modelo. Somente dados de alta qualidade inseridos no treinamento de modelo podem produzir os melhores resultados.
No campo do processamento de linguagem natural, os dados de alta qualidade são livros e artigos científicos digitalizados naturalmente. Ter um bom relacionamento lógico também pode garantir uma precisão relativa. Dados de baixa qualidade, como registros de bate-papo, chamadas telefônicas, etc., têm um efeito relativamente limitado no treinamento devido à baixa continuidade dos dados. É mencionado na documentação de desenvolvimento do ChatGPT 3 que após a filtragem de dados realizada a filtragem de qualidade em 45 TB de texto simples, foram obtidos 570 GB de texto, utilizando apenas 1,27% dos dados efetivos.
No campo da condução autônoma, são gerados dados de alta qualidade a partir de um grande número de cenários diferentes. Por exemplo, uma estrada com curvatura relativamente pequena pode aparecer com muita frequência, mas na verdade, quanto mais vezes isso ocorre, menos importante ela é. Pelo contrário, para alguns cenários não convencionais (ou seja, Caso Esquilo), a qualidade dos dados é superior e a adaptação do cenário precisa ser feita separadamente. No entanto, essas amostras relativamente pequenas são quase uma gota no oceano quando confrontadas com os requisitos de parâmetros de modelos grandes.
Limitações trazidas pela segurança e privacidade de dados
O desenvolvimento da IA generativa tem sido acompanhado de controvérsia sobre a segurança dos dados. Depois que o Stable Diffusion se tornou disponível, causou insatisfação entre muitos artistas. Sob pressão, o Stability AI anunciou que permitiria aos artistas excluir seus trabalhos de maneira direcionada e impedi-los de entrar no conjunto de treinamento.
Em alguns casos, os dados disponíveis publicamente podem conter informações confidenciais, como informações de identificação pessoal, informações financeiras ou registros médicos. Em muitas indústrias e regiões, é muito difícil obter dados que contenham informações sensíveis, o que aumenta a dificuldade de recolha de dados e reduz a taxa de crescimento dos conjuntos de dados correspondentes. Isso se tornou uma restrição para grandes modelos industriais. Por exemplo, na área médica, devido à particularidade e privacidade da área, é impossível obter a quantidade de dados que pode ser utilizada para treinamento de grandes modelos sob estrita proteção de privacidade e restrições regulatórias.
Dados reais de alta qualidade podem não ser suficientes para apoiar o treinamento de modelos grandes
O artigo "Será que ficaremos sem dados? Uma análise dos limites do dimensionamento de conjuntos de dados em aprendizado de máquina" explora a possibilidade de escassez de dados (a quantidade de dados não é suficiente para atender às necessidades de treinamento de grandes modelos). taxa de crescimento do modelo,* Por volta de 2026, dados de PNL de alta qualidade não serão suficientes para apoiar o treinamento*. Os estoques de dados para modelos de linguagem e visão estão crescendo muito mais lentamente do que o tamanho dos conjuntos de dados de treinamento; portanto, se as tendências atuais continuarem, os conjuntos de dados acabarão por parar de crescer devido ao esgotamento dos dados.
Com a crescente quantidade de dados, a maioria dos dados coletados em métodos incontroláveis de coleta de dados não tem sentido. Por exemplo, em cenários de condução autónoma, os veículos recolhem constantemente novos dados na estrada, mas apenas muito poucos podem realmente ser utilizados. Portanto, numa conversa recente entre o CEO da Nvidia, Jensen Huang e Ilya Sutskever, eles também discutiram a possibilidade de esgotamento dos dados.
03. Dados sintéticos podem atender aos enormes requisitos de dados de grandes modelos
O modelo de desenvolvimento centrado em dados torna os dados a parte mais importante. Algoritmos de treinamento requerem dados, mas é difícil obter dados de alta qualidade.Como atender aos enormes requisitos de dados de grandes modelos?
Assim como existe carne sintética nos alimentos, os dados podem ser sintetizados artificialmente? Dados sintéticos são dados criados no mundo digital. A controlabilidade dos dados sintéticos é melhor do que a dos dados reais, podendo refletir as propriedades dos dados reais no sentido matemático e físico e produzir dados direcionalmente para garantir o equilíbrio dos dados ao treinar o modelo.
Dados sintéticos possuem delta de informações
Aprenda a distribuição de dados em dados reais e produza mais dados com base nessa distribuição para garantir que haja dados suficientes para treinar grandes modelos em diversos cenários. A combinação de diferentes elementos traz cenas diferentes, e as mudanças nas cenas também trazem um aumento de informações, garantindo assim a eficácia dos dados sintetizados.
De acordo com pesquisas da OpenAI e UC Berkeley em 2017, com base na cena real, a posição da câmera, a cor do objeto, a forma, a iluminação, etc. modelo de detecção de objetos. Por não utilizar dados reais, o erro 3D do modelo de detecção é mantido dentro de 1,5 cm e tem uma robustez muito boa.
Por exemplo, no campo da condução autónoma, uma típica cena real do carro à frente pode ser reproduzida através de condições meteorológicas e iluminação generalizadas, utilizando dados sintéticos. Depois que os dados resultantes forem usados para treinar o modelo, o modelo terá um desempenho mais robusto sob diferentes condições climáticas e de iluminação. De acordo com a pesquisa de 2018 da Nvidia, usando dados sintéticos produzidos com posições e texturas aleatórias de veículos para treinar o modelo, o desempenho do modelo de detecção foi significativamente melhorado. Isto é atribuído a uma distribuição mais uniforme da localização dos veículos de dados sintéticos e a uma distribuição mais ampla dos dados produzidos.
A controlabilidade dos dados sintéticos é melhor do que a dos dados reais, podendo refletir as propriedades dos dados reais no sentido matemático e físico e produzir dados direcionalmente para garantir o equilíbrio dos dados ao treinar o modelo. Ao gerar dados de forma direcionada, existe a possibilidade de customizar as características do modelo grande.Por exemplo, espera-se que o modelo de linguagem grande seja tendencioso ao responder a certas perguntas, e tenha estilos e elementos especiais ao gerar certas imagens . Tudo isso pode ser conseguido por meio de dados sintéticos personalizados.
Baseado em dados reais, mas diferente dos dados reais. Esta característica dos dados sintéticos torna-os cada vez mais utilizados, não só para testes, mas também como dados de treinamento para tornar o modelo mais poderoso.
A vantagem de custo dos dados sintéticos é enorme
O custo dos dados vem da coleta e rotulagem; em ambas as partes, os dados sintéticos apresentam vantagens significativas.
Comparados com a coleta ineficiente de dados reais, os dados sintéticos podem gerar cenários de maneira direcionada, tornando cada byte de dados valioso. Não há necessidade de uma grande equipe de coleta de dados, nem de um sistema de retorno de dados em grande escala e de um sistema de filtragem de dados.Os dados sintéticos são baseados nas necessidades de treinamento do modelo desde o início da produção, e a maior parte da produção pode ser usada diretamente, o que reduz o custo dos dados.Custos de coleta.
Ao mesmo tempo, o custo da rotulagem de dados sintéticos tem uma enorme vantagem em comparação com os dados reais.De acordo com estimativas da plataforma de serviços de dados Diffgram, na rotulagem de imagens de condução autónoma, o preço médio de uma caixa de rotulagem é de cerca de 0,03 dólares. e o custo geral de rotular completamente uma imagem é de cerca de US$ 0,03,5,79 dólares americanos, e para dados sintéticos, o preço da anotação é basicamente próximo de zero, e alguns são apenas custos de cálculo de dados, que custam apenas cerca de 6 centavos. Em suma, os dados sintéticos podem ser usados para treinar grandes modelos de uma forma mais controlável, eficiente e de baixo custo.
**Se a coleta de dados reais ainda está na era da agricultura de corte e queima e da pecuária, então a produção de dados sintéticos entrou na era da indústria eficiente e automatizada, fornecendo produtos de alta qualidade e em larga escala a preços acessíveis. baixo custo. **De acordo com a "MIT Technology Review", os dados sintéticos estão listados como uma das dez principais tecnologias inovadoras do mundo em 2022. Acredita-se que os dados sintéticos podem resolver o lento desenvolvimento da inteligência artificial em campos com recursos de dados insuficientes.
04. Quais setores precisarão de dados sintéticos
**Na verdade, os dados sintéticos têm sido amplamente utilizados no exterior.No campo da robótica, direção autônoma, processamento de linguagem natural, finanças, assistência médica, etc., todos podemos ver dados sintéticos. **
Já em 2018, a OpenAI usou um ambiente de simulação para treinar controladores de robôs. O processo de treinamento irá randomizar a dinâmica ambiental e, em seguida, aplicar o controlador diretamente ao robô físico. Dessa forma, o robô pode lidar com tarefas simples ao executar tarefas simples. Mudanças inesperadas no ambiente externo.
De acordo com um relatório do JPMorgan Chase em 2019, utilizou dados sintéticos para treinar modelos de detecção de fraudes financeiras para superar o problema de muito poucos dados de fraude financeira.
A Universidade de Stanford também lançou recentemente seu próprio modelo de conversação em grande escala, Alpaca, com 7 bilhões de parâmetros. O que é particularmente interessante é que o conjunto de dados envolvido na pesquisa foi gerado pela equipe usando a API da OpenAI. Em outras palavras, todo o conjunto de dados de treinamento foi completamente sintetizado.A composição dos dados e o efeito final são comparáveis ao GPT-3.5.
Tomando novamente a condução autónoma como exemplo, como uma importante aplicação da visão computacional, a indústria da condução autónoma percorreu um longo caminho na utilização de dados sintéticos. A fim de reduzir os custos de teste e melhorar a eficiência da iteração, os motores de simulação são amplamente utilizados na indústria para testar e verificar algoritmos de condução autônoma.
As funções de direção autônoma baseadas na visão precisam coletar grandes quantidades de dados de cenas reais para treinar modelos de aprendizagem profunda para completar a percepção do mundo. No entanto, os dados de cauda longa produzidos em massa são muitas vezes difíceis ou impossíveis de recolher no mundo real. Ao mesmo tempo, até mesmo a aparência do mesmo objeto pode variar muito em diferentes épocas e condições climáticas, o que traz grandes desafios à percepção visual.
Comparado com a coleta de dados reais, o custo dos dados sintéticos é controlável e não requer anotação manual, o que reduz significativamente os erros humanos causados por processos inconsistentes de coleta e fluxo de dados e padrões humanos. Portanto, os dados sintéticos são considerados pela indústria como uma das formas eficazes de resolver o problema da cauda longa.
No entanto, para melhor treinar os sistemas de condução autónomos, a qualidade da maioria dos dados de simulação está longe de ser suficiente, pois não podem reflectir o mundo real e constituem apenas um elevado grau de abstracção do mundo real. Portanto, muitas empresas do setor investiram pesadamente na melhoria do realismo dos dados.Por exemplo, o software de simulação de direção autônoma da Nvidia, DriveSim, usa tecnologia avançada de renderização física para melhorar o realismo dos dados sintéticos.
Cruise e Waymo usam tecnologias relacionadas ao NeRF para gerar mundos gêmeos digitais e depois produzir dados sintéticos.A Nvidia também propôs o Instant NGP em 2022, o que melhorou muito a eficiência do treinamento do NeRF.
Já no AIDay de 2021, Telsa treinou o sistema de percepção usando cenas de uma família correndo na rodovia e multidões difíceis de rotular, o que foi muito impressionante.
Ao mesmo tempo, muitas empresas de dados sintéticos começaram a surgir no Vale do Silício na vanguarda da indústria: Parallel Domain e Applied Intuition, que atendem à direção autônoma, Datagen, que atende à indústria geral de visão mecânica, e Gretel AI, que é enraizada no processamento de linguagem natural. Por trás dessas empresas estão os gigantes líderes da indústria.
O Gartner prevê que em 2024, 60% dos dados de treinamento serão substituídos por dados de adultos e, em 2030, os dados sintéticos substituirão completamente os dados reais e se tornarão a principal fonte de dados para treinamento de IA.
No entanto, na China, existem relativamente poucas aplicações de dados sintéticos.Atualmente, a maioria das empresas ainda usa dados reais para completar o treinamento do modelo.
05. Limitações dos dados sintéticos
Que problemas ainda precisam ser resolvidos com os dados sintéticos antes que eles possam substituir completamente os dados reais? Aqui tomamos a direção autônoma como exemplo para discussão.
Veracidade
De uma perspectiva perceptual, a autenticidade é de facto o primeiro índice de avaliação. Antes que esse lote de dados entre no sistema de treinamento, ele poderá passar pela inspeção visual humana para garantir que pareça real?
No que diz respeito às desvantagens do realismo, a realidade visível a olho nu não representa a real eficácia dos dados.A busca cega do realismo visual das imagens pode não ter um significado prático quantificável. O padrão quantitativo para avaliar a autenticidade dos dados sintéticos precisa basear-se na melhoria dos conjuntos de dados sintéticos em relação aos conjuntos de dados reais para algoritmos treinados em conjuntos de dados sintéticos. Atualmente, na indústria de condução autônoma, que possui os mais altos requisitos de autenticidade de dados sintéticos, já existem exemplos de Cruise, Nvidia, Waymo, Tesla, etc. dados sintéticos. É claro que, à medida que os algoritmos melhoram, os requisitos de autenticidade dos dados sintéticos também aumentarão. Os recentes avanços contínuos na IA generativa deram-nos uma boa orientação prática para aumentar o realismo dos dados sintéticos.
Diversidade de cenas
Construção de modelos mundiais de dados sintéticos, como a construção de cenários de condução autónoma. Precisamos criar um mundo virtual e simular o funcionamento do mundo real, para que os dados sintéticos fluam como água de nascente. O método tradicional é baseado na modelagem de algoritmos artificiais. Por exemplo, o método de construção dos produtores tradicionais de dados sintéticos é puramente baseado em motores físicos, que determinam a velocidade de construção da cena. Todo o mundo físico precisa ser construído manualmente por engenheiros de ativos 3D. Cada edifício e sinalização de rua precisa ser construído manualmente, o que restringe a velocidade de construção da cena e limita muito a diversidade de cenas. IA generativa, como Diffusion Model e Nerf, oferece a possibilidade de modelagem automatizada e centrada em dados para a linha de produção de dados sintéticos.
Cenas construídas artificialmente limitam muito a generalização de dados sintéticos.Afinal, esperamos que o algoritmo treinado seja robusto o suficiente para funcionar bem no mundo real.
Obviamente, a construção artificial não pode cobrir todas as cenas do mundo real. Para criar dados suficientes para cobrir todo o mundo real, precisamos aprender a expressão implícita do mundo real e então produzir cenas suficientemente diversas. Isto deve contar com IA generativa.
Produtividade
A fim de fornecer rapidamente grandes lotes de dados altamente generalizáveis, a produção paralela em larga escala na nuvem é a primeira prioridade.Apoiar a produção rápida de dados com alto poder de computação permite que os dados sejam sintetizados a uma velocidade incomparável no mundo real.
06. A IA generativa possibilita que dados sintéticos substituam dados reais em grande escala
NVidia Huang Renxun acredita que os reflexos e sonhos humanos fazem parte de dados sintéticos, o que equivale à geração de dados pela IA para treinar IA. Para atender aos enormes requisitos de dados de grandes modelos, precisamos automatizar completamente o link de produção de dados sintéticos para permitir que a IA treine a IA.
Graças ao recente e rápido desenvolvimento do Modelo de Difusão e do NeRF, dados sintéticos de IA de alta qualidade não são mais uma fantasia. O sofisticado processo matemático do Modelo de Difusão baseado em cadeias de Markov torna possível criar modelos de geração de imagens maiores e mais estáveis, e também supera o problema de treinamento muito difícil para redes de geração adversárias. O Modelo de Difusão Estável usa uma enorme coleção de imagens para permitir que as pessoas vejam as infinitas possibilidades do Modelo de Difusão, e a introdução de redes relacionadas ao ControlNet também torna a adaptação em campos específicos mais conveniente.
NeRF (Neural Radiance Fields) transforma a construção do mundo 3D em um processo de aprendizagem de rede neural, combinando efetivamente campos neurais (Campo Neural) e renderização de voxel para reconstruir o mundo 3D de forma muito realista e é muito promissor para substituir o processo complicado. O processo de construção do motor de física. Waymo desenvolveu o BlockNeRF com base nesta tecnologia para reconstruir São Francisco com eficiência e produzir dados sintéticos lá. O recente artigo CVPR Highlight UniSim deu um grande passo à aplicação do NeRF.
Com base nessas tecnologias, os unicórnios AIGC começaram a surgir. Depois que StabilityAI (Modelo de Difusão), Midjourney (Modelo de Difusão) e LumaLab AI (NeRF) são treinados com grandes lotes de dados, a autenticidade das imagens não pode mais ser questionada, e os efeitos artísticos resultantes e novas expressões de dados nos permitem veja Aí vem o futuro brilhante da generalização em dados sintéticos.
07, escrito no final
ChatGPT é apenas o ponto de partida, e grandes modelos no campo da linguagem natural são apenas faíscas. Embora o ChatGPT já possua capacidades básicas de inteligência artificial, que são obtidas através da aprendizagem de dados da linguagem natural humana, na verdade, o pensamento cognitivo humano sobre o mundo definitivamente não se limita à linguagem e ao texto, mas é multimodal. (Imagens, texto, som, luz, eletricidade, filme...). Não é difícil inferir que uma AGI real deve ser capaz de processar todas as informações modais do mundo de forma tão instantânea, eficiente, precisa e lógica quanto os humanos, e completar várias tarefas intermodais ou multimodais. A recente mania da inteligência incorporada também aguarda com expectativa o surgimento de novos métodos de interação multimodal.
Isto também requer dados multimodais, o que aumenta ainda mais a dificuldade de obtenção de dados reais, e os dados reais multimodais são ainda mais escassos.
Por exemplo, em comparação com dados de texto e dados de imagem que podem ser encontrados em todos os lugares, há apenas alguns conjuntos de dados 3D de alta qualidade correspondentes. Conjuntos de dados de imagens de pesquisa científica comumente usados geralmente contêm centenas de milhões ou mais imagens, enquanto muitos conjuntos de dados 3D de alta qualidade que podem ser usados para pesquisa científica possuem apenas milhares ou dezenas de milhares de modelos 3D. Se quisermos que a inteligência artificial compreenda o mundo 3D, precisaremos de uma grande quantidade de dados multimodais contendo modelos 3D. Isso também pode exigir dados sintéticos para ser resolvido.
Automatizar a construção de modelos mundiais, permitir que a IA gere dados multimodais de forma controlada e treinar grandes modelos mais inteligentes são o verdadeiro caminho para a inteligência artificial geral.
Algumas referências:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
Se os dados forem esgotados por grandes modelos, ainda veremos inteligência artificial geral?
Fonte original: A segunda metade da direção autônoma
Estamos às vésperas da inteligência artificial geral. Embora o ChatGPT tenha inspirado entusiasmo em todo o mundo, também acendeu a competição por grandes modelos de IA. O Google lançou o Bard para benchmark, a Amazon também entrou no campo de batalha e a Meta, que apostava fortemente no metaverso, não ficou para trás e lançou o LLaMa e o SAM. Deste lado do oceano, a BAT, que é reconhecida como a que possui mais recursos, voltou a reunir-se no modelo generativo. Aproveitando a tendência dos grandes modelos, a inteligência incorporada parece estar provocando uma grande mudança.
Tudo parece ter voltado a ser há dez anos, com o surgimento do boom empresarial. **Só que desta vez, a singularidade da inteligência artificial geral é aberta por grandes modelos, e os dados estão oficialmente no centro do palco. **
01. Quais são os elementos-chave no desenvolvimento de modelos grandes
Um modelo grande, em termos leigos, é um modelo com um grande número de parâmetros. Em comparação com os pequenos modelos anteriores que podiam ser executados em uma única GPU, ele só poderia ser concluído contando com a enorme quantidade de poder de computação acumulada por grandes empresas. Por exemplo, o OpenAI ChatGPT custa atualmente até um milhão de dólares americanos por treinamento. A possibilidade de pequenos laboratórios participarem da onda de inteligência artificial foi diretamente encerrada pelos grandes modelos, e somente empresas com forte acumulação podem completá-la.
Portanto, os únicos heróis que surgiram na onda empreendedora geral de grandes modelos foram aqueles que tiveram histórias maravilhosas na onda empreendedora da Internet, como Wang Huiwen da Meituan, Kai-fu Lee da Sinovation Ventures e Wang Xiaochuan da Sogou. A Lei dos modelos de Moore surgiu, e modelos maiores trouxeram melhor compreensão do mundo e capacidades de raciocínio.Com tal tendência, não há tempo para parar e hesitar.
Actualmente, o modelo de desenvolvimento das empresas comuns de inteligência artificial ainda é o modelo de desenvolvimento “tradicional” centrado no modelo, ou seja, fixando o conjunto de dados e depois iterando o modelo. Os engenheiros de algoritmos geralmente se concentram em vários conjuntos de dados de referência e, em seguida, projetam vários modelos para melhorar a precisão da previsão.
Embora grandes modelos estejam surgindo como cogumelos depois da chuva, na verdade os algoritmos por trás da maioria dos modelos tendem a ser consistentes e não ocorreram grandes alterações no modelo. O empilhamento do volume de dados faz com que o modelo treinado tenha um desempenho muito melhor do que o modelo com pequenas alterações. Por exemplo, há alguns meses, o pioneiro da inteligência artificial Yann LeCun publicou um artigo afirmando que o ChatGPT não é tecnicamente nada novo, mas alcançou excelente desempenho. Mudanças cuidadosas no algoritmo podem não produzir melhores resultados do que adicionar e iterar dados. Comparado com o desempenho do modelo treinado em um único conjunto de dados, o desempenho do modelo proporcionado pela enorme quantidade de dados de alta qualidade é um golpe na redução da dimensionalidade. **
O sucesso dos grandes modelos da OpenAI deriva da crença de Ilya de que mudanças quantitativas em big data e grandes modelos trarão mudanças qualitativas. Por exemplo, ChatGPT usa pelo menos 40T de dados em grande escala para treinamento e, se a quantidade de dados efetivos continuar a aumentar, poderá obter melhor desempenho. De acordo com a pesquisa do Google sobre habilidades emergentes de modelos de linguagem grande, em um determinado ponto crítico dos parâmetros do modelo, o modelo repentinamente ganhou capacidades inesperadas.
Yang Dong, reitor do Instituto de Ciência Interdisciplinar da Universidade Renmin da China, também acredita que a razão fundamental para o sucesso do ChatGPT não é apenas a tecnologia em si, mas também os graves problemas de não abertura e monopólio de dados na China. Quanto ao modelo de segmentação semântica lançado recentemente, Segment Anything Model by Meta, o modelo supervisionado geral não tem nenhuma inovação óbvia, mas o uso de dados massivos no campo da segmentação semântica torna o desempenho do modelo incrível. As dezenas de milhões de imagens e bilhões de máscaras de segmentação nunca foram vistas no campo da segmentação semântica de imagens.
02. Dados reais serão esgotados por modelos grandes
Neste mundo, as atividades humanas acontecem o tempo todo, então os rastros de dados deixados para trás não deveriam continuar a crescer? Por que está esgotado?
Dados de alta qualidade são escassos
Nem todos os rastros gerados por atividades humanas podem ser usados para treinamento de modelo. Somente dados de alta qualidade inseridos no treinamento de modelo podem produzir os melhores resultados.
No campo do processamento de linguagem natural, os dados de alta qualidade são livros e artigos científicos digitalizados naturalmente. Ter um bom relacionamento lógico também pode garantir uma precisão relativa. Dados de baixa qualidade, como registros de bate-papo, chamadas telefônicas, etc., têm um efeito relativamente limitado no treinamento devido à baixa continuidade dos dados. É mencionado na documentação de desenvolvimento do ChatGPT 3 que após a filtragem de dados realizada a filtragem de qualidade em 45 TB de texto simples, foram obtidos 570 GB de texto, utilizando apenas 1,27% dos dados efetivos.
No campo da condução autônoma, são gerados dados de alta qualidade a partir de um grande número de cenários diferentes. Por exemplo, uma estrada com curvatura relativamente pequena pode aparecer com muita frequência, mas na verdade, quanto mais vezes isso ocorre, menos importante ela é. Pelo contrário, para alguns cenários não convencionais (ou seja, Caso Esquilo), a qualidade dos dados é superior e a adaptação do cenário precisa ser feita separadamente. No entanto, essas amostras relativamente pequenas são quase uma gota no oceano quando confrontadas com os requisitos de parâmetros de modelos grandes.
Limitações trazidas pela segurança e privacidade de dados
O desenvolvimento da IA generativa tem sido acompanhado de controvérsia sobre a segurança dos dados. Depois que o Stable Diffusion se tornou disponível, causou insatisfação entre muitos artistas. Sob pressão, o Stability AI anunciou que permitiria aos artistas excluir seus trabalhos de maneira direcionada e impedi-los de entrar no conjunto de treinamento.
Em alguns casos, os dados disponíveis publicamente podem conter informações confidenciais, como informações de identificação pessoal, informações financeiras ou registros médicos. Em muitas indústrias e regiões, é muito difícil obter dados que contenham informações sensíveis, o que aumenta a dificuldade de recolha de dados e reduz a taxa de crescimento dos conjuntos de dados correspondentes. Isso se tornou uma restrição para grandes modelos industriais. Por exemplo, na área médica, devido à particularidade e privacidade da área, é impossível obter a quantidade de dados que pode ser utilizada para treinamento de grandes modelos sob estrita proteção de privacidade e restrições regulatórias.
Dados reais de alta qualidade podem não ser suficientes para apoiar o treinamento de modelos grandes
O artigo "Será que ficaremos sem dados? Uma análise dos limites do dimensionamento de conjuntos de dados em aprendizado de máquina" explora a possibilidade de escassez de dados (a quantidade de dados não é suficiente para atender às necessidades de treinamento de grandes modelos). taxa de crescimento do modelo,* Por volta de 2026, dados de PNL de alta qualidade não serão suficientes para apoiar o treinamento*. Os estoques de dados para modelos de linguagem e visão estão crescendo muito mais lentamente do que o tamanho dos conjuntos de dados de treinamento; portanto, se as tendências atuais continuarem, os conjuntos de dados acabarão por parar de crescer devido ao esgotamento dos dados.
Com a crescente quantidade de dados, a maioria dos dados coletados em métodos incontroláveis de coleta de dados não tem sentido. Por exemplo, em cenários de condução autónoma, os veículos recolhem constantemente novos dados na estrada, mas apenas muito poucos podem realmente ser utilizados. Portanto, numa conversa recente entre o CEO da Nvidia, Jensen Huang e Ilya Sutskever, eles também discutiram a possibilidade de esgotamento dos dados.
03. Dados sintéticos podem atender aos enormes requisitos de dados de grandes modelos
O modelo de desenvolvimento centrado em dados torna os dados a parte mais importante. Algoritmos de treinamento requerem dados, mas é difícil obter dados de alta qualidade.Como atender aos enormes requisitos de dados de grandes modelos?
Assim como existe carne sintética nos alimentos, os dados podem ser sintetizados artificialmente? Dados sintéticos são dados criados no mundo digital. A controlabilidade dos dados sintéticos é melhor do que a dos dados reais, podendo refletir as propriedades dos dados reais no sentido matemático e físico e produzir dados direcionalmente para garantir o equilíbrio dos dados ao treinar o modelo.
Dados sintéticos possuem delta de informações
Aprenda a distribuição de dados em dados reais e produza mais dados com base nessa distribuição para garantir que haja dados suficientes para treinar grandes modelos em diversos cenários. A combinação de diferentes elementos traz cenas diferentes, e as mudanças nas cenas também trazem um aumento de informações, garantindo assim a eficácia dos dados sintetizados.
De acordo com pesquisas da OpenAI e UC Berkeley em 2017, com base na cena real, a posição da câmera, a cor do objeto, a forma, a iluminação, etc. modelo de detecção de objetos. Por não utilizar dados reais, o erro 3D do modelo de detecção é mantido dentro de 1,5 cm e tem uma robustez muito boa.
Baseado em dados reais, mas diferente dos dados reais. Esta característica dos dados sintéticos torna-os cada vez mais utilizados, não só para testes, mas também como dados de treinamento para tornar o modelo mais poderoso.
A vantagem de custo dos dados sintéticos é enorme
O custo dos dados vem da coleta e rotulagem; em ambas as partes, os dados sintéticos apresentam vantagens significativas.
Comparados com a coleta ineficiente de dados reais, os dados sintéticos podem gerar cenários de maneira direcionada, tornando cada byte de dados valioso. Não há necessidade de uma grande equipe de coleta de dados, nem de um sistema de retorno de dados em grande escala e de um sistema de filtragem de dados.Os dados sintéticos são baseados nas necessidades de treinamento do modelo desde o início da produção, e a maior parte da produção pode ser usada diretamente, o que reduz o custo dos dados.Custos de coleta.
Ao mesmo tempo, o custo da rotulagem de dados sintéticos tem uma enorme vantagem em comparação com os dados reais.De acordo com estimativas da plataforma de serviços de dados Diffgram, na rotulagem de imagens de condução autónoma, o preço médio de uma caixa de rotulagem é de cerca de 0,03 dólares. e o custo geral de rotular completamente uma imagem é de cerca de US$ 0,03,5,79 dólares americanos, e para dados sintéticos, o preço da anotação é basicamente próximo de zero, e alguns são apenas custos de cálculo de dados, que custam apenas cerca de 6 centavos. Em suma, os dados sintéticos podem ser usados para treinar grandes modelos de uma forma mais controlável, eficiente e de baixo custo.
**Se a coleta de dados reais ainda está na era da agricultura de corte e queima e da pecuária, então a produção de dados sintéticos entrou na era da indústria eficiente e automatizada, fornecendo produtos de alta qualidade e em larga escala a preços acessíveis. baixo custo. **De acordo com a "MIT Technology Review", os dados sintéticos estão listados como uma das dez principais tecnologias inovadoras do mundo em 2022. Acredita-se que os dados sintéticos podem resolver o lento desenvolvimento da inteligência artificial em campos com recursos de dados insuficientes.
04. Quais setores precisarão de dados sintéticos
**Na verdade, os dados sintéticos têm sido amplamente utilizados no exterior.No campo da robótica, direção autônoma, processamento de linguagem natural, finanças, assistência médica, etc., todos podemos ver dados sintéticos. **
Já em 2018, a OpenAI usou um ambiente de simulação para treinar controladores de robôs. O processo de treinamento irá randomizar a dinâmica ambiental e, em seguida, aplicar o controlador diretamente ao robô físico. Dessa forma, o robô pode lidar com tarefas simples ao executar tarefas simples. Mudanças inesperadas no ambiente externo.
A Universidade de Stanford também lançou recentemente seu próprio modelo de conversação em grande escala, Alpaca, com 7 bilhões de parâmetros. O que é particularmente interessante é que o conjunto de dados envolvido na pesquisa foi gerado pela equipe usando a API da OpenAI. Em outras palavras, todo o conjunto de dados de treinamento foi completamente sintetizado.A composição dos dados e o efeito final são comparáveis ao GPT-3.5.
Tomando novamente a condução autónoma como exemplo, como uma importante aplicação da visão computacional, a indústria da condução autónoma percorreu um longo caminho na utilização de dados sintéticos. A fim de reduzir os custos de teste e melhorar a eficiência da iteração, os motores de simulação são amplamente utilizados na indústria para testar e verificar algoritmos de condução autônoma.
As funções de direção autônoma baseadas na visão precisam coletar grandes quantidades de dados de cenas reais para treinar modelos de aprendizagem profunda para completar a percepção do mundo. No entanto, os dados de cauda longa produzidos em massa são muitas vezes difíceis ou impossíveis de recolher no mundo real. Ao mesmo tempo, até mesmo a aparência do mesmo objeto pode variar muito em diferentes épocas e condições climáticas, o que traz grandes desafios à percepção visual.
Comparado com a coleta de dados reais, o custo dos dados sintéticos é controlável e não requer anotação manual, o que reduz significativamente os erros humanos causados por processos inconsistentes de coleta e fluxo de dados e padrões humanos. Portanto, os dados sintéticos são considerados pela indústria como uma das formas eficazes de resolver o problema da cauda longa.
No entanto, para melhor treinar os sistemas de condução autónomos, a qualidade da maioria dos dados de simulação está longe de ser suficiente, pois não podem reflectir o mundo real e constituem apenas um elevado grau de abstracção do mundo real. Portanto, muitas empresas do setor investiram pesadamente na melhoria do realismo dos dados.Por exemplo, o software de simulação de direção autônoma da Nvidia, DriveSim, usa tecnologia avançada de renderização física para melhorar o realismo dos dados sintéticos.
O Gartner prevê que em 2024, 60% dos dados de treinamento serão substituídos por dados de adultos e, em 2030, os dados sintéticos substituirão completamente os dados reais e se tornarão a principal fonte de dados para treinamento de IA.
No entanto, na China, existem relativamente poucas aplicações de dados sintéticos.Atualmente, a maioria das empresas ainda usa dados reais para completar o treinamento do modelo.
05. Limitações dos dados sintéticos
Que problemas ainda precisam ser resolvidos com os dados sintéticos antes que eles possam substituir completamente os dados reais? Aqui tomamos a direção autônoma como exemplo para discussão.
Veracidade
De uma perspectiva perceptual, a autenticidade é de facto o primeiro índice de avaliação. Antes que esse lote de dados entre no sistema de treinamento, ele poderá passar pela inspeção visual humana para garantir que pareça real?
No que diz respeito às desvantagens do realismo, a realidade visível a olho nu não representa a real eficácia dos dados.A busca cega do realismo visual das imagens pode não ter um significado prático quantificável. O padrão quantitativo para avaliar a autenticidade dos dados sintéticos precisa basear-se na melhoria dos conjuntos de dados sintéticos em relação aos conjuntos de dados reais para algoritmos treinados em conjuntos de dados sintéticos. Atualmente, na indústria de condução autônoma, que possui os mais altos requisitos de autenticidade de dados sintéticos, já existem exemplos de Cruise, Nvidia, Waymo, Tesla, etc. dados sintéticos. É claro que, à medida que os algoritmos melhoram, os requisitos de autenticidade dos dados sintéticos também aumentarão. Os recentes avanços contínuos na IA generativa deram-nos uma boa orientação prática para aumentar o realismo dos dados sintéticos.
Diversidade de cenas
Construção de modelos mundiais de dados sintéticos, como a construção de cenários de condução autónoma. Precisamos criar um mundo virtual e simular o funcionamento do mundo real, para que os dados sintéticos fluam como água de nascente. O método tradicional é baseado na modelagem de algoritmos artificiais. Por exemplo, o método de construção dos produtores tradicionais de dados sintéticos é puramente baseado em motores físicos, que determinam a velocidade de construção da cena. Todo o mundo físico precisa ser construído manualmente por engenheiros de ativos 3D. Cada edifício e sinalização de rua precisa ser construído manualmente, o que restringe a velocidade de construção da cena e limita muito a diversidade de cenas. IA generativa, como Diffusion Model e Nerf, oferece a possibilidade de modelagem automatizada e centrada em dados para a linha de produção de dados sintéticos.
Cenas construídas artificialmente limitam muito a generalização de dados sintéticos.Afinal, esperamos que o algoritmo treinado seja robusto o suficiente para funcionar bem no mundo real.
Obviamente, a construção artificial não pode cobrir todas as cenas do mundo real. Para criar dados suficientes para cobrir todo o mundo real, precisamos aprender a expressão implícita do mundo real e então produzir cenas suficientemente diversas. Isto deve contar com IA generativa.
Produtividade
A fim de fornecer rapidamente grandes lotes de dados altamente generalizáveis, a produção paralela em larga escala na nuvem é a primeira prioridade.Apoiar a produção rápida de dados com alto poder de computação permite que os dados sejam sintetizados a uma velocidade incomparável no mundo real.
06. A IA generativa possibilita que dados sintéticos substituam dados reais em grande escala
NVidia Huang Renxun acredita que os reflexos e sonhos humanos fazem parte de dados sintéticos, o que equivale à geração de dados pela IA para treinar IA. Para atender aos enormes requisitos de dados de grandes modelos, precisamos automatizar completamente o link de produção de dados sintéticos para permitir que a IA treine a IA.
Graças ao recente e rápido desenvolvimento do Modelo de Difusão e do NeRF, dados sintéticos de IA de alta qualidade não são mais uma fantasia. O sofisticado processo matemático do Modelo de Difusão baseado em cadeias de Markov torna possível criar modelos de geração de imagens maiores e mais estáveis, e também supera o problema de treinamento muito difícil para redes de geração adversárias. O Modelo de Difusão Estável usa uma enorme coleção de imagens para permitir que as pessoas vejam as infinitas possibilidades do Modelo de Difusão, e a introdução de redes relacionadas ao ControlNet também torna a adaptação em campos específicos mais conveniente.
Com base nessas tecnologias, os unicórnios AIGC começaram a surgir. Depois que StabilityAI (Modelo de Difusão), Midjourney (Modelo de Difusão) e LumaLab AI (NeRF) são treinados com grandes lotes de dados, a autenticidade das imagens não pode mais ser questionada, e os efeitos artísticos resultantes e novas expressões de dados nos permitem veja Aí vem o futuro brilhante da generalização em dados sintéticos.
07, escrito no final
ChatGPT é apenas o ponto de partida, e grandes modelos no campo da linguagem natural são apenas faíscas. Embora o ChatGPT já possua capacidades básicas de inteligência artificial, que são obtidas através da aprendizagem de dados da linguagem natural humana, na verdade, o pensamento cognitivo humano sobre o mundo definitivamente não se limita à linguagem e ao texto, mas é multimodal. (Imagens, texto, som, luz, eletricidade, filme...). Não é difícil inferir que uma AGI real deve ser capaz de processar todas as informações modais do mundo de forma tão instantânea, eficiente, precisa e lógica quanto os humanos, e completar várias tarefas intermodais ou multimodais. A recente mania da inteligência incorporada também aguarda com expectativa o surgimento de novos métodos de interação multimodal.
Isto também requer dados multimodais, o que aumenta ainda mais a dificuldade de obtenção de dados reais, e os dados reais multimodais são ainda mais escassos.
Por exemplo, em comparação com dados de texto e dados de imagem que podem ser encontrados em todos os lugares, há apenas alguns conjuntos de dados 3D de alta qualidade correspondentes. Conjuntos de dados de imagens de pesquisa científica comumente usados geralmente contêm centenas de milhões ou mais imagens, enquanto muitos conjuntos de dados 3D de alta qualidade que podem ser usados para pesquisa científica possuem apenas milhares ou dezenas de milhares de modelos 3D. Se quisermos que a inteligência artificial compreenda o mundo 3D, precisaremos de uma grande quantidade de dados multimodais contendo modelos 3D. Isso também pode exigir dados sintéticos para ser resolvido.
Automatizar a construção de modelos mundiais, permitir que a IA gere dados multimodais de forma controlada e treinar grandes modelos mais inteligentes são o verdadeiro caminho para a inteligência artificial geral.
Algumas referências: