O poder de computação da IA aumentou 680 milhões de vezes em 70 anos, e três estágios históricos testemunharam a explosão exponencial da tecnologia de IA
Uma imagem revela que o poder de computação da IA se desenvolveu 670 milhões de vezes em mais de 70 anos. No futuro, a IA superará os humanos em todos os aspectos de suas capacidades. O que é realmente emocionante é que a indústria de IA acaba de entrar no embrião fase anterior ao surto.
Os computadores eletrônicos nasceram na década de 1940 e, 10 anos após o surgimento dos computadores, apareceu a primeira aplicação de IA na história da humanidade.
Mais de 70 anos depois, os modelos de IA podem agora não apenas escrever poemas, mas também gerar imagens com base em instruções de texto e até ajudar os humanos a descobrir estruturas de proteínas desconhecidas.
Então, o que impulsionou o crescimento exponencial da tecnologia de IA num período de tempo tão curto?
Um longo gráfico de “Our World in Data” traça a história do desenvolvimento da IA através de mudanças no poder computacional usado para treinar modelos de IA em escala.
Imagem grande de alta definição:
A fonte dos dados da figura vem de um artigo publicado por pesquisadores do MIT e de outras universidades.
Endereço do papel:
Além do artigo, há também uma equipe de pesquisa que fez uma tabela visual com base nos dados deste artigo, os ícones podem ser ampliados e reduzidos para obter dados detalhados.
Endereço do formulário:
O autor do gráfico estima principalmente a quantidade de cálculo de treinamento de cada modelo calculando o número de operações e o tempo da GPU. Quanto a qual modelo escolher como representante de um modelo importante, o autor determina principalmente por meio de três propriedades:
Importância significativa: um sistema tem impacto histórico significativo, melhora significativamente o SOTA ou foi citado mais de 1.000 vezes.
Relevância: O autor inclui apenas artigos que contêm resultados experimentais e componentes-chave de aprendizado de máquina, e o objetivo do artigo é promover o desenvolvimento do SOTA existente.
Singularidade: Se outro artigo que descreve o mesmo sistema for mais influente, esse artigo será excluído do conjunto de dados do autor.
Três eras de desenvolvimento de IA
Na década de 1950, o matemático americano Claude Shannon treinou um rato robótico chamado Teseu para navegar num labirinto e lembrar os seus caminhos – o primeiro exemplo de aprendizagem artificial.
Teseu é baseado em 40 operações de ponto flutuante (FLOPs). FLOPs são comumente usados como uma medida de desempenho de computação de hardware de computador. Quanto maior o número de FLOPs, maior será o poder computacional e mais poderoso será o sistema.
O poder computacional, os dados de treinamento disponíveis e os algoritmos são os três principais elementos do progresso da IA. Nas primeiras décadas de desenvolvimento da IA, o poder computacional necessário cresceu de acordo com a Lei de Moore – o poder computacional dobrou em cerca de 20 meses.
No entanto, quando 2012 marcou o início da era da aprendizagem profunda com AlexNet, uma IA de reconhecimento de imagens, esse tempo de duplicação foi significativamente reduzido para seis meses, à medida que os investigadores investiam mais em computação e processadores.
Com o surgimento do AlphaGo em 2015 – um programa de computador que derrotou os jogadores humanos profissionais de Go – os pesquisadores descobriram uma terceira era: a era dos modelos de IA em grande escala com maiores demandas computacionais do que todos os sistemas de IA anteriores.
Progresso futuro da tecnologia de IA
Olhando para trás, na última década, o poder da computação cresceu tão rápido que é quase incompreensível.
Por exemplo, o poder computacional usado para treinar Minerva, uma IA que pode resolver problemas matemáticos complexos, foi quase 6 milhões de vezes maior que o usado para treinar AlexNet há uma década.
Este crescimento na computação, juntamente com o grande número de conjuntos de dados disponíveis e melhores algoritmos, permitiu que a IA fizesse muitos progressos num período de tempo extremamente curto. Hoje, a IA pode não apenas atingir níveis de desempenho humano, mas até mesmo superar os humanos em muitos campos.
As capacidades de IA continuarão a superar os humanos em todos os aspectos
Como fica claro no gráfico acima, a IA já ultrapassou o desempenho humano em muitas áreas e em breve ultrapassará o desempenho humano também noutras.
A figura abaixo mostra em que ano a IA atingiu ou excedeu os níveis humanos em capacidades comuns utilizadas no trabalho diário e na vida.
### O potencial de desenvolvimento de tecnologia de IA é suficiente
É difícil dizer se o crescimento da computação manterá o mesmo ritmo. Modelos em grande escala exigem cada vez mais poder de computação para treinar. Se a oferta de poder de computação não puder continuar a crescer, poderá retardar o progresso do desenvolvimento da tecnologia de IA.
Da mesma forma, a utilização de todos os dados atualmente disponíveis para a formação de modelos de IA também poderia dificultar o desenvolvimento e a implementação de novos modelos.
No entanto, em 2023, uma grande quantidade de capital será investida na indústria de IA, especialmente na IA generativa representada por grandes modelos de linguagem. Talvez mais avanços estejam prestes a aparecer. Parece que os três elementos acima que promovem o desenvolvimento da tecnologia de IA serão ainda mais otimizados e desenvolvidos no futuro.
No primeiro semestre de 2023, a escala de financiamento de startups na indústria de IA atingiu US$ 14 bilhões, o que é ainda mais do que o financiamento total recebido nos últimos quatro anos.
Um grande número (78%) de startups de IA generativa ainda está nos estágios iniciais de desenvolvimento, e mesmo 27% das startups de IA generativa ainda não levantaram fundos.
Existem mais de 360 empresas geradoras de inteligência artificial, 27% das quais ainda não levantaram fundos. Mais de metade são projetos em fase inicial ou anteriores, indicando que toda a indústria de IA generativa ainda se encontra numa fase muito inicial.
Devido à natureza intensiva de capital do desenvolvimento de grandes modelos de linguagem, a categoria de infraestrutura de IA generativa recebeu mais de 70% do financiamento desde o terceiro trimestre de 2022, representando apenas 10% de todo o volume de transações de IA generativa. Grande parte do financiamento provém do interesse dos investidores em infra-estruturas emergentes, tais como modelos subjacentes e APIs, MLOps (operações de aprendizagem automática) e tecnologia de bases de dados vectoriais.
Referências:
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
O poder de computação da IA aumentou 680 milhões de vezes em 70 anos, e três estágios históricos testemunharam a explosão exponencial da tecnologia de IA
**Fonte:**Xinzhiyuan
Os computadores eletrônicos nasceram na década de 1940 e, 10 anos após o surgimento dos computadores, apareceu a primeira aplicação de IA na história da humanidade.
Mais de 70 anos depois, os modelos de IA podem agora não apenas escrever poemas, mas também gerar imagens com base em instruções de texto e até ajudar os humanos a descobrir estruturas de proteínas desconhecidas.
Então, o que impulsionou o crescimento exponencial da tecnologia de IA num período de tempo tão curto?
Um longo gráfico de “Our World in Data” traça a história do desenvolvimento da IA através de mudanças no poder computacional usado para treinar modelos de IA em escala.
A fonte dos dados da figura vem de um artigo publicado por pesquisadores do MIT e de outras universidades.
Além do artigo, há também uma equipe de pesquisa que fez uma tabela visual com base nos dados deste artigo, os ícones podem ser ampliados e reduzidos para obter dados detalhados.
O autor do gráfico estima principalmente a quantidade de cálculo de treinamento de cada modelo calculando o número de operações e o tempo da GPU. Quanto a qual modelo escolher como representante de um modelo importante, o autor determina principalmente por meio de três propriedades:
Importância significativa: um sistema tem impacto histórico significativo, melhora significativamente o SOTA ou foi citado mais de 1.000 vezes.
Relevância: O autor inclui apenas artigos que contêm resultados experimentais e componentes-chave de aprendizado de máquina, e o objetivo do artigo é promover o desenvolvimento do SOTA existente.
Singularidade: Se outro artigo que descreve o mesmo sistema for mais influente, esse artigo será excluído do conjunto de dados do autor.
Três eras de desenvolvimento de IA
Na década de 1950, o matemático americano Claude Shannon treinou um rato robótico chamado Teseu para navegar num labirinto e lembrar os seus caminhos – o primeiro exemplo de aprendizagem artificial.
Teseu é baseado em 40 operações de ponto flutuante (FLOPs). FLOPs são comumente usados como uma medida de desempenho de computação de hardware de computador. Quanto maior o número de FLOPs, maior será o poder computacional e mais poderoso será o sistema.
O poder computacional, os dados de treinamento disponíveis e os algoritmos são os três principais elementos do progresso da IA. Nas primeiras décadas de desenvolvimento da IA, o poder computacional necessário cresceu de acordo com a Lei de Moore – o poder computacional dobrou em cerca de 20 meses.
Com o surgimento do AlphaGo em 2015 – um programa de computador que derrotou os jogadores humanos profissionais de Go – os pesquisadores descobriram uma terceira era: a era dos modelos de IA em grande escala com maiores demandas computacionais do que todos os sistemas de IA anteriores.
Progresso futuro da tecnologia de IA
Olhando para trás, na última década, o poder da computação cresceu tão rápido que é quase incompreensível.
Por exemplo, o poder computacional usado para treinar Minerva, uma IA que pode resolver problemas matemáticos complexos, foi quase 6 milhões de vezes maior que o usado para treinar AlexNet há uma década.
As capacidades de IA continuarão a superar os humanos em todos os aspectos
A figura abaixo mostra em que ano a IA atingiu ou excedeu os níveis humanos em capacidades comuns utilizadas no trabalho diário e na vida.
É difícil dizer se o crescimento da computação manterá o mesmo ritmo. Modelos em grande escala exigem cada vez mais poder de computação para treinar. Se a oferta de poder de computação não puder continuar a crescer, poderá retardar o progresso do desenvolvimento da tecnologia de IA.
Da mesma forma, a utilização de todos os dados atualmente disponíveis para a formação de modelos de IA também poderia dificultar o desenvolvimento e a implementação de novos modelos.
No entanto, em 2023, uma grande quantidade de capital será investida na indústria de IA, especialmente na IA generativa representada por grandes modelos de linguagem. Talvez mais avanços estejam prestes a aparecer. Parece que os três elementos acima que promovem o desenvolvimento da tecnologia de IA serão ainda mais otimizados e desenvolvidos no futuro.
No primeiro semestre de 2023, a escala de financiamento de startups na indústria de IA atingiu US$ 14 bilhões, o que é ainda mais do que o financiamento total recebido nos últimos quatro anos.
Referências: