GPT-4 é muito caro, a Microsoft quer se livrar do OpenAI? Plano B revelado: milhares de GPUs dedicadas ao treinamento de "modelos pequenos", testes internos do Bing começam
**Introdução: **GPT-4 é muito exigente em termos computacionais, e a Microsoft foi exposta a ter formulado o Plano B internamente para treinar modelos menores e de menor custo para se livrar do OpenAI.
O GPT-4 é tão exigente em termos computacionais que nem a Microsoft aguenta!
Este ano, em inúmeras conferências de IA da Microsoft, o CEO Nadella anunciou com entusiasmo a integração do GPT-4 e do DALL·E 3 no “Family Bucket” da Microsoft.
Toda a gama de produtos da Microsoft foi remodelada pelo modelo OpenAI, com a visão de tornar a IA um parceiro de vida para todos.
No entanto, nos bastidores, como o custo operacional do GPT-4 era muito alto, a Microsoft desenvolveu discretamente o plano B.
A informação deu exclusivamente a notícia de que, para se livrar da dependência do OpenAI, parte da equipe de pesquisa de 1.500 pessoas liderada por Peter Lee voltou-se para o desenvolvimento de uma nova IA conversacional.
Diz-se que o desempenho do modelo desenvolvido pode não ser tão bom quanto o GPT-4, mas a escala dos parâmetros é pequena, o custo de pesquisa é menor e a velocidade de execução é mais rápida.
Atualmente, a Microsoft lançou testes internos em produtos como o Bing Chat.
Não apenas a Microsoft, mas outros gigantes da tecnologia, incluindo o Google, estão encontrando outras maneiras de economizar custos tanto em software de bate-papo de IA quanto em chips.
A cooperação entre a Microsoft e a Meta quando o Llama 2 foi anunciado nada mais era do que um meio de se livrar da dependência total do OpenAI.
Este é o caminho que o império da Microsoft está destinado a seguir à medida que continua a crescer e a ultrapassar as suas actuais limitações.
Modelos mais "refinados", você deve experimentá-los primeiro
Em fevereiro deste ano, a Microsoft lançou oficialmente o Novo Bing, que combina ChatGPT e seu próprio modelo Prometheus.
Após o anúncio do GPT-4, a Microsoft anunciou imediatamente que o GPT-4 seria integrado ao Bing, levando a experiência de pesquisa a um novo nível.
O diretor de pesquisa da Microsoft, Mikhail Parakhin, disse recentemente que o Bing Chat atualmente usa 100% GPT-4 nos modos “criativo” e “preciso”.
No modo balanceado (o modo selecionado pela maioria dos usuários), a Microsoft usa o modelo Prometheus e os modelos da linguagem Turing como suplementos.
O modelo Prometheus é uma coleção de habilidades e técnicas. O modelo de Turing não é tão poderoso quanto o GPT-4 e foi projetado para identificar e responder perguntas simples e passar perguntas mais difíceis para o GPT-4.
Dentro da Microsoft, a maioria das 2.000 GPUs disponíveis foram investidas no treinamento de “pequenos modelos”. Claro, isso não é nada comparado ao número de chips que a Microsoft fornece ao OpenAI.
No entanto, esses modelos podem realizar tarefas mais simples que o GPT-4 e são os esforços da Microsoft para quebrar o gelo.
Quebrar as algemas do OpenAI
Ao longo dos anos, a Microsoft e a OpenAI mantiveram laços inextricáveis.
No entanto, com o lançamento do ChatGPT, Microsoft Bing e outros grupos familiares, a Microsoft e a OpenAI também começaram a competir secretamente pelo mercado.
Embora os esforços da Microsoft ainda estejam nos estágios iniciais, Nadella está liderando os esforços da Microsoft para abrir um caminho para seus próprios produtos de IA que não dependa inteiramente do OpenAI.
“Isso vai acontecer eventualmente”, disse Naveen Rao, executivo da Databricks, sobre os esforços internos de IA da Microsoft.
"A Microsoft é uma empresa inteligente. Quando você implanta produtos usando o modelo gigante GPT-4, eles querem eficiência. É como dizer que não precisamos de uma pessoa com três PhDs para ser operadora de telefonia. Não é economicamente viável."
No entanto, Nadella e o diretor de pesquisa Peter Lee esperam desenvolver IA complexa sem OpenAI, o que provavelmente é apenas uma ilusão.
Desde que a Microsoft investiu na OpenAI, o departamento de pesquisa da gigante passou a maior parte do tempo ajustando os modelos da OpenAI para que pudessem ser adaptados aos produtos da Microsoft, em vez de desenvolver os seus próprios modelos.
A equipe de pesquisa da Microsoft não tem ilusões de que poderá desenvolver uma IA tão poderosa quanto o GPT-4.
Eles sabem claramente que não possuem os recursos computacionais do OpenAI, nem um grande número de revisores humanos para dar feedback às questões respondidas pelo LLM para que os engenheiros possam melhorar o modelo.
O departamento de pesquisa também vem perdendo talentos ao longo do ano passado, com diversas ondas de saídas de pesquisadores, incluindo algumas mudanças para equipes de produtos dentro da Microsoft.
Para a própria Microsoft, desenvolver LLM de alta qualidade sem a ajuda da OpenAI pode ganhar mais moedas de troca quando as duas empresas discutirem a renovação da parceria nos próximos anos.
Diretor de pesquisa de IA da Microsoft, Peter Lee
Atualmente, as duas transações são benéficas para ambas as partes.
A Microsoft investiu mais de 10 bilhões de dólares americanos na OpenAI e, em troca, terá o direito exclusivo de usar permanentemente a propriedade intelectual existente da OpenAI em produtos Microsoft.
Além disso, a Microsoft receberá 75% do lucro operacional teórico da OpenAI até que seu investimento inicial seja reembolsado e receberá 49% dos lucros até que um determinado limite seja atingido.
Agora, a Microsoft espera adicionar pelo menos US$ 10 bilhões em novas receitas durante um período incerto por meio de alianças existentes com a OpenAI e outras empresas de IA.
O Office 365 Family Bucket mostrou os primeiros sinais de crescimento de receita após receber a bênção dos recursos GPT-4.
A Microsoft também disse em julho que mais de 27 mil empresas pagaram pela ferramenta de escrita de código GitHub Copilot.
De acordo com as estatísticas do Statista, além dos serviços em nuvem da Microsoft terem a maior proporção em 2023, a participação na receita de produtos de software que aceleram a produtividade dos processos de negócios também está aumentando gradualmente.
No entanto, a ironia é que os termos da transação entre a Microsoft e a OpenAI também ajudam indiretamente a Microsoft a se esforçar para se livrar da sua dependência da OpenAI.
Quando os usuários usam o Bing, a Microsoft pode acessar os resultados gerados pelo modelo OpenAI.
Atualmente, a Microsoft está usando esses dados para criar modelos mais “refinados”. As descobertas de pesquisadores internos mostram que esses modelos podem produzir resultados semelhantes com menos recursos computacionais.
Exploração de "Modelos Pequenos"
Depois de passar um ano na sombra do OpenAI, alguns pesquisadores da Microsoft encontraram um novo objetivo – criar um modelo “destilado” que imite o GPT-4.
Em junho deste ano, a Microsoft treinou um modelo que consome apenas um décimo do poder computacional do GPT-4 – o Orca.
Para criar o Orca, a Microsoft inseriu milhões de respostas geradas pelo GPT-4 em um modelo de código aberto mais básico e o ensinou a imitar o GPT-4.
Endereço do papel:
Os resultados mostram que o Orca não apenas supera outros modelos de ajuste fino de instruções SOTA, mas também atinge o dobro do desempenho do Vicuna-13B em benchmarks complexos de inferência de disparo zero, como o BigBench Hard (BBH).
Além disso, o Orca alcança desempenho equivalente ao ChatGPT no benchmark BBH, com apenas 4% de diferença de desempenho em exames profissionais e acadêmicos, como SAT, LSAT, GRE e GMAT, todos medidos em uma configuração de amostra zero, sem encadeamento de pensamentos. .
Até mesmo, em alguns casos, o desempenho do Orca é comparável ao da versão gratuita ChatGPT do OpenAI.
Da mesma forma, a Microsoft também anunciou um modelo com parâmetros inferiores a um milésimo do GPT-4-phi-1.
Devido ao uso de dados de treinamento de alta qualidade no "nível de livro didático", a proficiência do phi-1 em problemas matemáticos e lógicos é nada menos que cinco vezes maior que seu modelo de código aberto.
Endereço do papel:
Posteriormente, a Microsoft deu um passo adiante ao estudar “quão pequeno um LLM deve ser para atingir uma determinada capacidade” e lançou o modelo phi-1.5 com apenas 1,3 bilhão de parâmetros.
Endereço do papel:
O phi-1.5 demonstra as capacidades de muitos modelos grandes, sendo capaz de "pensar passo a passo" ou realizar algum aprendizado de contexto básico.
Os resultados mostram que o phi-1.5 tem um desempenho equivalente a modelos 10 vezes maiores em termos de raciocínio de bom senso e habilidades linguísticas.
Ao mesmo tempo, supera em muito outros grandes modelos no raciocínio em várias etapas.
Embora não esteja claro se “modelos pequenos” como Orca e Phi podem realmente competir com modelos SOTA maiores, como GPT-4. Mas a sua enorme vantagem em termos de custos reforçou a motivação da Microsoft para continuar a promover a investigação relacionada.
Segundo uma pessoa a par do assunto, a primeira prioridade da equipe após o lançamento do Phi é verificar a qualidade desses modelos.
Num próximo artigo, os investigadores propõem um método baseado na aprendizagem contrastiva que permite aos engenheiros melhorar o Orca ensinando o modelo a distinguir entre respostas de alta qualidade e de baixa qualidade.
Ao mesmo tempo, outras equipes da Microsoft também estão desenvolvendo intensamente um novo grande modelo multimodal, ou seja, um LLM que pode interpretar e gerar texto e imagens.
GPT-4V
Claramente, modelos como Orca e Phi podem ajudar a Microsoft a reduzir os custos de computação necessários para fornecer capacidades de IA aos clientes.
De acordo com um funcionário atual, os gerentes de produto da Microsoft já estão testando como usar o Orca e o Phi em vez dos modelos da OpenAI para lidar com consultas do chatbot do Bing. Por exemplo, perguntas relativamente simples, como resumir um pequeno parágrafo de texto e responder sim ou não.
Além disso, a Microsoft também está avaliando se oferecerá o modelo Orca aos clientes da nuvem Azure.
Segundo pessoas a par do assunto, assim que o artigo da Orca foi publicado, os clientes vieram perguntar quando poderiam utilizá-lo.
Mas a questão é: se isso realmente for feito, a Microsoft ainda precisa obter uma licença da Meta? Afinal, este último ainda tem restrições sobre quais empresas podem comercializar seu LLM de código aberto.
Referências:
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
GPT-4 é muito caro, a Microsoft quer se livrar do OpenAI? Plano B revelado: milhares de GPUs dedicadas ao treinamento de "modelos pequenos", testes internos do Bing começam
**Fonte:**Xinzhiyuan
**Introdução: **GPT-4 é muito exigente em termos computacionais, e a Microsoft foi exposta a ter formulado o Plano B internamente para treinar modelos menores e de menor custo para se livrar do OpenAI.
O GPT-4 é tão exigente em termos computacionais que nem a Microsoft aguenta!
Este ano, em inúmeras conferências de IA da Microsoft, o CEO Nadella anunciou com entusiasmo a integração do GPT-4 e do DALL·E 3 no “Family Bucket” da Microsoft.
Toda a gama de produtos da Microsoft foi remodelada pelo modelo OpenAI, com a visão de tornar a IA um parceiro de vida para todos.
A informação deu exclusivamente a notícia de que, para se livrar da dependência do OpenAI, parte da equipe de pesquisa de 1.500 pessoas liderada por Peter Lee voltou-se para o desenvolvimento de uma nova IA conversacional.
Atualmente, a Microsoft lançou testes internos em produtos como o Bing Chat.
Não apenas a Microsoft, mas outros gigantes da tecnologia, incluindo o Google, estão encontrando outras maneiras de economizar custos tanto em software de bate-papo de IA quanto em chips.
A cooperação entre a Microsoft e a Meta quando o Llama 2 foi anunciado nada mais era do que um meio de se livrar da dependência total do OpenAI.
Este é o caminho que o império da Microsoft está destinado a seguir à medida que continua a crescer e a ultrapassar as suas actuais limitações.
Modelos mais "refinados", você deve experimentá-los primeiro
Em fevereiro deste ano, a Microsoft lançou oficialmente o Novo Bing, que combina ChatGPT e seu próprio modelo Prometheus.
Após o anúncio do GPT-4, a Microsoft anunciou imediatamente que o GPT-4 seria integrado ao Bing, levando a experiência de pesquisa a um novo nível.
O diretor de pesquisa da Microsoft, Mikhail Parakhin, disse recentemente que o Bing Chat atualmente usa 100% GPT-4 nos modos “criativo” e “preciso”.
No modo balanceado (o modo selecionado pela maioria dos usuários), a Microsoft usa o modelo Prometheus e os modelos da linguagem Turing como suplementos.
Dentro da Microsoft, a maioria das 2.000 GPUs disponíveis foram investidas no treinamento de “pequenos modelos”. Claro, isso não é nada comparado ao número de chips que a Microsoft fornece ao OpenAI.
No entanto, esses modelos podem realizar tarefas mais simples que o GPT-4 e são os esforços da Microsoft para quebrar o gelo.
Quebrar as algemas do OpenAI
Ao longo dos anos, a Microsoft e a OpenAI mantiveram laços inextricáveis.
No entanto, com o lançamento do ChatGPT, Microsoft Bing e outros grupos familiares, a Microsoft e a OpenAI também começaram a competir secretamente pelo mercado.
Embora os esforços da Microsoft ainda estejam nos estágios iniciais, Nadella está liderando os esforços da Microsoft para abrir um caminho para seus próprios produtos de IA que não dependa inteiramente do OpenAI.
"A Microsoft é uma empresa inteligente. Quando você implanta produtos usando o modelo gigante GPT-4, eles querem eficiência. É como dizer que não precisamos de uma pessoa com três PhDs para ser operadora de telefonia. Não é economicamente viável."
No entanto, Nadella e o diretor de pesquisa Peter Lee esperam desenvolver IA complexa sem OpenAI, o que provavelmente é apenas uma ilusão.
Desde que a Microsoft investiu na OpenAI, o departamento de pesquisa da gigante passou a maior parte do tempo ajustando os modelos da OpenAI para que pudessem ser adaptados aos produtos da Microsoft, em vez de desenvolver os seus próprios modelos.
A equipe de pesquisa da Microsoft não tem ilusões de que poderá desenvolver uma IA tão poderosa quanto o GPT-4.
O departamento de pesquisa também vem perdendo talentos ao longo do ano passado, com diversas ondas de saídas de pesquisadores, incluindo algumas mudanças para equipes de produtos dentro da Microsoft.
Para a própria Microsoft, desenvolver LLM de alta qualidade sem a ajuda da OpenAI pode ganhar mais moedas de troca quando as duas empresas discutirem a renovação da parceria nos próximos anos.
Atualmente, as duas transações são benéficas para ambas as partes.
A Microsoft investiu mais de 10 bilhões de dólares americanos na OpenAI e, em troca, terá o direito exclusivo de usar permanentemente a propriedade intelectual existente da OpenAI em produtos Microsoft.
Além disso, a Microsoft receberá 75% do lucro operacional teórico da OpenAI até que seu investimento inicial seja reembolsado e receberá 49% dos lucros até que um determinado limite seja atingido.
O Office 365 Family Bucket mostrou os primeiros sinais de crescimento de receita após receber a bênção dos recursos GPT-4.
A Microsoft também disse em julho que mais de 27 mil empresas pagaram pela ferramenta de escrita de código GitHub Copilot.
De acordo com as estatísticas do Statista, além dos serviços em nuvem da Microsoft terem a maior proporção em 2023, a participação na receita de produtos de software que aceleram a produtividade dos processos de negócios também está aumentando gradualmente.
Quando os usuários usam o Bing, a Microsoft pode acessar os resultados gerados pelo modelo OpenAI.
Atualmente, a Microsoft está usando esses dados para criar modelos mais “refinados”. As descobertas de pesquisadores internos mostram que esses modelos podem produzir resultados semelhantes com menos recursos computacionais.
Exploração de "Modelos Pequenos"
Depois de passar um ano na sombra do OpenAI, alguns pesquisadores da Microsoft encontraram um novo objetivo – criar um modelo “destilado” que imite o GPT-4.
Em junho deste ano, a Microsoft treinou um modelo que consome apenas um décimo do poder computacional do GPT-4 – o Orca.
Para criar o Orca, a Microsoft inseriu milhões de respostas geradas pelo GPT-4 em um modelo de código aberto mais básico e o ensinou a imitar o GPT-4.
Os resultados mostram que o Orca não apenas supera outros modelos de ajuste fino de instruções SOTA, mas também atinge o dobro do desempenho do Vicuna-13B em benchmarks complexos de inferência de disparo zero, como o BigBench Hard (BBH).
Além disso, o Orca alcança desempenho equivalente ao ChatGPT no benchmark BBH, com apenas 4% de diferença de desempenho em exames profissionais e acadêmicos, como SAT, LSAT, GRE e GMAT, todos medidos em uma configuração de amostra zero, sem encadeamento de pensamentos. .
Devido ao uso de dados de treinamento de alta qualidade no "nível de livro didático", a proficiência do phi-1 em problemas matemáticos e lógicos é nada menos que cinco vezes maior que seu modelo de código aberto.
Posteriormente, a Microsoft deu um passo adiante ao estudar “quão pequeno um LLM deve ser para atingir uma determinada capacidade” e lançou o modelo phi-1.5 com apenas 1,3 bilhão de parâmetros.
O phi-1.5 demonstra as capacidades de muitos modelos grandes, sendo capaz de "pensar passo a passo" ou realizar algum aprendizado de contexto básico.
Ao mesmo tempo, supera em muito outros grandes modelos no raciocínio em várias etapas.
Segundo uma pessoa a par do assunto, a primeira prioridade da equipe após o lançamento do Phi é verificar a qualidade desses modelos.
Num próximo artigo, os investigadores propõem um método baseado na aprendizagem contrastiva que permite aos engenheiros melhorar o Orca ensinando o modelo a distinguir entre respostas de alta qualidade e de baixa qualidade.
Ao mesmo tempo, outras equipes da Microsoft também estão desenvolvendo intensamente um novo grande modelo multimodal, ou seja, um LLM que pode interpretar e gerar texto e imagens.
Claramente, modelos como Orca e Phi podem ajudar a Microsoft a reduzir os custos de computação necessários para fornecer capacidades de IA aos clientes.
De acordo com um funcionário atual, os gerentes de produto da Microsoft já estão testando como usar o Orca e o Phi em vez dos modelos da OpenAI para lidar com consultas do chatbot do Bing. Por exemplo, perguntas relativamente simples, como resumir um pequeno parágrafo de texto e responder sim ou não.
Além disso, a Microsoft também está avaliando se oferecerá o modelo Orca aos clientes da nuvem Azure.
Segundo pessoas a par do assunto, assim que o artigo da Orca foi publicado, os clientes vieram perguntar quando poderiam utilizá-lo.
Mas a questão é: se isso realmente for feito, a Microsoft ainda precisa obter uma licença da Meta? Afinal, este último ainda tem restrições sobre quais empresas podem comercializar seu LLM de código aberto.
Referências: