"Você acha que a qualidade do GPT-4 diminuiu recentemente?"
Já em meados de maio deste ano, os usuários do GPT-4 postaram no fórum de desenvolvedores online da OpenAI, dizendo que o GPT-4 parecia estar "se tornando estúpido":
"Uso o ChatGPT há algum tempo e sou usuário do GPT Plus desde o lançamento do GPT-4. Geralmente uso o GPT-4 para ajudar na análise e criação de conteúdo de formato longo. No passado, O GPT-4 pareceu funcionar bem, entendeu minha solicitação. Mas agora parece perder o controle das informações, me fornecer muitas informações erradas e interpretar mal minha solicitação cada vez mais... Atualmente, o GPT-4 parece mais com o GPT -3,5.
Alguém mais notou isso, ou sou só eu que me deparei com esse problema? "
Acontece que o usuário GPT-4 não estava sozinho - vários usuários comentaram no tópico: "Eu me sinto da mesma maneira!"
A nova versão problemática do GPT-4
De acordo com o feedback de muitos usuários, o GPT-4 não só diminuiu na análise e criação de conteúdo de formato longo, mas também na qualidade da escrita.
Peter Yang, chefe de produto da Roblox, twittou que a saída do modelo GPT-4 é mais rápida, mas a qualidade piorou: "Apenas problemas simples, como tornar a escrita mais clara e concisa e fornecer ideias... a qualidade da escrita diminuiu.
A capacidade lógica da versão mais recente do GPT-4 cai significativamente ao discutir/avaliar problemas inversos complexos, diferentes taxas ou padrões de mudança e variabilidade espaço-temporal.
"Antes da atualização do GPT-4, raramente recebia respostas de erro, mas agora tenho que verificar novamente todas as saídas (ou seja, condições negativas duplas às vezes não são convertidas adequadamente em condições positivas). Acho que esses erros são mais semelhantes ao GPT - 3.5 em vez do nível de inferência GPT-4 anterior."
Mesmo em termos de capacidade de codificação, a qualidade de saída da nova versão do GPT-4 não é tão boa quanto antes.
Um desenvolvedor que usa GPT-4 para escrever código funcional para um site reclamou: "O GPT-4 atual é muito decepcionante. É como dirigir uma Ferrari por um mês e, de repente, ela se torna uma caminhonete velha. Não tenho certeza se gostaria de continuar pagando por isso."
Outro desenvolvedor também mencionou que o GPT-4 agora executa um loop de código: "Totalmente uma merda, o GPT-4 começa a executar um loop de código ou outras informações continuamente. Deixei-o escrever o código e ele escreveu em um ponto, de repente um "", e então comece de novo! Comparado com antes, é um idiota agora."
Além disso, nos fóruns de desenvolvedores on-line do Twitter e da OpenAI, os usuários continuam relatando que a nova versão do GPT-4 enfraqueceu a lógica, gerou muitas respostas de erro, falhou ao rastrear as informações fornecidas, não seguiu as instruções e esqueceu de escrever em o código básico do software, colocando parênteses, lembrando apenas os lembretes mais recentes e muito mais.
Em relação ao desempenho da repentina "redução de inteligência" do GPT-4, alguns usuários especularam: "A versão atual parece muito diferente da versão quando foi lançada. Acho que a OpenAI escolheu comprometer a qualidade para acomodar mais clientes!"
Deste ponto de vista, a avaliação do GPT-4 pelos usuários hoje não é tão boa quanto no período de pico de "avaliação do vento" quando estreou.
GPT-4 é mais rápido, mas também "estúpido"
No final do ano passado, nasceu o ChatGPT baseado no GPT-3.5, e sua excelente capacidade de geração desencadeou um boom AIGC. Portanto, quando a OpenAI anunciou o GPT-4, que é mais poderoso que o GPT-3.5, em março deste ano, o mundo inteiro ficou maravilhado.
Naquela época, o GPT-4 era chamado de "o modelo de IA mais poderoso da história", especialmente sua multimodalidade, o que significa que ele pode entender imagens e entrada de texto, tornando-se rapidamente uma ferramenta popular para desenvolvedores e outras indústrias de tecnologia. O modelo escolhido pelos profissionais também rendeu mais elogios ao GPT-4: gerar um site em 10 segundos, passar no teste de direito americano mais difícil e passar no teste de matemática de graduação do MIT com nota máxima...
No entanto, quando as pessoas ficam impressionadas com o poder do GPT-4, muitas pessoas também ficam chocadas com seu custo e velocidade de resposta. "O GPT-4 é lento, mas muito preciso", disse Sharon Zhou, CEO da Lamini, uma startup que ajuda desenvolvedores a criar modelos de linguagem personalizados em larga escala.
Até maio, o GPT-4 permaneceu "lento e caro, mas preciso" - mais tarde, o GPT-4 respondeu mais rápido e, ao mesmo tempo, os usuários questionaram sua degradação de desempenho.
Para esse fenômeno, vários especialistas em IA, incluindo Sharon Zhou, acreditam que a OpenAI pode estar criando vários modelos GPT-4 menores que funcionam de maneira semelhante aos modelos maiores, mas são mais baratos de executar.
Especialistas especulam: pode estar relacionado à tecnologia MoE
Segundo a introdução de Sharon Zhou, esse método é chamado de Mixture-of-Experts (MoE), ou seja, um sistema especialista misto. A tecnologia MoE é uma tecnologia de aprendizado integrado desenvolvida no campo de redes neurais e também é uma tecnologia chave para modelos de treinamento com trilhões de parâmetros. Devido ao tamanho crescente do modelo nesta fase, a sobrecarga de treinamento também está aumentando e MoE A tecnologia pode ativar dinamicamente parte da rede neural, aumentando significativamente a quantidade de parâmetros do modelo sem aumentar a quantidade de cálculo.
Especificamente, o MoE decompõe a tarefa de modelagem preditiva em várias subtarefas, treina um modelo especialista (Expert Model) em cada subtarefa e desenvolve um modelo gating (Gating Model), que pode ser previsto de acordo com a entrada Venha aprender em quais especialistas confiar e combinar resultados de previsão.
Então, qual é a situação quando a tecnologia MoE é referenciada ao GPT-4? Sharon Zhou explicou que no GPT-4, esses pequenos modelos especialistas serão treinados para diferentes tarefas e áreas de assunto. Por exemplo, pode haver pequenos modelos especialistas GPT-4 para biologia, física, química etc. , o novo sistema sabe para qual modelo especialista enviar a pergunta. Além disso, por via das dúvidas, o novo sistema pode enviar consultas a dois ou mais modelos especializados e, em seguida, misturar os resultados.
Para esta abordagem, Sharon Zhou o descreveu como "O Navio de Teseu" (um paradoxo sobre a substituição de identidade, assumindo que os elementos constitutivos de um objeto são substituídos, mas ainda é o objeto original?), ou seja, com o passar do tempo, OpenAI substituirá partes do GPT-4: "OpenAI está transformando o GPT-4 em uma pequena frota."
Com base na especulação acima, Sharon Zhou acredita que as recentes observações "estúpidas" do GPT-4 provavelmente estão relacionadas ao método de treinamento MoE: "Quando os usuários testarem o GPT-4, faremos muitas perguntas diferentes e a escala é pequena. O modelo especialista GPT-4 não vai funcionar tão bem, mas está coletando nossos dados e melhorando e aprendendo.”
**Arquitetura GPT-4 exposta? **
Vários especialistas em IA também divulgaram os chamados "detalhes da arquitetura GPT-4" esta semana em meio ao crescente feedback dos usuários sobre a "pateta" do GPT-4.
Entre eles, um blogueiro do Twitter chamado Yam Peleg disse que o GPT-4 tem cerca de 1,8 trilhão de parâmetros, abrange 120 camadas, é mais de 10 vezes maior que o GPT-3 e é treinado em cerca de 13 tokens T. O treinamento custou cerca de US$ 63 milhões. .. Vale a pena mencionar que Yam Peleg também disse que OpenAI está usando MoE, que é reduzir o custo da operação GPT-4 usando 16 modelos especialistas mistos.
A partir de agora, OpenAI não respondeu a esta declaração. Mas Oren Etzioni, CEO fundador do Allen Institute for Artificial Intelligence, disse à mídia: "Embora não tenha sido confirmado, acho que essas especulações devem estar aproximadamente corretas".
Ele explicou que geralmente há duas razões para usar o método MOE: ou você deseja gerar uma resposta melhor ou deseja uma resposta mais barata e mais rápida.
“Idealmente, o MOE permitirá que você obtenha as duas vantagens ao mesmo tempo, mas, na realidade, você geralmente precisa fazer uma troca entre custo e qualidade.” Com base nisso, Oren Etzioni acredita que, combinado com a situação atual, a OpenAI parece reduzir GPT -4 ao custo de sacrificar alguma qualidade.
Então, qual é a sua opinião sobre este assunto?
Link de referência:
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
GPT-4 foi exposto como "estúpido"! A fim de reduzir custos, a OpenAI se envolveu secretamente em "pequenos movimentos"?
Organizar | Zheng Liyuan
Listagem | CSDN (ID: CSDNnews)
"Você acha que a qualidade do GPT-4 diminuiu recentemente?"
Já em meados de maio deste ano, os usuários do GPT-4 postaram no fórum de desenvolvedores online da OpenAI, dizendo que o GPT-4 parecia estar "se tornando estúpido":
"Uso o ChatGPT há algum tempo e sou usuário do GPT Plus desde o lançamento do GPT-4. Geralmente uso o GPT-4 para ajudar na análise e criação de conteúdo de formato longo. No passado, O GPT-4 pareceu funcionar bem, entendeu minha solicitação. Mas agora parece perder o controle das informações, me fornecer muitas informações erradas e interpretar mal minha solicitação cada vez mais... Atualmente, o GPT-4 parece mais com o GPT -3,5.
Alguém mais notou isso, ou sou só eu que me deparei com esse problema? "
A nova versão problemática do GPT-4
De acordo com o feedback de muitos usuários, o GPT-4 não só diminuiu na análise e criação de conteúdo de formato longo, mas também na qualidade da escrita.
Peter Yang, chefe de produto da Roblox, twittou que a saída do modelo GPT-4 é mais rápida, mas a qualidade piorou: "Apenas problemas simples, como tornar a escrita mais clara e concisa e fornecer ideias... a qualidade da escrita diminuiu.
"Antes da atualização do GPT-4, raramente recebia respostas de erro, mas agora tenho que verificar novamente todas as saídas (ou seja, condições negativas duplas às vezes não são convertidas adequadamente em condições positivas). Acho que esses erros são mais semelhantes ao GPT - 3.5 em vez do nível de inferência GPT-4 anterior."
Um desenvolvedor que usa GPT-4 para escrever código funcional para um site reclamou: "O GPT-4 atual é muito decepcionante. É como dirigir uma Ferrari por um mês e, de repente, ela se torna uma caminhonete velha. Não tenho certeza se gostaria de continuar pagando por isso."
Outro desenvolvedor também mencionou que o GPT-4 agora executa um loop de código: "Totalmente uma merda, o GPT-4 começa a executar um loop de código ou outras informações continuamente. Deixei-o escrever o código e ele escreveu em um ponto, de repente um "", e então comece de novo! Comparado com antes, é um idiota agora."
Em relação ao desempenho da repentina "redução de inteligência" do GPT-4, alguns usuários especularam: "A versão atual parece muito diferente da versão quando foi lançada. Acho que a OpenAI escolheu comprometer a qualidade para acomodar mais clientes!"
Deste ponto de vista, a avaliação do GPT-4 pelos usuários hoje não é tão boa quanto no período de pico de "avaliação do vento" quando estreou.
GPT-4 é mais rápido, mas também "estúpido"
No final do ano passado, nasceu o ChatGPT baseado no GPT-3.5, e sua excelente capacidade de geração desencadeou um boom AIGC. Portanto, quando a OpenAI anunciou o GPT-4, que é mais poderoso que o GPT-3.5, em março deste ano, o mundo inteiro ficou maravilhado.
Naquela época, o GPT-4 era chamado de "o modelo de IA mais poderoso da história", especialmente sua multimodalidade, o que significa que ele pode entender imagens e entrada de texto, tornando-se rapidamente uma ferramenta popular para desenvolvedores e outras indústrias de tecnologia. O modelo escolhido pelos profissionais também rendeu mais elogios ao GPT-4: gerar um site em 10 segundos, passar no teste de direito americano mais difícil e passar no teste de matemática de graduação do MIT com nota máxima...
No entanto, quando as pessoas ficam impressionadas com o poder do GPT-4, muitas pessoas também ficam chocadas com seu custo e velocidade de resposta. "O GPT-4 é lento, mas muito preciso", disse Sharon Zhou, CEO da Lamini, uma startup que ajuda desenvolvedores a criar modelos de linguagem personalizados em larga escala.
Até maio, o GPT-4 permaneceu "lento e caro, mas preciso" - mais tarde, o GPT-4 respondeu mais rápido e, ao mesmo tempo, os usuários questionaram sua degradação de desempenho.
Para esse fenômeno, vários especialistas em IA, incluindo Sharon Zhou, acreditam que a OpenAI pode estar criando vários modelos GPT-4 menores que funcionam de maneira semelhante aos modelos maiores, mas são mais baratos de executar.
Especialistas especulam: pode estar relacionado à tecnologia MoE
Segundo a introdução de Sharon Zhou, esse método é chamado de Mixture-of-Experts (MoE), ou seja, um sistema especialista misto. A tecnologia MoE é uma tecnologia de aprendizado integrado desenvolvida no campo de redes neurais e também é uma tecnologia chave para modelos de treinamento com trilhões de parâmetros. Devido ao tamanho crescente do modelo nesta fase, a sobrecarga de treinamento também está aumentando e MoE A tecnologia pode ativar dinamicamente parte da rede neural, aumentando significativamente a quantidade de parâmetros do modelo sem aumentar a quantidade de cálculo.
Especificamente, o MoE decompõe a tarefa de modelagem preditiva em várias subtarefas, treina um modelo especialista (Expert Model) em cada subtarefa e desenvolve um modelo gating (Gating Model), que pode ser previsto de acordo com a entrada Venha aprender em quais especialistas confiar e combinar resultados de previsão.
Então, qual é a situação quando a tecnologia MoE é referenciada ao GPT-4? Sharon Zhou explicou que no GPT-4, esses pequenos modelos especialistas serão treinados para diferentes tarefas e áreas de assunto. Por exemplo, pode haver pequenos modelos especialistas GPT-4 para biologia, física, química etc. , o novo sistema sabe para qual modelo especialista enviar a pergunta. Além disso, por via das dúvidas, o novo sistema pode enviar consultas a dois ou mais modelos especializados e, em seguida, misturar os resultados.
Para esta abordagem, Sharon Zhou o descreveu como "O Navio de Teseu" (um paradoxo sobre a substituição de identidade, assumindo que os elementos constitutivos de um objeto são substituídos, mas ainda é o objeto original?), ou seja, com o passar do tempo, OpenAI substituirá partes do GPT-4: "OpenAI está transformando o GPT-4 em uma pequena frota."
Com base na especulação acima, Sharon Zhou acredita que as recentes observações "estúpidas" do GPT-4 provavelmente estão relacionadas ao método de treinamento MoE: "Quando os usuários testarem o GPT-4, faremos muitas perguntas diferentes e a escala é pequena. O modelo especialista GPT-4 não vai funcionar tão bem, mas está coletando nossos dados e melhorando e aprendendo.”
**Arquitetura GPT-4 exposta? **
Vários especialistas em IA também divulgaram os chamados "detalhes da arquitetura GPT-4" esta semana em meio ao crescente feedback dos usuários sobre a "pateta" do GPT-4.
Entre eles, um blogueiro do Twitter chamado Yam Peleg disse que o GPT-4 tem cerca de 1,8 trilhão de parâmetros, abrange 120 camadas, é mais de 10 vezes maior que o GPT-3 e é treinado em cerca de 13 tokens T. O treinamento custou cerca de US$ 63 milhões. .. Vale a pena mencionar que Yam Peleg também disse que OpenAI está usando MoE, que é reduzir o custo da operação GPT-4 usando 16 modelos especialistas mistos.
A partir de agora, OpenAI não respondeu a esta declaração. Mas Oren Etzioni, CEO fundador do Allen Institute for Artificial Intelligence, disse à mídia: "Embora não tenha sido confirmado, acho que essas especulações devem estar aproximadamente corretas".
Ele explicou que geralmente há duas razões para usar o método MOE: ou você deseja gerar uma resposta melhor ou deseja uma resposta mais barata e mais rápida.
“Idealmente, o MOE permitirá que você obtenha as duas vantagens ao mesmo tempo, mas, na realidade, você geralmente precisa fazer uma troca entre custo e qualidade.” Com base nisso, Oren Etzioni acredita que, combinado com a situação atual, a OpenAI parece reduzir GPT -4 ao custo de sacrificar alguma qualidade.
Então, qual é a sua opinião sobre este assunto?
Link de referência: