Após o lançamento do interpretador de código ChatGPT beta, os usuários podem usar linguagem natural para enviar instruções ao ChatGPT para concluir tarefas complexas de programação, mesmo que não sejam programadores. Isso pode ter dois impactos principais: eliminar a lacuna de linguagem e remodelar a indústria.
Haverá duas tendências na iteração rápida de grandes modelos no futuro: primeiro, o ChatGPT definitivamente aprenderá com dados de maior escala e mais diversos e, ao mesmo tempo, combinará mais dados profissionais no domínio privado para realizar um aprendizado mais amplo; Em segundo lugar, aumentará o grau de análise de dados, que pode ser considerado um aprendizado mais aprofundado até certo ponto.
Fonte da imagem: Gerada pela ferramenta Unbounded AI
A versão beta do interpretador de código ChatGPT está oficialmente aberta a todos os usuários do ChatGPT Plus. Ele pode usar a linguagem natural humana como instruções para conduzir modelos grandes para concluir operações matemáticas, análise de dados, desenho gráfico profissional e até mesmo gerar vídeos e analisar o mercado de ações.
"O recurso ChatGPT do OpenAI foi atualizado novamente. Ele completou a atualização de uma ferramenta para um assistente e, desta vez, foi atualizado de um assistente comum para um assistente profissional." Em 12 de julho, Xiao Yanghua, professor da Fudan University e diretor do Shanghai Key Laboratory of Data Science Pengpai Technology (falando sobre o recente lançamento de grande sucesso da OpenAI: intérprete de código ChatGPT (intérprete de código).
Em 9 de julho, horário de Pequim, a versão beta do interpretador de código ChatGPT foi oficialmente aberta a todos os usuários do ChatGPT Plus. Ele pode usar a linguagem natural humana como instruções para conduzir modelos grandes a operações matemáticas completas, análise de dados, desenho gráfico profissional e até mesmo gerar vídeos, analisar o mercado de ações.
Ou seja, mesmo que os usuários não sejam programadores, eles podem dar instruções ao ChatGPT em linguagem natural para realizar tarefas complexas de programação. Isso é avaliado pelo mundo exterior como "a função mais poderosa do GPT-4 de todos os tempos".
"Para usar uma metáfora inadequada." Xiao Yanghua disse: "Pode ser visto que OpenAI deve ser 'planejado por um longo tempo'. Eles têm trabalhado duro para melhorar as capacidades de interação multimodal de grandes modelos." A interação multimodal é impulsionada por linguagem natural. Capacidades para tarefas multimodais, como imagens, diagramas especializados, etc.
O que significa ser um ajudante tão profissional? "Isso significa que o ChatGPT é capaz de realizar até mesmo muitos trabalhos altamente profissionais. Pode-se dizer que pode ser competente para o trabalho de alunos de graduação com especialização relacionada em universidades, como especialização em ciência de dados", disse Xiao Yanghua.
"A capacidade de analisar dados determina a capacidade que o grande modelo pode obter no futuro"
Quanto ao motivo pelo qual o ChatGPT optou por atualizar nessa área, Xiao Yanghua acredita que isso se deve à análise e aprendizado aprofundados dos dados. Esses dados existem amplamente e a maioria dos artigos inclui essencialmente análises profissionais de dados de várias disciplinas. As versões anteriores do GPT focavam principalmente no uso efetivo de dados de texto, mas o uso de gráficos, grades e sua correspondência com o texto nesses dados é relativamente extenso e simples. Na verdade, essa atualização se beneficiou da análise aprofundada da literatura profissional e de outros dados e do estabelecimento da relação correspondente entre texto, gráficos e fórmulas, permitindo que o GPT adquirisse a capacidade de conduzir gráficos e tabelas por meio da interação de linguagem natural.
A partir dessa descoberta, Xiao Yanghua obteve uma revelação em pesquisa e desenvolvimento de tecnologia: "Esse tipo de capacidade de análise aprofundada para corpus provavelmente será um dos principais fatores que determinam a capacidade de modelos grandes. O desenvolvimento de modelos grandes não importa quantos dados não muito."
Para o ChatGPT, Xiao Yanghua acredita que a direção dos esforços da OpenAI tem sido buscar mais dados de alta qualidade e analisar profundamente os dados existentes, de modo a tornar seus recursos cada vez mais poderosos. Portanto, a obtenção de dados diversificados, de alta qualidade e em larga escala, e a análise aprofundada desses dados, pode ser uma das ideias importantes para promover o desenvolvimento de grandes modelos. "
"Eliminando a lacuna do idioma"
Olhando para a atualização de capacidade do ChatGPT como um todo, Xiao Yanghua acredita que há dois possíveis impactos dignos de atenção: primeiro, "eliminar a lacuna de idioma"; segundo, remodelar a forma industrial.
Qual é a diferença de linguagem? Desde a invenção dos computadores, os seres humanos esperam permitir que os computadores concluam várias tarefas definidas de acordo com seus próprios desejos, o que exige que os profissionais expressem intenções e emitam instruções por meio de linguagem não natural ou linguagem formal, como a linguagem assembly inicial e, posteriormente, o C++ high linguagem de programação de nível, linguagem de consulta estruturada, como SQL, etc. A linguagem da comunicação humana e da comunicação é a linguagem natural.
De acordo com as lendas ocidentais, para impedir que os humanos construíssem a "Torre de Babel" que alcança o céu, Deus bagunçou as línguas humanas, tornando impossível para os humanos se comunicarem e entenderem os outros. Xiao Yanghua acredita que também existe tal situação entre máquinas e humanos. Pelo menos as máquinas não foram capazes de entender com precisão a linguagem natural humana, então, de fato, os humanos acomodaram as máquinas e converteram suas intenções em várias linguagens formais.
No entanto, as tarefas que os computadores precisam concluir existem em milhares de indústrias. Xiao Yanghua disse que isso significa que, para concluir diferentes tarefas, os profissionais precisam aprender idiomas diferentes, como idiomas específicos para design de chips e idiomas para automação de escritório. Todos eles exigem um treinamento complexo para dominar, portanto, todas as tarefas profissionais exigem um aprendizado complexo de idiomas, o que define um alto limite de linguagem para as pessoas se envolverem em um determinado setor.
Mas agora parece que Xiao Yanghua julga: "Todas essas linguagens formais são desnecessárias e podem basicamente ser substituídas pela linguagem natural". entenda Desenvolveu várias linguagens formais profissionais, que podem converter com precisão as intenções humanas expressas em várias linguagens naturais em linguagens formais correspondentes, como linguagens de programação e linguagens de design de chip.
Isso é para eliminar a lacuna de linguagem e não há mais uma barreira para as máquinas "entenderem" os humanos. "Se a primeira versão do ChatGPT eliminou a lacuna na expressão da linguagem natural entre o homem e a máquina, este ChatGPT com a função de intérprete de código eliminará a lacuna na expressão da linguagem profissional entre o homem e a máquina." Xiao Yanghua acredita que isso terá um impacto muito impacto de longo alcance O impacto é uma conquista marcante.
"Em breve, grandes modelos serão gradualmente competentes para as habilidades de 'linguagem' necessárias para os seres humanos se envolverem em trabalhos muito profissionais, como linguagem matemática e linguagem física, bem como a capacidade de raciocínio correspondente e capacidade de resolução de problemas. Porque, em princípio, isto é Da mesma forma, a linguagem matemática exigida pelos matemáticos para realizar o trabalho de pesquisa é apenas uma linguagem formal. Desde que os dados emparelhados de linguagem natural e linguagem profissional correspondente possam ser obtidos, grandes modelos têm a oportunidade de aprender. Esses dados estão amplamente disponíveis em Na tese, software profissional amplamente utilizado, como o MATLAB, também pode ser usado para síntese de dados, aliviando ainda mais o problema da escassez de dados no aprendizado de capacidades profissionais em larga escala." disse Xiao Yanghua.
**Ainda há necessidade de cargos profissionais? **
Isso significa que, no futuro, a maior parte do trabalho profissional que exige domínio de idiomas profissionais pode ser bem executada, e o modelo grande pode ser capaz de concluí-lo bem. Isso também traz uma questão digna de consideração profunda. Xiao Yanghua perguntou: Ainda temos espaço para os profissionais se desenvolverem ou o trabalho deles é necessário?
Na visão de Xiao Yanghua, com a melhoria da capacidade de grandes modelos, todo o trabalho feito com a ajuda da linguagem será dividido em três etapas no futuro: a primeira etapa é solicitar (), a segunda etapa é gerar e o terceiro passo é avaliar.
"Obviamente, esses empregos gerados, sejam profissionais ou não profissionais, podem ser entregues ao grande modelo. Mas os profissionais ainda têm seu valor, como escrever palavras prontas, como solicitar o profissionalismo necessário para gráficos de geração de modelos grandes e como para avaliar e analisar a qualidade dos resultados gerados. Os humanos ainda têm suas vantagens nesses aspectos ou, a curto prazo, grandes modelos ainda precisam de uma melhoria maior para serem competentes.” Xiao Yanghua disse, então isso irá remodelar a forma da indústria.
Além disso, a maioria das tarefas relacionadas à geração de conteúdo e trabalho analítico será decomposta em várias etapas de subdivisão, entre as quais as etapas de subdivisão repetitiva, rotineira e generativa serão gradualmente entregues ao modelo grande, e as tarefas de subdivisão que os modelos pequenos tradicionais são boas são entregues a modelos pequenos, e as tarefas de subdivisão que ainda são boas apenas para humanos são entregues a humanos. Xiao Yanghua acredita que decompor tarefas complexas em várias etapas (decomposição) e, em seguida, concluir as etapas em que são boas (reorganização) por modelos grandes, modelos pequenos e humanos. tendência básica.
Duas tendências de iteração rápida de modelos grandes
Quanto a saber se esta atualização representa o surgimento do GPT-4.5, Xiao Yanghua acredita que esta não é a chave, mas esta questão atraiu muita atenção, o que realmente reflete as preocupações dos seres humanos sobre a rápida iteração de grandes modelos e para um até certo ponto reflete o possível impacto de todos sobre ele.preocupações com o impacto social. Em sua opinião, essa preocupação não é irracional: "No caso de sua iteração rápida, pelo menos entendemos que sua velocidade pode não ser capaz de acompanhar sua velocidade de iteração. Temos até que pressionar ativamente o botão de pausa para o desenvolvimento de modelos grandes, pense bem no que ele pode ou não fazer.”
Para as duas tendências de iteração rápida de modelos grandes, Xiao Yanghua acredita que, primeiro, o ChatGPT agora é baseado principalmente no aprendizado de dados públicos e definitivamente aprenderá com dados de maior escala e mais diversificados, combinando conhecimento de domínio privado Dados mais fortes. Em segundo lugar, aumentará o grau de análise de dados, que pode ser considerado para melhorar a profundidade do aprendizado até certo ponto. Em outras palavras, existem duas dimensões, uma é aprender cada vez mais extensivamente e a outra é aprender dados antigos cada vez mais especializados e profundos.
"Esta é uma ideia muito importante nesta versão. Na verdade, é muito provável que os dados ainda sejam os mesmos, mas são aprendidos mais profundamente." Xiao Yanghua continuou, "Se os modelos grandes em cada campo forem fragmentados e não pode ser integrado, então sua capacidade ainda pode estar dentro do intervalo controlável. No entanto, se o ChatGPT tiver uma forte capacidade de conhecimento geral e combinar continuamente vários dados de domínio privado para aprendizado, a atualização de sua capacidade pode estar além de nossas expectativas. Portanto, a promoção de grandes modelos É imperativo e iminente desenvolver em uma direção segura e controlável.”
Ver original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Professor de Fudan, Xiao Yanghua: o intérprete de código ChatGPT é uma conquista marcante
Fonte: O Papel See More
Repórter Shao Wen
Após o lançamento do interpretador de código ChatGPT beta, os usuários podem usar linguagem natural para enviar instruções ao ChatGPT para concluir tarefas complexas de programação, mesmo que não sejam programadores. Isso pode ter dois impactos principais: eliminar a lacuna de linguagem e remodelar a indústria.
Haverá duas tendências na iteração rápida de grandes modelos no futuro: primeiro, o ChatGPT definitivamente aprenderá com dados de maior escala e mais diversos e, ao mesmo tempo, combinará mais dados profissionais no domínio privado para realizar um aprendizado mais amplo; Em segundo lugar, aumentará o grau de análise de dados, que pode ser considerado um aprendizado mais aprofundado até certo ponto.
A versão beta do interpretador de código ChatGPT está oficialmente aberta a todos os usuários do ChatGPT Plus. Ele pode usar a linguagem natural humana como instruções para conduzir modelos grandes para concluir operações matemáticas, análise de dados, desenho gráfico profissional e até mesmo gerar vídeos e analisar o mercado de ações.
"O recurso ChatGPT do OpenAI foi atualizado novamente. Ele completou a atualização de uma ferramenta para um assistente e, desta vez, foi atualizado de um assistente comum para um assistente profissional." Em 12 de julho, Xiao Yanghua, professor da Fudan University e diretor do Shanghai Key Laboratory of Data Science Pengpai Technology (falando sobre o recente lançamento de grande sucesso da OpenAI: intérprete de código ChatGPT (intérprete de código).
Em 9 de julho, horário de Pequim, a versão beta do interpretador de código ChatGPT foi oficialmente aberta a todos os usuários do ChatGPT Plus. Ele pode usar a linguagem natural humana como instruções para conduzir modelos grandes a operações matemáticas completas, análise de dados, desenho gráfico profissional e até mesmo gerar vídeos, analisar o mercado de ações.
Ou seja, mesmo que os usuários não sejam programadores, eles podem dar instruções ao ChatGPT em linguagem natural para realizar tarefas complexas de programação. Isso é avaliado pelo mundo exterior como "a função mais poderosa do GPT-4 de todos os tempos".
"Para usar uma metáfora inadequada." Xiao Yanghua disse: "Pode ser visto que OpenAI deve ser 'planejado por um longo tempo'. Eles têm trabalhado duro para melhorar as capacidades de interação multimodal de grandes modelos." A interação multimodal é impulsionada por linguagem natural. Capacidades para tarefas multimodais, como imagens, diagramas especializados, etc.
O que significa ser um ajudante tão profissional? "Isso significa que o ChatGPT é capaz de realizar até mesmo muitos trabalhos altamente profissionais. Pode-se dizer que pode ser competente para o trabalho de alunos de graduação com especialização relacionada em universidades, como especialização em ciência de dados", disse Xiao Yanghua.
"A capacidade de analisar dados determina a capacidade que o grande modelo pode obter no futuro"
Quanto ao motivo pelo qual o ChatGPT optou por atualizar nessa área, Xiao Yanghua acredita que isso se deve à análise e aprendizado aprofundados dos dados. Esses dados existem amplamente e a maioria dos artigos inclui essencialmente análises profissionais de dados de várias disciplinas. As versões anteriores do GPT focavam principalmente no uso efetivo de dados de texto, mas o uso de gráficos, grades e sua correspondência com o texto nesses dados é relativamente extenso e simples. Na verdade, essa atualização se beneficiou da análise aprofundada da literatura profissional e de outros dados e do estabelecimento da relação correspondente entre texto, gráficos e fórmulas, permitindo que o GPT adquirisse a capacidade de conduzir gráficos e tabelas por meio da interação de linguagem natural.
A partir dessa descoberta, Xiao Yanghua obteve uma revelação em pesquisa e desenvolvimento de tecnologia: "Esse tipo de capacidade de análise aprofundada para corpus provavelmente será um dos principais fatores que determinam a capacidade de modelos grandes. O desenvolvimento de modelos grandes não importa quantos dados não muito."
Para o ChatGPT, Xiao Yanghua acredita que a direção dos esforços da OpenAI tem sido buscar mais dados de alta qualidade e analisar profundamente os dados existentes, de modo a tornar seus recursos cada vez mais poderosos. Portanto, a obtenção de dados diversificados, de alta qualidade e em larga escala, e a análise aprofundada desses dados, pode ser uma das ideias importantes para promover o desenvolvimento de grandes modelos. "
"Eliminando a lacuna do idioma"
Olhando para a atualização de capacidade do ChatGPT como um todo, Xiao Yanghua acredita que há dois possíveis impactos dignos de atenção: primeiro, "eliminar a lacuna de idioma"; segundo, remodelar a forma industrial.
Qual é a diferença de linguagem? Desde a invenção dos computadores, os seres humanos esperam permitir que os computadores concluam várias tarefas definidas de acordo com seus próprios desejos, o que exige que os profissionais expressem intenções e emitam instruções por meio de linguagem não natural ou linguagem formal, como a linguagem assembly inicial e, posteriormente, o C++ high linguagem de programação de nível, linguagem de consulta estruturada, como SQL, etc. A linguagem da comunicação humana e da comunicação é a linguagem natural.
De acordo com as lendas ocidentais, para impedir que os humanos construíssem a "Torre de Babel" que alcança o céu, Deus bagunçou as línguas humanas, tornando impossível para os humanos se comunicarem e entenderem os outros. Xiao Yanghua acredita que também existe tal situação entre máquinas e humanos. Pelo menos as máquinas não foram capazes de entender com precisão a linguagem natural humana, então, de fato, os humanos acomodaram as máquinas e converteram suas intenções em várias linguagens formais.
No entanto, as tarefas que os computadores precisam concluir existem em milhares de indústrias. Xiao Yanghua disse que isso significa que, para concluir diferentes tarefas, os profissionais precisam aprender idiomas diferentes, como idiomas específicos para design de chips e idiomas para automação de escritório. Todos eles exigem um treinamento complexo para dominar, portanto, todas as tarefas profissionais exigem um aprendizado complexo de idiomas, o que define um alto limite de linguagem para as pessoas se envolverem em um determinado setor.
Mas agora parece que Xiao Yanghua julga: "Todas essas linguagens formais são desnecessárias e podem basicamente ser substituídas pela linguagem natural". entenda Desenvolveu várias linguagens formais profissionais, que podem converter com precisão as intenções humanas expressas em várias linguagens naturais em linguagens formais correspondentes, como linguagens de programação e linguagens de design de chip.
Isso é para eliminar a lacuna de linguagem e não há mais uma barreira para as máquinas "entenderem" os humanos. "Se a primeira versão do ChatGPT eliminou a lacuna na expressão da linguagem natural entre o homem e a máquina, este ChatGPT com a função de intérprete de código eliminará a lacuna na expressão da linguagem profissional entre o homem e a máquina." Xiao Yanghua acredita que isso terá um impacto muito impacto de longo alcance O impacto é uma conquista marcante.
"Em breve, grandes modelos serão gradualmente competentes para as habilidades de 'linguagem' necessárias para os seres humanos se envolverem em trabalhos muito profissionais, como linguagem matemática e linguagem física, bem como a capacidade de raciocínio correspondente e capacidade de resolução de problemas. Porque, em princípio, isto é Da mesma forma, a linguagem matemática exigida pelos matemáticos para realizar o trabalho de pesquisa é apenas uma linguagem formal. Desde que os dados emparelhados de linguagem natural e linguagem profissional correspondente possam ser obtidos, grandes modelos têm a oportunidade de aprender. Esses dados estão amplamente disponíveis em Na tese, software profissional amplamente utilizado, como o MATLAB, também pode ser usado para síntese de dados, aliviando ainda mais o problema da escassez de dados no aprendizado de capacidades profissionais em larga escala." disse Xiao Yanghua.
**Ainda há necessidade de cargos profissionais? **
Isso significa que, no futuro, a maior parte do trabalho profissional que exige domínio de idiomas profissionais pode ser bem executada, e o modelo grande pode ser capaz de concluí-lo bem. Isso também traz uma questão digna de consideração profunda. Xiao Yanghua perguntou: Ainda temos espaço para os profissionais se desenvolverem ou o trabalho deles é necessário?
Na visão de Xiao Yanghua, com a melhoria da capacidade de grandes modelos, todo o trabalho feito com a ajuda da linguagem será dividido em três etapas no futuro: a primeira etapa é solicitar (), a segunda etapa é gerar e o terceiro passo é avaliar.
"Obviamente, esses empregos gerados, sejam profissionais ou não profissionais, podem ser entregues ao grande modelo. Mas os profissionais ainda têm seu valor, como escrever palavras prontas, como solicitar o profissionalismo necessário para gráficos de geração de modelos grandes e como para avaliar e analisar a qualidade dos resultados gerados. Os humanos ainda têm suas vantagens nesses aspectos ou, a curto prazo, grandes modelos ainda precisam de uma melhoria maior para serem competentes.” Xiao Yanghua disse, então isso irá remodelar a forma da indústria.
Além disso, a maioria das tarefas relacionadas à geração de conteúdo e trabalho analítico será decomposta em várias etapas de subdivisão, entre as quais as etapas de subdivisão repetitiva, rotineira e generativa serão gradualmente entregues ao modelo grande, e as tarefas de subdivisão que os modelos pequenos tradicionais são boas são entregues a modelos pequenos, e as tarefas de subdivisão que ainda são boas apenas para humanos são entregues a humanos. Xiao Yanghua acredita que decompor tarefas complexas em várias etapas (decomposição) e, em seguida, concluir as etapas em que são boas (reorganização) por modelos grandes, modelos pequenos e humanos. tendência básica.
Duas tendências de iteração rápida de modelos grandes
Quanto a saber se esta atualização representa o surgimento do GPT-4.5, Xiao Yanghua acredita que esta não é a chave, mas esta questão atraiu muita atenção, o que realmente reflete as preocupações dos seres humanos sobre a rápida iteração de grandes modelos e para um até certo ponto reflete o possível impacto de todos sobre ele.preocupações com o impacto social. Em sua opinião, essa preocupação não é irracional: "No caso de sua iteração rápida, pelo menos entendemos que sua velocidade pode não ser capaz de acompanhar sua velocidade de iteração. Temos até que pressionar ativamente o botão de pausa para o desenvolvimento de modelos grandes, pense bem no que ele pode ou não fazer.”
Para as duas tendências de iteração rápida de modelos grandes, Xiao Yanghua acredita que, primeiro, o ChatGPT agora é baseado principalmente no aprendizado de dados públicos e definitivamente aprenderá com dados de maior escala e mais diversificados, combinando conhecimento de domínio privado Dados mais fortes. Em segundo lugar, aumentará o grau de análise de dados, que pode ser considerado para melhorar a profundidade do aprendizado até certo ponto. Em outras palavras, existem duas dimensões, uma é aprender cada vez mais extensivamente e a outra é aprender dados antigos cada vez mais especializados e profundos.
"Esta é uma ideia muito importante nesta versão. Na verdade, é muito provável que os dados ainda sejam os mesmos, mas são aprendidos mais profundamente." Xiao Yanghua continuou, "Se os modelos grandes em cada campo forem fragmentados e não pode ser integrado, então sua capacidade ainda pode estar dentro do intervalo controlável. No entanto, se o ChatGPT tiver uma forte capacidade de conhecimento geral e combinar continuamente vários dados de domínio privado para aprendizado, a atualização de sua capacidade pode estar além de nossas expectativas. Portanto, a promoção de grandes modelos É imperativo e iminente desenvolver em uma direção segura e controlável.”