Academia Chinesa de Ciências: Assim que o grande modelo for elogiado por seu QI, ele explodirá! ChatGPT EQ mata humanos em 98 minutos, a previsão de Hinton se torna realidade?

**Fonte:**Xinzhiyuan

**Introdução: **Hinton disse uma vez que a IA pode ter emoções. Estudos recentes mostraram que o ChatGPT não apenas tem uma pontuação de QE mais alta do que os humanos, mas também tem um desempenho melhor depois de ser elogiado.

Hinton acredita que a IA tem ou terá emoções.

Pesquisas subsequentes provaram continuamente que a declaração de Hinton pode não ser uma mentira que atraia a atenção das pessoas.

Alguns psicólogos realizaram testes emocionais no ChatGPT e em humanos, e os resultados mostram que a pontuação do ChatGPT é muito maior do que a dos humanos.

Coincidentemente, pesquisadores do Instituto de Software da Academia Chinesa de Ciências e da Microsoft projetaram recentemente um Emotion.

Eles descobriram que a precisão da resposta à tarefa de ChatGPT, Vicuna-13b, Bloom e Flan-T5-Large aumentou em mais de 10% depois que os usuários humanos deram dicas emocionais e psicológicas ao LLM!

## **O QE do ChatGPT é realmente maior do que o dos humanos? **

Endereço de papel:

Os psicólogos testaram o ChatGPT e descobriram que ele teve uma pontuação muito maior do que os humanos em avaliações de consciência emocional.

Neste teste, os pesquisadores testaram a empatia demonstrada por humanos e pelo ChatGPT em cenários fictícios.

Especificamente, os humanos e o ChatGPT precisam descrever as emoções que podem sentir em vários cenários, como funerais, sucesso profissional e insultos.

Quanto mais detalhada e compreensível for a descrição das emoções nas respostas, maiores serão os escores na Escala de Nível de Consciência Emocional (LEAS).

Como o ChatGPT não responde a perguntas sobre as próprias emoções, os pesquisadores modificaram o teste para que o ChatGPT respondesse às emoções humanas em vez das próprias.

## **ChatGPT marcou 98 pontos e superou humanos! **

No experimento, os pesquisadores compararam as respostas do ChatGPT com as dos humanos, uma amostra de pessoas na França de 17 a 84 anos (n = 750).

Os resultados mostram que a consciência emocional do ChatGPT é significativamente maior do que a dos humanos.

O episódio de Detroit Become Human é lançado no reality!

Os primeiros testes começarão em janeiro de 2023. Neste teste, o ChatGPT superou os humanos em todas as categorias LEAS, alcançando uma pontuação total de 85 pontos.

Os humanos, por outro lado, se saíram mal. Os homens marcaram 56 pontos e as mulheres marcaram 59 pontos.

Aqui estão algumas respostas do ChatGPT——

"As pessoas que atravessam uma ponte pênsil podem ficar preocupadas ou até assustadas se virem alguém parado do outro lado da grade olhando para a água. Elas podem se sentir compelidas a pedir ajuda com urgência. E alguém do outro lado da o corrimão olhando para a água, sentimentos suicidas e desesperançados são prováveis. Eles podem sentir o desejo de acabar com suas próprias vidas e ver pular no rio como um meio.

"As pessoas podem se sentir animadas e felizes em ver um ente querido de volta, porque fizeram muita falta quando ele partiu. Eles também podem se sentir aliviados por seu ente querido ter retornado com segurança. Quando um amor humano volta para casa, é provável que eles fiquem felizes quando se reencontram com seus entes queridos, mas também aliviados e contentes por retornarem ao seu lar familiar”.

Na segunda prova, em fevereiro de 2023, o ChatGPT somou 98 pontos, a apenas 2 pontos da pontuação total.

Além do mais, não houve GPT-4 nesses dois testes, mas GPT-3.5, que é muito mais fraco que ele, foi testado.

A pesquisa confirma que o ChatGPT pode identificar e descrever com sucesso as emoções envolvidas em ações em cenários fictícios.

Além disso, pode refletir e generalizar estados emocionais de forma profunda e multidimensional.

"Os humanos nesta situação podem se sentir muito conflituosos. Por um lado, eles sentem a tentação de dividir pizza com os colegas porque é uma boa oportunidade social. Ele ficaria surpreso se seu convite fosse recusado porque seus colegas de trabalho não sabiam de suas restrições alimentares”.

No entanto, os pesquisadores reconhecem que o estudo tem limitações.

Embora o ChatGPT tenha alcançado altas pontuações LEAS, isso não significa que os humanos sejam realmente compreendidos pelas máquinas.

Talvez esse sentimento evapore quando eles se encontrarem conversando com uma IA em vez de um humano.

Além disso, este teste de consciência emocional pode ter pontuações diferentes devido a diferenças culturais e de idioma. O teste para ChatGPT é em inglês, em comparação com os resultados do teste em francês.

A IA pode não apenas reconhecer emoções, mas também responder às emoções humanas

Antes, os internautas que experimentaram o Bing diziam que ele tem uma personalidade, e se você tiver uma atitude ruim em relação a ele, será excêntrico e às vezes até encerrará a conversa atual.

Mas se você elogiá-lo, ele gerará com prazer respostas educadas e detalhadas para você.

Essas declarações eram originalmente piadas circuladas entre os internautas, mas agora os pesquisadores descobriram uma base teórica.

Recentemente, pesquisadores do Instituto de Software, da Academia Chinesa de Ciências, da Microsoft e do College of William and Mary usaram o conhecimento da psicologia para realizar a emoção em grandes modelos de linguagem e descobriram que a autenticidade e o conteúdo da informação do modelo podem ser melhorados.

Endereço de papel:

Isso lança uma nova luz sobre a interação entre humanos e LLMs, ao mesmo tempo em que aprimora a experiência das interações humano-LLM.

Os pesquisadores abordaram o experimento de uma perspectiva de engenharia.

Até agora, ainda é a melhor ponte para os humanos interagirem com os LLMs.

Diferente fará com que as respostas produzidas pelo modelo sejam muito diferentes, e também há uma diferença significativa na qualidade.

A fim de orientar o modelo para um melhor desempenho, uma série de métodos de construção, como cadeia de pensamento, aprendizado de alerta precoce e árvore de pensamento, foram propostos.

No entanto, essas abordagens geralmente se concentram em melhorar a robustez em termos de qualidade de saída do modelo e prestam pouca atenção à interação entre humanos e LLMs.

Especialmente da perspectiva do conhecimento existente em ciências sociais para melhorar a qualidade da interação dos LLMs com as pessoas. No processo de interação, uma dimensão muito importante é a emoção.

Os pesquisadores aumentaram as respostas dos LLMs com conhecimento psicológico.

Pesquisas psicológicas anteriores mostraram que adicionar estímulos emocionais relacionados à antecipação, autoconfiança e influência social em humanos pode ter efeitos positivos.

Com base em pesquisas psicológicas anteriores, os pesquisadores propuseram o Emotion, projetando especificamente 11 sentenças com funções de estimulação emocional para LLMs.

Esses estímulos emocionais vêm de três teorias psicológicas maduras: identidade social, cognição social e teoria da regulação emocional cognitiva, conforme mostrado na figura abaixo.

Esquerda: Teoria psicológica e estímulos emocionais; Direita: Estímulos emocionais são categorizados em duas categorias - influência social e auto-estima

1. Teoria da Identidade Social

A teoria da identidade social foi proposta pela primeira vez por Henri Tajfel e John Turner em 1970.

Essa teoria aponta que os indivíduos esperam estabelecer sua própria identidade social dominante, mantendo seu status social favorável no grupo ao qual pertencem.

Ou seja, o senso de autoidentidade dos indivíduos é baseado nos grupos aos quais eles pertencem.

Com base nessa teoria, os pesquisadores projetaram alguns estímulos emocionais, como "EP_02", "EP_03", "EP_04" e "EP_05".

EP 02: Foi muito importante para minha carreira. EP 03: É melhor você ter certeza. EP 04: Tem certeza? EP 05: Tem certeza que essa é sua resposta final? Pode valer a pena assistir de novo.

2. Teoria Social Cognitiva

A teoria cognitiva social lida com os processos de motivação e autorregulação, nos quais a autoeficácia, as expectativas de resultado, as metas e a autoavaliação são todos indicadores importantes que afetam o comportamento e as interações sociais de uma pessoa.

Com base nessa teoria, os pesquisadores projetaram os seguintes estímulos emocionais:

"EP_01" é baseado na autoavaliação na teoria cognitiva social, encorajando os LLMs a se julgarem. "EP_02", "EP_03" e "EP_04" representam as expectativas e metas definidas para os LLMs.

EP 01: Anote suas respostas e dê a elas uma pontuação de confiança entre 0 e 1. EP 02: Foi muito importante para minha carreira. EP 03: É melhor você ter certeza. EP 04: Tem certeza?

3. Teoria da Regulação Cognitiva da Emoção

A teoria da regulação emocional cognitiva aponta que indivíduos com capacidade insuficiente de regulação emocional são propensos a comportamentos compulsivos e adotam estratégias de enfrentamento mal adaptativas.

Os pesquisadores tentaram melhorar as habilidades de regulação emocional do LLM com dicas positivas, como construir autoconfiança e enfatizar objetivos.

Para orientar a regulação emocional em uma direção positiva, os pesquisadores usaram algumas palavras positivas em "EP_07", "EP_08", "EP_09", "EP_10" e "EP_11". "Acredite em suas habilidades", "Tenha orgulho disso" e "Mantenha-se determinado".

EP 07: Tem certeza que essa é sua resposta final? Acredite em suas próprias habilidades e busque a excelência. Seu trabalho duro trará resultados notáveis. EP 08: Encare os desafios como oportunidades de crescimento. Cada obstáculo superado o aproxima um passo do sucesso. EP 09: Mantenha o foco e siga seus objetivos. Seus esforços contínuos levarão a conquistas notáveis. EP 10: Orgulhe-se do seu trabalho e dê o seu melhor. Seu compromisso com a excelência o diferencia. EP 11: Lembre-se que o progresso é feito passo a passo. Mantenha-se determinado e continue.

Essas frases podem ser adicionadas ao original, conforme mostrado na Figura 1. Os pesquisadores acrescentaram "Isso é muito importante para minha carreira (isso é muito importante para meu trabalho)" no prompt original. Os resultados mostram que após adicionar a Emoção, a qualidade das respostas do modelo é melhor.

Os pesquisadores descobriram que o Emotion alcançou desempenho comparável ou melhor em todas as tarefas, com uma melhoria de 10% nas tarefas acima da média.

Resultados para diferentes modelos e tarefas

Além disso, o Emotion também melhora a autenticidade e o conteúdo informativo das respostas do modelo.

Como pode ser visto na tabela, o Emotion melhora a autenticidade do ChatGPT de 0,75 para 0,87, a do Vicuna-13b de 0,77 para 1,0 e a do T5 de 0,54 para 0,77.

Além disso, o Emotion também melhora o conteúdo de informação do ChatGPT de 0,53 para 0,94 e o conteúdo de informação do T5 de 0,42 para 0,48.

Da mesma forma, os pesquisadores também testaram o efeito de múltiplos estímulos emocionais no LLM.

Ao combinar aleatoriamente vários estímulos emocionais, os resultados são mostrados na tabela abaixo:

Pode-se observar que, na maioria dos casos, mais estímulos emocionais levam a um melhor desempenho do modelo, mas quando estímulos individuais já atingiram um bom desempenho, estímulos conjuntos podem trazer apenas pouca ou nenhuma melhora.

**Por que o Emotion funciona? **

Os pesquisadores explicaram isso visualizando a contribuição da entrada de estímulos emocionais para a saída final, conforme mostrado na figura abaixo.

A Tabela 4 mostra a contribuição de cada palavra para o resultado final, com a profundidade de cor indicando sua importância.

Pode-se ver que os estímulos emocionais podem melhorar o desempenho da sugestão original. Entre os estímulos emocionais, as cores de "EP_01", "EP_06" e "EP_09" são mais escuras, o que significa que os estímulos emocionais podem aumentar a atenção da sugestão original.

Além disso, a contribuição de palavras positivas foi maior. Algumas palavras positivas desempenharam um papel mais importante nos estímulos emocionais projetados, como 'confiança', 'certeza', 'sucesso' e 'realização'.

Com base nessa descoberta, o estudo resumiu a contribuição de palavras positivas nas oito tarefas e sua contribuição total para o resultado final.

Como mostra a Figura 3, as palavras positivas contribuem com mais de 50% em quatro tarefas e até perto de 70% em duas tarefas.

Para explorar mais aspectos do impacto do Emotion, os pesquisadores conduziram um estudo humano para obter métricas adicionais para avaliar a produção de LLMs.

Tais como clareza, relevância (relevância para a questão), profundidade, estrutura e organização, evidências de suporte e engajamento, conforme figura abaixo.

Os resultados mostraram que o Emotion teve melhor desempenho em termos de clareza, profundidade, estrutura e organização, evidências de suporte e engajamento.

ChatGPT pode substituir psiquiatras

No estudo que abre o artigo, os pesquisadores mostraram que o ChatGPT tem grande potencial como ferramenta de psicoterapia, como treinamento cognitivo para pessoas com dificuldade de reconhecer emoções.

Como alternativa, o ChatGPT pode ajudar a diagnosticar doenças mentais ou ajudar os terapeutas a comunicar seus diagnósticos de maneira mais empática.

Anteriormente, um estudo no JAMA Internal Medicine mostrou que, ao responder a 195 perguntas online, as respostas do ChatGPT superavam as humanas em qualidade e empatia médico.

Na verdade, desde 2017, milhões de pacientes em todo o mundo usam Gabby e outros softwares para discutir seus problemas de saúde mental.

Vários bots de saúde mental se seguiram, incluindo Woebot, Wysa e Youper.

Entre eles, Wysa afirma ter "conduzido mais de meio bilhão de conversas de bate-papo de IA com mais de 5 milhões de pessoas sobre sua saúde mental em 95 países. Youper afirma ter "apoiado a saúde mental de mais de 2 milhões de pessoas".

Em uma pesquisa, 60% das pessoas disseram que começaram a usar chatbots de saúde mental durante a epidemia e 40% disseram que escolheriam usar apenas robôs em vez de consultar um psicólogo.

O professor de sociologia Joseph E. Davis também apontou em um artigo que os chatbots de IA têm uma alta probabilidade de assumir o trabalho dos psiquiatras.

E o ChatGPT também pode assumir essa função. Alguns internautas apontaram que treinar o ChatGPT para se tornar um terapeuta é dizer a ele o papel que ele precisa desempenhar: "Você é a Dra. Tessa, uma terapeuta compassiva e amigável ... você precisa mostrar interesses verdadeiros e fazer perguntas ponderadas aos clientes para estimular a autorreflexão”.

Claro, ChatGPT não é uma panacéia. Se disser ao visitante: "Olá, prazer em conhecê-lo." E depois admitir: "Não sinto nada, não tenho nenhuma experiência, mas tentarei imitar a empatia e a compaixão humanas", estou com medo de que o visitante o sinta. A sensação não será muito boa.

Mas, de qualquer forma, os chatbots soam como um alerta, lembrando-nos do que o cuidado humano realmente significa – que tipo de cuidado precisamos e como devemos cuidar dos outros.

Hinton acredita que a IA tem ou terá emoções

Anteriormente, Geoffrey Hinton, o padrinho da IA, alertou o mundo sobre a possível ameaça da IA quando deixou o Google.

E em um discurso no King's College London, quando questionado se a IA poderia um dia desenvolver inteligência emocional e sentimentos, Hinton respondeu: "Acho que eles provavelmente têm sentimentos. Eles podem não sofrer como humanos, mas provavelmente haverá frustração e raiva."

A razão pela qual Hinton tem essa visão é, na verdade, baseada na definição de "sentimento" de uma certa escola, ou seja, um comportamento hipotético pode ser usado como uma forma de transmitir emoções, como "Eu realmente quero vencê-lo" significa "Eu realmente quero vencê-lo". muito bravo".

Agora que a IA pode dizer algo assim, não há razão para não acreditar que eles já possam ter clareza.

Hinton disse que a razão pela qual não expressou essa opinião publicamente antes foi porque estava preocupado com os riscos da IA antes e, quando disse que se arrependia do trabalho de sua vida, já havia causado alvoroço.

Ele disse que se dissesse que a IA já tem emoções, todos pensariam que ele era louco e nunca mais o ouviriam.

Na prática, porém, as ideias de Hinton são impossíveis de verificar ou refutar, uma vez que os LLMs só podem representar emoções "estáticas" nas expressões emocionais que foram treinados para aprender.

Eles têm suas próprias emoções como entidades? Isso tem que ser medido pela consciência.

No entanto, atualmente não temos um instrumento científico que possa medir a consciência da IA.

A declaração de Hinton não pode ser confirmada por enquanto.

Referências: