A IA é útil? Esta é a pergunta mais comum que as pessoas levantaram durante a onda de IA generativa nos últimos seis meses.
Em 18 de setembro, um estudo realizado em conjunto por acadêmicos da Universidade de Harvard, do MIT e do Boston Consulting Group (BCG) deu a resposta: a resposta é sim, a IA pode aumentar muito a eficiência e a qualidade dos trabalhadores!
Vamos falar primeiro sobre a conclusão: os resultados dos testes do BCG mostram que em 18 tarefas diferentes, o desempenho dos consultores que usam o ChatGPT é muito melhor do que o dos consultores que não usam o ChatGPT.
**Em média, em comparação com consultores que não usam inteligência artificial, os consultores que usam inteligência artificial completam 12,2% mais tarefas em média, completam tarefas 25,1% mais rápido e alcançam resultados de qualidade 40% maior. **
01 Consultor "Salto de Eficiência"
O processo experimental é o seguinte:
Primeiro, deixe a equipe de consultores humanos do BCG definir várias tarefas em torno de um fabricante fictício de calçados.
As atribuições incluem tarefas criativas (criar pelo menos 10 novas ideias de calçados para mercados ou esportes mal atendidos), tarefas analíticas (segmentar o mercado de calçados com base no público), tarefas de redação e marketing (rascunho de texto de marketing para um produto) e uma tarefa persuasiva (escreva um memorando lembrando aos funcionários por que o produto da empresa é melhor que o da concorrência).
Vale ressaltar que embora esta empresa seja fictícia, os cenários de tarefas são cenários reais de trabalho dos consultores BCG. A equipa de investigação também consultou especificamente os executivos de uma marca de calçado para garantir que estas tarefas eram tarefas reais que a empresa encontraria nas operações diárias.
Depois de definir a tarefa, os pesquisadores encontraram centenas de consultores do BBG, selecionaram aleatoriamente alguns consultores e pediram que usassem o GPT-4 para trabalhar.
Como resultado, os consultores que utilizam IA geralmente tiveram um desempenho muito melhor. Eles levaram menos tempo para concluir tarefas e concluíram mais tarefas dentro do tempo limitado. Os pesquisadores também pediram aos humanos e à IA que avaliassem os resultados do trabalho desses consultores. Os resultados mostraram que ambos acreditavam que os consultores que usavam IA funcionavam melhor. Os resultados são melhores. **
Os pesquisadores também notaram um fenômeno interessante: **Os consultores com os níveis de habilidade mais baixos também experimentaram a maior melhoria no desempenho com o uso de IA, até 43%. Os melhores consultores, por outro lado, conseguem promoções muito pequenas. **
Os investigadores salientam que isto pode ter consequências de longo alcance para o local de trabalho:
Tal como no passado, era importante saber se a capacidade de um mineiro para escavar rochas era boa ou má... mas depois da escavadora a vapor ter sido inventada, a diferença na capacidade de escavação já não importava.
O impacto da IA ainda não atingiu este nível, mas irá sem dúvida promover a equalização das capacidades de trabalho.
02 Desvantagens da dependência excessiva de IA
Mas há mais nesta história.
A equipe de pesquisa e o BCG também conceberam outra tarefa. Esta tarefa é uma questão de caso de negócios superdifícil, cuidadosamente selecionada a partir das perguntas da entrevista do BCG, e foi modificada com precisão para permitir que a IA apresente uma “resposta errada e convincente”. **
Os pesquisadores dizem que seu objetivo é projetar uma tarefa na qual os humanos possam se destacar, mas que a IA não possa responder corretamente sem uma orientação cuidadosa. **
Esta tarefa é muito complexa e o artigo não fornece detalhes específicos, apenas as etapas são listadas:
Para uma empresa fictícia, os participantes devem buscar dados com base nos detalhes dos materiais de entrevista fornecidos pelo pesquisador e, em seguida, combinar o conteúdo da entrevista e os dados para analisar o desempenho do canal da empresa e ainda fornecer informações e sugestões ao CEO da empresa para determinar qual canal tem potencial de crescimento. máximo.
O próximo passo é combinar o conteúdo da entrevista e os dados financeiros para analisar o desempenho da marca da empresa e encontrar as marcas com maior potencial de crescimento.
Para esta tarefa, os pesquisadores analisaram principalmente a precisão das respostas.
Como resultado, a diferença de desempenho entre consultores que usam IA e aqueles que não usam IA é enorme: a taxa de precisão dos primeiros é de apenas 60%, enquanto a taxa de precisão dos funcionários que realizam tarefas manualmente chega a 84,5%.
Os pesquisadores escreveram:
Fora dos limites das capacidades da IA, os seres humanos com elevado capital humano superam consistentemente a IA na conclusão das suas tarefas.
Os pesquisadores acreditam que existe um “limite irregular” na capacidade da IA generativa de concluir tarefas. **
Ele funciona perfeitamente bem em tarefas dentro dos limites, mas tem um desempenho ruim em tarefas fora dos limites. Além disso, devido à forma como a IA generativa funciona, esta fronteira é invisível e só pode ser percebida por aqueles que estão muito familiarizados com a IA.
Por exemplo, escrever um soneto e um poema de exatamente 50 palavras pode parecer uma tarefa fácil para uma IA, mas como o ChatGPT funciona usando tokens em vez de palavras, a IA é muito boa para escrever poemas de 14 versos. poema de 50 palavras" é uma tarefa que está fora dos limites e não pode ser realizada pela IA - os poemas escritos por **ChatGPT têm sempre mais ou menos que 50 palavras. **
Este é o chamado limite irregular. O escopo das capacidades do ChatGPT não é uma linha suave. Tarefas com dificuldade semelhante baseadas na lógica humana são outra questão para a IA.
Se você usar o ChatGPT Code Interpreter para desenhar um mapa, a borda irregular ficará assim.
Além disso, os investigadores também enfatizaram que os resultados experimentais mostram que a dependência excessiva da IA será contraproducente.
Citando outro estudo sobre RH corporativo, o autor destacou que, comparado aos recrutadores que usam IA de baixa qualidade ou não, o RH que usa IA de alta qualidade se tornará preguiçoso, descuidado e menos confiante em seu próprio julgamento. recorreu a alguns talentos de qualidade e tomou decisões piores. Esta situação também apareceu nos experimentos do BCG.
Portanto, quando a IA se tornar muito boa, os humanos se tornarão mais preguiçosos e deixarão a IA assumir o controle em vez de usá-la como uma ferramenta. Fabrizio Dell'Acqua, professor da Harvard Business School, chama este fenómeno de "adormecer ao volante", argumentando que prejudica a aprendizagem humana, o desenvolvimento de competências e a produtividade.
03「O futuro está aqui」
Os investigadores concluíram que, independentemente dos debates filosóficos e técnicos que existam sobre a natureza e o futuro da IA, a IA está, na verdade, a subverter a produção e o estilo de vida humanos neste momento - não se trata de uma enorme quantidade de dinheiro que levará n anos para chegar. A “torta grande” que exige investimento já está ao alcance e pode ser utilizada pelos telemóveis e computadores de todos.
**As ferramentas utilizadas por esses consultores BCG, esses mestres de testes de elite no mundo real, são apenas o ChatGPT "simples", sem nenhuma API especial ou dados exclusivos - não diferente de nós. **
As mudanças tecnológicas prosseguem silenciosamente. Com o nascimento de LLMs mais poderosos, as fronteiras em zigue-zague continuam a alargar-se. A humanidade enfrentará, sem dúvida, um mundo mais complexo.
Nesta era de mudanças, é sempre significativo compreender e controlar a IA e aprender como colaborar com ela.
Ver original
Esta página pode conter conteúdo de terceiros, que é fornecido apenas para fins informativos (não para representações/garantias) e não deve ser considerada como um endosso de suas opiniões pela Gate nem como aconselhamento financeiro ou profissional. Consulte a Isenção de responsabilidade para obter detalhes.
A IA é útil? A gigante de consultoria BCG conduziu um teste interno e a eficiência do trabalho foi "melhorada significativamente"!
Autor: Chang Jiayi
Fonte: IA difícil
A IA é útil? Esta é a pergunta mais comum que as pessoas levantaram durante a onda de IA generativa nos últimos seis meses.
Em 18 de setembro, um estudo realizado em conjunto por acadêmicos da Universidade de Harvard, do MIT e do Boston Consulting Group (BCG) deu a resposta: a resposta é sim, a IA pode aumentar muito a eficiência e a qualidade dos trabalhadores!
Vamos falar primeiro sobre a conclusão: os resultados dos testes do BCG mostram que em 18 tarefas diferentes, o desempenho dos consultores que usam o ChatGPT é muito melhor do que o dos consultores que não usam o ChatGPT.
**Em média, em comparação com consultores que não usam inteligência artificial, os consultores que usam inteligência artificial completam 12,2% mais tarefas em média, completam tarefas 25,1% mais rápido e alcançam resultados de qualidade 40% maior. **
01 Consultor "Salto de Eficiência"
Primeiro, deixe a equipe de consultores humanos do BCG definir várias tarefas em torno de um fabricante fictício de calçados.
As atribuições incluem tarefas criativas (criar pelo menos 10 novas ideias de calçados para mercados ou esportes mal atendidos), tarefas analíticas (segmentar o mercado de calçados com base no público), tarefas de redação e marketing (rascunho de texto de marketing para um produto) e uma tarefa persuasiva (escreva um memorando lembrando aos funcionários por que o produto da empresa é melhor que o da concorrência).
Vale ressaltar que embora esta empresa seja fictícia, os cenários de tarefas são cenários reais de trabalho dos consultores BCG. A equipa de investigação também consultou especificamente os executivos de uma marca de calçado para garantir que estas tarefas eram tarefas reais que a empresa encontraria nas operações diárias.
Depois de definir a tarefa, os pesquisadores encontraram centenas de consultores do BBG, selecionaram aleatoriamente alguns consultores e pediram que usassem o GPT-4 para trabalhar.
Como resultado, os consultores que utilizam IA geralmente tiveram um desempenho muito melhor. Eles levaram menos tempo para concluir tarefas e concluíram mais tarefas dentro do tempo limitado. Os pesquisadores também pediram aos humanos e à IA que avaliassem os resultados do trabalho desses consultores. Os resultados mostraram que ambos acreditavam que os consultores que usavam IA funcionavam melhor. Os resultados são melhores. **
Os pesquisadores também notaram um fenômeno interessante: **Os consultores com os níveis de habilidade mais baixos também experimentaram a maior melhoria no desempenho com o uso de IA, até 43%. Os melhores consultores, por outro lado, conseguem promoções muito pequenas. **
Tal como no passado, era importante saber se a capacidade de um mineiro para escavar rochas era boa ou má... mas depois da escavadora a vapor ter sido inventada, a diferença na capacidade de escavação já não importava.
O impacto da IA ainda não atingiu este nível, mas irá sem dúvida promover a equalização das capacidades de trabalho.
02 Desvantagens da dependência excessiva de IA
Mas há mais nesta história.
A equipe de pesquisa e o BCG também conceberam outra tarefa. Esta tarefa é uma questão de caso de negócios superdifícil, cuidadosamente selecionada a partir das perguntas da entrevista do BCG, e foi modificada com precisão para permitir que a IA apresente uma “resposta errada e convincente”. **
Os pesquisadores dizem que seu objetivo é projetar uma tarefa na qual os humanos possam se destacar, mas que a IA não possa responder corretamente sem uma orientação cuidadosa. **
Para uma empresa fictícia, os participantes devem buscar dados com base nos detalhes dos materiais de entrevista fornecidos pelo pesquisador e, em seguida, combinar o conteúdo da entrevista e os dados para analisar o desempenho do canal da empresa e ainda fornecer informações e sugestões ao CEO da empresa para determinar qual canal tem potencial de crescimento. máximo.
O próximo passo é combinar o conteúdo da entrevista e os dados financeiros para analisar o desempenho da marca da empresa e encontrar as marcas com maior potencial de crescimento.
Como resultado, a diferença de desempenho entre consultores que usam IA e aqueles que não usam IA é enorme: a taxa de precisão dos primeiros é de apenas 60%, enquanto a taxa de precisão dos funcionários que realizam tarefas manualmente chega a 84,5%.
Os pesquisadores escreveram:
Fora dos limites das capacidades da IA, os seres humanos com elevado capital humano superam consistentemente a IA na conclusão das suas tarefas.
Os pesquisadores acreditam que existe um “limite irregular” na capacidade da IA generativa de concluir tarefas. **
Ele funciona perfeitamente bem em tarefas dentro dos limites, mas tem um desempenho ruim em tarefas fora dos limites. Além disso, devido à forma como a IA generativa funciona, esta fronteira é invisível e só pode ser percebida por aqueles que estão muito familiarizados com a IA.
Por exemplo, escrever um soneto e um poema de exatamente 50 palavras pode parecer uma tarefa fácil para uma IA, mas como o ChatGPT funciona usando tokens em vez de palavras, a IA é muito boa para escrever poemas de 14 versos. poema de 50 palavras" é uma tarefa que está fora dos limites e não pode ser realizada pela IA - os poemas escritos por **ChatGPT têm sempre mais ou menos que 50 palavras. **
Este é o chamado limite irregular. O escopo das capacidades do ChatGPT não é uma linha suave. Tarefas com dificuldade semelhante baseadas na lógica humana são outra questão para a IA.
Se você usar o ChatGPT Code Interpreter para desenhar um mapa, a borda irregular ficará assim.
Citando outro estudo sobre RH corporativo, o autor destacou que, comparado aos recrutadores que usam IA de baixa qualidade ou não, o RH que usa IA de alta qualidade se tornará preguiçoso, descuidado e menos confiante em seu próprio julgamento. recorreu a alguns talentos de qualidade e tomou decisões piores. Esta situação também apareceu nos experimentos do BCG.
Portanto, quando a IA se tornar muito boa, os humanos se tornarão mais preguiçosos e deixarão a IA assumir o controle em vez de usá-la como uma ferramenta. Fabrizio Dell'Acqua, professor da Harvard Business School, chama este fenómeno de "adormecer ao volante", argumentando que prejudica a aprendizagem humana, o desenvolvimento de competências e a produtividade.
03「O futuro está aqui」
Os investigadores concluíram que, independentemente dos debates filosóficos e técnicos que existam sobre a natureza e o futuro da IA, a IA está, na verdade, a subverter a produção e o estilo de vida humanos neste momento - não se trata de uma enorme quantidade de dinheiro que levará n anos para chegar. A “torta grande” que exige investimento já está ao alcance e pode ser utilizada pelos telemóveis e computadores de todos.
**As ferramentas utilizadas por esses consultores BCG, esses mestres de testes de elite no mundo real, são apenas o ChatGPT "simples", sem nenhuma API especial ou dados exclusivos - não diferente de nós. **
As mudanças tecnológicas prosseguem silenciosamente. Com o nascimento de LLMs mais poderosos, as fronteiras em zigue-zague continuam a alargar-se. A humanidade enfrentará, sem dúvida, um mundo mais complexo.
Nesta era de mudanças, é sempre significativo compreender e controlar a IA e aprender como colaborar com ela.