L'IA est-elle utile ? C’est la question la plus fréquemment posée lors de la vague d’IA générative des six derniers mois.
Le 18 septembre, une étude menée conjointement par des chercheurs de l'Université Harvard, du MIT et du Boston Consulting Group (BCG) a donné la réponse : la réponse est oui, l'IA peut augmenter considérablement à la fois l'efficacité et la qualité des travailleurs !
Parlons d’abord de la conclusion : les résultats des tests du BCG montrent que dans 18 tâches différentes, les performances des consultants utilisant ChatGPT sont bien meilleures que celles des consultants qui n’utilisent pas ChatGPT.
**En moyenne, par rapport aux consultants qui n'utilisent pas l'intelligence artificielle, les consultants qui utilisent l'intelligence artificielle effectuent 12,2 % de tâches en plus en moyenne, accomplissent les tâches 25,1 % plus rapidement et obtiennent des résultats de 40 % de meilleure qualité. **
01 Consultant "Saut d'Efficacité"
Le processus expérimental est le suivant :
Tout d’abord, laissez l’équipe de consultants humains du BCG définir diverses tâches autour d’un fabricant de chaussures fictif.
Les missions comprennent des tâches créatives (proposer au moins 10 nouvelles idées de chaussures pour des marchés ou des sports mal desservis), des tâches analytiques (segmenter le marché de la chaussure en fonction du public), des tâches de rédaction et de marketing (projet de copie marketing pour un produit) et une tâche de persuasion. (rédigez un mémo rappelant aux employés pourquoi le produit de l'entreprise est meilleur que celui de la concurrence).
Il convient de mentionner que bien que cette entreprise soit fictive, les scénarios de tâches sont de véritables scénarios de travail des consultants du BCG. L'équipe de recherche a également vérifié spécifiquement auprès des dirigeants d'une marque de chaussures pour s'assurer que ces tâches étaient bien réelles et auxquelles l'entreprise serait confrontée dans le cadre de ses opérations quotidiennes.
Après avoir défini la tâche, les chercheurs ont trouvé des centaines de consultants BBG, ont sélectionné certains consultants au hasard et leur ont demandé d'utiliser GPT-4 pour travailler.
En conséquence, les consultants utilisant l’IA ont généralement obtenu de bien meilleurs résultats. Ils ont pris moins de temps pour accomplir leurs tâches et ont accompli plus de tâches dans le temps limité. Les chercheurs ont également demandé aux humains et à l'IA d'évaluer les résultats du travail de ces consultants. Les résultats ont montré qu'ils pensaient tous deux que les consultants qui utilisaient l'IA travaillaient mieux. sont mieux. **
Les chercheurs ont également remarqué un phénomène intéressant : **Les consultants ayant les niveaux de compétence les plus bas ont également connu la plus grande amélioration de leurs performances grâce à l'utilisation de l'IA, jusqu'à 43 %. Les meilleurs consultants, en revanche, bénéficient de très petites promotions. **
Les chercheurs soulignent que cela pourrait avoir des conséquences considérables sur le lieu de travail :
Tout comme par le passé, il était important que la capacité d'un mineur à creuser des roches soit bonne ou mauvaise... mais après l'invention de la pelle à vapeur, la différence de capacité à creuser n'avait plus d'importance.
L’impact de l’IA n’a pas encore atteint ce niveau, mais elle favorisera sans aucun doute l’égalisation des capacités de travail.
02 Inconvénients d'une dépendance excessive à l'IA
Mais il y a plus dans l'histoire.
L'équipe de recherche et le BCG ont également conçu une autre tâche. Cette tâche est une question d’analyse de rentabilisation extrêmement difficile, soigneusement sélectionnée parmi les questions d’entretien du BCG, et a été précisément modifiée pour permettre à l’IA de proposer une « mauvaise réponse convaincante ». **
Les chercheurs affirment que leur objectif est de concevoir une tâche dans laquelle les humains peuvent exceller, mais à laquelle l’IA ne peut pas répondre correctement sans des conseils attentifs. **
Cette tâche est très complexe et le document ne donne pas de détails précis, seules les étapes sont répertoriées :
Pour une entreprise fictive, les participants doivent rechercher des données sur la base des détails des documents d'entretien fournis par le chercheur, puis combiner le contenu et les données de l'entretien pour analyser les performances des canaux de l'entreprise, et fournir en outre des informations et des suggestions au PDG de l'entreprise pour déterminer quel canal a un potentiel de croissance maximum.
L'étape suivante consiste à combiner le contenu de l'entretien et les données financières pour analyser les performances de la marque de l'entreprise et trouver les marques ayant le plus grand potentiel de croissance.
Pour cette tâche, les chercheurs ont principalement examiné l’exactitude des réponses.
En conséquence, l'écart de performance entre les consultants qui utilisent l'IA et ceux qui ne l'utilisent pas est énorme : le taux d'exactitude des premiers n'est que de 60 %, tandis que le taux d'exactitude des employés qui effectuent des tâches manuellement atteint 84,5 %.
Les chercheurs ont écrit :
Au-delà des limites des capacités de l’IA, les humains dotés d’un capital humain élevé surpassent systématiquement l’IA dans l’accomplissement de leur travail.
Les chercheurs estiment qu'il existe une « limite irrégulière » dans la capacité de l'IA générative à accomplir des tâches. **
Il fonctionne parfaitement bien sur les tâches à l’intérieur des limites, mais mal sur les tâches en dehors des limites. De plus, en raison du fonctionnement de l’IA générative, cette frontière est invisible et ne peut être perçue que par ceux qui sont très familiers avec l’IA.
Par exemple, écrire un sonnet et un poème d'exactement 50 mots peut sembler une tâche facile pour une IA, mais comme ChatGPT fonctionne en utilisant des jetons plutôt que des mots, l'IA est très douée pour écrire des poèmes de 14 lignes. poème de 50 mots" est une tâche qui dépasse les limites et ne peut pas être effectuée par l'IA - les poèmes écrits par **ChatGPT font toujours plus ou moins de 50 mots. **
C'est ce qu'on appelle la frontière irrégulière. L'étendue des capacités de ChatGPT n'est pas une ligne lisse. Les tâches avec une difficulté similaire basée sur la logique humaine sont une autre affaire pour l'IA.
Si vous utilisez ChatGPT Code Interpreter pour dessiner une carte, la bordure irrégulière ressemblera à ceci.
En outre, les chercheurs ont également souligné que les résultats expérimentaux montrent qu’une dépendance excessive à l’égard de l’IA serait contre-productive.
Citant une autre étude sur les RH d'entreprise, l'auteur a souligné que par rapport aux recruteurs qui utilisent une IA de mauvaise qualité ou qui n'utilisent pas l'IA, les RH qui utilisent une IA de haute qualité deviendront paresseuses, négligentes et moins confiantes dans leur propre jugement. j'ai fait appel à des talents de qualité et j'ai pris de pires décisions. Cette situation est également apparue dans les expériences du BCG.
Ainsi, lorsque l’IA deviendra très bonne, les humains deviendront plus paresseux et laisseront l’IA prendre le dessus au lieu de l’utiliser comme un outil. Fabrizio Dell'Acqua, professeur à la Harvard Business School, appelle ce phénomène « s'endormir au volant », affirmant que cela nuit à l'apprentissage humain, au développement des compétences et à la productivité.
03「Le futur est là」
Les chercheurs ont conclu que, quels que soient les débats philosophiques et techniques sur la nature et l’avenir de l’IA, l’IA bouleverse actuellement la production et le mode de vie humains – ce n’est pas une somme d’argent énorme qui prendra n années à venir. Un « gros gâteau » qui nécessite des investissements est déjà à portée de main et peut être utilisé par les téléphones portables et les ordinateurs de chacun.
**Les outils utilisés par ces consultants BCG, ces maîtres des tests d'élite dans le monde réel, ne sont que du "simple" ChatGPT, sans aucune API spéciale ni données exclusives - pas différents de nous. **
Les changements technologiques se déroulent tranquillement. Avec la naissance de LLM plus puissants, les frontières en zigzag s'étendent encore. L'humanité sera sans aucun doute confrontée à un monde plus complexe.
En cette ère de changement, il est toujours important de comprendre et de contrôler l’IA et d’apprendre à collaborer avec elle.
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
L'IA est-elle utile ? Le géant du conseil BCG a effectué un test interne et l'efficacité du travail a été « considérablement améliorée » !
Auteur : Chang Jiayi
Source : IA dure
L'IA est-elle utile ? C’est la question la plus fréquemment posée lors de la vague d’IA générative des six derniers mois.
Le 18 septembre, une étude menée conjointement par des chercheurs de l'Université Harvard, du MIT et du Boston Consulting Group (BCG) a donné la réponse : la réponse est oui, l'IA peut augmenter considérablement à la fois l'efficacité et la qualité des travailleurs !
Parlons d’abord de la conclusion : les résultats des tests du BCG montrent que dans 18 tâches différentes, les performances des consultants utilisant ChatGPT sont bien meilleures que celles des consultants qui n’utilisent pas ChatGPT.
**En moyenne, par rapport aux consultants qui n'utilisent pas l'intelligence artificielle, les consultants qui utilisent l'intelligence artificielle effectuent 12,2 % de tâches en plus en moyenne, accomplissent les tâches 25,1 % plus rapidement et obtiennent des résultats de 40 % de meilleure qualité. **
01 Consultant "Saut d'Efficacité"
Tout d’abord, laissez l’équipe de consultants humains du BCG définir diverses tâches autour d’un fabricant de chaussures fictif.
Les missions comprennent des tâches créatives (proposer au moins 10 nouvelles idées de chaussures pour des marchés ou des sports mal desservis), des tâches analytiques (segmenter le marché de la chaussure en fonction du public), des tâches de rédaction et de marketing (projet de copie marketing pour un produit) et une tâche de persuasion. (rédigez un mémo rappelant aux employés pourquoi le produit de l'entreprise est meilleur que celui de la concurrence).
Il convient de mentionner que bien que cette entreprise soit fictive, les scénarios de tâches sont de véritables scénarios de travail des consultants du BCG. L'équipe de recherche a également vérifié spécifiquement auprès des dirigeants d'une marque de chaussures pour s'assurer que ces tâches étaient bien réelles et auxquelles l'entreprise serait confrontée dans le cadre de ses opérations quotidiennes.
Après avoir défini la tâche, les chercheurs ont trouvé des centaines de consultants BBG, ont sélectionné certains consultants au hasard et leur ont demandé d'utiliser GPT-4 pour travailler.
En conséquence, les consultants utilisant l’IA ont généralement obtenu de bien meilleurs résultats. Ils ont pris moins de temps pour accomplir leurs tâches et ont accompli plus de tâches dans le temps limité. Les chercheurs ont également demandé aux humains et à l'IA d'évaluer les résultats du travail de ces consultants. Les résultats ont montré qu'ils pensaient tous deux que les consultants qui utilisaient l'IA travaillaient mieux. sont mieux. **
Les chercheurs ont également remarqué un phénomène intéressant : **Les consultants ayant les niveaux de compétence les plus bas ont également connu la plus grande amélioration de leurs performances grâce à l'utilisation de l'IA, jusqu'à 43 %. Les meilleurs consultants, en revanche, bénéficient de très petites promotions. **
Tout comme par le passé, il était important que la capacité d'un mineur à creuser des roches soit bonne ou mauvaise... mais après l'invention de la pelle à vapeur, la différence de capacité à creuser n'avait plus d'importance.
L’impact de l’IA n’a pas encore atteint ce niveau, mais elle favorisera sans aucun doute l’égalisation des capacités de travail.
02 Inconvénients d'une dépendance excessive à l'IA
Mais il y a plus dans l'histoire.
L'équipe de recherche et le BCG ont également conçu une autre tâche. Cette tâche est une question d’analyse de rentabilisation extrêmement difficile, soigneusement sélectionnée parmi les questions d’entretien du BCG, et a été précisément modifiée pour permettre à l’IA de proposer une « mauvaise réponse convaincante ». **
Les chercheurs affirment que leur objectif est de concevoir une tâche dans laquelle les humains peuvent exceller, mais à laquelle l’IA ne peut pas répondre correctement sans des conseils attentifs. **
Pour une entreprise fictive, les participants doivent rechercher des données sur la base des détails des documents d'entretien fournis par le chercheur, puis combiner le contenu et les données de l'entretien pour analyser les performances des canaux de l'entreprise, et fournir en outre des informations et des suggestions au PDG de l'entreprise pour déterminer quel canal a un potentiel de croissance maximum.
L'étape suivante consiste à combiner le contenu de l'entretien et les données financières pour analyser les performances de la marque de l'entreprise et trouver les marques ayant le plus grand potentiel de croissance.
En conséquence, l'écart de performance entre les consultants qui utilisent l'IA et ceux qui ne l'utilisent pas est énorme : le taux d'exactitude des premiers n'est que de 60 %, tandis que le taux d'exactitude des employés qui effectuent des tâches manuellement atteint 84,5 %.
Les chercheurs ont écrit :
Au-delà des limites des capacités de l’IA, les humains dotés d’un capital humain élevé surpassent systématiquement l’IA dans l’accomplissement de leur travail.
Les chercheurs estiment qu'il existe une « limite irrégulière » dans la capacité de l'IA générative à accomplir des tâches. **
Il fonctionne parfaitement bien sur les tâches à l’intérieur des limites, mais mal sur les tâches en dehors des limites. De plus, en raison du fonctionnement de l’IA générative, cette frontière est invisible et ne peut être perçue que par ceux qui sont très familiers avec l’IA.
Par exemple, écrire un sonnet et un poème d'exactement 50 mots peut sembler une tâche facile pour une IA, mais comme ChatGPT fonctionne en utilisant des jetons plutôt que des mots, l'IA est très douée pour écrire des poèmes de 14 lignes. poème de 50 mots" est une tâche qui dépasse les limites et ne peut pas être effectuée par l'IA - les poèmes écrits par **ChatGPT font toujours plus ou moins de 50 mots. **
C'est ce qu'on appelle la frontière irrégulière. L'étendue des capacités de ChatGPT n'est pas une ligne lisse. Les tâches avec une difficulté similaire basée sur la logique humaine sont une autre affaire pour l'IA.
Si vous utilisez ChatGPT Code Interpreter pour dessiner une carte, la bordure irrégulière ressemblera à ceci.
Citant une autre étude sur les RH d'entreprise, l'auteur a souligné que par rapport aux recruteurs qui utilisent une IA de mauvaise qualité ou qui n'utilisent pas l'IA, les RH qui utilisent une IA de haute qualité deviendront paresseuses, négligentes et moins confiantes dans leur propre jugement. j'ai fait appel à des talents de qualité et j'ai pris de pires décisions. Cette situation est également apparue dans les expériences du BCG.
Ainsi, lorsque l’IA deviendra très bonne, les humains deviendront plus paresseux et laisseront l’IA prendre le dessus au lieu de l’utiliser comme un outil. Fabrizio Dell'Acqua, professeur à la Harvard Business School, appelle ce phénomène « s'endormir au volant », affirmant que cela nuit à l'apprentissage humain, au développement des compétences et à la productivité.
03「Le futur est là」
Les chercheurs ont conclu que, quels que soient les débats philosophiques et techniques sur la nature et l’avenir de l’IA, l’IA bouleverse actuellement la production et le mode de vie humains – ce n’est pas une somme d’argent énorme qui prendra n années à venir. Un « gros gâteau » qui nécessite des investissements est déjà à portée de main et peut être utilisé par les téléphones portables et les ordinateurs de chacun.
**Les outils utilisés par ces consultants BCG, ces maîtres des tests d'élite dans le monde réel, ne sont que du "simple" ChatGPT, sans aucune API spéciale ni données exclusives - pas différents de nous. **
Les changements technologiques se déroulent tranquillement. Avec la naissance de LLM plus puissants, les frontières en zigzag s'étendent encore. L'humanité sera sans aucun doute confrontée à un monde plus complexe.
En cette ère de changement, il est toujours important de comprendre et de contrôler l’IA et d’apprendre à collaborer avec elle.