Source de l'image : générée par l'outil Unbounded AI
De nombreux modèles d'IA supposent que les humains sont toujours certains de leurs décisions. Cela peut avoir des conséquences malheureuses.
Pour beaucoup d’entre nous, la technologie offre un moyen de résoudre l’incertitude. Si nous ne parvenons pas à nous souvenir d'un fait ou si nous ne comprenons pas quelque chose, nous pouvons simplement le rechercher et obtenir la réponse. En quelle année s'est terminée la Conférence de paix de Paris ? Recherchez-le sur Google… 1920. Combien de miles représente une course de 10 km ? 6,2 milles. Qui joue aux côtés de l'oscarisé Brendan Fraser dans son premier long métrage, The Encino Man ? Sean Astin et Paulie Shore.
Il est intéressant de noter que l’inverse se produit de plus en plus : les ordinateurs comptent sur les humains pour vérifier leur travail. Les systèmes d'IA « Human-in-the-loop » s'appuient sur l'intervention humaine pour garantir que l'IA ne lit pas mal les informations et ne fasse pas de prédictions inexactes. Cette situation est souvent plus critique que les moments forts des films.
Par exemple, un radiologue examinerait le diagnostic radiologique de l'IA pour déterminer si une fracture ou une lésion a été manquée. Les humains peuvent alors corriger les erreurs éventuelles et garantir que le patient reçoive le traitement approprié. C'est un excellent partenariat, mais il y a un petit problème : les humains sont rarement sûrs à 100 % de leurs conclusions.
Le même radiologue peut voir une zone de tissu osseux d'une couleur différente sur une radiographie et se demander : « Est-ce une lésion ou une irrégularité dans la radiographie elle-même ? Si c'est une lésion, quelle en est la cause, et est-ce bénin ou malin ?" ?" Même les experts hautement qualifiés – et peut-être particulièrement les experts – intègrent souvent ce type d’incertitude dans leurs observations et leurs décisions. S'ils pensent qu'il y a 10 % de chances qu'un autre diagnostic soit posé, ils peuvent en discuter avec le patient et planifier en conséquence.
Bien que cela nous semble naturel, les systèmes de bouclage homme-machine ne raisonnent pas de cette façon. Ils considèrent l’intervention humaine comme binaire : soit les humains savent ce qu’ils savent, soit ils ne le savent pas. Cela pourrait à son tour limiter la capacité des systèmes d’IA à réduire le risque d’erreur humaine dans les partenariats.
Alors, est-il possible pour ces systèmes de mieux comprendre les nuances de la prise de décision humaine, améliorant ainsi leurs capacités et nos propres performances ? Une équipe de chercheurs de l’Université de Cambridge a mis cette question à l’épreuve dans un nouveau document de recherche.
**es-tu sûr? **
Dans un premier test, les chercheurs ont utilisé des modèles basés sur des concepts (des modèles d'apprentissage automatique qui améliorent les prédictions grâce aux commentaires humains) sur deux ensembles de données. Le premier ensemble de données, appelé « CheXpert », classe les radiographies pulmonaires. Un autre ensemble de données, appelé UMNIST, additionne les nombres dans des échantillons d'écriture manuscrite. Comme la plupart des modèles basés sur des concepts, aucun des deux modèles n’avait été préalablement formé à l’incertitude. Les chercheurs voulaient donc voir comment ils géreraient l’incertitude.
Katherine Collins, auteur principal de l'étude et étudiante de troisième cycle en ingénierie à l'Université de Cambridge, a déclaré : « De nombreux développeurs travaillent dur pour résoudre l'incertitude dans les modèles, mais il y a moins de travail sur l'incertitude d'un point de vue humain. » voyez ce qui se passe lorsque les gens expriment de l'incertitude, ce qui est particulièrement important dans les environnements critiques pour la sécurité.
La réponse est : pas très bien. Les chercheurs ont constaté que les performances du modèle diminuaient même lorsque l'incertitude des simulations était faible, et continuaient de diminuer à mesure que l'incertitude augmentait. Cela suggère que ces modèles, bien que précis lorsqu'ils sont exposés à une intervention entièrement déterministe, « ne se généralisent pas aux contextes où les utilisateurs de l'intervention sont incertains quant à la nature de certains concepts ».
Lors du test suivant, les chercheurs ont utilisé un ensemble de données de classification d’images d’oiseaux et ont présenté de vrais participants humains. Les participants ont été invités à identifier les caractéristiques spécifiques des oiseaux dans les images. L'oiseau est-il multicolore, uni, tacheté ou rayé ? Sa queue a-t-elle la forme d'une fourchette, d'un cercle, d'un éventail ou d'un carré ? etc.
Cependant, les images ne représentent pas toujours au mieux les oiseaux. L'oiseau sur la photo peut être une silhouette sur un fond clair, ou les plumes de sa queue peuvent être masquées par des branches d'arbre. Les chercheurs ont donc donné aux participants humains la possibilité d'utiliser des «étiquettes souples» - des concepts qui ne sont pas l'un ou l'autre, mais qui permettent aux humains d'étiqueter des niveaux de confiance compris entre 0 et 100 (0 signifiant ne sait pas et 100 étant absolument certain). .
Par exemple, si les sujets trouvent hautement crédible que la forme des ailes d'un oiseau soit large, ils peuvent déplacer le curseur sur 80. Mais s'ils ne savent pas si les ailes sont rondes ou pointues, ils peuvent moins déplacer le curseur (par exemple vers 20 et 10 respectivement).
Les chercheurs ont découvert que lorsque les machines sont remplacées par des humains, les performances se dégradent. Cependant, ils ont également constaté que la formation du modèle sur l’incertitude pourrait atténuer certaines erreurs commises par les participants humains. Toutefois, ces modèles ne sont pas parfaits. Parfois, l’incertitude humaine est utile ; d’autres fois, elle nuit aux performances du modèle.
"Nous avons besoin de meilleurs outils pour recalibrer ces modèles afin que les personnes qui les utilisent aient la possibilité de s'exprimer lorsqu'elles sont incertaines", a déclaré Matthew Barker, co-auteur de l'étude. "D'une certaine manière, ces travaux soulèvent plus de questions qu'ils n'en répondent, mais même si les humains peuvent commettre des erreurs en matière d'incertitude, nous pouvons améliorer la fiabilité de ces systèmes de bouclage homme-machine en prenant en compte le degré et la fiabilité du comportement humain".
Des chercheurs de l'Université de Princeton, de l'Institut Alan Turing et de Google DeepMind ont également rejoint l'équipe de Cambridge dans la recherche. Ils ont présenté leur article à la conférence AAI/ACM 2023 sur l'intelligence artificielle, l'éthique et la société à Montréal. L'article est actuellement publié en prépublication sur arXiv.
Vers un avenir incertain
Les chercheurs espèrent que leur article aidera un jour à développer des systèmes de bouclage homme-machine prenant en compte l’incertitude, réduisant ainsi le risque d’erreurs de l’intelligence humaine et artificielle. Cependant, cette étude ne constitue qu’un premier pas vers cet objectif.
Il révèle également plusieurs défis pour les recherches futures. Ces défis comprennent : comment développer des modèles d'IA et des stratégies d'intervention qui prennent en compte les erreurs de prédiction humaines bien connues (telles que le biais d'excès de confiance ); créer des interfaces qui aident les humains à mesurer leur incertitude ; et former des modèles d'IA pour gérer différents types d'incertitude, tels que comme la différence entre remettre en question vos propres connaissances et comment les effets aléatoires se manifesteront.
Si ces problèmes peuvent être résolus, l’incertitude humaine pourra mieux prendre en charge la partie « humaine » de la « boucle homme-machine » et ainsi contribuer à améliorer les performances de ces modèles.
« Comme l’ont dit certains de nos collègues, l’incertitude est une forme de transparence, et c’est vraiment important », a ajouté Collins. "Nous devons déterminer quand faire confiance aux modèles, quand faire confiance aux gens et pourquoi. Dans certaines applications, nous nous concentrons sur la probabilité plutôt que sur la vraisemblance."
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Recherche : L’incertitude dans la prise de décision humaine sera-t-elle la clé pour améliorer l’IA ?
Écrit par Kevin Dickinson
Source : FreeThink
Pour beaucoup d’entre nous, la technologie offre un moyen de résoudre l’incertitude. Si nous ne parvenons pas à nous souvenir d'un fait ou si nous ne comprenons pas quelque chose, nous pouvons simplement le rechercher et obtenir la réponse. En quelle année s'est terminée la Conférence de paix de Paris ? Recherchez-le sur Google… 1920. Combien de miles représente une course de 10 km ? 6,2 milles. Qui joue aux côtés de l'oscarisé Brendan Fraser dans son premier long métrage, The Encino Man ? Sean Astin et Paulie Shore.
Il est intéressant de noter que l’inverse se produit de plus en plus : les ordinateurs comptent sur les humains pour vérifier leur travail. Les systèmes d'IA « Human-in-the-loop » s'appuient sur l'intervention humaine pour garantir que l'IA ne lit pas mal les informations et ne fasse pas de prédictions inexactes. Cette situation est souvent plus critique que les moments forts des films.
Par exemple, un radiologue examinerait le diagnostic radiologique de l'IA pour déterminer si une fracture ou une lésion a été manquée. Les humains peuvent alors corriger les erreurs éventuelles et garantir que le patient reçoive le traitement approprié. C'est un excellent partenariat, mais il y a un petit problème : les humains sont rarement sûrs à 100 % de leurs conclusions.
Le même radiologue peut voir une zone de tissu osseux d'une couleur différente sur une radiographie et se demander : « Est-ce une lésion ou une irrégularité dans la radiographie elle-même ? Si c'est une lésion, quelle en est la cause, et est-ce bénin ou malin ?" ?" Même les experts hautement qualifiés – et peut-être particulièrement les experts – intègrent souvent ce type d’incertitude dans leurs observations et leurs décisions. S'ils pensent qu'il y a 10 % de chances qu'un autre diagnostic soit posé, ils peuvent en discuter avec le patient et planifier en conséquence.
Bien que cela nous semble naturel, les systèmes de bouclage homme-machine ne raisonnent pas de cette façon. Ils considèrent l’intervention humaine comme binaire : soit les humains savent ce qu’ils savent, soit ils ne le savent pas. Cela pourrait à son tour limiter la capacité des systèmes d’IA à réduire le risque d’erreur humaine dans les partenariats.
Alors, est-il possible pour ces systèmes de mieux comprendre les nuances de la prise de décision humaine, améliorant ainsi leurs capacités et nos propres performances ? Une équipe de chercheurs de l’Université de Cambridge a mis cette question à l’épreuve dans un nouveau document de recherche.
**es-tu sûr? **
Dans un premier test, les chercheurs ont utilisé des modèles basés sur des concepts (des modèles d'apprentissage automatique qui améliorent les prédictions grâce aux commentaires humains) sur deux ensembles de données. Le premier ensemble de données, appelé « CheXpert », classe les radiographies pulmonaires. Un autre ensemble de données, appelé UMNIST, additionne les nombres dans des échantillons d'écriture manuscrite. Comme la plupart des modèles basés sur des concepts, aucun des deux modèles n’avait été préalablement formé à l’incertitude. Les chercheurs voulaient donc voir comment ils géreraient l’incertitude.
Katherine Collins, auteur principal de l'étude et étudiante de troisième cycle en ingénierie à l'Université de Cambridge, a déclaré : « De nombreux développeurs travaillent dur pour résoudre l'incertitude dans les modèles, mais il y a moins de travail sur l'incertitude d'un point de vue humain. » voyez ce qui se passe lorsque les gens expriment de l'incertitude, ce qui est particulièrement important dans les environnements critiques pour la sécurité.
La réponse est : pas très bien. Les chercheurs ont constaté que les performances du modèle diminuaient même lorsque l'incertitude des simulations était faible, et continuaient de diminuer à mesure que l'incertitude augmentait. Cela suggère que ces modèles, bien que précis lorsqu'ils sont exposés à une intervention entièrement déterministe, « ne se généralisent pas aux contextes où les utilisateurs de l'intervention sont incertains quant à la nature de certains concepts ».
Lors du test suivant, les chercheurs ont utilisé un ensemble de données de classification d’images d’oiseaux et ont présenté de vrais participants humains. Les participants ont été invités à identifier les caractéristiques spécifiques des oiseaux dans les images. L'oiseau est-il multicolore, uni, tacheté ou rayé ? Sa queue a-t-elle la forme d'une fourchette, d'un cercle, d'un éventail ou d'un carré ? etc.
Cependant, les images ne représentent pas toujours au mieux les oiseaux. L'oiseau sur la photo peut être une silhouette sur un fond clair, ou les plumes de sa queue peuvent être masquées par des branches d'arbre. Les chercheurs ont donc donné aux participants humains la possibilité d'utiliser des «étiquettes souples» - des concepts qui ne sont pas l'un ou l'autre, mais qui permettent aux humains d'étiqueter des niveaux de confiance compris entre 0 et 100 (0 signifiant ne sait pas et 100 étant absolument certain). .
Par exemple, si les sujets trouvent hautement crédible que la forme des ailes d'un oiseau soit large, ils peuvent déplacer le curseur sur 80. Mais s'ils ne savent pas si les ailes sont rondes ou pointues, ils peuvent moins déplacer le curseur (par exemple vers 20 et 10 respectivement).
Les chercheurs ont découvert que lorsque les machines sont remplacées par des humains, les performances se dégradent. Cependant, ils ont également constaté que la formation du modèle sur l’incertitude pourrait atténuer certaines erreurs commises par les participants humains. Toutefois, ces modèles ne sont pas parfaits. Parfois, l’incertitude humaine est utile ; d’autres fois, elle nuit aux performances du modèle.
"Nous avons besoin de meilleurs outils pour recalibrer ces modèles afin que les personnes qui les utilisent aient la possibilité de s'exprimer lorsqu'elles sont incertaines", a déclaré Matthew Barker, co-auteur de l'étude. "D'une certaine manière, ces travaux soulèvent plus de questions qu'ils n'en répondent, mais même si les humains peuvent commettre des erreurs en matière d'incertitude, nous pouvons améliorer la fiabilité de ces systèmes de bouclage homme-machine en prenant en compte le degré et la fiabilité du comportement humain".
Des chercheurs de l'Université de Princeton, de l'Institut Alan Turing et de Google DeepMind ont également rejoint l'équipe de Cambridge dans la recherche. Ils ont présenté leur article à la conférence AAI/ACM 2023 sur l'intelligence artificielle, l'éthique et la société à Montréal. L'article est actuellement publié en prépublication sur arXiv.
Vers un avenir incertain
Les chercheurs espèrent que leur article aidera un jour à développer des systèmes de bouclage homme-machine prenant en compte l’incertitude, réduisant ainsi le risque d’erreurs de l’intelligence humaine et artificielle. Cependant, cette étude ne constitue qu’un premier pas vers cet objectif.
Il révèle également plusieurs défis pour les recherches futures. Ces défis comprennent : comment développer des modèles d'IA et des stratégies d'intervention qui prennent en compte les erreurs de prédiction humaines bien connues (telles que le biais d'excès de confiance ); créer des interfaces qui aident les humains à mesurer leur incertitude ; et former des modèles d'IA pour gérer différents types d'incertitude, tels que comme la différence entre remettre en question vos propres connaissances et comment les effets aléatoires se manifesteront.
Si ces problèmes peuvent être résolus, l’incertitude humaine pourra mieux prendre en charge la partie « humaine » de la « boucle homme-machine » et ainsi contribuer à améliorer les performances de ces modèles.
« Comme l’ont dit certains de nos collègues, l’incertitude est une forme de transparence, et c’est vraiment important », a ajouté Collins. "Nous devons déterminer quand faire confiance aux modèles, quand faire confiance aux gens et pourquoi. Dans certaines applications, nous nous concentrons sur la probabilité plutôt que sur la vraisemblance."