Votre université, l’IA pour décider ? Sous-revue scientifique : Calculez vos 7 qualités personnelles en quelques minutes, mais utilisez-les avec parcimonie
À l’heure actuelle, de nombreuses universités adhèrent au concept d’examen exhaustif.
Dans une enquête récente menée par l’American Association for College Admissions Counseling (NACAC), 70 % des responsables des admissions ont déclaré qu’ils considéraient les qualités personnelles comme un facteur important lors de la sélection des candidats.
Cependant, les évaluations dans le monde réel ne garantissent pas l’équité, et les efforts d’admission sont limités par les ressources pertinentes.
Pour relever ces défis, une équipe de recherche dirigée par Benjamin Lira de l’Université de Pennsylvanie a formé un modèle de langage appelé Robustly Optimized BERT Pretraining Approach (RoBERTa) pour examiner les essais des candidats en dehors des cours ou au travail et rechercher les sept qualités personnelles qu’ils intègrent. **
**Les résultats montrent que les modèles d’IA entraînés sur la notation humaine peuvent générer des millions de scores de qualité individuels en quelques minutes, reproduire avec précision les scores humains et être interprétables et équitables. **
L’article de recherche, intitulé « Utilisation de l’intelligence artificielle pour évaluer les qualités personnelles dans les admissions à l’université* », a été publié dans la sous-revue ScienceScience Advances.
Cependant, l’équipe de recherche souligne également : « Aucun algorithme ne peut déterminer les objectifs du processus d’admission à l’université, ni quelles qualités personnelles sont les plus importantes, et les universités doivent clarifier leurs objectifs d’admission avant d’automatiser le processus de vérification. » "
L’IA identifie avec succès les qualités personnelles
Dans de nombreuses universités, l’examen approfondi est devenu une méthode largement adoptée d’évaluation des admissions, qui considère le mérite personnel comme une considération essentielle. On pense que l’approche favorise l’équité parce qu’elle permet aux candidats de démontrer des compétences non cognitives et un caractère qui ne sont pas reflétés dans les tests standardisés.
Cependant, les données historiques montrent que les systèmes d’examen complet peuvent également être injustes, en particulier lorsque les critères d’évaluation ne sont pas clairs et qu’il n’y a pas d’explication ou de divulgation. **L’examen complet actuel manque de transparence, les agents d’admission s’appuyant principalement sur des déclarations individuelles pour évaluer la qualité des candidats, mais ces détails restent flous pour les candidats et le public.
Les moyens d’améliorer l’examen complet comprennent une méthodologie d’évaluation plus transparente et systématique, l’utilisation de critères de notation structurés et de multiples évaluations indépendantes. Ces recommandations englobent l’application de principes psychométriques qui peuvent améliorer la fiabilité, la validité et l’interprétabilité des évaluations, réduisant ainsi les biais potentiels.
Cependant, des problèmes subsistent dans la réalité, notamment le nombre croissant de demandes, les contraintes de temps et de ressources auxquelles sont confrontés les agents d’admission des collèges. Si les ressources sont illimitées, les évaluations peuvent être mieux optimisées pour une plus grande équité.
Dans cette étude, l’équipe a utilisé la technologie de l’IA pour développer un moyen de mieux évaluer les qualités individuelles. Tout d’abord, ils ont sélectionné un échantillon anonymisé de 309594 demandes d’admission à l’université, chacune d’entre elles comprenant un essai de 150 mots décrivant l’activité parascolaire ou l’emploi choisi par le candidat.
Ensuite, les chercheurs et les responsables des admissions ont sélectionné 3131 de ces articles pour former un modèle de langage, RoBERTa. Ils recherchent des candidats dans leurs essais pour 7 qualités qu’ils possèdent: capacité d’apprentissage, persévérance, poursuite d’objectifs, travail d’équipe, motivation intrinsèque, leadership et objectifs altruistes, et ces qualités peuvent aider à déterminer quels candidats sont les plus susceptibles de réussir à l’université. **
Enfin, les chercheurs ont utilisé ces modèles affinés pour examiner 306463 articles supplémentaires et noter chacun d’entre eux.
**Les résultats ont révélé que les chercheurs et les responsables des admissions ont trouvé des preuves dans sept qualités personnelles dans chaque article. **Certaines qualités personnelles sont plus communes que d’autres. Par exemple, ils ont identifié le « leadership » dans 42 % et 44 % des articles, respectivement; En revanche, ils n’ont identifié la « persévérance » que dans 19 % et 21 % des articles.
L’IA aide au jugement, pas la remplace
Cependant, cette étude présentait également certaines limites. **
Premièrement, l’étude n’incluait pas les déclarations personnelles exigées par la demande commune, ce qui limitait la portée de l’étude. Les études futures devraient envisager d’inclure cet élément, d’autant plus que les déclarations personnelles des candidats récents ont été soumises sous forme de pièces jointes en format PDF.
Deuxièmement, la moyenne cumulative du secondaire dans l’ensemble de données n’est basée que sur un petit sous-ensemble de candidats, ce qui peut affecter la représentativité de l’étude. Les recherches futures doivent se concentrer davantage sur la façon d’obtenir des données plus utilisables.
Troisièmement, l’effet prédictif de la qualité personnelle sur l’obtention d’un diplôme universitaire était modérément élevé, mais seulement par rapport aux résultats des tests standardisés. La prédiction des résultats à long terme de la vie est complexe et nécessite la prise en compte de divers facteurs. Les recherches futures peuvent explorer d’autres facteurs qui ne sont pas pris en compte, tels que le paiement des frais de scolarité, la préparation et le soutien académiques.
Quatrièmement, l’étude s’est concentrée uniquement sur l’obtention d’un diplôme universitaire et n’a pas pris en compte d’autres aspects de la réussite, tels que la moyenne pondérée, les activités parascolaires et les contributions communautaires. Cela nécessite un consensus plus large pour optimiser les objectifs et la mise en œuvre des décisions d’admission à l’université. Les recherches futures pourraient prendre en compte d’autres aspects du succès et son impact sur les qualités personnelles.
** Cette étude apporte donc un point de vue critique sur l’état actuel de l’examen complet et de l’admission sélective. La recherche et la pratique futures devraient se concentrer sur la clarification des objectifs d’un examen complet avant d’automatiser le processus. **
De plus, l’étude a révélé que la loi de Campbell suggère que plus l’importance accordée à l’évaluation dans les décisions à haut risque (par opposition à la recherche à faible risque) est grande, plus elle est susceptible de déclencher une motivation déformée. Par exemple, les candidats peuvent essayer de façonner leurs propres papiers, peut-être en utilisant des outils d’IA tels que ChatGPT pour répondre aux besoins des agents d’admission et des algorithmes entraînés.
Il convient de noter que les algorithmes font également des erreurs, en particulier lorsqu’il s’agit de trouver des modèles. Par exemple, le modèle RoBERTa affiné de l’étude a donné à la phrase « J’ai fait don d’héroïne au refuge pour enfants » un score social très élevé.
Par conséquent, l’étude recommande l’utilisation de l’IA pour aider plutôt que remplacer le jugement humain. Aucun algorithme ne peut déterminer les objectifs du processus d’admission à l’université, ni quelles qualités personnelles sont les plus importantes. Considérer les algorithmes comme un complément plutôt qu’un substitut au jugement humain peut également résoudre le problème de l’évitement algorithmique, où les gens sont plus enclins à faire confiance aux décideurs humains qu’aux algorithmes lorsqu’il existe des preuves contradictoires.
Lien vers le papier :
Voir l'original
Cette page peut inclure du contenu de tiers fourni à des fins d'information uniquement. Gate ne garantit ni l'exactitude ni la validité de ces contenus, n’endosse pas les opinions exprimées, et ne fournit aucun conseil financier ou professionnel à travers ces informations. Voir la section Avertissement pour plus de détails.
Votre université, l’IA pour décider ? Sous-revue scientifique : Calculez vos 7 qualités personnelles en quelques minutes, mais utilisez-les avec parcimonie
À l’heure actuelle, de nombreuses universités adhèrent au concept d’examen exhaustif.
Dans une enquête récente menée par l’American Association for College Admissions Counseling (NACAC), 70 % des responsables des admissions ont déclaré qu’ils considéraient les qualités personnelles comme un facteur important lors de la sélection des candidats.
Cependant, les évaluations dans le monde réel ne garantissent pas l’équité, et les efforts d’admission sont limités par les ressources pertinentes.
Pour relever ces défis, une équipe de recherche dirigée par Benjamin Lira de l’Université de Pennsylvanie a formé un modèle de langage appelé Robustly Optimized BERT Pretraining Approach (RoBERTa) pour examiner les essais des candidats en dehors des cours ou au travail et rechercher les sept qualités personnelles qu’ils intègrent. **
**Les résultats montrent que les modèles d’IA entraînés sur la notation humaine peuvent générer des millions de scores de qualité individuels en quelques minutes, reproduire avec précision les scores humains et être interprétables et équitables. **
L’article de recherche, intitulé « Utilisation de l’intelligence artificielle pour évaluer les qualités personnelles dans les admissions à l’université* », a été publié dans la sous-revue Science Science Advances.
L’IA identifie avec succès les qualités personnelles
Dans de nombreuses universités, l’examen approfondi est devenu une méthode largement adoptée d’évaluation des admissions, qui considère le mérite personnel comme une considération essentielle. On pense que l’approche favorise l’équité parce qu’elle permet aux candidats de démontrer des compétences non cognitives et un caractère qui ne sont pas reflétés dans les tests standardisés.
Cependant, les données historiques montrent que les systèmes d’examen complet peuvent également être injustes, en particulier lorsque les critères d’évaluation ne sont pas clairs et qu’il n’y a pas d’explication ou de divulgation. **L’examen complet actuel manque de transparence, les agents d’admission s’appuyant principalement sur des déclarations individuelles pour évaluer la qualité des candidats, mais ces détails restent flous pour les candidats et le public.
Les moyens d’améliorer l’examen complet comprennent une méthodologie d’évaluation plus transparente et systématique, l’utilisation de critères de notation structurés et de multiples évaluations indépendantes. Ces recommandations englobent l’application de principes psychométriques qui peuvent améliorer la fiabilité, la validité et l’interprétabilité des évaluations, réduisant ainsi les biais potentiels.
Cependant, des problèmes subsistent dans la réalité, notamment le nombre croissant de demandes, les contraintes de temps et de ressources auxquelles sont confrontés les agents d’admission des collèges. Si les ressources sont illimitées, les évaluations peuvent être mieux optimisées pour une plus grande équité.
Dans cette étude, l’équipe a utilisé la technologie de l’IA pour développer un moyen de mieux évaluer les qualités individuelles. Tout d’abord, ils ont sélectionné un échantillon anonymisé de 309594 demandes d’admission à l’université, chacune d’entre elles comprenant un essai de 150 mots décrivant l’activité parascolaire ou l’emploi choisi par le candidat.
**Les résultats ont révélé que les chercheurs et les responsables des admissions ont trouvé des preuves dans sept qualités personnelles dans chaque article. **Certaines qualités personnelles sont plus communes que d’autres. Par exemple, ils ont identifié le « leadership » dans 42 % et 44 % des articles, respectivement; En revanche, ils n’ont identifié la « persévérance » que dans 19 % et 21 % des articles.
L’IA aide au jugement, pas la remplace
Cependant, cette étude présentait également certaines limites. **
Premièrement, l’étude n’incluait pas les déclarations personnelles exigées par la demande commune, ce qui limitait la portée de l’étude. Les études futures devraient envisager d’inclure cet élément, d’autant plus que les déclarations personnelles des candidats récents ont été soumises sous forme de pièces jointes en format PDF.
Deuxièmement, la moyenne cumulative du secondaire dans l’ensemble de données n’est basée que sur un petit sous-ensemble de candidats, ce qui peut affecter la représentativité de l’étude. Les recherches futures doivent se concentrer davantage sur la façon d’obtenir des données plus utilisables.
Troisièmement, l’effet prédictif de la qualité personnelle sur l’obtention d’un diplôme universitaire était modérément élevé, mais seulement par rapport aux résultats des tests standardisés. La prédiction des résultats à long terme de la vie est complexe et nécessite la prise en compte de divers facteurs. Les recherches futures peuvent explorer d’autres facteurs qui ne sont pas pris en compte, tels que le paiement des frais de scolarité, la préparation et le soutien académiques.
Quatrièmement, l’étude s’est concentrée uniquement sur l’obtention d’un diplôme universitaire et n’a pas pris en compte d’autres aspects de la réussite, tels que la moyenne pondérée, les activités parascolaires et les contributions communautaires. Cela nécessite un consensus plus large pour optimiser les objectifs et la mise en œuvre des décisions d’admission à l’université. Les recherches futures pourraient prendre en compte d’autres aspects du succès et son impact sur les qualités personnelles.
De plus, l’étude a révélé que la loi de Campbell suggère que plus l’importance accordée à l’évaluation dans les décisions à haut risque (par opposition à la recherche à faible risque) est grande, plus elle est susceptible de déclencher une motivation déformée. Par exemple, les candidats peuvent essayer de façonner leurs propres papiers, peut-être en utilisant des outils d’IA tels que ChatGPT pour répondre aux besoins des agents d’admission et des algorithmes entraînés.
Il convient de noter que les algorithmes font également des erreurs, en particulier lorsqu’il s’agit de trouver des modèles. Par exemple, le modèle RoBERTa affiné de l’étude a donné à la phrase « J’ai fait don d’héroïne au refuge pour enfants » un score social très élevé.
Par conséquent, l’étude recommande l’utilisation de l’IA pour aider plutôt que remplacer le jugement humain. Aucun algorithme ne peut déterminer les objectifs du processus d’admission à l’université, ni quelles qualités personnelles sont les plus importantes. Considérer les algorithmes comme un complément plutôt qu’un substitut au jugement humain peut également résoudre le problème de l’évitement algorithmique, où les gens sont plus enclins à faire confiance aux décideurs humains qu’aux algorithmes lorsqu’il existe des preuves contradictoires.
Lien vers le papier :