現在、多くの大学が包括的な総合レビューの概念を順守しています。
米国大学入学カウンセリング協会(NACAC)による最近の調査では、入学担当官の70%が、志願者を選択する際に個人の資質が重要な要素であると考えています。
ただし、実際のレビューでは公平性が保証されておらず、入学の取り組みは関連するリソースによって制限されています。
これらの課題に対処するために、ペンシルベニア大学のベンジャミン・リラが率いる研究チームは、ロバストに最適化されたBERT事前トレーニングアプローチ(RoBERTa)と呼ばれる言語モデルをトレーニングして、クラスの外や職場での応募者のエッセイをレビューし、それらに具体化された7つの個人的な資質を探します。 **
**調査結果は、人間のスコアリングでトレーニングされたAIモデルが、数百万の個々の品質スコアを数分で生成し、人間のスコアを正確に複製し、解釈可能で公正であることを示しています。 **
「人工知能を使用して大学入学における個人の資質を評価する*」と題された研究論文が、ScienceサブジャーナルScience Advancesに掲載されました。
しかし、研究チームはまた、「大学入学プロセスの目標、またはどの個人的な資質が最も重要であるかを決定するアルゴリズムはなく、大学は審査プロセスを自動化する前に入学目標を明確にする必要があります」と強調しています。 "
多くの大学では、包括的なレビューが広く採用されている入学評価の方法になり、個人的なメリットが重要な考慮事項であると考えています。 このアプローチは、申請者が標準化されたテストに反映されていない非認知スキルと性格を示すことを可能にするため、公平性を促進すると考えられています。
しかし、歴史的な証拠は、特に評価基準が不明確で説明や開示が不足している場合、包括的なレビューシステムも不公平である可能性があることを示しています。 **現在の包括的なレビューは透明性に欠けており、入学担当官は主に個々の声明に依存して志願者の質を評価していますが、これらの詳細は志願者や一般の人々には不明のままです。
包括的なレビューを改善する方法には、より透明で体系的な評価方法、構造化されたスコアリング基準の使用、および複数の独立した評価が含まれます。 これらの推奨事項は、評価の信頼性、妥当性、および解釈可能性を向上させ、それによって潜在的なバイアスを減らすことができる心理測定の原則の適用を具体化しています。
しかし、主に申請数の増加、大学入学担当官が直面する時間とリソースの制約など、問題が現実に残っています。 リソースが無制限であれば、公平性を高めるために評価をより適切に最適化できます。
この研究では、チームはAIテクノロジーを使用して、個人の資質をより適切に評価する方法を開発しました。 まず、彼らは309594大学の出願の匿名化されたサンプルを選択し、それぞれに申請者が選択した課外活動または仕事を説明する150語のエッセイが含まれていました。
次に、研究者と入学担当官は、言語モデルRoBERTaを訓練するために、これらの論文から3131本を選択しました。 彼らは、学習能力、忍耐力、目標追求、チームワーク、内発的動機付け、リーダーシップ、利他的な目標という7つの資質についてエッセイで応募者を探し、これらの資質は、どの応募者が大学で成功する可能性が最も高いかを判断するのに役立ちます。 **
最後に、研究者はこれらの微調整されたモデルを使用して、306463追加の記事をレビューし、それぞれをスコアリングしました。
**その結果、研究者と入学担当官は、各記事で7つの個人的な資質に証拠を見つけました。 **一部の個人的な資質は他のものよりも一般的です。 たとえば、記事の42%と44%でそれぞれ「リーダーシップ」を特定しました。 対照的に、彼らは記事の19%と21%で「忍耐力」しか特定しませんでした。
ただし、この研究には特定の制限もありました。 **
第一に、この調査には、共通アプリケーションで要求される個人的な声明が含まれていなかったため、調査の幅が制限されていました。 今後の研究では、特に最近の申請者の個人的な声明がPDF添付ファイルとして提出されたことを考慮して、この要素を含めることを検討する必要があります。
第二に、データセット内の高校のGPAは、申請者のごく一部のみに基づいているため、研究の代表性に影響を与える可能性があります。 今後の研究では、より有用なデータを取得する方法にもっと焦点を当てる必要があります。
第三に、大学卒業に対する個人の質の予測効果は中程度に高かったが、標準化されたテストのスコアと比較してのみであった。 長期的な人生の転帰を予測することは複雑であり、さまざまな要因を考慮する必要があります。 今後の研究では、授業料の支払い、学業の準備、サポートなど、考慮されていない他の要因を調査することができます。
第四に、この研究は結果として大学卒業にのみ焦点を当てており、GPA、課外活動、コミュニティへの貢献など、成功の他の側面は考慮されていませんでした。 これには、大学入学決定の目標と実施を最適化するためのより広範なコンセンサスが必要です。 今後の研究では、成功のより多くの側面とそれが個人の資質に与える影響を考慮することができます。
**したがって、この研究は、包括的なレビューと選択的入院の現状に批判的な視点をもたらします。 今後の研究と実践は、プロセスを自動化する前に、包括的なレビューの目的を明確にすることに焦点を当てる必要があります。 **
さらに、キャンベルの法則は、(低リスクの研究とは対照的に)リスクの高い決定における評価に重点を置くほど、歪んだ動機を引き起こす可能性が高いことを示唆していることがわかりました。 たとえば、志願者は、ChatGPTなどのAIツールを使用して、入学担当官やトレーニングされたアルゴリズムに対応して、独自の論文を作成しようとする場合があります。
特にパターンを見つけることになると、アルゴリズムも間違いを犯すことは注目に値します。 たとえば、この研究の微調整されたRoBERTaモデルは、「私はヘロインを子供の避難所に寄付しました」という文に非常に高い社会的目標スコアを与えました。
したがって、この研究では、人間の判断に取って代わるのではなく、AIを使用して支援することを推奨しています。 アルゴリズムは、大学入学プロセスの目標、またはどの個人的な資質が最も重要であるかを決定することはできません。 アルゴリズムを人間の判断に代わるものではなく補完するものと見なすことは、矛盾する証拠がある場合、人々がアルゴリズムよりも人間の意思決定者を信頼する傾向があるアルゴリズム回避の問題にも対処できます。
論文リンク:
17k 人気度
34k 人気度
9k 人気度
8k 人気度
2k 人気度
あなたの大学、AIが決める? 科学サブジャーナル:数分で7つの個人的な資質を計算しますが、控えめに使用してください
現在、多くの大学が包括的な総合レビューの概念を順守しています。
米国大学入学カウンセリング協会(NACAC)による最近の調査では、入学担当官の70%が、志願者を選択する際に個人の資質が重要な要素であると考えています。
ただし、実際のレビューでは公平性が保証されておらず、入学の取り組みは関連するリソースによって制限されています。
これらの課題に対処するために、ペンシルベニア大学のベンジャミン・リラが率いる研究チームは、ロバストに最適化されたBERT事前トレーニングアプローチ(RoBERTa)と呼ばれる言語モデルをトレーニングして、クラスの外や職場での応募者のエッセイをレビューし、それらに具体化された7つの個人的な資質を探します。 **
**調査結果は、人間のスコアリングでトレーニングされたAIモデルが、数百万の個々の品質スコアを数分で生成し、人間のスコアを正確に複製し、解釈可能で公正であることを示しています。 **
「人工知能を使用して大学入学における個人の資質を評価する*」と題された研究論文が、ScienceサブジャーナルScience Advancesに掲載されました。
AIは個人の資質を正常に識別します
多くの大学では、包括的なレビューが広く採用されている入学評価の方法になり、個人的なメリットが重要な考慮事項であると考えています。 このアプローチは、申請者が標準化されたテストに反映されていない非認知スキルと性格を示すことを可能にするため、公平性を促進すると考えられています。
しかし、歴史的な証拠は、特に評価基準が不明確で説明や開示が不足している場合、包括的なレビューシステムも不公平である可能性があることを示しています。 **現在の包括的なレビューは透明性に欠けており、入学担当官は主に個々の声明に依存して志願者の質を評価していますが、これらの詳細は志願者や一般の人々には不明のままです。
包括的なレビューを改善する方法には、より透明で体系的な評価方法、構造化されたスコアリング基準の使用、および複数の独立した評価が含まれます。 これらの推奨事項は、評価の信頼性、妥当性、および解釈可能性を向上させ、それによって潜在的なバイアスを減らすことができる心理測定の原則の適用を具体化しています。
しかし、主に申請数の増加、大学入学担当官が直面する時間とリソースの制約など、問題が現実に残っています。 リソースが無制限であれば、公平性を高めるために評価をより適切に最適化できます。
この研究では、チームはAIテクノロジーを使用して、個人の資質をより適切に評価する方法を開発しました。 まず、彼らは309594大学の出願の匿名化されたサンプルを選択し、それぞれに申請者が選択した課外活動または仕事を説明する150語のエッセイが含まれていました。
**その結果、研究者と入学担当官は、各記事で7つの個人的な資質に証拠を見つけました。 **一部の個人的な資質は他のものよりも一般的です。 たとえば、記事の42%と44%でそれぞれ「リーダーシップ」を特定しました。 対照的に、彼らは記事の19%と21%で「忍耐力」しか特定しませんでした。
AIは判断を支援するものであり、置き換えるものではありません
ただし、この研究には特定の制限もありました。 **
第一に、この調査には、共通アプリケーションで要求される個人的な声明が含まれていなかったため、調査の幅が制限されていました。 今後の研究では、特に最近の申請者の個人的な声明がPDF添付ファイルとして提出されたことを考慮して、この要素を含めることを検討する必要があります。
第二に、データセット内の高校のGPAは、申請者のごく一部のみに基づいているため、研究の代表性に影響を与える可能性があります。 今後の研究では、より有用なデータを取得する方法にもっと焦点を当てる必要があります。
第三に、大学卒業に対する個人の質の予測効果は中程度に高かったが、標準化されたテストのスコアと比較してのみであった。 長期的な人生の転帰を予測することは複雑であり、さまざまな要因を考慮する必要があります。 今後の研究では、授業料の支払い、学業の準備、サポートなど、考慮されていない他の要因を調査することができます。
第四に、この研究は結果として大学卒業にのみ焦点を当てており、GPA、課外活動、コミュニティへの貢献など、成功の他の側面は考慮されていませんでした。 これには、大学入学決定の目標と実施を最適化するためのより広範なコンセンサスが必要です。 今後の研究では、成功のより多くの側面とそれが個人の資質に与える影響を考慮することができます。
さらに、キャンベルの法則は、(低リスクの研究とは対照的に)リスクの高い決定における評価に重点を置くほど、歪んだ動機を引き起こす可能性が高いことを示唆していることがわかりました。 たとえば、志願者は、ChatGPTなどのAIツールを使用して、入学担当官やトレーニングされたアルゴリズムに対応して、独自の論文を作成しようとする場合があります。
特にパターンを見つけることになると、アルゴリズムも間違いを犯すことは注目に値します。 たとえば、この研究の微調整されたRoBERTaモデルは、「私はヘロインを子供の避難所に寄付しました」という文に非常に高い社会的目標スコアを与えました。
したがって、この研究では、人間の判断に取って代わるのではなく、AIを使用して支援することを推奨しています。 アルゴリズムは、大学入学プロセスの目標、またはどの個人的な資質が最も重要であるかを決定することはできません。 アルゴリズムを人間の判断に代わるものではなく補完するものと見なすことは、矛盾する証拠がある場合、人々がアルゴリズムよりも人間の意思決定者を信頼する傾向があるアルゴリズム回避の問題にも対処できます。
論文リンク: