В даний час багато вузів дотримуються концепції комплексного комплексного огляду.
У нещодавньому опитуванні, проведеному Американською асоціацією консультування з питань вступу до коледжів (NACAC), 70% офіцерів приймальної комісії заявили, що вважають особисті якості важливим фактором при відборі абітурієнтів.
Однак реальні перевірки не гарантують справедливості, а зусилля щодо вступу обмежені відповідними ресурсами.
Щоб вирішити ці проблеми, дослідницька група під керівництвом Бенджаміна Ліри з Університету Пенсільванії підготувала мовну модель під назвою Robustly Optimized BERT Pretraining Approach (RoBERTa), щоб переглядати есе кандидатів поза класом або на роботі та шукати сім особистих якостей, втілених у них. **
** Результати показують, що моделі штучного інтелекту, навчені на оцінюванні людиною, можуть генерувати мільйони індивідуальних оцінок якості за лічені хвилини, точно відтворювати людські бали, бути інтерпретованими та справедливими. **
Дослідницька стаття під назвою «Використання штучного інтелекту для оцінки особистих якостей при вступі до коледжу*» була опублікована в піджурналі ScienceScience Advances.
Однак дослідницька група також наголошує: «Жоден алгоритм не може визначити цілі процесу вступу до коледжів або які особисті якості є найважливішими, і університети повинні уточнити свої цілі вступу, перш ніж автоматизувати процес перевірки». "
ШІ успішно визначає особисті якості
У багатьох університетах всебічний огляд став широко поширеним методом оцінки вступу, який розглядає особисті заслуги як критичний фактор. Вважається, що такий підхід сприяє справедливості, оскільки дозволяє абітурієнтам продемонструвати некогнітивні навички та характер, які не відображені в стандартизованих тестах.
Однак історичні дані свідчать, що комплексні системи перевірки також можуть бути несправедливими, особливо там, де критерії оцінювання незрозумілі та відсутні пояснення чи розкриття інформації. ** Поточному всебічному розгляду бракує прозорості, оскільки працівники приймальної комісії покладаються насамперед на індивідуальні заяви для оцінки якості абітурієнтів, але ці деталі залишаються незрозумілими для абітурієнтів та громадськості.
Шляхи вдосконалення комплексного огляду включають більш прозору та систематичну методологію оцінювання, використання структурованих критеріїв оцінювання та множинних незалежних оцінок. Ці рекомендації втілюють застосування психометричних принципів, які можуть підвищити надійність, валідність та інтерпретованість оцінок, тим самим зменшуючи потенційну упередженість.
Однак проблеми залишаються в реальності, в основному це збільшення кількості заявок, часові та ресурсні обмеження, з якими стикаються офіцери приймальної комісії коледжів. Якщо ресурси необмежені, оцінювання можна краще оптимізувати для більшої справедливості.
У цьому дослідженні команда використовувала технологію штучного інтелекту, щоб розробити спосіб кращої оцінки індивідуальних якостей. По-перше, вони відібрали знеособлену вибірку 309594 заявок на вступ до коледжу, кожна з яких включала есе на 150 слів, що описує обрану абітурієнтом позакласну діяльність або роботу.
Далі дослідники та співробітники приймальної комісії відібрали 3131 з цих робіт для навчання мовної моделі RoBERTa. Вони шукають претендентів у своїх есе за 7 якостями, якими вони володіють: здатність до навчання, наполегливість, прагнення до мети, робота в команді, внутрішня мотивація, лідерство та альтруїстичні цілі, і ці якості можуть допомогти визначити, які претенденти, швидше за все, досягнуть успіху в коледжі. **
Нарешті, дослідники використовували ці точно налаштовані моделі, щоб переглянути 306463 додаткові статті та оцінити кожну з них.
** Результати показали, що дослідники та співробітники приймальної комісії знайшли докази в семи особистих якостях у кожній статті. ** Деякі особистісні якості зустрічаються частіше, ніж інші. Наприклад, вони визначили «лідерство» у 42% та 44% статей відповідно; На противагу цьому, вони визначили «наполегливість» лише у 19% та 21% статей.
Штучний інтелект допомагає судженням, а не замінює
Однак це дослідження також мало певні обмеження. **
По-перше, дослідження не включало особистих тверджень, які вимагаються Загальною заявкою, що обмежувало широту дослідження. Майбутні дослідження повинні розглянути можливість включення цього елемента, особливо враховуючи, що особисті заяви нещодавніх заявників були подані у вигляді додатків у форматі PDF.
По-друге, середній бал середньої школи в наборі даних базується лише на невеликій підмножині абітурієнтів, що може вплинути на репрезентативність дослідження. Майбутні дослідження повинні бути зосереджені більше на тому, як отримати більш придатні для використання дані.
По-третє, прогностичний вплив особистісних якостей на закінчення коледжу був помірно високим, але лише щодо результатів стандартизованих тестів. Прогнозування довгострокових результатів життя є складним і вимагає врахування різноманітних факторів. Майбутні дослідження можуть вивчати інші фактори, які не враховуються, такі як оплата навчання, академічна підготовка та підтримка.
По-четверте, дослідження було зосереджено лише на закінченні коледжу в результаті і не враховувало інші аспекти успіху, такі як середній бал, позакласні заходи та внесок громади. Це вимагає ширшого консенсусу для оптимізації цілей та виконання рішень про прийом до університетів. Майбутні дослідження можуть розглянути більше аспектів успіху та його вплив на особисті якості.
** Таким чином, це дослідження пропонує критичний погляд на сучасний стан всебічного огляду та вибіркового прийому. Майбутні дослідження та практика повинні бути зосереджені на з'ясуванні цілей комплексного огляду перед автоматизацією процесу. **
Крім того, дослідження показало, що закон Кемпбелла передбачає, що чим більша вага надається оцінці в рішеннях з високим ризиком (на відміну від досліджень з низьким ризиком), тим більша ймовірність того, що вона спровокує спотворену мотивацію. Наприклад, абітурієнти можуть спробувати сформувати власні документи, можливо, використовуючи інструменти штучного інтелекту, такі як ChatGPT, щоб задовольнити офіцерів приймальної комісії та навчені алгоритми.
Варто зазначити, що алгоритми також припускаються помилок, особливо коли йдеться про пошук закономірностей. Наприклад, точно налаштована модель RoBERTa дала реченню «Я пожертвував героїн дитячому притулку» дуже високий показник соціальної мети.
Тому дослідження рекомендує використовувати штучний інтелект для допомоги, а не заміни людського судження. Жоден алгоритм не може визначити цілі процесу вступу до коледжу, або які особисті якості є найважливішими. Розгляд алгоритмів як доповнення, а не заміни людського судження також може вирішити проблему алгоритмічного уникнення, коли люди більш схильні довіряти людям, які приймають рішення, ніж алгоритмам, коли є суперечливі докази.
Посилання на папір:
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Ваш університет, штучний інтелект вирішувати? Науковий піджурнал: Підрахуйте свої 7 особистих якостей за кілька хвилин, але використовуйте їх помірно
В даний час багато вузів дотримуються концепції комплексного комплексного огляду.
У нещодавньому опитуванні, проведеному Американською асоціацією консультування з питань вступу до коледжів (NACAC), 70% офіцерів приймальної комісії заявили, що вважають особисті якості важливим фактором при відборі абітурієнтів.
Однак реальні перевірки не гарантують справедливості, а зусилля щодо вступу обмежені відповідними ресурсами.
Щоб вирішити ці проблеми, дослідницька група під керівництвом Бенджаміна Ліри з Університету Пенсільванії підготувала мовну модель під назвою Robustly Optimized BERT Pretraining Approach (RoBERTa), щоб переглядати есе кандидатів поза класом або на роботі та шукати сім особистих якостей, втілених у них. **
** Результати показують, що моделі штучного інтелекту, навчені на оцінюванні людиною, можуть генерувати мільйони індивідуальних оцінок якості за лічені хвилини, точно відтворювати людські бали, бути інтерпретованими та справедливими. **
Дослідницька стаття під назвою «Використання штучного інтелекту для оцінки особистих якостей при вступі до коледжу*» була опублікована в піджурналі Science Science Advances.
ШІ успішно визначає особисті якості
У багатьох університетах всебічний огляд став широко поширеним методом оцінки вступу, який розглядає особисті заслуги як критичний фактор. Вважається, що такий підхід сприяє справедливості, оскільки дозволяє абітурієнтам продемонструвати некогнітивні навички та характер, які не відображені в стандартизованих тестах.
Однак історичні дані свідчать, що комплексні системи перевірки також можуть бути несправедливими, особливо там, де критерії оцінювання незрозумілі та відсутні пояснення чи розкриття інформації. ** Поточному всебічному розгляду бракує прозорості, оскільки працівники приймальної комісії покладаються насамперед на індивідуальні заяви для оцінки якості абітурієнтів, але ці деталі залишаються незрозумілими для абітурієнтів та громадськості.
Шляхи вдосконалення комплексного огляду включають більш прозору та систематичну методологію оцінювання, використання структурованих критеріїв оцінювання та множинних незалежних оцінок. Ці рекомендації втілюють застосування психометричних принципів, які можуть підвищити надійність, валідність та інтерпретованість оцінок, тим самим зменшуючи потенційну упередженість.
Однак проблеми залишаються в реальності, в основному це збільшення кількості заявок, часові та ресурсні обмеження, з якими стикаються офіцери приймальної комісії коледжів. Якщо ресурси необмежені, оцінювання можна краще оптимізувати для більшої справедливості.
У цьому дослідженні команда використовувала технологію штучного інтелекту, щоб розробити спосіб кращої оцінки індивідуальних якостей. По-перше, вони відібрали знеособлену вибірку 309594 заявок на вступ до коледжу, кожна з яких включала есе на 150 слів, що описує обрану абітурієнтом позакласну діяльність або роботу.
** Результати показали, що дослідники та співробітники приймальної комісії знайшли докази в семи особистих якостях у кожній статті. ** Деякі особистісні якості зустрічаються частіше, ніж інші. Наприклад, вони визначили «лідерство» у 42% та 44% статей відповідно; На противагу цьому, вони визначили «наполегливість» лише у 19% та 21% статей.
Штучний інтелект допомагає судженням, а не замінює
Однак це дослідження також мало певні обмеження. **
По-перше, дослідження не включало особистих тверджень, які вимагаються Загальною заявкою, що обмежувало широту дослідження. Майбутні дослідження повинні розглянути можливість включення цього елемента, особливо враховуючи, що особисті заяви нещодавніх заявників були подані у вигляді додатків у форматі PDF.
По-друге, середній бал середньої школи в наборі даних базується лише на невеликій підмножині абітурієнтів, що може вплинути на репрезентативність дослідження. Майбутні дослідження повинні бути зосереджені більше на тому, як отримати більш придатні для використання дані.
По-третє, прогностичний вплив особистісних якостей на закінчення коледжу був помірно високим, але лише щодо результатів стандартизованих тестів. Прогнозування довгострокових результатів життя є складним і вимагає врахування різноманітних факторів. Майбутні дослідження можуть вивчати інші фактори, які не враховуються, такі як оплата навчання, академічна підготовка та підтримка.
По-четверте, дослідження було зосереджено лише на закінченні коледжу в результаті і не враховувало інші аспекти успіху, такі як середній бал, позакласні заходи та внесок громади. Це вимагає ширшого консенсусу для оптимізації цілей та виконання рішень про прийом до університетів. Майбутні дослідження можуть розглянути більше аспектів успіху та його вплив на особисті якості.
Крім того, дослідження показало, що закон Кемпбелла передбачає, що чим більша вага надається оцінці в рішеннях з високим ризиком (на відміну від досліджень з низьким ризиком), тим більша ймовірність того, що вона спровокує спотворену мотивацію. Наприклад, абітурієнти можуть спробувати сформувати власні документи, можливо, використовуючи інструменти штучного інтелекту, такі як ChatGPT, щоб задовольнити офіцерів приймальної комісії та навчені алгоритми.
Варто зазначити, що алгоритми також припускаються помилок, особливо коли йдеться про пошук закономірностей. Наприклад, точно налаштована модель RoBERTa дала реченню «Я пожертвував героїн дитячому притулку» дуже високий показник соціальної мети.
Тому дослідження рекомендує використовувати штучний інтелект для допомоги, а не заміни людського судження. Жоден алгоритм не може визначити цілі процесу вступу до коледжу, або які особисті якості є найважливішими. Розгляд алгоритмів як доповнення, а не заміни людського судження також може вирішити проблему алгоритмічного уникнення, коли люди більш схильні довіряти людям, які приймають рішення, ніж алгоритмам, коли є суперечливі докази.
Посилання на папір: