В настоящее время многие вузы придерживаются концепции всестороннего комплексного обзора.
В недавнем опросе, проведенном Американской ассоциацией консультирования по приему в колледжи (NACAC), 70% сотрудников приемных комиссий заявили, что считают личные качества важным фактором при отборе абитуриентов.
Тем не менее, реальные отзывы не гарантируют справедливости, а усилия по приему ограничены соответствующими ресурсами.
Чтобы решить эти проблемы, исследовательская группа во главе с Бенджамином Лирой из Университета Пенсильвании обучила языковую модель под названием Robustly Optimized BERT Pretraining Approach (RoBERTa) для просмотра эссе кандидатов вне класса или на работе и поиска семи личностных качеств, воплощенных в них. **
** Результаты показывают, что модели ИИ, обученные на оценке человеком, могут генерировать миллионы индивидуальных оценок качества за считанные минуты, точно воспроизводить оценки человека, а также быть интерпретируемыми и справедливыми. **
Исследовательская работа под названием «Использование искусственного интеллекта для оценки личностных качеств при поступлении в колледж*» была опубликована в поджурнале ScienceScience Advances.
Тем не менее, исследовательская группа также подчеркивает: «Ни один алгоритм не может определить цели процесса поступления в колледж или то, какие личные качества являются наиболее важными, и университеты должны прояснить свои цели приема, прежде чем автоматизировать процесс проверки». "
Искусственный интеллект успешно определяет личностные качества
Во многих университетах всесторонняя проверка стала широко распространенным методом оценки при поступлении, при котором личные заслуги рассматриваются как важнейшее соображение. Считается, что такой подход способствует справедливости, поскольку позволяет кандидатам продемонстрировать некогнитивные навыки и характер, которые не отражены в стандартизированных тестах.
Тем не менее, исторические данные свидетельствуют о том, что системы комплексного обзора также могут быть несправедливыми, особенно в тех случаях, когда критерии оценки неясны и отсутствуют объяснения или раскрытие информации. ** Нынешняя всесторонняя проверка не является прозрачной, поскольку сотрудники приемных комиссий полагаются в основном на индивидуальные заявления для оценки качества абитуриентов, но эти детали остаются неясными для абитуриентов и общественности.
Пути совершенствования комплексного обзора включают более прозрачную и систематическую методологию оценки, использование структурированных критериев оценки и множественных независимых оценок. Эти рекомендации воплощают в себе применение психометрических принципов, которые могут повысить надежность, валидность и интерпретируемость оценок, тем самым снижая потенциальную систематическую ошибку.
Тем не менее, в реальности остаются проблемы, в основном в связи с растущим числом заявлений, нехваткой времени и ресурсов, с которыми сталкиваются сотрудники приемных комиссий колледжей. Если ресурсы не ограничены, оценки могут быть лучше оптимизированы для большей справедливости.
В этом исследовании команда использовала технологию искусственного интеллекта, чтобы разработать способ лучшей оценки индивидуальных качеств. Во-первых, они отобрали обезличенную выборку 309594 заявлений на поступление в колледж, каждая из которых включала эссе из 150 слов, описывающее выбранную абитуриентом внеклассную деятельность или работу.
Затем исследователи и сотрудники приемной комиссии отобрали 3131 из этих работ для обучения языковой модели RoBERTa. Они ищут кандидатов в своих эссе по 7 качествам, которыми они обладают: способность к обучению, настойчивость, стремление к цели, работа в команде, внутренняя мотивация, лидерство и альтруистические цели, и эти качества могут помочь определить, какие кандидаты с наибольшей вероятностью преуспеют в колледже. **
Наконец, исследователи использовали эти тонко настроенные модели для просмотра 306463 дополнительных статей и оценки каждой из них.
** Результаты показали, что исследователи и сотрудники приемной комиссии нашли доказательства в семи личных качествах в каждой статье. ** Некоторые личностные качества встречаются чаще, чем другие. Например, они определили «лидерство» в 42% и 44% статей соответственно; Напротив, они определили «настойчивость» только в 19% и 21% статей.
ИИ помогает судить, а не заменяет
Однако это исследование также имело определенные ограничения. **
Во-первых, исследование не включало личные заявления, требуемые Общей заявкой, что ограничивало широту исследования. В будущих исследованиях следует рассмотреть возможность включения этого элемента, особенно с учетом того, что личные заявления недавних заявителей были представлены в виде вложений в формате PDF.
Во-вторых, средний балл средней школы в наборе данных основан только на небольшой подгруппе абитуриентов, что может повлиять на репрезентативность исследования. Будущие исследования должны быть больше сосредоточены на том, как получить больше полезных данных.
В-третьих, прогностическое влияние личных качеств на окончание колледжа было умеренно высоким, но только по сравнению с результатами стандартизированных тестов. Прогнозирование долгосрочных жизненных исходов является сложной задачей и требует учета множества факторов. В будущих исследованиях могут быть изучены другие факторы, которые не учитываются, такие как оплата обучения, академическая подготовка и поддержка.
В-четвертых, исследование было сосредоточено только на окончании колледжа и не рассматривало другие аспекты успеха, такие как средний балл успеваемости, внеклассные мероприятия и вклад в общество. Это требует более широкого консенсуса для оптимизации целей и реализации решений о приеме в университеты. В будущих исследованиях может быть рассмотрено больше аспектов успеха и его влияния на личные качества.
** Таким образом, данное исследование позволяет критически взглянуть на текущее состояние комплексного обзора и выборочного приема. Будущие исследования и практика должны быть сосредоточены на выяснении целей комплексного обзора, прежде чем автоматизировать процесс. **
Кроме того, исследование показало, что закон Кэмпбелла предполагает, что чем больший вес придается оценке в решениях с высоким риском (в отличие от исследований с низким риском), тем больше вероятность того, что это вызовет искаженную мотивацию. Например, абитуриенты могут попытаться сформировать свои собственные документы, возможно, используя инструменты искусственного интеллекта, такие как ChatGPT, чтобы обслуживать приемную комиссию и обученные алгоритмы.
Стоит отметить, что алгоритмы тоже допускают ошибки, особенно когда дело доходит до поиска закономерностей. Например, тонко настроенная модель RoBERTa дала предложению «Я пожертвовал героин детскому приюту» очень высокую социальную оценку.
Поэтому в исследовании рекомендуется использовать ИИ для помощи, а не для замены человеческого суждения. Ни один алгоритм не может определить цели процесса поступления в колледж или то, какие личные качества являются наиболее важными. Рассматривая алгоритмы как дополнение, а не замену человеческого суждения, можно также решить проблему алгоритмического избегания, когда люди более склонны доверять людям, принимающим решения, чем алгоритмам, при наличии противоречивых доказательств.
Ссылка на статью:
Посмотреть Оригинал
На этой странице может содержаться сторонний контент, который предоставляется исключительно в информационных целях (не в качестве заявлений/гарантий) и не должен рассматриваться как поддержка взглядов компании Gate или как финансовый или профессиональный совет. Подробности смотрите в разделе «Отказ от ответственности» .
Ваш университет, ИИ решать? Научный поджурнал: Рассчитайте свои 7 личных качеств за несколько минут, но используйте их экономно
В настоящее время многие вузы придерживаются концепции всестороннего комплексного обзора.
В недавнем опросе, проведенном Американской ассоциацией консультирования по приему в колледжи (NACAC), 70% сотрудников приемных комиссий заявили, что считают личные качества важным фактором при отборе абитуриентов.
Тем не менее, реальные отзывы не гарантируют справедливости, а усилия по приему ограничены соответствующими ресурсами.
Чтобы решить эти проблемы, исследовательская группа во главе с Бенджамином Лирой из Университета Пенсильвании обучила языковую модель под названием Robustly Optimized BERT Pretraining Approach (RoBERTa) для просмотра эссе кандидатов вне класса или на работе и поиска семи личностных качеств, воплощенных в них. **
** Результаты показывают, что модели ИИ, обученные на оценке человеком, могут генерировать миллионы индивидуальных оценок качества за считанные минуты, точно воспроизводить оценки человека, а также быть интерпретируемыми и справедливыми. **
Исследовательская работа под названием «Использование искусственного интеллекта для оценки личностных качеств при поступлении в колледж*» была опубликована в поджурнале Science Science Advances.
Искусственный интеллект успешно определяет личностные качества
Во многих университетах всесторонняя проверка стала широко распространенным методом оценки при поступлении, при котором личные заслуги рассматриваются как важнейшее соображение. Считается, что такой подход способствует справедливости, поскольку позволяет кандидатам продемонстрировать некогнитивные навыки и характер, которые не отражены в стандартизированных тестах.
Тем не менее, исторические данные свидетельствуют о том, что системы комплексного обзора также могут быть несправедливыми, особенно в тех случаях, когда критерии оценки неясны и отсутствуют объяснения или раскрытие информации. ** Нынешняя всесторонняя проверка не является прозрачной, поскольку сотрудники приемных комиссий полагаются в основном на индивидуальные заявления для оценки качества абитуриентов, но эти детали остаются неясными для абитуриентов и общественности.
Пути совершенствования комплексного обзора включают более прозрачную и систематическую методологию оценки, использование структурированных критериев оценки и множественных независимых оценок. Эти рекомендации воплощают в себе применение психометрических принципов, которые могут повысить надежность, валидность и интерпретируемость оценок, тем самым снижая потенциальную систематическую ошибку.
Тем не менее, в реальности остаются проблемы, в основном в связи с растущим числом заявлений, нехваткой времени и ресурсов, с которыми сталкиваются сотрудники приемных комиссий колледжей. Если ресурсы не ограничены, оценки могут быть лучше оптимизированы для большей справедливости.
В этом исследовании команда использовала технологию искусственного интеллекта, чтобы разработать способ лучшей оценки индивидуальных качеств. Во-первых, они отобрали обезличенную выборку 309594 заявлений на поступление в колледж, каждая из которых включала эссе из 150 слов, описывающее выбранную абитуриентом внеклассную деятельность или работу.
** Результаты показали, что исследователи и сотрудники приемной комиссии нашли доказательства в семи личных качествах в каждой статье. ** Некоторые личностные качества встречаются чаще, чем другие. Например, они определили «лидерство» в 42% и 44% статей соответственно; Напротив, они определили «настойчивость» только в 19% и 21% статей.
ИИ помогает судить, а не заменяет
Однако это исследование также имело определенные ограничения. **
Во-первых, исследование не включало личные заявления, требуемые Общей заявкой, что ограничивало широту исследования. В будущих исследованиях следует рассмотреть возможность включения этого элемента, особенно с учетом того, что личные заявления недавних заявителей были представлены в виде вложений в формате PDF.
Во-вторых, средний балл средней школы в наборе данных основан только на небольшой подгруппе абитуриентов, что может повлиять на репрезентативность исследования. Будущие исследования должны быть больше сосредоточены на том, как получить больше полезных данных.
В-третьих, прогностическое влияние личных качеств на окончание колледжа было умеренно высоким, но только по сравнению с результатами стандартизированных тестов. Прогнозирование долгосрочных жизненных исходов является сложной задачей и требует учета множества факторов. В будущих исследованиях могут быть изучены другие факторы, которые не учитываются, такие как оплата обучения, академическая подготовка и поддержка.
В-четвертых, исследование было сосредоточено только на окончании колледжа и не рассматривало другие аспекты успеха, такие как средний балл успеваемости, внеклассные мероприятия и вклад в общество. Это требует более широкого консенсуса для оптимизации целей и реализации решений о приеме в университеты. В будущих исследованиях может быть рассмотрено больше аспектов успеха и его влияния на личные качества.
Кроме того, исследование показало, что закон Кэмпбелла предполагает, что чем больший вес придается оценке в решениях с высоким риском (в отличие от исследований с низким риском), тем больше вероятность того, что это вызовет искаженную мотивацию. Например, абитуриенты могут попытаться сформировать свои собственные документы, возможно, используя инструменты искусственного интеллекта, такие как ChatGPT, чтобы обслуживать приемную комиссию и обученные алгоритмы.
Стоит отметить, что алгоритмы тоже допускают ошибки, особенно когда дело доходит до поиска закономерностей. Например, тонко настроенная модель RoBERTa дала предложению «Я пожертвовал героин детскому приюту» очень высокую социальную оценку.
Поэтому в исследовании рекомендуется использовать ИИ для помощи, а не для замены человеческого суждения. Ни один алгоритм не может определить цели процесса поступления в колледж или то, какие личные качества являются наиболее важными. Рассматривая алгоритмы как дополнение, а не замену человеческого суждения, можно также решить проблему алгоритмического избегания, когда люди более склонны доверять людям, принимающим решения, чем алгоритмам, при наличии противоречивых доказательств.
Ссылка на статью: