En la actualidad, muchas universidades se adhieren al concepto de revisión exhaustiva.
En una encuesta reciente realizada por la Asociación Americana de Consejería de Admisiones Universitarias (NACAC), el 70% de los oficiales de admisiones dijeron que consideran que las cualidades personales son un factor importante a la hora de seleccionar a los solicitantes.
Sin embargo, las revisiones del mundo real no garantizan la equidad, y los esfuerzos de admisión están limitados por los recursos relevantes.
Para abordar estos desafíos, un equipo de investigación dirigido por Benjamin Lira de la Universidad de Pensilvania entrenó un modelo de lenguaje llamado Enfoque de Preentrenamiento BERT Robustamente Optimizado (RoBERTa) para revisar los ensayos de los solicitantes fuera de clase o en el trabajo y buscar las siete cualidades personales incorporadas en ellos. **
** Los hallazgos muestran que los modelos de IA entrenados en la puntuación humana pueden generar millones de puntuaciones de calidad individuales en minutos, replicar las puntuaciones humanas con precisión y ser interpretables y justas. **
El trabajo de investigación, titulado "Uso de la inteligencia artificial para evaluar las cualidades personales en las admisiones universitarias", ha sido publicado en la subrevista ScienceScience Advances.
Sin embargo, el equipo de investigación también enfatiza: "Ningún algoritmo puede determinar los objetivos del proceso de admisión a la universidad, o qué cualidades personales son las más importantes, y las universidades deben aclarar sus objetivos de admisión antes de automatizar el proceso de investigación". "
La IA identifica con éxito las cualidades personales
En muchas universidades, la revisión exhaustiva se ha convertido en un método ampliamente adoptado de evaluación de admisión, que considera que el mérito personal es una consideración crítica. Se cree que el enfoque promueve la equidad porque permite a los solicitantes demostrar habilidades no cognitivas y carácter que no se reflejan en las pruebas estandarizadas.
Sin embargo, la evidencia histórica muestra que los sistemas de revisión integral también pueden ser injustos, especialmente cuando los criterios de evaluación no son claros y carecen de explicación o divulgación. ** La revisión exhaustiva actual carece de transparencia, ya que los funcionarios de admisiones se basan principalmente en declaraciones individuales para evaluar la calidad de los solicitantes, pero estos detalles siguen sin estar claros para los solicitantes y el público.
Las formas de mejorar el examen exhaustivo incluyen una metodología de evaluación más transparente y sistemática, el uso de criterios de puntuación estructurados y múltiples evaluaciones independientes. Estas recomendaciones incorporan la aplicación de principios psicométricos que pueden mejorar la fiabilidad, validez e interpretabilidad de las evaluaciones, reduciendo así el posible sesgo.
Sin embargo, los problemas persisten en la realidad, principalmente el creciente número de solicitudes, las limitaciones de tiempo y recursos a las que se enfrentan los funcionarios de admisiones universitarias. Si los recursos son ilimitados, las evaluaciones pueden optimizarse mejor para lograr una mayor equidad.
En este estudio, el equipo utilizó tecnología de IA para desarrollar una forma de evaluar mejor las cualidades individuales. En primer lugar, seleccionaron una muestra anónima de solicitudes universitarias 309594, cada una de las cuales incluía un ensayo de 150 palabras que describía la actividad extracurricular o el trabajo elegido por el solicitante.
A continuación, los investigadores y los oficiales de admisiones seleccionaron 3131 de estos artículos para entrenar un modelo de lenguaje, RoBERTa. Buscan solicitantes en sus ensayos por 7 cualidades que poseen: capacidad de aprendizaje, perseverancia, búsqueda de metas, trabajo en equipo, motivación intrínseca, liderazgo y metas altruistas, y estas cualidades pueden ayudar a determinar qué solicitantes tienen más probabilidades de tener éxito en la universidad. **
Finalmente, los investigadores utilizaron estos modelos ajustados para revisar 306463 artículos adicionales y calificar cada uno de ellos.
** Los resultados encontraron que los investigadores y los oficiales de admisiones encontraron evidencia en siete cualidades personales en cada artículo. **Algunas cualidades personales son más comunes que otras. Por ejemplo, identificaron "liderazgo" en el 42% y el 44% de los artículos, respectivamente; En contraste, solo identificaron "perseverancia" en el 19% y el 21% de los artículos.
La IA ayuda a juzgar, no reemplaza
Sin embargo, este estudio también tuvo ciertas limitaciones. **
En primer lugar, el estudio no incluyó las declaraciones personales requeridas por la Solicitud Común, lo que limitó la amplitud del estudio. Los estudios futuros deberían considerar la inclusión de este elemento, especialmente teniendo en cuenta que las declaraciones personales de los solicitantes recientes se presentaron como archivos adjuntos en PDF.
En segundo lugar, el GPA de la escuela secundaria en el conjunto de datos se basa solo en un pequeño subconjunto de solicitantes, lo que puede afectar la representatividad del estudio. La investigación futura debe centrarse más en cómo obtener datos más utilizables.
En tercer lugar, el efecto predictivo de la calidad personal en la graduación universitaria fue moderadamente alto, pero solo en relación con los puntajes de las pruebas estandarizadas. La predicción de los resultados de la vida a largo plazo es compleja y requiere la consideración de una variedad de factores. Las investigaciones futuras pueden explorar otros factores que no se tienen en cuenta, como los pagos de la matrícula, la preparación académica y el apoyo.
En cuarto lugar, el estudio se centró solo en la graduación universitaria como resultado y no consideró otros aspectos del éxito, como el GPA, las actividades extracurriculares y las contribuciones a la comunidad. Esto requiere un consenso más amplio para optimizar los objetivos y la implementación de las decisiones de admisión a la universidad. La investigación futura podría considerar más aspectos del éxito y su impacto en las cualidades personales.
** Por lo tanto, este estudio aporta una perspectiva crítica sobre el estado actual de la revisión exhaustiva y la admisión selectiva. La investigación y la práctica futuras deben centrarse en aclarar los objetivos de una revisión exhaustiva antes de automatizar el proceso. **
Además, el estudio encontró que la Ley de Campbell sugiere que cuanto mayor sea el peso que se le da a la evaluación en las decisiones de alto riesgo (a diferencia de la investigación de bajo riesgo), más probable es que desencadene una motivación distorsionada. Por ejemplo, los solicitantes pueden intentar dar forma a sus propios trabajos, tal vez utilizando herramientas de IA como ChatGPT para atender a los oficiales de admisiones y a los algoritmos entrenados.
Vale la pena señalar que los algoritmos también cometen errores, especialmente cuando se trata de encontrar patrones. Por ejemplo, el modelo RoBERTa afinado del estudio le dio a la frase "Doné heroína al refugio de niños" una puntuación de meta social muy alta.
Por lo tanto, el estudio recomienda el uso de la IA para ayudar en lugar de reemplazar el juicio humano. Ningún algoritmo puede determinar los objetivos del proceso de admisión a la universidad, o qué cualidades personales son las más importantes. Ver los algoritmos como un complemento en lugar de un sustituto del juicio humano también puede abordar el problema de la evasión algorítmica, donde las personas están más inclinadas a confiar en los tomadores de decisiones humanos que en los algoritmos cuando hay evidencia contradictoria.
Enlace de papel:
Ver originales
Esta página puede contener contenido de terceros, que se proporciona únicamente con fines informativos (sin garantías ni declaraciones) y no debe considerarse como un respaldo por parte de Gate a las opiniones expresadas ni como asesoramiento financiero o profesional. Consulte el Descargo de responsabilidad para obtener más detalles.
¿Tu universidad, IA para decidir? Subrevista de ciencias: Calcula tus 7 cualidades personales en unos minutos, pero úsalas con moderación
En la actualidad, muchas universidades se adhieren al concepto de revisión exhaustiva.
En una encuesta reciente realizada por la Asociación Americana de Consejería de Admisiones Universitarias (NACAC), el 70% de los oficiales de admisiones dijeron que consideran que las cualidades personales son un factor importante a la hora de seleccionar a los solicitantes.
Sin embargo, las revisiones del mundo real no garantizan la equidad, y los esfuerzos de admisión están limitados por los recursos relevantes.
Para abordar estos desafíos, un equipo de investigación dirigido por Benjamin Lira de la Universidad de Pensilvania entrenó un modelo de lenguaje llamado Enfoque de Preentrenamiento BERT Robustamente Optimizado (RoBERTa) para revisar los ensayos de los solicitantes fuera de clase o en el trabajo y buscar las siete cualidades personales incorporadas en ellos. **
** Los hallazgos muestran que los modelos de IA entrenados en la puntuación humana pueden generar millones de puntuaciones de calidad individuales en minutos, replicar las puntuaciones humanas con precisión y ser interpretables y justas. **
El trabajo de investigación, titulado "Uso de la inteligencia artificial para evaluar las cualidades personales en las admisiones universitarias", ha sido publicado en la subrevista Science Science Advances.
La IA identifica con éxito las cualidades personales
En muchas universidades, la revisión exhaustiva se ha convertido en un método ampliamente adoptado de evaluación de admisión, que considera que el mérito personal es una consideración crítica. Se cree que el enfoque promueve la equidad porque permite a los solicitantes demostrar habilidades no cognitivas y carácter que no se reflejan en las pruebas estandarizadas.
Sin embargo, la evidencia histórica muestra que los sistemas de revisión integral también pueden ser injustos, especialmente cuando los criterios de evaluación no son claros y carecen de explicación o divulgación. ** La revisión exhaustiva actual carece de transparencia, ya que los funcionarios de admisiones se basan principalmente en declaraciones individuales para evaluar la calidad de los solicitantes, pero estos detalles siguen sin estar claros para los solicitantes y el público.
Las formas de mejorar el examen exhaustivo incluyen una metodología de evaluación más transparente y sistemática, el uso de criterios de puntuación estructurados y múltiples evaluaciones independientes. Estas recomendaciones incorporan la aplicación de principios psicométricos que pueden mejorar la fiabilidad, validez e interpretabilidad de las evaluaciones, reduciendo así el posible sesgo.
Sin embargo, los problemas persisten en la realidad, principalmente el creciente número de solicitudes, las limitaciones de tiempo y recursos a las que se enfrentan los funcionarios de admisiones universitarias. Si los recursos son ilimitados, las evaluaciones pueden optimizarse mejor para lograr una mayor equidad.
En este estudio, el equipo utilizó tecnología de IA para desarrollar una forma de evaluar mejor las cualidades individuales. En primer lugar, seleccionaron una muestra anónima de solicitudes universitarias 309594, cada una de las cuales incluía un ensayo de 150 palabras que describía la actividad extracurricular o el trabajo elegido por el solicitante.
** Los resultados encontraron que los investigadores y los oficiales de admisiones encontraron evidencia en siete cualidades personales en cada artículo. **Algunas cualidades personales son más comunes que otras. Por ejemplo, identificaron "liderazgo" en el 42% y el 44% de los artículos, respectivamente; En contraste, solo identificaron "perseverancia" en el 19% y el 21% de los artículos.
La IA ayuda a juzgar, no reemplaza
Sin embargo, este estudio también tuvo ciertas limitaciones. **
En primer lugar, el estudio no incluyó las declaraciones personales requeridas por la Solicitud Común, lo que limitó la amplitud del estudio. Los estudios futuros deberían considerar la inclusión de este elemento, especialmente teniendo en cuenta que las declaraciones personales de los solicitantes recientes se presentaron como archivos adjuntos en PDF.
En segundo lugar, el GPA de la escuela secundaria en el conjunto de datos se basa solo en un pequeño subconjunto de solicitantes, lo que puede afectar la representatividad del estudio. La investigación futura debe centrarse más en cómo obtener datos más utilizables.
En tercer lugar, el efecto predictivo de la calidad personal en la graduación universitaria fue moderadamente alto, pero solo en relación con los puntajes de las pruebas estandarizadas. La predicción de los resultados de la vida a largo plazo es compleja y requiere la consideración de una variedad de factores. Las investigaciones futuras pueden explorar otros factores que no se tienen en cuenta, como los pagos de la matrícula, la preparación académica y el apoyo.
En cuarto lugar, el estudio se centró solo en la graduación universitaria como resultado y no consideró otros aspectos del éxito, como el GPA, las actividades extracurriculares y las contribuciones a la comunidad. Esto requiere un consenso más amplio para optimizar los objetivos y la implementación de las decisiones de admisión a la universidad. La investigación futura podría considerar más aspectos del éxito y su impacto en las cualidades personales.
Además, el estudio encontró que la Ley de Campbell sugiere que cuanto mayor sea el peso que se le da a la evaluación en las decisiones de alto riesgo (a diferencia de la investigación de bajo riesgo), más probable es que desencadene una motivación distorsionada. Por ejemplo, los solicitantes pueden intentar dar forma a sus propios trabajos, tal vez utilizando herramientas de IA como ChatGPT para atender a los oficiales de admisiones y a los algoritmos entrenados.
Vale la pena señalar que los algoritmos también cometen errores, especialmente cuando se trata de encontrar patrones. Por ejemplo, el modelo RoBERTa afinado del estudio le dio a la frase "Doné heroína al refugio de niños" una puntuación de meta social muy alta.
Por lo tanto, el estudio recomienda el uso de la IA para ayudar en lugar de reemplazar el juicio humano. Ningún algoritmo puede determinar los objetivos del proceso de admisión a la universidad, o qué cualidades personales son las más importantes. Ver los algoritmos como un complemento en lugar de un sustituto del juicio humano también puede abordar el problema de la evasión algorítmica, donde las personas están más inclinadas a confiar en los tomadores de decisiones humanos que en los algoritmos cuando hay evidencia contradictoria.
Enlace de papel: