Saat ini, banyak universitas menganut konsep tinjauan komprehensif komprehensif.
Dalam survei terbaru oleh American Association for College Admissions Counseling (NACAC), 70% petugas penerimaan mengatakan mereka menganggap kualitas pribadi sebagai faktor penting ketika memilih pelamar.
Namun, ulasan dunia nyata tidak menjamin keadilan, dan upaya penerimaan dibatasi oleh sumber daya yang relevan.
Untuk mengatasi tantangan ini, tim peneliti yang dipimpin oleh Benjamin Lira di University of Pennsylvania melatih model bahasa yang disebut Robustly Optimized BERT Pretraining Approach (RoBERTa) untuk meninjau esai pelamar di luar kelas atau di tempat kerja dan mencari tujuh kualitas pribadi yang terkandung di dalamnya. **
** Temuan menunjukkan bahwa model AI yang dilatih pada penilaian manusia dapat menghasilkan jutaan skor kualitas individu dalam hitungan menit, mereplikasi skor manusia secara akurat, dan dapat ditafsirkan dan adil. **
Makalah penelitian, berjudul "Menggunakan kecerdasan buatan untuk menilai kualitas pribadi dalam penerimaan perguruan tinggi *", telah diterbitkan dalam * Sains * sub-jurnal * Science Advances *.
Namun, tim peneliti juga menekankan: "Tidak ada algoritma yang dapat menentukan tujuan dari proses penerimaan perguruan tinggi, atau kualitas pribadi mana yang paling penting, dan universitas perlu mengklarifikasi tujuan penerimaan mereka sebelum mengotomatiskan proses pemeriksaan." "
AI Berhasil Mengidentifikasi Kualitas Pribadi
Di banyak universitas, tinjauan komprehensif telah menjadi metode penilaian penerimaan yang diadopsi secara luas, yang menganggap prestasi pribadi sebagai pertimbangan penting. Diperkirakan bahwa pendekatan ini mempromosikan keadilan karena memungkinkan pelamar untuk menunjukkan keterampilan dan karakter non-kognitif yang tidak tercermin dalam tes standar.
Namun, bukti historis menunjukkan bahwa sistem tinjauan komprehensif juga bisa tidak adil, terutama jika kriteria evaluasi tidak jelas dan kurangnya penjelasan atau pengungkapan. ** Tinjauan komprehensif saat ini kurang transparan, dengan petugas penerimaan terutama mengandalkan pernyataan individu untuk menilai kualitas pelamar, tetapi rincian ini tetap tidak jelas bagi pelamar dan publik.
Cara untuk meningkatkan tinjauan komprehensif termasuk metodologi penilaian yang lebih transparan dan sistematis, penggunaan kriteria penilaian terstruktur dan beberapa penilaian independen. Rekomendasi ini mewujudkan penerapan prinsip-prinsip psikometri yang dapat meningkatkan reliabilitas, validitas, dan interpretabilitas penilaian, sehingga mengurangi potensi bias.
Namun, masalah tetap dalam kenyataan, terutama termasuk meningkatnya jumlah aplikasi, kendala waktu dan sumber daya yang dihadapi oleh petugas penerimaan perguruan tinggi. Jika sumber daya tidak terbatas, penilaian dapat dioptimalkan dengan lebih baik untuk keadilan yang lebih besar.
Dalam studi ini, tim menggunakan teknologi AI untuk mengembangkan cara menilai kualitas individu dengan lebih baik. Pertama, mereka memilih sampel yang tidak teridentifikasi dari 309594 aplikasi perguruan tinggi, yang masing-masing termasuk esai 150 kata yang menggambarkan kegiatan ekstrakurikuler atau pekerjaan yang dipilih pelamar.
Selanjutnya, para peneliti dan petugas penerimaan memilih 3131 makalah ini untuk melatih model bahasa, RoBERTa. Mereka mencari pelamar dalam esai mereka untuk 7 kualitas yang mereka miliki: kemampuan belajar, ketekunan, pengejaran tujuan, kerja tim, motivasi intrinsik, kepemimpinan, dan tujuan altruistik, dan kualitas ini dapat membantu menentukan pelamar mana yang paling mungkin berhasil di perguruan tinggi. **
Akhirnya, para peneliti menggunakan model yang disetel dengan baik ini untuk meninjau 306463 artikel tambahan dan menilai masing-masing.
** Hasilnya menemukan bahwa peneliti dan petugas penerimaan menemukan bukti dalam tujuh kualitas pribadi di setiap artikel. ** Beberapa kualitas pribadi lebih umum daripada yang lain. Misalnya, mereka mengidentifikasi "kepemimpinan" masing-masing dalam 42% dan 44% artikel; Sebaliknya, mereka hanya mengidentifikasi "ketekunan" dalam 19% dan 21% artikel.
AI membantu penilaian, bukan menggantikan
Namun, penelitian ini juga memiliki keterbatasan tertentu. **
Pertama, penelitian ini tidak termasuk pernyataan pribadi yang diperlukan oleh Aplikasi Umum, yang membatasi luasnya penelitian. Studi masa depan harus mempertimbangkan untuk memasukkan elemen ini, terutama mengingat bahwa pernyataan pribadi pelamar baru-baru ini diserahkan sebagai lampiran PDF.
Kedua, IPK sekolah menengah dalam dataset hanya didasarkan pada sebagian kecil pelamar, yang dapat mempengaruhi keterwakilan penelitian. Penelitian di masa depan perlu lebih fokus pada bagaimana mendapatkan lebih banyak data yang dapat digunakan.
Ketiga, efek prediktif kualitas pribadi pada kelulusan perguruan tinggi cukup tinggi, tetapi hanya relatif terhadap nilai tes standar. Memprediksi hasil kehidupan jangka panjang adalah kompleks dan membutuhkan pertimbangan berbagai faktor. Penelitian di masa depan dapat mengeksplorasi faktor-faktor lain yang tidak dipertimbangkan, seperti pembayaran uang sekolah, persiapan akademik dan dukungan.
Keempat, penelitian ini hanya berfokus pada kelulusan perguruan tinggi sebagai hasilnya dan tidak mempertimbangkan aspek keberhasilan lainnya, seperti IPK, kegiatan ekstrakurikuler, dan kontribusi masyarakat. Ini membutuhkan konsensus yang lebih luas untuk mengoptimalkan tujuan dan implementasi keputusan penerimaan universitas. Penelitian di masa depan dapat mempertimbangkan lebih banyak aspek kesuksesan dan dampaknya terhadap kualitas pribadi.
** Oleh karena itu, penelitian ini membawa perspektif kritis tentang keadaan tinjauan komprehensif dan penerimaan selektif saat ini. Penelitian dan praktik di masa depan harus fokus pada klarifikasi tujuan tinjauan komprehensif sebelum mengotomatiskan proses. **
Selain itu, penelitian ini menemukan bahwa Hukum Campbell menunjukkan bahwa semakin besar bobot yang ditempatkan pada evaluasi dalam keputusan berisiko tinggi (dibandingkan dengan penelitian berisiko rendah), semakin besar kemungkinannya untuk memicu motivasi yang terdistorsi. Misalnya, pelamar mungkin mencoba membentuk kertas mereka sendiri, mungkin menggunakan alat AI seperti ChatGPT untuk melayani petugas penerimaan dan algoritma terlatih.
Perlu dicatat bahwa algoritma juga membuat kesalahan, terutama dalam hal menemukan pola. Misalnya, model RoBERTa yang disesuaikan dengan baik memberi kalimat "Saya menyumbangkan heroin ke tempat penampungan anak-anak" skor tujuan sosial yang sangat tinggi.
Oleh karena itu, penelitian ini merekomendasikan penggunaan AI untuk membantu daripada menggantikan penilaian manusia. Tidak ada algoritma yang dapat menentukan tujuan dari proses penerimaan perguruan tinggi, atau kualitas pribadi mana yang paling penting. Melihat algoritma sebagai pelengkap daripada pengganti penilaian manusia juga dapat mengatasi masalah penghindaran algoritmik, di mana orang lebih cenderung mempercayai pembuat keputusan manusia daripada algoritma ketika ada bukti yang bertentangan.
Tautan Kertas:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Universitas Anda, AI untuk memutuskan? Sub-jurnal sains: Hitung 7 kualitas pribadi Anda dalam beberapa menit, tetapi gunakan dengan hemat
Saat ini, banyak universitas menganut konsep tinjauan komprehensif komprehensif.
Dalam survei terbaru oleh American Association for College Admissions Counseling (NACAC), 70% petugas penerimaan mengatakan mereka menganggap kualitas pribadi sebagai faktor penting ketika memilih pelamar.
Namun, ulasan dunia nyata tidak menjamin keadilan, dan upaya penerimaan dibatasi oleh sumber daya yang relevan.
Untuk mengatasi tantangan ini, tim peneliti yang dipimpin oleh Benjamin Lira di University of Pennsylvania melatih model bahasa yang disebut Robustly Optimized BERT Pretraining Approach (RoBERTa) untuk meninjau esai pelamar di luar kelas atau di tempat kerja dan mencari tujuh kualitas pribadi yang terkandung di dalamnya. **
** Temuan menunjukkan bahwa model AI yang dilatih pada penilaian manusia dapat menghasilkan jutaan skor kualitas individu dalam hitungan menit, mereplikasi skor manusia secara akurat, dan dapat ditafsirkan dan adil. **
Makalah penelitian, berjudul "Menggunakan kecerdasan buatan untuk menilai kualitas pribadi dalam penerimaan perguruan tinggi *", telah diterbitkan dalam * Sains * sub-jurnal * Science Advances *.
AI Berhasil Mengidentifikasi Kualitas Pribadi
Di banyak universitas, tinjauan komprehensif telah menjadi metode penilaian penerimaan yang diadopsi secara luas, yang menganggap prestasi pribadi sebagai pertimbangan penting. Diperkirakan bahwa pendekatan ini mempromosikan keadilan karena memungkinkan pelamar untuk menunjukkan keterampilan dan karakter non-kognitif yang tidak tercermin dalam tes standar.
Namun, bukti historis menunjukkan bahwa sistem tinjauan komprehensif juga bisa tidak adil, terutama jika kriteria evaluasi tidak jelas dan kurangnya penjelasan atau pengungkapan. ** Tinjauan komprehensif saat ini kurang transparan, dengan petugas penerimaan terutama mengandalkan pernyataan individu untuk menilai kualitas pelamar, tetapi rincian ini tetap tidak jelas bagi pelamar dan publik.
Cara untuk meningkatkan tinjauan komprehensif termasuk metodologi penilaian yang lebih transparan dan sistematis, penggunaan kriteria penilaian terstruktur dan beberapa penilaian independen. Rekomendasi ini mewujudkan penerapan prinsip-prinsip psikometri yang dapat meningkatkan reliabilitas, validitas, dan interpretabilitas penilaian, sehingga mengurangi potensi bias.
Namun, masalah tetap dalam kenyataan, terutama termasuk meningkatnya jumlah aplikasi, kendala waktu dan sumber daya yang dihadapi oleh petugas penerimaan perguruan tinggi. Jika sumber daya tidak terbatas, penilaian dapat dioptimalkan dengan lebih baik untuk keadilan yang lebih besar.
Dalam studi ini, tim menggunakan teknologi AI untuk mengembangkan cara menilai kualitas individu dengan lebih baik. Pertama, mereka memilih sampel yang tidak teridentifikasi dari 309594 aplikasi perguruan tinggi, yang masing-masing termasuk esai 150 kata yang menggambarkan kegiatan ekstrakurikuler atau pekerjaan yang dipilih pelamar.
** Hasilnya menemukan bahwa peneliti dan petugas penerimaan menemukan bukti dalam tujuh kualitas pribadi di setiap artikel. ** Beberapa kualitas pribadi lebih umum daripada yang lain. Misalnya, mereka mengidentifikasi "kepemimpinan" masing-masing dalam 42% dan 44% artikel; Sebaliknya, mereka hanya mengidentifikasi "ketekunan" dalam 19% dan 21% artikel.
AI membantu penilaian, bukan menggantikan
Namun, penelitian ini juga memiliki keterbatasan tertentu. **
Pertama, penelitian ini tidak termasuk pernyataan pribadi yang diperlukan oleh Aplikasi Umum, yang membatasi luasnya penelitian. Studi masa depan harus mempertimbangkan untuk memasukkan elemen ini, terutama mengingat bahwa pernyataan pribadi pelamar baru-baru ini diserahkan sebagai lampiran PDF.
Kedua, IPK sekolah menengah dalam dataset hanya didasarkan pada sebagian kecil pelamar, yang dapat mempengaruhi keterwakilan penelitian. Penelitian di masa depan perlu lebih fokus pada bagaimana mendapatkan lebih banyak data yang dapat digunakan.
Ketiga, efek prediktif kualitas pribadi pada kelulusan perguruan tinggi cukup tinggi, tetapi hanya relatif terhadap nilai tes standar. Memprediksi hasil kehidupan jangka panjang adalah kompleks dan membutuhkan pertimbangan berbagai faktor. Penelitian di masa depan dapat mengeksplorasi faktor-faktor lain yang tidak dipertimbangkan, seperti pembayaran uang sekolah, persiapan akademik dan dukungan.
Keempat, penelitian ini hanya berfokus pada kelulusan perguruan tinggi sebagai hasilnya dan tidak mempertimbangkan aspek keberhasilan lainnya, seperti IPK, kegiatan ekstrakurikuler, dan kontribusi masyarakat. Ini membutuhkan konsensus yang lebih luas untuk mengoptimalkan tujuan dan implementasi keputusan penerimaan universitas. Penelitian di masa depan dapat mempertimbangkan lebih banyak aspek kesuksesan dan dampaknya terhadap kualitas pribadi.
Selain itu, penelitian ini menemukan bahwa Hukum Campbell menunjukkan bahwa semakin besar bobot yang ditempatkan pada evaluasi dalam keputusan berisiko tinggi (dibandingkan dengan penelitian berisiko rendah), semakin besar kemungkinannya untuk memicu motivasi yang terdistorsi. Misalnya, pelamar mungkin mencoba membentuk kertas mereka sendiri, mungkin menggunakan alat AI seperti ChatGPT untuk melayani petugas penerimaan dan algoritma terlatih.
Perlu dicatat bahwa algoritma juga membuat kesalahan, terutama dalam hal menemukan pola. Misalnya, model RoBERTa yang disesuaikan dengan baik memberi kalimat "Saya menyumbangkan heroin ke tempat penampungan anak-anak" skor tujuan sosial yang sangat tinggi.
Oleh karena itu, penelitian ini merekomendasikan penggunaan AI untuk membantu daripada menggantikan penilaian manusia. Tidak ada algoritma yang dapat menentukan tujuan dari proses penerimaan perguruan tinggi, atau kualitas pribadi mana yang paling penting. Melihat algoritma sebagai pelengkap daripada pengganti penilaian manusia juga dapat mengatasi masalah penghindaran algoritmik, di mana orang lebih cenderung mempercayai pembuat keputusan manusia daripada algoritma ketika ada bukti yang bertentangan.
Tautan Kertas: