Trường đại học của bạn, AI để quyết định? Tạp chí phụ khoa học: Tính toán 7 phẩm chất cá nhân của bạn trong vài phút, nhưng sử dụng chúng một cách tiết kiệm
Hiện nay, nhiều trường đại học tuân thủ khái niệm đánh giá toàn diện toàn diện.
Trong một cuộc khảo sát gần đây của Hiệp hội Tư vấn Tuyển sinh Đại học Hoa Kỳ (NACAC), 70% cán bộ tuyển sinh cho biết họ coi phẩm chất cá nhân là một yếu tố quan trọng khi lựa chọn ứng viên.
Tuy nhiên, đánh giá trong thế giới thực không đảm bảo sự công bằng và nỗ lực tuyển sinh bị hạn chế bởi các nguồn lực liên quan.
Để giải quyết những thách thức này, một nhóm nghiên cứu do Benjamin Lira tại Đại học Pennsylvania dẫn đầu đã đào tạo một mô hình ngôn ngữ được gọi là Phương pháp đào tạo trước BERT được tối ưu hóa mạnh mẽ (RoBERTa) để xem xét các bài luận của ứng viên bên ngoài lớp học hoặc tại nơi làm việc và tìm kiếm bảy phẩm chất cá nhân thể hiện trong đó. **
** Các phát hiện cho thấy các mô hình AI được đào tạo về chấm điểm của con người có thể tạo ra hàng triệu điểm chất lượng cá nhân trong vài phút, sao chép điểm số của con người một cách chính xác và có thể diễn giải và công bằng. **
Bài báo nghiên cứu, có tựa đề "Sử dụng trí tuệ nhân tạo để đánh giá phẩm chất cá nhân trong tuyển sinh đại học *", đã được xuất bản trên tạp chí phụ * Khoa học * Khoa học tiến bộ *.
Tuy nhiên, nhóm nghiên cứu cũng nhấn mạnh: "Không có thuật toán nào có thể xác định mục tiêu của quá trình tuyển sinh đại học, hoặc phẩm chất cá nhân nào là quan trọng nhất, và các trường đại học cần làm rõ mục tiêu tuyển sinh của họ trước khi tự động hóa quy trình kiểm tra." "
**AI xác định thành công phẩm chất cá nhân **
Ở nhiều trường đại học, đánh giá toàn diện đã trở thành một phương pháp đánh giá tuyển sinh được áp dụng rộng rãi, coi thành tích cá nhân là một cân nhắc quan trọng. Người ta cho rằng cách tiếp cận này thúc đẩy sự công bằng vì nó cho phép ứng viên thể hiện các kỹ năng và tính cách phi nhận thức không được phản ánh trong các bài kiểm tra tiêu chuẩn.
Tuy nhiên, bằng chứng lịch sử cho thấy các hệ thống đánh giá toàn diện cũng có thể không công bằng, đặc biệt là khi các tiêu chí đánh giá không rõ ràng và thiếu giải thích hoặc tiết lộ. ** Việc xem xét toàn diện hiện tại thiếu minh bạch, với các nhân viên tuyển sinh chủ yếu dựa vào các tuyên bố cá nhân để đánh giá chất lượng của ứng viên, nhưng những chi tiết này vẫn chưa rõ ràng đối với ứng viên và công chúng.
Các cách để cải thiện đánh giá toàn diện bao gồm phương pháp đánh giá minh bạch và có hệ thống hơn, sử dụng các tiêu chí chấm điểm có cấu trúc và nhiều đánh giá độc lập. Những khuyến nghị này thể hiện việc áp dụng các nguyên tắc đo lường tâm lý có thể cải thiện độ tin cậy, tính hợp lệ và khả năng diễn giải của các đánh giá, do đó làm giảm sự thiên vị tiềm ẩn.
Tuy nhiên, các vấn đề vẫn còn trong thực tế, chủ yếu bao gồm số lượng đơn đăng ký ngày càng tăng, những hạn chế về thời gian và nguồn lực mà các cán bộ tuyển sinh đại học phải đối mặt. Nếu nguồn lực không giới hạn, các đánh giá có thể được tối ưu hóa tốt hơn để công bằng hơn.
Trong nghiên cứu này, nhóm nghiên cứu đã sử dụng công nghệ AI để phát triển một cách để đánh giá tốt hơn phẩm chất cá nhân. Đầu tiên, họ đã chọn một mẫu không xác định được danh tính của 309594 đơn đăng ký đại học, mỗi mẫu bao gồm một bài luận 150 từ mô tả hoạt động ngoại khóa hoặc công việc đã chọn của ứng viên.
Tiếp theo, các nhà nghiên cứu và cán bộ tuyển sinh đã chọn 3131 bài báo trong số này để đào tạo một mô hình ngôn ngữ, RoBERTa. Họ tìm kiếm ứng viên trong bài luận của họ cho 7 phẩm chất họ sở hữu: khả năng học tập, sự kiên trì, theo đuổi mục tiêu, làm việc theo nhóm, động lực nội tại, khả năng lãnh đạo và mục tiêu vị tha, và những phẩm chất này có thể giúp xác định ứng viên nào có nhiều khả năng thành công nhất ở trường đại học. **
Cuối cùng, các nhà nghiên cứu đã sử dụng các mô hình tinh chỉnh này để xem xét 306463 bài báo bổ sung và chấm điểm từng bài báo.
** Kết quả cho thấy các nhà nghiên cứu và cán bộ tuyển sinh đã tìm thấy bằng chứng trong bảy phẩm chất cá nhân trong mỗi bài báo. **Một số phẩm chất cá nhân phổ biến hơn những phẩm chất khác. Ví dụ, họ xác định "lãnh đạo" trong 42% và 44% bài viết, tương ứng; Ngược lại, họ chỉ xác định được "sự kiên trì" trong 19% và 21% bài viết.
**AI hỗ trợ phán đoán, không thay thế **
Tuy nhiên, nghiên cứu này cũng có những hạn chế nhất định. **
Đầu tiên, nghiên cứu không bao gồm các tuyên bố cá nhân theo yêu cầu của Ứng dụng chung, điều này hạn chế phạm vi của nghiên cứu. Các nghiên cứu trong tương lai nên xem xét bao gồm yếu tố này, đặc biệt là xem xét rằng các tuyên bố cá nhân của ứng viên gần đây đã được gửi dưới dạng tệp đính kèm PDF.
Thứ hai, điểm trung bình trung học trong bộ dữ liệu chỉ dựa trên một tập hợp nhỏ các ứng viên, điều này có thể ảnh hưởng đến tính đại diện của nghiên cứu. Nghiên cứu trong tương lai cần tập trung nhiều hơn vào cách thu được nhiều dữ liệu có thể sử dụng hơn.
Thứ ba, hiệu quả dự đoán của chất lượng cá nhân đối với việc tốt nghiệp đại học là cao vừa phải, nhưng chỉ liên quan đến điểm kiểm tra tiêu chuẩn. Dự đoán kết quả cuộc sống lâu dài rất phức tạp và đòi hỏi phải xem xét nhiều yếu tố khác nhau. Nghiên cứu trong tương lai có thể khám phá các yếu tố khác không được xem xét, chẳng hạn như thanh toán học phí, chuẩn bị và hỗ trợ học tập.
Thứ tư, nghiên cứu chỉ tập trung vào kết quả tốt nghiệp đại học và không xem xét các khía cạnh khác của thành công, chẳng hạn như điểm trung bình, các hoạt động ngoại khóa và đóng góp cho cộng đồng. Điều này đòi hỏi sự đồng thuận rộng rãi hơn để tối ưu hóa mục tiêu và thực hiện các quyết định tuyển sinh đại học. Nghiên cứu trong tương lai có thể xem xét nhiều khía cạnh của thành công và tác động của nó đối với phẩm chất cá nhân.
** Do đó, nghiên cứu này mang lại một quan điểm quan trọng về tình trạng xem xét toàn diện và nhập học có chọn lọc hiện nay. Nghiên cứu và thực hành trong tương lai nên tập trung vào việc làm rõ các mục tiêu của việc xem xét toàn diện trước khi tự động hóa quy trình. **
Ngoài ra, nghiên cứu cho thấy Định luật Campbell cho thấy rằng trọng số đặt vào đánh giá trong các quyết định rủi ro cao (trái ngược với nghiên cứu rủi ro thấp) càng lớn, thì càng có nhiều khả năng kích hoạt động lực bị bóp méo. Ví dụ: ứng viên có thể cố gắng định hình bài báo của riêng họ, có thể sử dụng các công cụ AI như ChatGPT để phục vụ cho các nhân viên tuyển sinh và các thuật toán được đào tạo.
Điều đáng chú ý là các thuật toán cũng mắc lỗi, đặc biệt là khi tìm kiếm các mẫu. Ví dụ, mô hình RoBERTa được tinh chỉnh của nghiên cứu đã cho câu "Tôi tặng heroin cho trung tâm cứu trợ trẻ em" một điểm mục tiêu xã hội rất cao.
Do đó, nghiên cứu khuyến nghị sử dụng AI để hỗ trợ thay vì thay thế phán đoán của con người. Không có thuật toán nào có thể xác định mục tiêu của quá trình tuyển sinh đại học, hoặc phẩm chất cá nhân nào là quan trọng nhất. Xem các thuật toán như một sự bổ sung thay vì thay thế cho phán đoán của con người cũng có thể giải quyết vấn đề tránh thuật toán, nơi mọi người có xu hướng tin tưởng những người ra quyết định của con người hơn là các thuật toán khi có bằng chứng mâu thuẫn.
Liên kết giấy:
Xem bản gốc
Trang này có thể chứa nội dung của bên thứ ba, được cung cấp chỉ nhằm mục đích thông tin (không phải là tuyên bố/bảo đảm) và không được coi là sự chứng thực cho quan điểm của Gate hoặc là lời khuyên về tài chính hoặc chuyên môn. Xem Tuyên bố từ chối trách nhiệm để biết chi tiết.
Trường đại học của bạn, AI để quyết định? Tạp chí phụ khoa học: Tính toán 7 phẩm chất cá nhân của bạn trong vài phút, nhưng sử dụng chúng một cách tiết kiệm
Hiện nay, nhiều trường đại học tuân thủ khái niệm đánh giá toàn diện toàn diện.
Trong một cuộc khảo sát gần đây của Hiệp hội Tư vấn Tuyển sinh Đại học Hoa Kỳ (NACAC), 70% cán bộ tuyển sinh cho biết họ coi phẩm chất cá nhân là một yếu tố quan trọng khi lựa chọn ứng viên.
Tuy nhiên, đánh giá trong thế giới thực không đảm bảo sự công bằng và nỗ lực tuyển sinh bị hạn chế bởi các nguồn lực liên quan.
Để giải quyết những thách thức này, một nhóm nghiên cứu do Benjamin Lira tại Đại học Pennsylvania dẫn đầu đã đào tạo một mô hình ngôn ngữ được gọi là Phương pháp đào tạo trước BERT được tối ưu hóa mạnh mẽ (RoBERTa) để xem xét các bài luận của ứng viên bên ngoài lớp học hoặc tại nơi làm việc và tìm kiếm bảy phẩm chất cá nhân thể hiện trong đó. **
** Các phát hiện cho thấy các mô hình AI được đào tạo về chấm điểm của con người có thể tạo ra hàng triệu điểm chất lượng cá nhân trong vài phút, sao chép điểm số của con người một cách chính xác và có thể diễn giải và công bằng. **
Bài báo nghiên cứu, có tựa đề "Sử dụng trí tuệ nhân tạo để đánh giá phẩm chất cá nhân trong tuyển sinh đại học *", đã được xuất bản trên tạp chí phụ * Khoa học * Khoa học tiến bộ *.
**AI xác định thành công phẩm chất cá nhân **
Ở nhiều trường đại học, đánh giá toàn diện đã trở thành một phương pháp đánh giá tuyển sinh được áp dụng rộng rãi, coi thành tích cá nhân là một cân nhắc quan trọng. Người ta cho rằng cách tiếp cận này thúc đẩy sự công bằng vì nó cho phép ứng viên thể hiện các kỹ năng và tính cách phi nhận thức không được phản ánh trong các bài kiểm tra tiêu chuẩn.
Tuy nhiên, bằng chứng lịch sử cho thấy các hệ thống đánh giá toàn diện cũng có thể không công bằng, đặc biệt là khi các tiêu chí đánh giá không rõ ràng và thiếu giải thích hoặc tiết lộ. ** Việc xem xét toàn diện hiện tại thiếu minh bạch, với các nhân viên tuyển sinh chủ yếu dựa vào các tuyên bố cá nhân để đánh giá chất lượng của ứng viên, nhưng những chi tiết này vẫn chưa rõ ràng đối với ứng viên và công chúng.
Các cách để cải thiện đánh giá toàn diện bao gồm phương pháp đánh giá minh bạch và có hệ thống hơn, sử dụng các tiêu chí chấm điểm có cấu trúc và nhiều đánh giá độc lập. Những khuyến nghị này thể hiện việc áp dụng các nguyên tắc đo lường tâm lý có thể cải thiện độ tin cậy, tính hợp lệ và khả năng diễn giải của các đánh giá, do đó làm giảm sự thiên vị tiềm ẩn.
Tuy nhiên, các vấn đề vẫn còn trong thực tế, chủ yếu bao gồm số lượng đơn đăng ký ngày càng tăng, những hạn chế về thời gian và nguồn lực mà các cán bộ tuyển sinh đại học phải đối mặt. Nếu nguồn lực không giới hạn, các đánh giá có thể được tối ưu hóa tốt hơn để công bằng hơn.
Trong nghiên cứu này, nhóm nghiên cứu đã sử dụng công nghệ AI để phát triển một cách để đánh giá tốt hơn phẩm chất cá nhân. Đầu tiên, họ đã chọn một mẫu không xác định được danh tính của 309594 đơn đăng ký đại học, mỗi mẫu bao gồm một bài luận 150 từ mô tả hoạt động ngoại khóa hoặc công việc đã chọn của ứng viên.
** Kết quả cho thấy các nhà nghiên cứu và cán bộ tuyển sinh đã tìm thấy bằng chứng trong bảy phẩm chất cá nhân trong mỗi bài báo. **Một số phẩm chất cá nhân phổ biến hơn những phẩm chất khác. Ví dụ, họ xác định "lãnh đạo" trong 42% và 44% bài viết, tương ứng; Ngược lại, họ chỉ xác định được "sự kiên trì" trong 19% và 21% bài viết.
**AI hỗ trợ phán đoán, không thay thế **
Tuy nhiên, nghiên cứu này cũng có những hạn chế nhất định. **
Đầu tiên, nghiên cứu không bao gồm các tuyên bố cá nhân theo yêu cầu của Ứng dụng chung, điều này hạn chế phạm vi của nghiên cứu. Các nghiên cứu trong tương lai nên xem xét bao gồm yếu tố này, đặc biệt là xem xét rằng các tuyên bố cá nhân của ứng viên gần đây đã được gửi dưới dạng tệp đính kèm PDF.
Thứ hai, điểm trung bình trung học trong bộ dữ liệu chỉ dựa trên một tập hợp nhỏ các ứng viên, điều này có thể ảnh hưởng đến tính đại diện của nghiên cứu. Nghiên cứu trong tương lai cần tập trung nhiều hơn vào cách thu được nhiều dữ liệu có thể sử dụng hơn.
Thứ ba, hiệu quả dự đoán của chất lượng cá nhân đối với việc tốt nghiệp đại học là cao vừa phải, nhưng chỉ liên quan đến điểm kiểm tra tiêu chuẩn. Dự đoán kết quả cuộc sống lâu dài rất phức tạp và đòi hỏi phải xem xét nhiều yếu tố khác nhau. Nghiên cứu trong tương lai có thể khám phá các yếu tố khác không được xem xét, chẳng hạn như thanh toán học phí, chuẩn bị và hỗ trợ học tập.
Thứ tư, nghiên cứu chỉ tập trung vào kết quả tốt nghiệp đại học và không xem xét các khía cạnh khác của thành công, chẳng hạn như điểm trung bình, các hoạt động ngoại khóa và đóng góp cho cộng đồng. Điều này đòi hỏi sự đồng thuận rộng rãi hơn để tối ưu hóa mục tiêu và thực hiện các quyết định tuyển sinh đại học. Nghiên cứu trong tương lai có thể xem xét nhiều khía cạnh của thành công và tác động của nó đối với phẩm chất cá nhân.
Ngoài ra, nghiên cứu cho thấy Định luật Campbell cho thấy rằng trọng số đặt vào đánh giá trong các quyết định rủi ro cao (trái ngược với nghiên cứu rủi ro thấp) càng lớn, thì càng có nhiều khả năng kích hoạt động lực bị bóp méo. Ví dụ: ứng viên có thể cố gắng định hình bài báo của riêng họ, có thể sử dụng các công cụ AI như ChatGPT để phục vụ cho các nhân viên tuyển sinh và các thuật toán được đào tạo.
Điều đáng chú ý là các thuật toán cũng mắc lỗi, đặc biệt là khi tìm kiếm các mẫu. Ví dụ, mô hình RoBERTa được tinh chỉnh của nghiên cứu đã cho câu "Tôi tặng heroin cho trung tâm cứu trợ trẻ em" một điểm mục tiêu xã hội rất cao.
Do đó, nghiên cứu khuyến nghị sử dụng AI để hỗ trợ thay vì thay thế phán đoán của con người. Không có thuật toán nào có thể xác định mục tiêu của quá trình tuyển sinh đại học, hoặc phẩm chất cá nhân nào là quan trọng nhất. Xem các thuật toán như một sự bổ sung thay vì thay thế cho phán đoán của con người cũng có thể giải quyết vấn đề tránh thuật toán, nơi mọi người có xu hướng tin tưởng những người ra quyết định của con người hơn là các thuật toán khi có bằng chứng mâu thuẫn.
Liên kết giấy: