Apakah AI bermanfaat? Ini adalah pertanyaan paling umum yang diajukan orang-orang selama gelombang AI generatif dalam enam bulan terakhir.
Pada tanggal 18 September, sebuah penelitian yang dilakukan bersama oleh para peneliti dari Universitas Harvard, MIT, dan Boston Consulting Group (BCG) memberikan jawabannya: jawabannya adalah ya, AI dapat meningkatkan efisiensi dan kualitas pekerja secara signifikan!
Mari kita bahas kesimpulannya dulu, Hasil pengujian BCG menunjukkan bahwa dalam 18 tugas berbeda, kinerja konsultan yang menggunakan ChatGPT jauh lebih baik dibandingkan konsultan yang tidak menggunakan ChatGPT.
**Rata-rata, dibandingkan dengan konsultan yang tidak menggunakan kecerdasan buatan, konsultan yang menggunakan kecerdasan buatan rata-rata menyelesaikan tugas 12,2% lebih banyak, menyelesaikan tugas 25,1% lebih cepat, dan mencapai hasil berkualitas 40% lebih tinggi. **
01 Konsultan "Lompatan Efisiensi"
Proses percobaannya adalah sebagai berikut:
Pertama, biarkan tim konsultan manusia BCG menetapkan berbagai tugas seputar produsen sepatu fiksi.
Penugasan mencakup tugas kreatif (munculkan setidaknya 10 ide sepatu baru untuk pasar atau olahraga yang kurang terlayani), tugas analitis (segmentasi pasar sepatu berdasarkan audiens), tugas menulis dan pemasaran (draf salinan pemasaran untuk suatu produk), dan tugas persuasif (tulis memo yang mengingatkan karyawan mengapa produk perusahaan lebih baik dari pesaing).
Perlu disebutkan bahwa meskipun perusahaan ini fiktif, skenario tugasnya adalah skenario kerja nyata dari konsultan BCG. Tim peneliti juga secara khusus memeriksa para eksekutif sebuah merek sepatu untuk memastikan bahwa tugas-tugas ini adalah tugas nyata yang akan dihadapi perusahaan dalam operasional sehari-hari.
Setelah menetapkan tugas, peneliti menemukan ratusan konsultan BBG, memilih beberapa konsultan secara acak, dan meminta mereka menggunakan GPT-4 untuk bekerja.
Hasilnya, konsultan yang menggunakan AI secara umum memiliki kinerja yang jauh lebih baik. Mereka membutuhkan waktu lebih sedikit untuk menyelesaikan tugas dan menyelesaikan lebih banyak tugas dalam waktu yang terbatas. Para peneliti juga meminta manusia dan AI untuk menilai hasil kerja para konsultan tersebut. Hasilnya menunjukkan bahwa keduanya percaya bahwa konsultan yang menggunakan AI bekerja lebih baik. lebih baik. **
Para peneliti juga melihat fenomena menarik: **Konsultan dengan tingkat keahlian terendah juga mengalami peningkatan kinerja terbesar dengan menggunakan AI, hingga 43%. Sebaliknya, konsultan terbaik mendapat promosi yang sangat kecil. **
Para peneliti menunjukkan bahwa hal ini mungkin mempunyai konsekuensi yang luas di tempat kerja:
Sama seperti di masa lalu, penting apakah kemampuan seorang penambang dalam menggali batu itu baik atau buruk...tetapi setelah sekop uap ditemukan, perbedaan dalam kemampuan menggali tidak lagi menjadi masalah.
Dampak AI belum mencapai tingkat ini, namun tidak diragukan lagi akan mendorong pemerataan kemampuan kerja.
02 Kerugian dari ketergantungan berlebihan pada AI
Tapi ada lebih banyak cerita.
Tim peneliti dan BCG juga merancang misi lain. Tugas ini adalah pertanyaan kasus bisnis yang sangat sulit yang dipilih dengan cermat dari pertanyaan wawancara BCG, dan telah dimodifikasi secara tepat untuk memungkinkan AI memberikan “jawaban salah yang meyakinkan.” **
Para peneliti mengatakan tujuan mereka adalah merancang tugas yang dapat dilakukan manusia dengan baik, namun AI tidak dapat menjawab dengan benar tanpa bimbingan yang cermat. **
Tugas ini sangat kompleks, dan makalah ini tidak memberikan rincian spesifik, hanya langkah-langkahnya saja yang dicantumkan:
Untuk perusahaan fiktif, peserta harus mencari data berdasarkan rincian materi wawancara yang diberikan oleh peneliti, kemudian menggabungkan isi wawancara dan data untuk menganalisis kinerja saluran perusahaan, dan selanjutnya memberikan informasi dan saran kepada CEO perusahaan untuk menentukan saluran mana yang memiliki potensi pertumbuhan maksimal.
Langkah selanjutnya adalah menggabungkan konten wawancara dan data keuangan untuk menganalisis kinerja merek perusahaan dan menemukan merek dengan potensi pertumbuhan terbesar.
Untuk tugas ini, para peneliti terutama melihat keakuratan tanggapan.
Akibatnya, kesenjangan kinerja antara konsultan yang menggunakan AI dan yang tidak menggunakan AI sangat besar, tingkat akurasi yang pertama hanya 60%, sedangkan tingkat akurasi karyawan yang menyelesaikan tugas secara manual mencapai 84,5%.
Para peneliti menulis:
Di luar batasan kemampuan AI, manusia dengan sumber daya manusia yang tinggi secara konsisten mengungguli AI dalam menyelesaikan pekerjaannya.
Para peneliti percaya bahwa ada “batas bergerigi” dalam kemampuan AI generatif untuk menyelesaikan tugas. **
Ia berkinerja sangat baik pada tugas-tugas yang berada di dalam batasan, namun berkinerja buruk pada tugas-tugas di luar batasan. Selain itu, karena cara kerja AI generatif, batasan ini tidak terlihat dan hanya dapat dirasakan oleh mereka yang sangat familiar dengan AI.
Misalnya, menulis soneta dan puisi yang terdiri dari 50 kata mungkin tampak seperti tugas yang mudah bagi AI, tetapi karena ChatGPT bekerja menggunakan token daripada kata-kata, AI sangat pandai menulis puisi 14 baris. Tapi "menulis a puisi 50 kata" adalah tugas yang berada di luar batas dan tidak dapat dilakukan oleh AI - puisi yang ditulis oleh **ChatGPT selalu lebih atau kurang dari 50 kata. **
Inilah yang disebut batas bergerigi. Cakupan kemampuan ChatGPT bukanlah garis yang mulus. Tugas dengan tingkat kesulitan serupa berdasarkan logika manusia adalah masalah lain bagi AI.
Jika Anda menggunakan Penerjemah Kode ChatGPT untuk menggambar peta, batas bergerigi akan terlihat seperti ini.
Lebih lanjut, para peneliti juga menekankan bahwa hasil eksperimen menunjukkan bahwa ketergantungan yang berlebihan pada AI akan menjadi kontraproduktif.
Mengutip penelitian lain mengenai HR perusahaan, penulis menunjukkan bahwa dibandingkan dengan perekrut yang menggunakan AI berkualitas rendah atau tidak menggunakan AI, HR yang menggunakan AI berkualitas tinggi akan menjadi malas, ceroboh, dan kurang percaya diri dalam penilaiannya sendiri. keluar pada beberapa bakat berkualitas dan membuat keputusan yang lebih buruk. Situasi ini juga muncul dalam eksperimen BCG.
Jadi, ketika AI menjadi sangat baik, manusia akan menjadi semakin malas dan membiarkan AI mengambil alih alih-alih menggunakannya sebagai alat. Fabrizio Dell'Acqua, seorang profesor di Harvard Business School, menyebut fenomena ini "tertidur saat mengemudi", dengan alasan bahwa hal ini merugikan pembelajaran manusia, pengembangan keterampilan, dan produktivitas.
03 「Masa depan ada di sini」
Para peneliti menyimpulkan bahwa apa pun perdebatan filosofis dan teknis yang ada mengenai sifat dan masa depan AI, AI sebenarnya sedang menumbangkan produksi dan gaya hidup manusia pada saat ini - jumlah ini bukanlah jumlah uang yang besar yang akan memakan waktu hingga beberapa tahun ke depan. "kue besar" yang memerlukan investasi sudah dapat dijangkau dan dapat digunakan oleh ponsel dan komputer semua orang.
**Alat yang digunakan oleh konsultan BCG ini, para ahli pengujian elit di dunia nyata, hanyalah ChatGPT "biasa", tanpa API khusus atau data eksklusif - tidak ada bedanya dengan kami. **
Perubahan teknologi berjalan dengan tenang. Dengan lahirnya LLM yang lebih kuat, batas-batas zigzag masih terus meluas. Kemanusiaan pasti akan menghadapi dunia yang lebih kompleks.
Di era perubahan ini, memahami dan mengendalikan AI serta mempelajari cara berkolaborasi dengan AI selalu bermakna.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Apakah AI bermanfaat? Raksasa konsultan BCG melakukan pengujian internal, dan efisiensi kerja "meningkat secara signifikan"!
Penulis: Chang Jiayi
Sumber: AI Keras
Apakah AI bermanfaat? Ini adalah pertanyaan paling umum yang diajukan orang-orang selama gelombang AI generatif dalam enam bulan terakhir.
Pada tanggal 18 September, sebuah penelitian yang dilakukan bersama oleh para peneliti dari Universitas Harvard, MIT, dan Boston Consulting Group (BCG) memberikan jawabannya: jawabannya adalah ya, AI dapat meningkatkan efisiensi dan kualitas pekerja secara signifikan!
Mari kita bahas kesimpulannya dulu, Hasil pengujian BCG menunjukkan bahwa dalam 18 tugas berbeda, kinerja konsultan yang menggunakan ChatGPT jauh lebih baik dibandingkan konsultan yang tidak menggunakan ChatGPT.
**Rata-rata, dibandingkan dengan konsultan yang tidak menggunakan kecerdasan buatan, konsultan yang menggunakan kecerdasan buatan rata-rata menyelesaikan tugas 12,2% lebih banyak, menyelesaikan tugas 25,1% lebih cepat, dan mencapai hasil berkualitas 40% lebih tinggi. **
01 Konsultan "Lompatan Efisiensi"
Pertama, biarkan tim konsultan manusia BCG menetapkan berbagai tugas seputar produsen sepatu fiksi.
Penugasan mencakup tugas kreatif (munculkan setidaknya 10 ide sepatu baru untuk pasar atau olahraga yang kurang terlayani), tugas analitis (segmentasi pasar sepatu berdasarkan audiens), tugas menulis dan pemasaran (draf salinan pemasaran untuk suatu produk), dan tugas persuasif (tulis memo yang mengingatkan karyawan mengapa produk perusahaan lebih baik dari pesaing).
Perlu disebutkan bahwa meskipun perusahaan ini fiktif, skenario tugasnya adalah skenario kerja nyata dari konsultan BCG. Tim peneliti juga secara khusus memeriksa para eksekutif sebuah merek sepatu untuk memastikan bahwa tugas-tugas ini adalah tugas nyata yang akan dihadapi perusahaan dalam operasional sehari-hari.
Setelah menetapkan tugas, peneliti menemukan ratusan konsultan BBG, memilih beberapa konsultan secara acak, dan meminta mereka menggunakan GPT-4 untuk bekerja.
Hasilnya, konsultan yang menggunakan AI secara umum memiliki kinerja yang jauh lebih baik. Mereka membutuhkan waktu lebih sedikit untuk menyelesaikan tugas dan menyelesaikan lebih banyak tugas dalam waktu yang terbatas. Para peneliti juga meminta manusia dan AI untuk menilai hasil kerja para konsultan tersebut. Hasilnya menunjukkan bahwa keduanya percaya bahwa konsultan yang menggunakan AI bekerja lebih baik. lebih baik. **
Para peneliti juga melihat fenomena menarik: **Konsultan dengan tingkat keahlian terendah juga mengalami peningkatan kinerja terbesar dengan menggunakan AI, hingga 43%. Sebaliknya, konsultan terbaik mendapat promosi yang sangat kecil. **
Sama seperti di masa lalu, penting apakah kemampuan seorang penambang dalam menggali batu itu baik atau buruk...tetapi setelah sekop uap ditemukan, perbedaan dalam kemampuan menggali tidak lagi menjadi masalah.
Dampak AI belum mencapai tingkat ini, namun tidak diragukan lagi akan mendorong pemerataan kemampuan kerja.
02 Kerugian dari ketergantungan berlebihan pada AI
Tapi ada lebih banyak cerita.
Tim peneliti dan BCG juga merancang misi lain. Tugas ini adalah pertanyaan kasus bisnis yang sangat sulit yang dipilih dengan cermat dari pertanyaan wawancara BCG, dan telah dimodifikasi secara tepat untuk memungkinkan AI memberikan “jawaban salah yang meyakinkan.” **
Para peneliti mengatakan tujuan mereka adalah merancang tugas yang dapat dilakukan manusia dengan baik, namun AI tidak dapat menjawab dengan benar tanpa bimbingan yang cermat. **
Untuk perusahaan fiktif, peserta harus mencari data berdasarkan rincian materi wawancara yang diberikan oleh peneliti, kemudian menggabungkan isi wawancara dan data untuk menganalisis kinerja saluran perusahaan, dan selanjutnya memberikan informasi dan saran kepada CEO perusahaan untuk menentukan saluran mana yang memiliki potensi pertumbuhan maksimal.
Langkah selanjutnya adalah menggabungkan konten wawancara dan data keuangan untuk menganalisis kinerja merek perusahaan dan menemukan merek dengan potensi pertumbuhan terbesar.
Akibatnya, kesenjangan kinerja antara konsultan yang menggunakan AI dan yang tidak menggunakan AI sangat besar, tingkat akurasi yang pertama hanya 60%, sedangkan tingkat akurasi karyawan yang menyelesaikan tugas secara manual mencapai 84,5%.
Para peneliti menulis:
Di luar batasan kemampuan AI, manusia dengan sumber daya manusia yang tinggi secara konsisten mengungguli AI dalam menyelesaikan pekerjaannya.
Para peneliti percaya bahwa ada “batas bergerigi” dalam kemampuan AI generatif untuk menyelesaikan tugas. **
Ia berkinerja sangat baik pada tugas-tugas yang berada di dalam batasan, namun berkinerja buruk pada tugas-tugas di luar batasan. Selain itu, karena cara kerja AI generatif, batasan ini tidak terlihat dan hanya dapat dirasakan oleh mereka yang sangat familiar dengan AI.
Misalnya, menulis soneta dan puisi yang terdiri dari 50 kata mungkin tampak seperti tugas yang mudah bagi AI, tetapi karena ChatGPT bekerja menggunakan token daripada kata-kata, AI sangat pandai menulis puisi 14 baris. Tapi "menulis a puisi 50 kata" adalah tugas yang berada di luar batas dan tidak dapat dilakukan oleh AI - puisi yang ditulis oleh **ChatGPT selalu lebih atau kurang dari 50 kata. **
Inilah yang disebut batas bergerigi. Cakupan kemampuan ChatGPT bukanlah garis yang mulus. Tugas dengan tingkat kesulitan serupa berdasarkan logika manusia adalah masalah lain bagi AI.
Jika Anda menggunakan Penerjemah Kode ChatGPT untuk menggambar peta, batas bergerigi akan terlihat seperti ini.
Mengutip penelitian lain mengenai HR perusahaan, penulis menunjukkan bahwa dibandingkan dengan perekrut yang menggunakan AI berkualitas rendah atau tidak menggunakan AI, HR yang menggunakan AI berkualitas tinggi akan menjadi malas, ceroboh, dan kurang percaya diri dalam penilaiannya sendiri. keluar pada beberapa bakat berkualitas dan membuat keputusan yang lebih buruk. Situasi ini juga muncul dalam eksperimen BCG.
Jadi, ketika AI menjadi sangat baik, manusia akan menjadi semakin malas dan membiarkan AI mengambil alih alih-alih menggunakannya sebagai alat. Fabrizio Dell'Acqua, seorang profesor di Harvard Business School, menyebut fenomena ini "tertidur saat mengemudi", dengan alasan bahwa hal ini merugikan pembelajaran manusia, pengembangan keterampilan, dan produktivitas.
03 「Masa depan ada di sini」
Para peneliti menyimpulkan bahwa apa pun perdebatan filosofis dan teknis yang ada mengenai sifat dan masa depan AI, AI sebenarnya sedang menumbangkan produksi dan gaya hidup manusia pada saat ini - jumlah ini bukanlah jumlah uang yang besar yang akan memakan waktu hingga beberapa tahun ke depan. "kue besar" yang memerlukan investasi sudah dapat dijangkau dan dapat digunakan oleh ponsel dan komputer semua orang.
**Alat yang digunakan oleh konsultan BCG ini, para ahli pengujian elit di dunia nyata, hanyalah ChatGPT "biasa", tanpa API khusus atau data eksklusif - tidak ada bedanya dengan kami. **
Perubahan teknologi berjalan dengan tenang. Dengan lahirnya LLM yang lebih kuat, batas-batas zigzag masih terus meluas. Kemanusiaan pasti akan menghadapi dunia yang lebih kompleks.
Di era perubahan ini, memahami dan mengendalikan AI serta mempelajari cara berkolaborasi dengan AI selalu bermakna.