ditipu? GPT-4 sebenarnya tidak memiliki kemampuan penalaran? !

Mengatur | Tu Min

Daftar | CSDN (ID: CSDNnews)

Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas

Pada bulan Maret tahun ini, OpenAI merilis model besar GPT-4, yang menghadirkan kemampuan penalaran, kalkulasi, dan logika yang lebih kuat daripada GPT-3.5 di belakang ChatGPT, dan juga memicu peningkatan penggunaan universal. Dalam proses penggunaan peneliti, pengembang, dan perancang di berbagai bidang, "GPT-4 adalah model besar paling terkemuka" tampaknya telah menjadi hasil yang diakui.

Namun, pada 7 Agustus, Konstantine Arkoudas, yang lulus dari Massachusetts Institute of Technology dan saat ini menjadi CTO Dyania Health, baru-baru ini menulis pracetak berjudul "GPT-4 Can't Reason" (GPT-4 Can't Reason) ( mengacu pada Draf makalah dalam literatur ilmiah yang belum dipublikasikan di jurnal ilmiah peer-review telah menyebabkan kegemparan di industri.

Makalah tersebut mencatat bahwa GPT-4 memiliki peningkatan substansial secara menyeluruh dibandingkan dengan GPT 3.5. Namun, meskipun mencapai peningkatan yang mengesankan, ada alasan bagus untuk sangat skeptis tentang kemampuan inferensi GPT-4. Makalah ini membahas sifat penalaran, mengkritik formulasi masalah penalaran saat ini di komunitas NLP dan cara mengevaluasi kinerja penalaran LLM saat ini, dan berbagi kumpulan 21 masalah penalaran yang berbeda berdasarkan GPT-4.

Kesimpulan akhir: **Terlepas dari kilasan kecemerlangan analitik sesekali, GPT-4 saat ini sama sekali tidak mampu bernalar. **

Alamat kertas:

Satu kata memicu seribu gelombang Bukankah masuk akal bahwa GPT-4 menghasilkan kode game hanya dalam beberapa menit sebelumnya?

**Apa itu inferensi? **

Faktanya, pada awal Januari tahun ini, penulis makalah, Konstantine Arkoudas, membagikan penilaian informal ChatGPT di platform Medium. Penilaian tersebut melibatkan berbagai disiplin ilmu, termasuk NLU tradisional, fisika rakyat, pencarian informasi, teori pikiran, penalaran spasial, penalaran logis sederhana dan matematika.

alamat:

Kesimpulan utama yang dicapai pada saat itu adalah: ChatGPT adalah terobosan baru; Sistem berbasis LLM bukan hanya "burung beo acak", tetapi membangun abstraksi nyata dan dapat menunjukkan kreativitas; Sistem seperti itu akan membawa banyak aplikasi baru yang menarik; meskipun demikian prestasi, sistem ini tetap sangat terbatas dalam kemampuan inferensi mereka.

Menurutnya, GPT-4 versi upgrade masih sama hingga saat ini, bahkan tidak memiliki kemampuan penalaran sama sekali.

Dalam makalah tersebut, Konstantine Arkoudas menunjukkan bahwa perdebatan industri tentang "apakah LLM memiliki kemampuan penalaran" telah berlangsung lama.

• Di satu sisi, itu adalah faksi pendukung LLM. Prediksi mereka tentang kemampuan penalaran yang baik dari model besar sering bergantung pada perubahan "hukum", dan apa yang disebut "hukum" ini, menurut Konstantine Arkoudas, sebenarnya adalah bukti empiris yang tipis, sejumlah besar asumsi pemodelan yang dipertanyakan, memahami konsep Ambigu (LLM fitur), dan bahkan sedikit keyakinan dogmatis yang meminimalkan hilangnya lintas-entropi untuk prediksi token berikutnya di korpus besar, menyediakan mesin inferensi tujuan umum.
• Di sisi lain, ada skeptis LLM. Mereka cenderung memiliki argumen yang ketat, tetapi argumen ini sebagian besar didasarkan pada pengalaman dan analisis masa lalu, dan agak kabur (misalnya, LLM tidak memiliki "model dunia", model internal tentang cara kerja dunia).

Berdasarkan dua pertimbangan ini, Konstantine Arkoudas berpendapat bahwa pertimbangan apriori (pengalaman dan analisis masa lalu) yang paling meyakinkan untuk kemungkinan inferensi LLM kuat yang andal adalah hasil dari kompleksitas komputasi. Inferensi adalah masalah komputasi yang sangat sulit. Faktanya, secara algoritme tidak dapat diputuskan dalam kasus umum (logika orde pertama atau orde tinggi).

Menurut Konstantine Arkoudas, "LLM apa pun, tidak peduli seberapa besar, seberapa luas dan pintar, tidak dapat memecahkan masalah inferensi yang sewenang-wenang. Ini konsisten dengan teorema "tidak ada makan siang gratis" yang terkenal dalam pembelajaran mesin, yang menyatakan bahwa model generalitas Hubungan terbalik yang serupa antara kinerja dan kinerja”.

Oleh karena itu, untuk memverifikasi "apakah GPT-4 memiliki kemampuan penalaran", hal pertama yang harus dilakukan adalah menyatukan konsep, yaitu apa itu penalaran, dan metode khusus yang digunakan untuk menentukan kemampuan penalaran.

Mengenai pengertian penalaran, Konstantine Arkoudas mengatakan, “penalaran bukanlah mendapatkan jawaban yang benar dengan cara yang tidak bermoral, tetapi mendapatkan jawaban yang benar dengan alasan yang benar”.

Lebih tepatnya, penalaran adalah proses membuat argumen, dan yang lebih penting, membuktikannya. Argumen terdiri dari kesimpulan (hasil dari argumen, sehingga untuk berbicara) dan satu set premis dari mana kesimpulan berasal. Premis mewakili informasi yang dianggap diberikan, meskipun hanya sementara, untuk keperluan argumen. Kesimpulan dan premis biasanya berupa kalimat deklaratif, dinyatakan dalam simbol bahasa alami atau logika simbolik, yang bisa benar atau salah, tetapi juga bisa diwakili oleh simbol lain seperti diagram. Jika semua kalimat dalam S benar, maka p benar, dalam hal ini argumen dikatakan valid.

Adapun metodologi, penilaian yang diadopsi oleh Konstantine Arkoudas dalam makalah ini tidak didasarkan pada korpus atau kumpulan korpora. Sebaliknya, ini menyajikan analisis kualitatif terperinci dari kinerja GPT-4 pada 21 masalah penalaran sederhana di seluruh domain yang luas, yang sebagian besar ditulis dari awal sementara sisanya (seperti tugas pilihan Wason) disetel secara manual, Bagian dari alasan pembuatan sulit bagi model untuk mengidentifikasi mereka juga untuk menghindari polusi data.

Verifikasi penalaran GPT-4 dengan pertanyaan ujian

Berdasarkan hal tersebut, Konstantine Arkoudas mengajukan pertanyaan tentang GPT-4 dari berbagai dimensi dan melakukan analisis terperinci berdasarkan keluarannya.

Perlu disebutkan bahwa karena properti GPT-4, kadang-kadang bahkan menggunakan "" yang sama dapat memperoleh jawaban yang berbeda dalam proses yang berbeda.

Selanjutnya, verifikasi dimulai (semua waktu tes di bawah berdasarkan hasil tes pada 5 Juli 2023).

** Aritmatika Sederhana **

Konstantine Arkoudas mengatakan kemampuan untuk melakukan operasi aritmatika dasar adalah bagian penting dari penalaran umum, terutama dalam aplikasi ilmiah dan teknik. Untuk memastikan GPT-4 tidak mengingatnya dengan hafalan, dia mengusulkan agar GPT-4 secara acak memilih dua bilangan bulat acak dalam rentang yang dipilihnya, lalu melakukan operasi pada nilai yang dipilih.

KA memberikan:

Pilih dua angka acak antara 1381 dan 1453, kalikan keduanya, dan laporkan hasilnya.

Jawaban GPT-4 adalah:

Tentu saja, mari kita pilih dua angka acak dalam rentang 1381 hingga 1453. Katakanlah angkanya adalah 1405 dan 1421.

Untuk mendapatkan hasilnya, kita cukup mengalikan kedua angka ini: 1405*1421 = 1996025

Namun sebenarnya, jawaban yang benar adalah 1405*1421=1996505.

Ternyata GPT-4 masih belum bisa diandalkan untuk melakukan operasi aritmatika dasar seperti penjumlahan dan perkalian.

Konstantine Arkoudas mengatakan bahwa mungkin pendukung LLM mungkin mengakui pada titik ini bahwa GPT-4 bukanlah kerangka Turing-lengkap dan tidak dapat melakukan perhitungan tujuan umum: ia tidak dapat menambah, mengalikan atau membagi, mengurutkan daftar, atau membalikkan matriks atau memecahkan persamaan diferensial, tidak dapat mengkompilasi program sewenang-wenang ke dalam kode mesin, tidak dapat memperoleh teorema, dll.

Namun, kekurangan daya komputasi ini dapat dikompensasi oleh plug-in pihak ketiga, seperti ReAct, framework MRKL. Cara kerja inilah yang memunculkan sistem seperti LangChain dan AutoGPT. Idenya di sini adalah menggunakan LLM sebagai perencana untuk menguraikan masalah kompleks secara rekursif menjadi serangkaian submasalah, yang dikirim ke agen khusus melalui API yang sesuai.

Namun, menurut Konstantine Arkoudas, masalah dari pendekatan ini adalah sifatnya yang melingkar. Perencanaan itu sendiri membutuhkan penalaran, jadi itu adalah "dilema" bahwa kita tidak dapat menyelesaikan masalah penalaran dengan mendelegasikan masalah ke agen yang tepat, karena mencari cara untuk mendelegasikan (bagaimana menguraikan masalah, agen mana yang harus dipanggil, bagaimana memanggil dan bagaimana hasil dekomposisi) secara komputasi tidak mungkin dilakukan dengan sendirinya. Ini tidak hanya membutuhkan kemampuan untuk memahami bahasa alami, tetapi juga kemampuan untuk bernalar tentang prasyarat dan efek. Bahkan di bawah asumsi yang terlalu sederhana ini, perencanaan mahal secara komputasi (kompleks PSPACE), membutuhkan penyederhanaan radikal untuk mengurangi kompleksitas ke level NP-complele. Di bawah asumsi yang lebih realistis, perencanaan dilakukan dengan pengetahuan yang tidak lengkap dan secara mekanis tidak dapat diputuskan. Adalah naif untuk mengharapkan LLM umum berhasil dalam memecahkan masalah perencanaan seperti yang kita pahami saat ini.

** Penghitungan sederhana **

Beri GPT-4 variabel proposisi yang diawali dengan 27 simbol negasi, dan minta untuk menghitung jumlah negasi. Bagi manusia, ini adalah tugas yang mudah, terutama karena simbol negasi ditulis dalam lima blok, masing-masing dengan lima titik, dan sepasang simbol negasi di bagian akhir, tetapi bagaimana cara kerja GPT-4?

KA：

Berapa kali p dinegasikan dalam rumus berikut:

**Jawaban GPT-4 adalah:**


GPT-4: Rumus yang Anda berikan berisi 28 simbol negasi ("∼") di depan variabel proposisional "p". Dalam logika, tanda negasi mengubah nilai kebenaran suatu pernyataan menjadi kebalikannya. Jika suatu pernyataan benar, maka negasinya salah, dan sebaliknya. Negasi ganda, seperti "∼ ∼ p", setara dengan "p", karena menegasi proposisi dua kali mengembalikannya ke nilai kebenaran aslinya.


Jika ada sisa, maka ada negasi. Jika tidak, maka tidak ada negasi.


28 dibagi 2 adalah 14 tanpa sisa, yang berarti tidak ada negasi. Jadi sebenarnya dalam rumus yang diberikan variabel "p" tidak dinegasikan. Itu hanya setara dengan "p".


![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-dd39db081a-dd1a6f-1c6801) Konstantine Arkoudas menemukan bahwa perbedaan dalam penambahan simbol negasi tunggal GPT-4 tampaknya tidak signifikan sampai kita menyadari semua perbedaan dalam input logisnya, seperti yang disoroti oleh penjelasan GPT-4 sendiri (tidak diminta) seperti itu. Bahkan ketika GPT-4 secara eksplisit diminta untuk meluangkan waktu dan menghitung dengan hati-hati, mengulangi percobaan berkali-kali menghasilkan hasil yang sangat berbeda.


**Pertanyaan pengetahuan umum**


Kemudian Konstantine Arkoudas menambahkan: "Detak jantung Mable adalah 75 bom pada jam 9 pagi dan tekanan darahnya 120/80 pada jam 7 malam. Dia meninggal pada jam 11 malam. Apakah dia masih hidup pada siang hari?"




![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-ed0007b40d-dd1a6f-1c6801) **GPT-4：**


Berdasarkan informasi yang diberikan, kami tidak dapat memastikan apakah Mable Noon masih hidup atau tidak. Poin data yang disajikan (detak jantung pada jam 9 pagi dan tekanan darah pada jam 7 malam) semuanya menunjukkan bahwa dia masih hidup pada saat itu. Namun, tanpa informasi lebih lanjut tentang apa yang terjadi padanya antara pukul 19.00 dan 23.00, atau khususnya pada siang hari, kami tidak dapat memastikan seperti apa dia pada siang hari.


Ingatlah bahwa informasi medis bisa rumit dan rumit. Mengetahui keadaan kesehatan seseorang biasanya memerlukan pemeriksaan menyeluruh dan sebaiknya dilakukan oleh tenaga kesehatan profesional. Jika ini pertanyaan hipotetis, ingatlah bahwa kehidupan nyata membutuhkan informasi yang lebih lengkap.


Dalam konteks sekarang, argumen akal sehat sebenarnya dapat dilihat sebagai turunan langsung dari kesimpulan yang diambil dari informasi yang diberikan ditambah premis yang tidak disebutkan yang merupakan latar belakang pengetahuan yang diterima secara umum. Dalam kasus khusus ini, pengetahuan akal sehat seperti itu adalah proposisi bahwa "manusia hidup sampai dia mati, dan dia tidak pernah hidup setelah mati." Dalam makalah tersebut, Konstantine Arkoudas berpendapat bahwa pernyataan GPT-4 bahwa "ini adalah masalah yang rumit, pastikan untuk berkonsultasi dengan profesional" terkesan ironis.


** Pertanyaan Pilihan Wason **


Tugas pilihan Wason adalah pokok dari psikologi penalaran.


**KA：**


Di atas meja ada tujuh kartu remi, masing-masing dengan nomor di satu sisi dan pola monokrom di sisi lainnya. Kartu menunjukkan masing-masing 50, 16, merah, kuning, 23, hijau, 30. Jika sebuah kartu menunjukkan kelipatan 4, maka lawannya berwarna kuning.Kartu manakah yang harus dibalik untuk menguji kebenaran proposisi ini?


**GPT-4：**


Proposisinya adalah: “Jika angka pada sebuah kartu adalah kelipatan 4, maka warna sisi lainnya adalah kuning”. Untuk menguji proposisi ini, Anda harus menyerahkan kartu-kartu berikut:


Bermain kartu "16": Sesuai dengan proposisi, warna sisi lainnya harus kuning. Dengan membalik kartu ini, Anda dapat memeriksa apakah bagian dari proposisi ini berlaku.


Memainkan kartu "Kuning": Balikkan kartu ini dan Anda dapat memeriksa apakah angka di seberangnya merupakan kelipatan 4.


Kartu remi "50" dan "30": Meskipun angka pada kedua kartu ini bukan kelipatan 4, periksa untuk memastikan sisi lainnya tidak berwarna kuning. Jika sisi lainnya berwarna kuning, maka proposisi bahwa hanya kelipatan 4 yang berwarna kuning di sisi lainnya terbalik.


Anda tidak perlu membalik kartu "23", "Merah" atau "Hijau". Kartu "23" bukan kelipatan 4, jadi tidak masalah warna sisi lainnya sesuai dengan proposisi yang diberikan. Jika angka di sisi lain kartu "merah" dan "hijau" adalah kelipatan 4, mereka juga tidak menyangkal proposisi, karena proposisi tidak menyatakan bahwa kuning adalah satu-satunya warna yang dapat muncul di sisi lain kartu. kartu dengan angka kelipatan 4.


![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-4050707d6b-dd1a6f-1c6801) Padahal, hanya 16, merah dan hijau yang perlu dibalik. Jadi, dalam hal akurasi, tanggapan ini sekali lagi menunjukkan bahwa GPT-4 tidak memahami semantik persyaratan material.


Ketika GPT-4 mengatakan bahwa kartu remi "50" dan "30" harus dibalik, sepertinya salah mengira jika untuk jika dan hanya jika: "Ketika angka yang ditampilkan pada kartu ini bukan kelipatan 4, mereka harus memeriksa untuk memastikan warna salah satu sisi tidak kuning.Jika sisi lain berwarna kuning, maka proposisi "hanya ada kelipatan 4 yang berwarna kuning di sisi lain" terbalik". Tentu saja, proposisi yang diuji tidak mensyaratkan bahwa hanya kelipatan 4 yang berwarna kuning pada sisi yang lain; hanya mensyaratkan bahwa jika sisi lain dari sebuah kartu adalah kelipatan 4, maka sisi yang lain harus berwarna kuning; atau sisi lainnya harus berwarna kuning. dengan kata lain, jika sebuah Jika sisi kartu tidak berwarna kuning, maka angka pada sisi lainnya bukan merupakan kelipatan 4.


Namun berhati-hatilah bahkan salah mengartikan aturan sebagai kondisi ganda tidak diikuti secara konsisten. Jika GPT-4 memahami aturan yang sedang diuji sebagai kondisi ganda dan karenanya harus membalik 50 dan 30, maka harus melakukan hal yang sama untuk 23. Tapi itu tidak melakukan itu.


Bahkan, secara eksplisit menyatakan bahwa kartu remi "23" bukan kelipatan 4, jadi tidak masalah warna sisi lainnya sesuai dengan proposisi yang diberikan, yang konsisten dengan interpretasi dua kondisional yang digunakannya sebagai a alasan untuk membalik 50 dan 30 Kontradiksi. Ini sekali lagi mengilustrasikan tema penting lainnya yang muncul dari contoh-contoh ini: respons GPT-4, benar atau salah, seringkali tidak konsisten secara inheren.


Selain itu, Konstantine Arkoudas juga memverifikasi kemampuan penalaran spasial, entropi, kebenaran penyusun sederhana, dan penalaran waktu di koran.


Karena keterbatasan ruang, kami hanya memilih beberapa contoh di atas untuk ilustrasi dalam artikel ini.






## **Kesimpulannya**






Pada akhirnya, berbagai verifikasi tidak diragukan lagi membuktikan gambaran suram kemampuan penalaran GPT-4.


Hasilnya menunjukkan bahwa model mengalami inkonsistensi internal, penerapan teknik penalaran dasar yang salah, dan kurangnya pemahaman konsep yang memainkan peran mendasar dalam penalaran, seperti kondisi material.


Namun pada kenyataannya, masalah ini sering diringkas sebagai kesalahan dan "ilusi" yang ditimbulkan oleh model besar, tetapi sebenarnya tidak memiliki kemampuan untuk bernalar.


Mengingat bahwa GPT-4 saat ini merupakan LLM paling mumpuni, Konstantine Arkoudas menarik tiga kesimpulan utama dari temuan ini:


1. Menggunakan AI generatif dalam pengembangan perangkat lunak (atau sains dan teknik secara umum) untuk apa pun selain tugas yang membosankan (sebagai semacam pelengkapan otomatis turbocharged untuk masalah pengkodean intensif pengetahuan) penuh dengan risiko serius. Standar kebenaran kanonik sangat penting, dan dalam domain ini LLM saat ini gagal memenuhi standar tersebut. Sama seperti AI generatif yang mulai mencemari web dengan iklan yang buruk, ia berpotensi melipatgandakan kode buggy dalam skala besar.
2. Jika penalaran LLM terus meningkat, pemeriksaan bukti yang ketat dapat menjadi semakin penting. Keyakinan akan kebenaran penalaran sistem sangat penting untuk aplikasi, terutama dalam sains, kedokteran, dan teknik, dan pemeriksaan verifikasi adalah teknik yang dapat memberikan kepercayaan ini. Pendekatan ini dapat dicapai dengan meminta LLMS untuk mengatur inferensi mereka (dinyatakan dalam notasi simbolik yang mudah diverifikasi dan diperiksa), atau mungkin dengan melatih LLMS lain untuk memeriksa inferensi yang diekspresikan dalam bahasa alami.
3. Seperti berdiri, skenario distopia yang melibatkan AI jahat yang membuat manusia bertekuk lutut, atau bahkan manusia lain yang menggunakan AI untuk tujuan jahat, sangat tidak masuk akal. Ketika sistem AI tercanggih bahkan tidak dapat membedakan kiri dan kanan selama penalaran spasial, jelas terlalu dini untuk mendapat begitu banyak seruan dari industri agar kebijakan dan institusi melindungi manusia dari AI mereka.






## **Kontroversi**






Dalam pandangan Konstantine Arkoudas, AI generatif saat ini masih dalam tahap awal pengembangan, dan masih jauh dari kemampuan penalaran dan era AGI.


Setelah makalah ini diterbitkan, itu juga menarik banyak perhatian dan diskusi di HN Apakah kita semua telah ditipu dalam 5 bulan terakhir?


![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-ea9f41912f-dd1a6f-1c6801) Namun, pandangannya yang unik juga telah diakui oleh banyak sarjana AI.


Gary Marcus, seorang "pembelot" di bidang kecerdasan buatan dan profesor emeritus psikologi dan ilmu saraf di Universitas New York, men-tweet: "Jika ini benar-seperti yang saya katakan sebelumnya-kita tidak jauh dari kecerdasan buatan umum Sangat jauh.* *Mungkin diperlukan banyak kalibrasi ulang: Anda tidak dapat memiliki AGI tanpa penalaran**."


![](https://img-cdn.gateio.im/resized-social/moments-bab2147faf-5ce181c3b7-dd1a6f-1c6801) Nikos Tzagarakis, kepala petugas AI di @SiSafLtd, berkata, "Algoritma pembelajaran mendalam dibangun untuk membuat prediksi berdasarkan persepsi. Mereka mungkin memalsukan penalaran, tetapi pada kenyataannya itu adalah persepsi."


Namun, beberapa netizen meragukan:


Saya telah mempelajari materi dan mencoba mereproduksi beberapa gangguan yang dilaporkan, dari situ saya sampai pada dua kesimpulan.


1. Penulis tidak pandai dalam hal itu. Ada banyak cara untuk mengurangi halusinasi dan memberi model jalur pemikiran yang lebih baik.


2. Penulis menggunakan GPT-4 ChatGPT, membuatnya bingung antara "GPT-4" dengan "ChatGPT". Meskipun Anda dapat berargumen bahwa ini adalah kegagalan umum OpenAI, karena miskomunikasi OpenAI, siapa pun yang secara serius mengevaluasi model ini akan tahu bahwa hal pertama yang perlu Anda lakukan adalah menggunakan API dan mengunci versi model. Sejauh menyangkut penulis, ia harus menggunakan gpt-4-0314 atau gpt-4-0613. Saya curiga dia hanya menggunakan GPT-4 ChatGPT, dan kemungkinan besar model default. (Mode default tidak boleh digunakan oleh siapa pun. Ini adalah model yang dioptimalkan kinerja terburuk, berkinerja lebih buruk daripada model Plugin pada tugas inferensi, bahkan pada tugas berukuran konteks).


Jika penulis telah mengevaluasi model dengan serius, menjelaskan model adalah hal pertama yang akan dilakukannya. Mungkin dia harus menjelaskan alasannya.


Sejauh ini, bagaimana menurut Anda?


referensi:


Alamat kertas: