GPT-4 dinyatakan sebagai "bodoh"! Untuk mengurangi biaya, OpenAI diam-diam terlibat dalam "gerakan kecil"?

Mengatur | Zheng Liyuan

Daftar | CSDN (ID: CSDNnews)

"Apakah Anda merasa kualitas GPT-4 belakangan ini menurun?"

Pada pertengahan Mei tahun ini, pengguna GPT-4 memposting di forum pengembang online OpenAI, mengatakan bahwa GPT-4 tampaknya "menjadi bodoh":

"Saya telah menggunakan ChatGPT selama beberapa waktu, dan saya telah menjadi pengguna GPT Plus sejak rilis GPT-4. Biasanya saya menggunakan GPT-4 untuk membantu analisis dan pembuatan konten bentuk panjang. Di masa lalu, GPT-4 tampaknya bekerja dengan baik memahami permintaan saya. Tapi sekarang, sepertinya kehilangan jejak informasi, memberi saya banyak informasi yang salah, dan semakin sering salah mengartikan permintaan saya... Saat ini, GPT-4 lebih terasa seperti GPT -3.5.

Adakah orang lain yang memperhatikan hal ini, atau hanya saya yang menemukan masalah ini? "

Ternyata, pengguna GPT-4 tidak sendirian—sejumlah pengguna berkomentar di utas: "Saya merasakan hal yang sama!"

Versi baru GPT-4 yang bermasalah

Menurut umpan balik dari banyak pengguna, GPT-4 tidak hanya mengalami penurunan dalam analisis dan pembuatan konten bentuk panjang, tetapi juga dalam kualitas penulisan.

Peter Yang, kepala produk di Roblox, tweeted bahwa keluaran model GPT-4 lebih cepat, tetapi kualitasnya memburuk: "Hanya masalah sederhana, seperti membuat tulisan lebih jelas dan ringkas dan memberikan ide...menurut saya , kualitas tulisannya menurun.”

Kemampuan logika GPT-4 versi terbaru turun secara signifikan ketika membahas/mengevaluasi masalah invers yang kompleks, tingkat atau pola perubahan yang berbeda, dan variabilitas spatio-temporal.

"Sebelum pembaruan GPT-4, saya jarang mendapat respons kesalahan, tetapi sekarang saya harus memeriksa ulang semua keluaran (yaitu kondisi negatif ganda sekarang terkadang tidak diubah dengan benar menjadi kondisi positif). Menurut saya kesalahan ini lebih mirip dengan GPT - 3.5 alih-alih level inferensi GPT-4 sebelumnya."

Bahkan dalam hal kemampuan pengkodean, kualitas keluaran GPT-4 versi baru tidak sebaik sebelumnya.

Pengembang yang menggunakan GPT-4 untuk menulis kode fungsional untuk situs web mengeluh: "GPT-4 saat ini sangat mengecewakan. Ini seperti mengendarai Ferrari selama sebulan, dan kemudian tiba-tiba menjadi truk pikap tua. Tidak yakin saya mau terus bayar."

Pengembang lain juga menyebutkan bahwa GPT-4 sekarang mengulang kode: "Benar-benar menyebalkan, GPT-4 mulai mengulang kode atau informasi lain berulang kali. Saya membiarkannya menulis kode, dan menulis pada suatu titik, tiba-tiba menjadi "", dan kemudian mulai lagi! Dibandingkan dengan sebelumnya, ini adalah idiot sekarang."

Selain itu, di forum pengembang online Twitter dan OpenAI, pengguna terus melaporkan bahwa versi baru GPT-4 telah melemahkan logika, menghasilkan banyak respons kesalahan, gagal melacak informasi yang diberikan, tidak mengikuti instruksi, dan lupa menulis di kode perangkat lunak dasar. Memasukkan tanda kurung , hanya mengingat pengingat terbaru, dan banyak lagi.

Mengenai kinerja "pengurangan kecerdasan" GPT-4 yang tiba-tiba, beberapa pengguna berspekulasi: "Versi saat ini terasa sangat berbeda dari versi saat baru diluncurkan. Saya kira OpenAI memilih untuk berkompromi pada kualitas untuk mengakomodasi lebih banyak pelanggan!"

Dari segi ini, evaluasi GPT-4 oleh pengguna saat ini memang tidak sebaik periode puncak "evaluasi angin" saat pertama kali debut.

GPT-4 lebih cepat, tetapi juga "bodoh"

Pada akhir tahun lalu, ChatGPT berbasis GPT-3.5 lahir, dan kemampuan generasinya yang luar biasa memicu ledakan AIGC.Oleh karena itu, ketika OpenAI mengumumkan GPT-4, yang lebih bertenaga daripada GPT-3.5, pada bulan Maret tahun ini, seluruh dunia tercengang.

Pada saat itu, GPT-4 disebut sebagai "model AI paling kuat dalam sejarah", terutama multi-modalitasnya, yang berarti dapat memahami input gambar dan teks, sehingga dengan cepat menjadi alat yang populer bagi pengembang dan industri teknologi lainnya. Model pilihan untuk para profesional juga menghasilkan lebih banyak pujian untuk GPT-4: menghasilkan situs web dalam 10 detik, lulus ujian hukum Amerika yang paling sulit, dan lulus ujian matematika sarjana MIT dengan nilai penuh...

Namun, saat orang terkagum-kagum dengan kekuatan GPT-4, banyak orang juga terkaget-kaget dengan biaya dan kecepatan responsnya. "GPT-4 lambat, tetapi sangat akurat," kata Sharon Zhou, CEO Lamini, sebuah perusahaan rintisan yang membantu pengembang membangun model bahasa kustom berskala besar.

Hingga Mei, GPT-4 tetap "lambat dan mahal tetapi akurat"—kemudian, GPT-4 merespons lebih cepat, dan pada saat yang sama pengguna mempertanyakan penurunan kinerjanya.

Untuk fenomena ini, beberapa pakar AI, termasuk Sharon Zhou, percaya bahwa OpenAI mungkin membuat beberapa model GPT-4 yang lebih kecil yang berfungsi serupa dengan model yang lebih besar tetapi lebih murah untuk dijalankan.

Para ahli berspekulasi: ini mungkin terkait dengan teknologi MoE

Menurut pengantar Sharon Zhou, metode ini disebut Mixture-of-Experts (MoE), yaitu sistem pakar campuran. Teknologi MoE adalah teknologi pembelajaran terintegrasi yang dikembangkan di bidang jaringan saraf, dan juga merupakan teknologi kunci untuk model pelatihan dengan triliunan parameter.Karena ukuran model yang semakin besar pada tahap ini, biaya pelatihan juga meningkat, dan MoE Teknologi dapat secara dinamis mengaktifkan bagian dari jaringan saraf, sehingga sangat meningkatkan jumlah parameter model tanpa meningkatkan jumlah perhitungan.

Secara khusus, KLH menguraikan tugas pemodelan prediktif menjadi beberapa subtugas, melatih model pakar (Expert Model) pada setiap subtugas, dan mengembangkan model gating (Gating Model), yang dapat diprediksi sesuai input Ayo pelajari pakar mana yang bisa dipercaya, dan menggabungkan hasil ramalan.

Jadi bagaimana situasinya ketika teknologi MoE dirujuk ke GPT-4? Sharon Zhou menjelaskan bahwa di GPT-4, model ahli kecil ini akan dilatih untuk tugas dan mata pelajaran yang berbeda.Misalnya, ada model ahli GPT-4 kecil untuk biologi, fisika, kimia, dll.4 Saat pertanyaan diajukan , sistem baru mengetahui model pakar mana yang akan dikirimi pertanyaan. Selain itu, untuk berjaga-jaga, sistem baru mungkin mengirimkan kueri ke dua atau lebih model pakar, lalu menyatukan hasilnya.

Untuk pendekatan ini, Sharon Zhou menggambarkannya sebagai "The Ship of Theseus" (sebuah paradoks tentang penggantian identitas, dengan asumsi bahwa elemen penyusun suatu objek diganti, tetapi apakah itu masih objek aslinya?), yaitu dengan Seiring waktu, OpenAI akan menggantikan bagian GPT-4: "OpenAI mengubah GPT-4 menjadi armada kecil."

Berdasarkan spekulasi di atas, Sharon Zhou percaya bahwa pernyataan "bodoh" GPT-4 baru-baru ini kemungkinan besar terkait dengan metode pelatihan MoE: "Saat pengguna menguji GPT-4, kami akan mengajukan banyak pertanyaan berbeda, dan skalanya kecil. Model pakar GPT-4 tidak akan melakukannya dengan baik, tetapi model ini mengumpulkan data kami dan meningkatkan serta mempelajarinya.”

**Arsitektur GPT-4 terbuka? **

Beberapa pakar AI juga merilis apa yang disebut "detail arsitektur GPT-4" minggu ini di tengah meningkatnya umpan balik pengguna tentang "kekonyolan" GPT-4.

Di antara mereka, seorang blogger Twitter bernama Yam Peleg mengatakan bahwa GPT-4 memiliki sekitar 1,8 triliun parameter, mencakup 120 lapisan, lebih dari 10 kali lebih besar dari GPT-3, dan dilatih pada sekitar 13T token. Biaya pelatihan Sekitar $63 juta. .. Perlu disebutkan bahwa Yam Peleg juga mengatakan bahwa OpenAI menggunakan MoE, yaitu untuk mengurangi biaya pengoperasian GPT-4 dengan menggunakan 16 model ahli campuran.

Sampai sekarang, OpenAI belum menanggapi pernyataan ini. Tetapi Oren Etzioni, CEO pendiri Institut Kecerdasan Buatan Allen, mengatakan kepada media: "Meskipun saya belum dikonfirmasi, saya pikir spekulasi ini kira-kira benar."

Dia menjelaskan bahwa umumnya ada dua alasan untuk menggunakan metode MOE: apakah Anda ingin menghasilkan respons yang lebih baik, atau Anda menginginkan respons yang lebih murah dan lebih cepat.

"Idealnya, MOE akan memungkinkan Anda untuk mendapatkan kedua keuntungan pada saat yang sama, namun pada kenyataannya, Anda biasanya perlu melakukan trade-off antara biaya dan kualitas." Berdasarkan ini, Oren Etzioni percaya bahwa dikombinasikan dengan situasi saat ini, OpenAI tampaknya mengurangi GPT -4 dengan mengorbankan beberapa kualitas.

Jadi apa pendapat Anda tentang masalah ini?

Tautan referensi:

Lihat Asli
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
  • Hadiah
  • Komentar
  • Bagikan
Komentar
0/400
Tidak ada komentar
  • Sematkan
Perdagangkan Kripto Di Mana Saja Kapan Saja
qrCode
Pindai untuk mengunduh aplikasi Gate
Komunitas
Bahasa Indonesia
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)