Biaya pelatihan dan pengoperasian model besar sangat tinggi, dan OpenAI juga telah mencoba mengurangi biaya, tetapi sayangnya gagal.
Akhir tahun lalu, ketika ChatGPT menjadi sensasi global, insinyur OpenAI mulai mengerjakan model AI baru, dengan nama kode Arrakis. Arrakis bertujuan untuk memungkinkan OpenAI menjalankan chatbots dengan biaya lebih rendah.
Tetapi menurut orang-orang yang mengetahui masalah ini: Pada pertengahan 2023, OpenAI telah membatalkan rilis Arrakis karena modelnya tidak berjalan seefisien yang diharapkan perusahaan.
Kegagalan ini berarti OpenAI kehilangan waktu berharga dan perlu mengalihkan sumber daya untuk mengembangkan model yang berbeda.
Untuk investasi bersama, program R&D Arrakis akan sangat berharga bagi kedua perusahaan untuk menyelesaikan investasi $ 10 miliar dan negosiasi kesepakatan produk. Menurut seorang karyawan Microsoft yang akrab dengan masalah ini, kegagalan Arrakis mengecewakan beberapa eksekutif Microsoft.
Terlebih lagi, kegagalan Arrakis adalah pertanda masa depan AI yang bisa penuh dengan jebakan yang sulit diprediksi.
Model seperti apa Arrakis? **
Menurut orang-orang yang akrab dengan masalah ini, OpenAI berharap bahwa Arrakis adalah model dengan kinerja yang sebanding dan efisiensi operasi yang lebih tinggi daripada GPT-4. Pendekatan kunci yang digunakan dalam model Arrakis adalah memanfaatkan sparsitas.
Sparsity adalah konsep pembelajaran mesin yang juga dibahas dan digunakan oleh pengembang AI lain seperti Google secara terbuka. Eksekutif Google Jeff Dean mengatakan: "Komputasi yang jarang akan menjadi tren penting di masa depan."
OpenAI memulai penelitian tentang sparsitas sejak awal, dan mereka memperkenalkan kernel komputasi yang jarang pada tahun 2017. Arrakis bisa memungkinkan OpenAI untuk mempromosikan teknologinya lebih luas karena perusahaan dapat menggunakan sejumlah chip server khusus untuk memberi daya pada perangkat lunaknya.
Saat ini, cara umum untuk meningkatkan sparsitas adalah dengan bantuan teknologi "hybrid expert systems (MoE)". Namun, Ion Stoica, seorang profesor ilmu komputer di University of California, Berkeley, mengatakan, "Secara umum, semakin besar jumlah model ahli, semakin jarang dan lebih efisien modelnya, tetapi dapat menyebabkan hasil yang kurang akurat yang dihasilkan oleh model."
Sekitar musim semi tahun ini, para peneliti OpenAI mulai melatih model Arrakis, yang melibatkan penggunaan perangkat keras komputasi canggih untuk membantu model memproses data dalam jumlah besar. Menurut orang-orang yang akrab dengan masalah ini, perusahaan mengharapkan pelatihan Arrakis jauh lebih murah daripada pelatihan GPT-4. Namun, tim peneliti segera menyadari bahwa model tersebut tidak berkinerja cukup baik untuk mencapai keuntungan yang diharapkan. Setelah tim peneliti menghabiskan sekitar satu bulan mencoba memecahkan masalah, kepemimpinan senior OpenAI memutuskan untuk berhenti melatih model tersebut.
Kabar baiknya adalah OpenAI dapat mengintegrasikan pekerjaannya pada Arrakis ke dalam model lain, seperti model besar multimodal Gobi yang akan datang.
Arrakis berkinerja buruk harapan OpenAI karena perusahaan berusaha meningkatkan sparsitas model, yang berarti bahwa hanya sebagian dari model yang akan digunakan untuk menghasilkan tanggapan, mengurangi biaya operasional, dua orang yang akrab dengan masalah tersebut mengatakan. Alasan mengapa model bekerja dalam tes awal tetapi kemudian berkinerja buruk tidak diketahui.
Perlu disebutkan bahwa orang-orang yang akrab dengan masalah ini mengatakan bahwa nama publik OpenAI yang dipertimbangkan untuk Arrakis adalah GPT-4 Turbo.
**Seberapa pentingkah mengurangi biaya? **
Untuk OpenAI, dengan meningkatnya kekhawatiran tentang biaya teknologi dan proliferasi alternatif open-source, membuat modelnya lebih murah dan lebih efisien adalah prioritas utama.
Menurut orang-orang yang akrab dengan masalah ini, Microsoft menggunakan model GPT OpenAI untuk mendukung fitur AI di aplikasi Office 365 dan layanan lainnya, dan Microsoft mengharapkan Arrakis untuk meningkatkan kinerja fitur-fitur tersebut dan mengurangi biaya.
Pada saat yang sama, Microsoft mulai mengembangkan LLM sendiri, dan LLM-nya mungkin lebih murah untuk dijalankan daripada model OpenAI.
Meskipun kemunduran ini tidak memperlambat perkembangan bisnis OpenAI tahun ini, OpenAI juga cenderung menurun di jalur ini dengan meningkatnya persaingan di bidang LLM, terutama percepatan penelitian dan pengembangan raksasa teknologi seperti Google dan Microsoft.
Tautan asli:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Pengembangan model baru OpenAI telah frustrasi, apakah sparsitas merupakan kunci untuk mengurangi biaya model besar?
Sumber asli: Heart of the Machine
Biaya pelatihan dan pengoperasian model besar sangat tinggi, dan OpenAI juga telah mencoba mengurangi biaya, tetapi sayangnya gagal.
Akhir tahun lalu, ketika ChatGPT menjadi sensasi global, insinyur OpenAI mulai mengerjakan model AI baru, dengan nama kode Arrakis. Arrakis bertujuan untuk memungkinkan OpenAI menjalankan chatbots dengan biaya lebih rendah.
Tetapi menurut orang-orang yang mengetahui masalah ini: Pada pertengahan 2023, OpenAI telah membatalkan rilis Arrakis karena modelnya tidak berjalan seefisien yang diharapkan perusahaan.
Untuk investasi bersama, program R&D Arrakis akan sangat berharga bagi kedua perusahaan untuk menyelesaikan investasi $ 10 miliar dan negosiasi kesepakatan produk. Menurut seorang karyawan Microsoft yang akrab dengan masalah ini, kegagalan Arrakis mengecewakan beberapa eksekutif Microsoft.
Terlebih lagi, kegagalan Arrakis adalah pertanda masa depan AI yang bisa penuh dengan jebakan yang sulit diprediksi.
Model seperti apa Arrakis? **
Menurut orang-orang yang akrab dengan masalah ini, OpenAI berharap bahwa Arrakis adalah model dengan kinerja yang sebanding dan efisiensi operasi yang lebih tinggi daripada GPT-4. Pendekatan kunci yang digunakan dalam model Arrakis adalah memanfaatkan sparsitas.
Sparsity adalah konsep pembelajaran mesin yang juga dibahas dan digunakan oleh pengembang AI lain seperti Google secara terbuka. Eksekutif Google Jeff Dean mengatakan: "Komputasi yang jarang akan menjadi tren penting di masa depan."
OpenAI memulai penelitian tentang sparsitas sejak awal, dan mereka memperkenalkan kernel komputasi yang jarang pada tahun 2017. Arrakis bisa memungkinkan OpenAI untuk mempromosikan teknologinya lebih luas karena perusahaan dapat menggunakan sejumlah chip server khusus untuk memberi daya pada perangkat lunaknya.
Saat ini, cara umum untuk meningkatkan sparsitas adalah dengan bantuan teknologi "hybrid expert systems (MoE)". Namun, Ion Stoica, seorang profesor ilmu komputer di University of California, Berkeley, mengatakan, "Secara umum, semakin besar jumlah model ahli, semakin jarang dan lebih efisien modelnya, tetapi dapat menyebabkan hasil yang kurang akurat yang dihasilkan oleh model."
Sekitar musim semi tahun ini, para peneliti OpenAI mulai melatih model Arrakis, yang melibatkan penggunaan perangkat keras komputasi canggih untuk membantu model memproses data dalam jumlah besar. Menurut orang-orang yang akrab dengan masalah ini, perusahaan mengharapkan pelatihan Arrakis jauh lebih murah daripada pelatihan GPT-4. Namun, tim peneliti segera menyadari bahwa model tersebut tidak berkinerja cukup baik untuk mencapai keuntungan yang diharapkan. Setelah tim peneliti menghabiskan sekitar satu bulan mencoba memecahkan masalah, kepemimpinan senior OpenAI memutuskan untuk berhenti melatih model tersebut.
Kabar baiknya adalah OpenAI dapat mengintegrasikan pekerjaannya pada Arrakis ke dalam model lain, seperti model besar multimodal Gobi yang akan datang.
Arrakis berkinerja buruk harapan OpenAI karena perusahaan berusaha meningkatkan sparsitas model, yang berarti bahwa hanya sebagian dari model yang akan digunakan untuk menghasilkan tanggapan, mengurangi biaya operasional, dua orang yang akrab dengan masalah tersebut mengatakan. Alasan mengapa model bekerja dalam tes awal tetapi kemudian berkinerja buruk tidak diketahui.
Perlu disebutkan bahwa orang-orang yang akrab dengan masalah ini mengatakan bahwa nama publik OpenAI yang dipertimbangkan untuk Arrakis adalah GPT-4 Turbo.
**Seberapa pentingkah mengurangi biaya? **
Untuk OpenAI, dengan meningkatnya kekhawatiran tentang biaya teknologi dan proliferasi alternatif open-source, membuat modelnya lebih murah dan lebih efisien adalah prioritas utama.
Menurut orang-orang yang akrab dengan masalah ini, Microsoft menggunakan model GPT OpenAI untuk mendukung fitur AI di aplikasi Office 365 dan layanan lainnya, dan Microsoft mengharapkan Arrakis untuk meningkatkan kinerja fitur-fitur tersebut dan mengurangi biaya.
Pada saat yang sama, Microsoft mulai mengembangkan LLM sendiri, dan LLM-nya mungkin lebih murah untuk dijalankan daripada model OpenAI.
Meskipun kemunduran ini tidak memperlambat perkembangan bisnis OpenAI tahun ini, OpenAI juga cenderung menurun di jalur ini dengan meningkatnya persaingan di bidang LLM, terutama percepatan penelitian dan pengembangan raksasa teknologi seperti Google dan Microsoft.
Tautan asli: