GPT-4 terlalu mahal, Microsoft ingin menyingkirkan OpenAI? Rencana B terungkap: Ribuan GPU didedikasikan untuk melatih "model kecil", pengujian internal Bing dimulai
**Pendahuluan: **GPT-4 terlalu menuntut komputasi, dan Microsoft diketahui telah merumuskan Rencana B secara internal untuk melatih model yang lebih kecil dan berbiaya lebih rendah guna menyingkirkan OpenAI.
GPT-4 sangat menuntut komputasi sehingga bahkan Microsoft pun tidak dapat menahannya!
Tahun ini, di berbagai konferensi AI Microsoft, CEO Nadella dengan gembira mengumumkan integrasi GPT-4 dan DALL·E 3 ke dalam “Family Bucket” Microsoft.
Seluruh rangkaian produk Microsoft telah diubah melalui model OpenAI, dengan visi menjadikan AI sebagai mitra hidup bagi semua orang.
Namun, di balik layar, karena biaya pengoperasian GPT-4 terlalu tinggi, Microsoft diam-diam mengembangkan rencana B.
The Information secara eksklusif menyampaikan berita bahwa untuk menghilangkan ketergantungan pada OpenAI, beberapa dari 1.500 orang tim peneliti yang dipimpin oleh Peter Lee beralih ke pengembangan AI percakapan baru.
Dikatakan bahwa performa model yang dikembangkan mungkin tidak sebaik GPT-4, namun skala parameternya kecil, biaya penelitian lebih rendah, dan kecepatan lari lebih cepat.
Saat ini, Microsoft telah meluncurkan pengujian internal pada produk seperti Bing Chat.
Tidak hanya Microsoft, namun raksasa teknologi lainnya termasuk Google menemukan cara lain untuk menghemat biaya baik dalam perangkat lunak dan chip obrolan AI.
Kerja sama antara Microsoft dan Meta saat Llama 2 diumumkan tidak lebih dari sarana untuk menghilangkan ketergantungan sepenuhnya pada OpenAI.
Ini adalah jalan yang ditakdirkan untuk diambil oleh kerajaan Microsoft seiring dengan pertumbuhannya dan terobosan dalam keterbatasannya saat ini.
Model yang lebih "halus", Anda harus mencobanya terlebih dahulu
Pada bulan Februari tahun ini, Microsoft secara resmi merilis Bing Baru, yang menggabungkan ChatGPT dan model Prometheus miliknya sendiri.
Setelah pengumuman GPT-4, Microsoft segera mengumumkan bahwa GPT-4 akan diintegrasikan ke dalam Bing, membawa pengalaman pencarian ke tingkat yang baru.
Direktur pencarian Microsoft Mikhail Parakhin baru-baru ini mengatakan bahwa Bing Chat saat ini menggunakan 100% GPT-4 dalam mode "kreatif" dan "akurat".
Dalam mode seimbang (mode yang dipilih oleh sebagian besar pengguna), Microsoft menggunakan model Prometheus dan model bahasa Turing sebagai pelengkap.
Model Prometheus adalah kumpulan keterampilan dan teknik. Model Turing tidak sekuat GPT-4 dan dirancang untuk mengidentifikasi dan menjawab pertanyaan sederhana dan meneruskan pertanyaan yang lebih sulit ke GPT-4.
Di Microsoft, sebagian besar dari 2.000 GPU yang dimilikinya telah diinvestasikan dalam pelatihan "model kecil". Tentu saja, ini tidak ada artinya jika dibandingkan dengan jumlah chip yang disediakan Microsoft untuk OpenAI.
Namun, model ini dapat melakukan tugas yang lebih sederhana dibandingkan GPT-4 dan merupakan upaya Microsoft untuk memecahkan masalah tersebut.
Hancurkan belenggu OpenAI
Selama bertahun-tahun, Microsoft dan OpenAI telah menjalin hubungan erat.
Namun, dengan peluncuran ChatGPT, Microsoft Bing, dan keluarga lainnya, Microsoft dan OpenAI juga diam-diam mulai bersaing memperebutkan pasar.
Meskipun upaya Microsoft masih dalam tahap awal, Nadella memimpin upaya Microsoft untuk menciptakan jalur bagi produk AI-nya yang tidak sepenuhnya bergantung pada OpenAI.
“Ini pada akhirnya akan terjadi,” kata eksekutif Databricks Naveen Rao tentang upaya AI internal Microsoft.
"Microsoft adalah perusahaan yang cerdas. Ketika Anda menerapkan produk menggunakan model raksasa GPT-4, mereka menginginkan efisiensi. Ini seperti mengatakan, kita tidak memerlukan seseorang dengan tiga gelar PhD untuk menjadi operator telepon. Ini tidak layak secara ekonomi."
Namun, Nadella dan direktur penelitian Peter Lee berharap dapat mengembangkan AI yang kompleks tanpa OpenAI, yang mungkin hanya sekedar angan-angan.
Sejak Microsoft berinvestasi di OpenAI, departemen riset raksasa tersebut menghabiskan sebagian besar waktunya untuk menyesuaikan model OpenAI agar cocok untuk produk Microsoft, daripada mengembangkan modelnya sendiri.
Tim peneliti Microsoft tidak mempunyai ilusi bahwa mereka dapat mengembangkan AI sekuat GPT-4.
Mereka jelas tahu bahwa mereka tidak memiliki sumber daya komputasi OpenAI, dan mereka juga tidak memiliki banyak peninjau manusia untuk memberikan umpan balik atas pertanyaan yang dijawab oleh LLM sehingga para insinyur dapat meningkatkan modelnya.
Departemen penelitian juga telah kehilangan talenta selama setahun terakhir, dengan beberapa gelombang kepergian peneliti, termasuk beberapa yang pindah ke tim produk di Microsoft.
Bagi Microsoft sendiri, mengembangkan LLM berkualitas tinggi tanpa bantuan OpenAI dapat memenangkan lebih banyak daya tawar ketika kedua perusahaan mendiskusikan pembaruan kemitraan mereka dalam beberapa tahun ke depan.
Direktur Riset AI Microsoft Peter Lee
Saat ini, kedua transaksi tersebut menguntungkan kedua belah pihak.
Microsoft menginvestasikan lebih dari 10 miliar dolar AS pada OpenAI dan sebagai imbalannya, Microsoft akan memiliki hak eksklusif untuk secara permanen menggunakan kekayaan intelektual OpenAI yang ada dalam produk Microsoft.
Selain itu, Microsoft akan menerima 75% dari pendapatan operasional teoritis OpenAI hingga investasi awalnya dilunasi, dan akan menerima 49% keuntungan hingga batas tertentu tercapai.
Kini, Microsoft berharap dapat menambah pendapatan baru setidaknya $10 miliar selama periode yang tidak pasti melalui aliansi yang ada dengan OpenAI dan perusahaan AI lainnya.
Office 365 Family Bucket telah menunjukkan tanda-tanda awal pertumbuhan pendapatan setelah menerima berkat kemampuan GPT-4.
Microsoft juga mengatakan pada bulan Juli bahwa lebih dari 27.000 perusahaan telah membayar untuk alat penulisan kode GitHub Copilot.
Menurut statistik Statista, selain layanan cloud Microsoft yang memiliki proporsi terbesar pada tahun 2023, bagi hasil produk perangkat lunak yang mempercepat produktivitas proses bisnis juga secara bertahap meningkat.
Namun ironisnya, ketentuan transaksi antara Microsoft dan OpenAI juga secara tidak langsung membantu upaya Microsoft untuk menghilangkan ketergantungannya pada OpenAI.
Saat pengguna menggunakan Bing, Microsoft dapat mengakses hasil yang dikeluarkan oleh model OpenAI.
Saat ini, Microsoft menggunakan data ini untuk membuat model yang lebih "halus". Temuan dari peneliti internal menunjukkan bahwa model ini dapat memberikan hasil serupa dengan sumber daya komputasi yang lebih sedikit.
Eksplorasi "Model Kecil"
Setelah menghabiskan satu tahun di bawah bayang-bayang OpenAI, beberapa peneliti di Microsoft menemukan tujuan baru - untuk menciptakan model "sulingan" yang meniru GPT-4.
Pada bulan Juni tahun ini, Microsoft melatih model yang hanya menggunakan sepersepuluh daya komputasi GPT-4 - Orca.
Untuk membuat Orca, Microsoft memasukkan jutaan jawaban yang dihasilkan oleh GPT-4 ke dalam model sumber terbuka yang lebih mendasar dan mengajarkannya untuk meniru GPT-4.
Alamat kertas:
Hasilnya menunjukkan bahwa Orca tidak hanya mengungguli model penyempurnaan instruksi SOTA lainnya, tetapi juga mencapai kinerja dua kali lipat dari Vicuna-13B dalam tolok ukur inferensi zero-shot yang kompleks seperti BigBench Hard (BBH).
Selain itu, Orca mencapai kinerja yang setara dengan ChatGPT pada tolok ukur BBH, dengan hanya selisih kinerja sebesar 4% pada ujian profesional dan akademik seperti SAT, LSAT, GRE, dan GMAT, semuanya diukur dalam pengaturan sampel nol tanpa rangkaian pemikiran. .
Bahkan, dalam beberapa kasus, performa Orca sebanding dengan ChatGPT versi gratis OpenAI.
Demikian pula, Microsoft juga mengumumkan model dengan parameter kurang dari seperseribu GPT-4-phi-1.
Karena penggunaan data pelatihan berkualitas tinggi "tingkat buku teks", kemahiran phi-1 dalam masalah matematika dan logika tidak kurang dari lima kali lipat model sumber terbukanya.
Alamat kertas:
Selanjutnya, Microsoft melangkah lebih jauh dalam mempelajari "seberapa kecil LLM harus mencapai kemampuan tertentu" dan meluncurkan model phi-1.5 dengan hanya 1,3 miliar parameter.
Alamat kertas:
phi-1.5 menunjukkan kemampuan banyak model besar, mampu "berpikir langkah demi langkah" atau melakukan beberapa pembelajaran konteks dasar.
Hasilnya menunjukkan bahwa kinerja phi-1.5 setara dengan model yang 10 kali lipat lebih besar dalam hal penalaran akal sehat dan keterampilan bahasa.
Pada saat yang sama, model ini jauh melampaui model besar lainnya dalam penalaran multi-langkah.
Meskipun tidak jelas apakah “model kecil” seperti Orca dan Phi benar-benar dapat bersaing dengan model SOTA yang lebih besar seperti GPT-4. Namun keunggulan biaya yang besar telah memperkuat motivasi Microsoft untuk terus mempromosikan penelitian terkait.
Menurut seseorang yang mengetahui masalah ini, prioritas pertama tim setelah merilis Phi adalah memverifikasi kualitas model tersebut.
Dalam makalah yang akan datang, para peneliti mengusulkan metode berdasarkan pembelajaran kontrastif yang memungkinkan para insinyur meningkatkan Orca dengan mengajarkan model untuk membedakan antara respons berkualitas tinggi dan berkualitas rendah.
Pada saat yang sama, tim lain di Microsoft juga secara intensif mengembangkan model besar multi-modal baru, yaitu LLM yang dapat menafsirkan dan menghasilkan teks dan gambar.
GPT-4V
Jelasnya, model seperti Orca dan Phi dapat membantu Microsoft mengurangi biaya komputasi yang diperlukan untuk menyediakan kemampuan AI kepada pelanggan.
Menurut salah satu karyawan saat ini, manajer produk Microsoft sudah menguji cara menggunakan Orca dan Phi alih-alih model OpenAI untuk menangani permintaan chatbot Bing. Misalnya pertanyaan yang relatif sederhana seperti merangkum paragraf pendek suatu teks dan menjawab ya atau tidak.
Selain itu, Microsoft juga mempertimbangkan apakah akan menawarkan model Orca kepada pelanggan cloud Azure.
Menurut orang-orang yang mengetahui masalah tersebut, segera setelah makalah Orca diterbitkan, pelanggan datang menanyakan kapan mereka dapat menggunakannya.
Namun yang menjadi pertanyaan, jika hal tersebut benar-benar akan dilakukan, apakah Microsoft masih perlu mendapatkan lisensi dari Meta? Bagaimanapun, yang terakhir masih memiliki batasan pada perusahaan mana yang dapat mengkomersialkan LLM open source mereka.
Referensi:
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
GPT-4 terlalu mahal, Microsoft ingin menyingkirkan OpenAI? Rencana B terungkap: Ribuan GPU didedikasikan untuk melatih "model kecil", pengujian internal Bing dimulai
**Sumber:**Xinzhiyuan
**Pendahuluan: **GPT-4 terlalu menuntut komputasi, dan Microsoft diketahui telah merumuskan Rencana B secara internal untuk melatih model yang lebih kecil dan berbiaya lebih rendah guna menyingkirkan OpenAI.
GPT-4 sangat menuntut komputasi sehingga bahkan Microsoft pun tidak dapat menahannya!
Tahun ini, di berbagai konferensi AI Microsoft, CEO Nadella dengan gembira mengumumkan integrasi GPT-4 dan DALL·E 3 ke dalam “Family Bucket” Microsoft.
Seluruh rangkaian produk Microsoft telah diubah melalui model OpenAI, dengan visi menjadikan AI sebagai mitra hidup bagi semua orang.
The Information secara eksklusif menyampaikan berita bahwa untuk menghilangkan ketergantungan pada OpenAI, beberapa dari 1.500 orang tim peneliti yang dipimpin oleh Peter Lee beralih ke pengembangan AI percakapan baru.
Saat ini, Microsoft telah meluncurkan pengujian internal pada produk seperti Bing Chat.
Tidak hanya Microsoft, namun raksasa teknologi lainnya termasuk Google menemukan cara lain untuk menghemat biaya baik dalam perangkat lunak dan chip obrolan AI.
Kerja sama antara Microsoft dan Meta saat Llama 2 diumumkan tidak lebih dari sarana untuk menghilangkan ketergantungan sepenuhnya pada OpenAI.
Ini adalah jalan yang ditakdirkan untuk diambil oleh kerajaan Microsoft seiring dengan pertumbuhannya dan terobosan dalam keterbatasannya saat ini.
Model yang lebih "halus", Anda harus mencobanya terlebih dahulu
Pada bulan Februari tahun ini, Microsoft secara resmi merilis Bing Baru, yang menggabungkan ChatGPT dan model Prometheus miliknya sendiri.
Setelah pengumuman GPT-4, Microsoft segera mengumumkan bahwa GPT-4 akan diintegrasikan ke dalam Bing, membawa pengalaman pencarian ke tingkat yang baru.
Direktur pencarian Microsoft Mikhail Parakhin baru-baru ini mengatakan bahwa Bing Chat saat ini menggunakan 100% GPT-4 dalam mode "kreatif" dan "akurat".
Dalam mode seimbang (mode yang dipilih oleh sebagian besar pengguna), Microsoft menggunakan model Prometheus dan model bahasa Turing sebagai pelengkap.
Di Microsoft, sebagian besar dari 2.000 GPU yang dimilikinya telah diinvestasikan dalam pelatihan "model kecil". Tentu saja, ini tidak ada artinya jika dibandingkan dengan jumlah chip yang disediakan Microsoft untuk OpenAI.
Namun, model ini dapat melakukan tugas yang lebih sederhana dibandingkan GPT-4 dan merupakan upaya Microsoft untuk memecahkan masalah tersebut.
Hancurkan belenggu OpenAI
Selama bertahun-tahun, Microsoft dan OpenAI telah menjalin hubungan erat.
Namun, dengan peluncuran ChatGPT, Microsoft Bing, dan keluarga lainnya, Microsoft dan OpenAI juga diam-diam mulai bersaing memperebutkan pasar.
Meskipun upaya Microsoft masih dalam tahap awal, Nadella memimpin upaya Microsoft untuk menciptakan jalur bagi produk AI-nya yang tidak sepenuhnya bergantung pada OpenAI.
"Microsoft adalah perusahaan yang cerdas. Ketika Anda menerapkan produk menggunakan model raksasa GPT-4, mereka menginginkan efisiensi. Ini seperti mengatakan, kita tidak memerlukan seseorang dengan tiga gelar PhD untuk menjadi operator telepon. Ini tidak layak secara ekonomi."
Namun, Nadella dan direktur penelitian Peter Lee berharap dapat mengembangkan AI yang kompleks tanpa OpenAI, yang mungkin hanya sekedar angan-angan.
Sejak Microsoft berinvestasi di OpenAI, departemen riset raksasa tersebut menghabiskan sebagian besar waktunya untuk menyesuaikan model OpenAI agar cocok untuk produk Microsoft, daripada mengembangkan modelnya sendiri.
Tim peneliti Microsoft tidak mempunyai ilusi bahwa mereka dapat mengembangkan AI sekuat GPT-4.
Departemen penelitian juga telah kehilangan talenta selama setahun terakhir, dengan beberapa gelombang kepergian peneliti, termasuk beberapa yang pindah ke tim produk di Microsoft.
Bagi Microsoft sendiri, mengembangkan LLM berkualitas tinggi tanpa bantuan OpenAI dapat memenangkan lebih banyak daya tawar ketika kedua perusahaan mendiskusikan pembaruan kemitraan mereka dalam beberapa tahun ke depan.
Saat ini, kedua transaksi tersebut menguntungkan kedua belah pihak.
Microsoft menginvestasikan lebih dari 10 miliar dolar AS pada OpenAI dan sebagai imbalannya, Microsoft akan memiliki hak eksklusif untuk secara permanen menggunakan kekayaan intelektual OpenAI yang ada dalam produk Microsoft.
Selain itu, Microsoft akan menerima 75% dari pendapatan operasional teoritis OpenAI hingga investasi awalnya dilunasi, dan akan menerima 49% keuntungan hingga batas tertentu tercapai.
Office 365 Family Bucket telah menunjukkan tanda-tanda awal pertumbuhan pendapatan setelah menerima berkat kemampuan GPT-4.
Microsoft juga mengatakan pada bulan Juli bahwa lebih dari 27.000 perusahaan telah membayar untuk alat penulisan kode GitHub Copilot.
Menurut statistik Statista, selain layanan cloud Microsoft yang memiliki proporsi terbesar pada tahun 2023, bagi hasil produk perangkat lunak yang mempercepat produktivitas proses bisnis juga secara bertahap meningkat.
Saat pengguna menggunakan Bing, Microsoft dapat mengakses hasil yang dikeluarkan oleh model OpenAI.
Saat ini, Microsoft menggunakan data ini untuk membuat model yang lebih "halus". Temuan dari peneliti internal menunjukkan bahwa model ini dapat memberikan hasil serupa dengan sumber daya komputasi yang lebih sedikit.
Eksplorasi "Model Kecil"
Setelah menghabiskan satu tahun di bawah bayang-bayang OpenAI, beberapa peneliti di Microsoft menemukan tujuan baru - untuk menciptakan model "sulingan" yang meniru GPT-4.
Pada bulan Juni tahun ini, Microsoft melatih model yang hanya menggunakan sepersepuluh daya komputasi GPT-4 - Orca.
Untuk membuat Orca, Microsoft memasukkan jutaan jawaban yang dihasilkan oleh GPT-4 ke dalam model sumber terbuka yang lebih mendasar dan mengajarkannya untuk meniru GPT-4.
Hasilnya menunjukkan bahwa Orca tidak hanya mengungguli model penyempurnaan instruksi SOTA lainnya, tetapi juga mencapai kinerja dua kali lipat dari Vicuna-13B dalam tolok ukur inferensi zero-shot yang kompleks seperti BigBench Hard (BBH).
Selain itu, Orca mencapai kinerja yang setara dengan ChatGPT pada tolok ukur BBH, dengan hanya selisih kinerja sebesar 4% pada ujian profesional dan akademik seperti SAT, LSAT, GRE, dan GMAT, semuanya diukur dalam pengaturan sampel nol tanpa rangkaian pemikiran. .
Karena penggunaan data pelatihan berkualitas tinggi "tingkat buku teks", kemahiran phi-1 dalam masalah matematika dan logika tidak kurang dari lima kali lipat model sumber terbukanya.
Selanjutnya, Microsoft melangkah lebih jauh dalam mempelajari "seberapa kecil LLM harus mencapai kemampuan tertentu" dan meluncurkan model phi-1.5 dengan hanya 1,3 miliar parameter.
phi-1.5 menunjukkan kemampuan banyak model besar, mampu "berpikir langkah demi langkah" atau melakukan beberapa pembelajaran konteks dasar.
Pada saat yang sama, model ini jauh melampaui model besar lainnya dalam penalaran multi-langkah.
Menurut seseorang yang mengetahui masalah ini, prioritas pertama tim setelah merilis Phi adalah memverifikasi kualitas model tersebut.
Dalam makalah yang akan datang, para peneliti mengusulkan metode berdasarkan pembelajaran kontrastif yang memungkinkan para insinyur meningkatkan Orca dengan mengajarkan model untuk membedakan antara respons berkualitas tinggi dan berkualitas rendah.
Pada saat yang sama, tim lain di Microsoft juga secara intensif mengembangkan model besar multi-modal baru, yaitu LLM yang dapat menafsirkan dan menghasilkan teks dan gambar.
Jelasnya, model seperti Orca dan Phi dapat membantu Microsoft mengurangi biaya komputasi yang diperlukan untuk menyediakan kemampuan AI kepada pelanggan.
Menurut salah satu karyawan saat ini, manajer produk Microsoft sudah menguji cara menggunakan Orca dan Phi alih-alih model OpenAI untuk menangani permintaan chatbot Bing. Misalnya pertanyaan yang relatif sederhana seperti merangkum paragraf pendek suatu teks dan menjawab ya atau tidak.
Selain itu, Microsoft juga mempertimbangkan apakah akan menawarkan model Orca kepada pelanggan cloud Azure.
Menurut orang-orang yang mengetahui masalah tersebut, segera setelah makalah Orca diterbitkan, pelanggan datang menanyakan kapan mereka dapat menggunakannya.
Namun yang menjadi pertanyaan, jika hal tersebut benar-benar akan dilakukan, apakah Microsoft masih perlu mendapatkan lisensi dari Meta? Bagaimanapun, yang terakhir masih memiliki batasan pada perusahaan mana yang dapat mengkomersialkan LLM open source mereka.
Referensi: