Terlibat dalam model besar, narasi baru produsen ponsel

Pengarang｜Wu Jingjing

Sunting｜Chestnut

Sumber: Jiazi Guangnian

Model besar Xiaomi melakukan debut publik selama pidato tahunan 2023 Lei Jun.

Lei Jun menyebutkan bahwa, tidak seperti kebanyakan platform Internet, arah terobosan utama dari model besar Xiaomi adalah bobot ringan dan penerapan lokal, yang dapat berjalan lancar di sisi ponsel.

Ia mengatakan saat ini model MiLM1.3B dengan skala 1,3 miliar parameter telah dijalankan di ponsel, dan efeknya sebanding dengan hasil model besar dengan 6 miliar parameter di cloud computing. Dalam kartu laporan yang dia posting, model end-to-side Xiaomi yang besar berkinerja lebih baik daripada model ChatGLM2-6B dari Zhipu AI dalam berbagai topik penilaian CMMLU China, dan selisih skor dengan model besar Baichuan-13B dari Baichuan Intelligent sekitar 5 menit.

(Sumber: Xiaomi)

Sebelumnya, model bahasa pra-pelatihan skala besar MiLM-6B/1.3B yang dikembangkan oleh Xiaomi telah mendarat di GitHub, platform hosting kode, dan menempati peringkat kesepuluh dalam daftar C-umum, peringkat pertama dalam besaran parameter yang sama, dan peringkat pertama di benchmark model besar Cina "CMMLU", "MiLM-6B" peringkat pertama.

Tentu saja, karena dimensi dari daftar tes ini semuanya bersifat publik, tidak sulit bagi banyak perusahaan model skala besar untuk menilai sesuai tugas tes, oleh karena itu hasil evaluasi ini hanya dapat digunakan sebagai referensi, dan tidak berarti bahwa hasilnya benar-benar luar biasa.

Pada saat yang sama, Lei Jun juga mengumumkan bahwa Xiao Ai, sebagai bisnis aplikasi pertama dari model besar Xiaomi, telah mengalami peningkatan baru dan secara resmi membuka uji undangan.

Ini adalah pencapaian model skala besar bertahap yang dibuat oleh Xiaomi dalam empat bulan sejak pengumuman tim model skala besar baru pada bulan April tahun ini.

Pemikiran baru apa yang dibawa praktik Xiaomi ke penerapan model besar? Apa artinya bagi produsen ponsel yang mengandalkan iterasi teknologi baru?

1. Xiaomi tidak membuat model besar untuk keperluan umum, dan tim inti memiliki sekitar 30 orang

Xiaomi milik sekolah rasional pada rute model skala besar-** tidak mengejar skala parameter, dan tidak membuat model skala besar tujuan umum. **

Sebelumnya dalam panggilan konferensi pendapatan, Lu Weibing, presiden Xiaomi Group, mengatakan bahwa Xiaomi akan secara aktif merangkul model skala besar, dan arahnya adalah untuk mengintegrasikan produk dan bisnis secara mendalam, dan tidak akan membuat model skala besar tujuan umum seperti OpenAI .

Menurut laporan Shenran sebelumnya, Dr. Wang Bin, direktur Laboratorium AI Grup Xiaomi, pernah mengatakan bahwa Xiaomi tidak akan merilis produk seperti ChatGPT sendirian, dan model besar yang dikembangkan sendiri pada akhirnya akan dikeluarkan oleh produk tersebut, dan pemerintah yang relevan akan menginvestasikan puluhan juta tingkat RMB. **

Dia berkata: "Untuk model besar, kami termasuk sekolah rasional. Xiaomi memiliki keunggulan dalam skenario aplikasi, dan apa yang kami lihat adalah peluang besar untuk kombinasi model dan skenario besar."

Dia mengungkapkan bahwa sebelum kelahiran ChatGPT, Xiaomi telah melakukan penelitian dan pengembangan internal dan aplikasi model besar, menggunakan pra-pelatihan + pengawasan tugas hilir dan fine-tuning untuk melakukan dialog manusia-mesin, dengan skala parameter dari 2,8 miliar menjadi 3 miliar. Hal ini terutama dicapai melalui penyempurnaan data dialog berdasarkan model dasar pra-pelatihan, bukan model besar tujuan umum seperti yang sekarang disebut.

Menurut informasi publik, kepala tim model besar Xiaomi saat ini adalah Luan Jian, seorang pakar suara AI, melapor kepada Wang Bin, wakil ketua komite teknis dan direktur laboratorium AI. Seluruh tim model besar memiliki sekitar 30 orang.

Luan Jian pernah menjadi kepala ilmuwan suara dan pemimpin tim suara dari robot suara cerdas "Microsoft Xiaoice", seorang peneliti di Institut Penelitian Toshiba (China), dan ilmuwan suara senior di Akademi Teknik Microsoft (China). Setelah bergabung dengan Xiaomi, Luan Jian bertanggung jawab atas pembuatan suara, NLP, dan tim lain secara berturut-turut, dan penerapan teknologi terkait dalam produk seperti Xiao Ai. Wang Bin bergabung dengan Xiaomi pada 2018 dan bertanggung jawab atas laboratorium AI sejak 2019. Sebelum bergabung dengan Xiaomi, dia adalah seorang peneliti dan pengawas doktoral di Institute of Information Engineering, Chinese Academy of Sciences. Dia memiliki hampir 30 tahun penelitian pengalaman di bidang pencarian informasi dan pemrosesan bahasa alami.

Model skala besar juga mengandalkan tim AI di belakang Xiaomi.Lei Jun mengatakan bahwa setelah 7 tahun dan 6 ekspansi, tim AI Xiaomi memiliki lebih dari 3.000 orang, meliputi CV, NLP, pencitraan AI, mengemudi otonom, robotika, dan lainnya bidang . .

(Sumber: Xiaomi)

2. Google, Qualcomm, dan Huawei telah memasuki permainan satu demi satu

Selain Xiaomi, membuat model besar berjalan di ponsel adalah tujuan utama banyak perusahaan teknologi saat ini.

Perusahaan teknologi membayangkan kemungkinan model besar: apa pun yang Anda buka adalah WPS, dokumen grafit, atau email, selama Anda memasukkan perintah seperti menulis, ponsel dapat memanggil kemampuan lokal untuk menghasilkan artikel lengkap atau email. Di ponsel, semua Aplikasi dapat memanggil model skala besar lokal kapan saja untuk membantu menangani pekerjaan dan menyelesaikan masalah kehidupan.Interaksi antara orang-orang dan berbagai Aplikasi di ponsel tidak lagi sering diklik, tetapi dapat dipanggil dengan cerdas dengan suara.

Banyak perusahaan mencoba untuk memampatkan ukuran model, membuatnya lebih praktis dan ekonomis untuk menjalankan model besar secara lokal di ponsel. Pada konferensi Google I/O bulan Mei tahun ini, ketika Google merilis PaLM2, itu dibagi menjadi empat spesifikasi menurut ukurannya, dari kecil ke besar dengan urutan Gecko, Otter, Bison dan Unicorn. Diantaranya, Gecko terkecil bisa berjalan di ponsel. Dan cepat, dapat memproses 20 token per detik, kira-kira setara dengan 16 atau 17 kata, dan juga dapat mendukung ponsel untuk berjalan offline. Tetapi pada saat itu, Google tidak mengatakan ponsel mana yang akan digunakan model tersebut.

Saat ini, Qualcommlah yang memberikan hasil spesifik. Pada 2023MWC pada bulan Maret tahun ini, Qualcomm menjalankan Stable Diffusion, model grafik Wensheng dengan lebih dari 1 miliar parameter, pada smartphone yang dilengkapi dengan Snapdragon 8 generasi kedua. Dalam demonstrasi, staf menggunakan Difusi Stabil untuk menghasilkan gambar di ponsel Android tanpa koneksi internet, dan seluruh proses memakan waktu 15 detik.

Di CVPR, konferensi teratas akademisi visi komputer pada bulan Juni, Qualcomm mendemonstrasikan model ControlNet yang berjalan pada ponsel Android dengan skala 1,5 miliar parameter, dan waktu menggambar hanya 11,26 detik. Ziad Asghar, wakil presiden senior manajemen produk dan kepala AI di Qualcomm, berkata: **Secara teknis, dibutuhkan waktu kurang dari sebulan untuk memindahkan model besar ini dengan lebih dari 1 miliar parameter ke ponsel. **

Tindakan terbaru adalah Qualcomm mengumumkan kerja sama dengan Meta untuk mengeksplorasi aplikasi dan aplikasi berdasarkan model Llama 2 pada smartphone, PC, perangkat layar yang dipasang di kepala AR / VR, mobil, dan perangkat lain berdasarkan chip Qualcomm Snapdragon tanpa jaringan. Melayani. Menurut Qualcomm, dibandingkan dengan LLM berbasis cloud, menjalankan model bahasa skala besar seperti Llama 2 secara lokal di perangkat tidak hanya memiliki biaya lebih rendah dan kinerja lebih baik, tetapi juga tidak perlu terhubung ke layanan online**, dan layanan lebih personal dan lebih efisien. Aman dan lebih pribadi.

Apple, yang belum secara resmi mengumumkan aksi model berskala besar, juga menjajaki pendaratan model skala besar di sisi perangkat. Menurut laporan "Financial Times", Apple merekrut insinyur dan peneliti sepenuhnya untuk memadatkan model bahasa berukuran besar agar dapat berjalan secara efisien di iPhone dan iPad, dan tim yang terutama bertanggung jawab adalah Machine Intelligence dan Neural Design ( PIKIRAN) tim.

Saat ini, di Github, proyek MLC LLM model open source yang populer dapat mendukung penyebaran lokal. Ini mengatasi kendala memori dengan merencanakan alokasi dengan hati-hati dan mengompresi parameter model secara aktif, dan dapat menjalankan model AI di berbagai perangkat keras seperti iPhone. Proyek ini dikembangkan bersama oleh CMU Assistant Professor, OctoML CTO Chen Tianqi dan peneliti lainnya, menggunakan teknologi Machine Learning Compilation (MLC) sebagai dasar untuk menerapkan model AI secara efisien. Kurang dari dua hari setelah MLC-LLM online, jumlah bintang di GitHub telah mendekati 1.000. Seseorang telah menguji menjalankan model bahasa besar secara lokal dalam mode pesawat iPhone.

Tidak seperti Google dan Qualcomm asing yang menekankan bahwa model besar dapat diterapkan secara lokal di sisi perangkat dan dapat dijalankan secara offline, saat ini produsen ponsel dalam negeri mengutamakan penerapan model besar pada asisten suara ponsel atau fungsi pencarian gambar yang ada. pemutakhiran ini untuk memanggil Lebih banyak kemampuan cloud untuk menggunakan model besar.

Kali ini, Xiaomi menggunakan model besar pada asisten suara Xiao Ai. Namun, karena informasi yang relevan tentang model besar end-to-end Xiaomi belum diungkapkan, tidak mungkin untuk secara akurat menilai jalur pengembangan model besar Xiaomi di masa mendatang. Dilihat dari arah penerapan lokal dan ringan yang ditekankan Lei Jun, Xiaomi mungkin akan mencoba menjalankan model besar secara offline di ponsel di masa mendatang.

Huawei juga mencoba mengimplementasikan model skala besar pada ponsel, tetapi fokusnya masih pada asisten suara ponsel dan adegan pencarian gambar. Sebelumnya pada bulan April, pada ponsel Huawei P60 yang baru dirilis, di balik fungsi baru pencarian gambar pintar terdapat teknologi model skala besar multi-modal, dan model tersebut diminiaturkan di sisi ponsel selama proses berlangsung. Baru-baru ini, asisten cerdas terminal Huawei yang baru ditingkatkan, Xiaoyi, juga telah mengoptimalkan pengalaman berdasarkan model besar, dan dapat merekomendasikan restoran berdasarkan perintah suara, dan menjalankan fungsi baru seperti ringkasan.

OPPO dan vivo juga melakukan upaya ke arah ini. Pada 13 Agustus, OPPO mengumumkan bahwa Asisten Xiaobu baru berdasarkan AndesGPT akan segera mulai mengalami. Terlihat dari data bahwa setelah Asisten Xiaobu mengintegrasikan kemampuan model besar, itu akan lebih efektif dalam dialog dan copywriting Kemampuan menulis dan aspek lainnya akan diperkuat. AndesGPT adalah model bahasa besar generatif berdasarkan arsitektur cloud hybrid yang dibuat oleh OPPO Andes Intelligent Cloud Team.

Untuk produsen ponsel, apakah itu penyebaran lokal atau menggunakan kemampuan cloud, model besar adalah peluang baru yang tidak boleh dilewatkan untuk ponsel.

**3. Model besar berjalan di ponsel, di mana masalah utamanya? **

Bukan tugas yang mudah untuk membuat model besar berjalan di ponsel.

Daya komputasi adalah masalah utama. Menggunakan model besar di ponsel tidak hanya membutuhkan daya komputasi cloud, tetapi juga daya komputasi perangkat terminal, karena konsumsi sumber daya yang besar dari model besar, setiap panggilan berarti biaya tinggi. Ketua alfabet John Hennessy pernah menyebutkan bahwa biaya pencarian menggunakan model bahasa besar 10 kali lebih tinggi dari biaya pencarian kata kunci sebelumnya. Tahun lalu, Google memiliki 3,3 triliun permintaan pencarian, dengan biaya masing-masing sekitar seperlima sen. Analis Wall Street memperkirakan bahwa jika Google menggunakan model bahasa besar untuk menangani setengah dari kueri penelusurannya, masing-masing memberikan jawaban sekitar 50 kata,** Google dapat menghadapi peningkatan pengeluaran sebesar $6 miliar pada tahun 2024. **

(Sumber: Reuters)

Menjalankan model besar di ponsel menghadapi masalah biaya yang serupa.Hal ini disebutkan dalam laporan "AI Hibrida adalah Masa Depan AI" yang dirilis oleh Qualcomm, seperti komputasi tradisional yang telah berevolusi dari mainframe dan klien menjadi kombinasi terminal cloud dan edge Dalam mode yang sama, menjalankan model besar di sisi terminal juga memerlukan arsitektur AI hybrid untuk memungkinkan beban kerja AI didistribusikan dan dikoordinasikan antara terminal cloud dan edge,** memungkinkan produsen ponsel menggunakan daya komputasi terminal edge untuk mengurangi biaya. Dari pertimbangan biaya inilah model besar dapat digunakan secara lokal.

Selain itu, sebagai barang pribadi setiap orang, ponsel adalah tempat di mana data dihasilkan, dan sejumlah besar data pribadi juga disimpan secara lokal. Jika penyebaran lokal dapat diwujudkan, itu akan memberikan perlindungan bagi individu dalam hal keamanan dan privasi. .

Ini memunculkan masalah kedua: Jika Anda ingin menggunakan lebih banyak kemampuan sisi akhir untuk menjalankan model besar, bagaimana Anda dapat membuat konsumsi daya ponsel menjadi sangat rendah dan pada saat yang sama membuat model lebih efektif?

Qualcomm pernah menyatakan bahwa kemampuan utama untuk menerapkan model besar ke perangkat lokal seperti ponsel terletak pada optimalisasi perangkat keras dan perangkat lunak AI full-stack Qualcomm, termasuk Qualcomm AI Model Enhancement Toolkit (AIMET), Mesin AI Qualcomm, dan teknologi Terkait Qualcomm seperti tumpukan perangkat lunak AI dapat memampatkan volume model, mempercepat penalaran, dan mengurangi penundaan waktu proses dan konsumsi daya. Hou Jilei, wakil presiden global Qualcomm dan kepala penelitian AI Qualcomm, pernah menyebutkan bahwa bagian penting dari penelitian dan pengembangan AI efisiensi tinggi Qualcomm adalah penelitian efisiensi model secara keseluruhan.Tujuannya adalah untuk mengurangi model AI ke berbagai arah sehingga dapat berjalan secara efisien pada perangkat keras. .

Kompresi model tunggal bukanlah kesulitan kecil. Beberapa kompresi model akan menyebabkan hilangnya kinerja model besar, dan ada beberapa metode teknis yang dapat mencapai kompresi tanpa kehilangan, yang semuanya memerlukan upaya rekayasa dalam arah yang berbeda dengan bantuan berbagai alat.

Kemampuan perangkat lunak dan perangkat keras utama ini merupakan tantangan besar bagi produsen ponsel. Saat ini, banyak pabrikan ponsel telah mengambil langkah pertama untuk menjalankan model besar di ponsel. Selanjutnya, bagaimana membuat model besar yang lebih baik masuk ke setiap ponsel dengan lebih hemat dan efisien adalah langkah yang lebih sulit dan lebih kritis.

Petualangan baru saja dimulai.