MediaTek: Era tugas AI generatif di sisi seluler akan segera tiba, tanpa mengandalkan pemrosesan cloud

Ditulis oleh: Jason Perlow

Sumber: Zdnet

Sumber gambar: Dihasilkan oleh alat AI Tak Terbatas

MediaTek berkolaborasi dengan Meta's Lllama 2 LLM, yang dirancang untuk menjalankan tugas AI generatif langsung di perangkat seluler, tanpa pemrosesan berbasis cloud. Ada beberapa keuntungan melakukan ini, tetapi ada juga masalah yang terkait.

Kecerdasan buatan generatif adalah salah satu teknologi terpanas yang muncul, didukung oleh ChatGPT OpenAI dan sistem obrolan Bard Google, serta sistem pembuatan gambar seperti Stable Diffusion dan DALL-E. Ini masih agak terbatas, karena alat ini menggunakan ratusan GPU di pusat data cloud untuk melakukan perhitungan yang diperlukan untuk setiap kueri.

Namun suatu hari nanti, kita akan dapat menjalankan tugas yang dihasilkan AI langsung di perangkat seluler. Atau di mobil yang terhubung, atau di ruang tamu, kamar tidur, dan dapur, menggunakan speaker pintar seperti Amazon Echo, Google Home, atau Apple HomePod.

MediaTek percaya bahwa masa depan ini lebih dekat dari yang kita pikirkan. Hari ini, perusahaan semikonduktor yang berbasis di Taiwan mengumumkan bahwa mereka bermitra dengan Meta untuk menggabungkan raksasa sosial Lllama 2 LLM dengan platform pengembangan perangkat lunak APU dan NeuroPilot generasi terbaru perusahaan untuk menjalankan tugas AI generatif di perangkat tanpa bergantung pada pemrosesan eksternal.

Tentu saja, ada masalah dengan ini: Kombinasi ini tidak sepenuhnya menghilangkan pusat data. Karena ukuran kumpulan data LLM (jumlah parameter yang dikandungnya) dan kinerja sistem penyimpanan yang diperlukan, kami masih memerlukan pusat data, meskipun dalam skala yang jauh lebih kecil.

Misalnya, kumpulan data "kecil" Llama 2 memiliki 7 miliar parameter, sekitar 13 GB, dan cocok untuk beberapa fungsi AI generatif yang belum sempurna. Namun, versi yang lebih besar dari 72 miliar parameter, bahkan dengan teknik kompresi data tingkat lanjut, akan membutuhkan jumlah penyimpanan yang besar secara proporsional di luar kemampuan praktis ponsel pintar saat ini. Dalam beberapa tahun ke depan, LLM yang sedang dikembangkan akan dengan mudah berukuran 10 hingga 100 kali lipat dari Llama 2 atau GPT-4, dengan persyaratan penyimpanan dalam ratusan gigabyte atau lebih.

Hal ini sulit untuk disimpan di ponsel cerdas dan memiliki IOPS yang cukup untuk kinerja basis data, namun hal ini tentu saja tidak berlaku untuk perangkat caching yang dibuat khusus dengan flash cepat dan RAM berukuran terabyte. Jadi dengan Llama 2, kini dimungkinkan untuk menghosting perangkat yang dioptimalkan untuk melayani perangkat seluler dalam satu unit rak tanpa komputasi berat. Ini bukan telepon, tapi tetap saja mengesankan!

MediaTek berharap aplikasi AI berbasis Llama 2 akan diluncurkan pada smartphone yang ditenagai oleh SoC unggulan generasi berikutnya, yang dijadwalkan akan memasuki pasar pada akhir tahun ini.

Agar AI generatif pada perangkat dapat mengakses kumpulan data ini, operator seluler harus mengandalkan jaringan edge berlatensi rendah – pusat data kecil/lemari peralatan yang terhubung dengan cepat ke menara 5G. Pusat data ini akan berlokasi langsung di jaringan operator, sehingga LLM yang berjalan di ponsel cerdas tidak perlu melalui beberapa "hop" jaringan sebelum mengakses data parameter.

Selain menjalankan beban kerja AI pada perangkat dengan prosesor khusus seperti MediaTek, LLM khusus domain juga dapat digabungkan dengan perangkat cache ini di pusat data mikro dalam skenario "tepi perangkat terbatas".

Jadi, apa keuntungan menggunakan AI generatif pada perangkat?

• Pengurangan Latensi: Karena data diproses di perangkat, waktu respons berkurang secara signifikan, terutama jika metode caching yang dilokalkan digunakan untuk bagian kumpulan data parameter yang sering diakses.
• Meningkatkan privasi data: Dengan menyimpan data di perangkat, data (seperti percakapan obrolan atau pelatihan yang dikirimkan pengguna) tidak dikirimkan melalui pusat data, hanya melalui data model.
• Peningkatan Efisiensi Bandwidth: Saat ini, tugas AI generatif mengharuskan semua data dalam percakapan pengguna untuk dikirim bolak-balik ke pusat data. Dengan pemrosesan yang dilokalkan, sejumlah besar data akan dilakukan di perangkat.
• **Meningkatkan ketahanan operasional: **Dengan membuat di perangkat, sistem dapat terus beroperasi meskipun jaringan terganggu, terutama jika perangkat memiliki cache parameter yang cukup besar.
• Efisiensi Energi: Pusat data tidak memerlukan banyak sumber daya komputasi yang intensif, juga tidak memerlukan banyak energi untuk mentransfer data dari perangkat ke pusat data.

Namun, untuk mewujudkan manfaat ini mungkin memerlukan pemisahan beban kerja dan penggunaan teknik penyeimbangan beban lainnya untuk mengurangi biaya komputasi dan overhead jaringan dari pusat data terpusat.

Selain kebutuhan yang terus-menerus akan pusat data edge yang terhubung dengan cepat (walaupun dengan kebutuhan komputasi dan energi yang sangat berkurang), terdapat pertanyaan lain: seberapa kuatkah LLM dapat dijalankan pada perangkat keras saat ini? Meskipun data di perangkat tidak terlalu dikhawatirkan akan disadap di jaringan, jika tidak dikelola dengan baik, risiko keamanan data sensitif di perangkat lokal yang disusupi juga akan meningkat, dan memperbarui data model serta memelihara data di sejumlah besar perangkat yang didistribusikan. perangkat edge cache Konsistensi juga merupakan sebuah tantangan.

Terakhir, ada pertanyaan tentang biaya: siapa yang akan membayar semua pusat data kecil ini? Jaringan edge saat ini diadopsi oleh penyedia layanan edge seperti Equinix, layanan seperti Netflix dan iTunes Apple memerlukan jaringan edge, dan operator jaringan seluler seperti AT&T, T-Mobile, atau Verizon secara tradisional tidak memerlukan jaringan edge. Penyedia layanan AI generatif seperti OpenAI/Microsoft, Google dan Meta perlu membuat pengaturan serupa.

AI generatif pada perangkat banyak yang harus dipertimbangkan, tetapi jelas perusahaan teknologi sedang memikirkannya. Dalam lima tahun, asisten pintar di perangkat Anda mungkin berpikir sendiri. Siap memasukkan kecerdasan buatan ke dalam saku Anda? Itu akan terjadi, dan jauh lebih cepat dari perkiraan kebanyakan orang.