Membuka antarmuka kamera, presenter mengambil gambar pemandangan di depannya. Di album, temukan gambar ini dan pilih fungsi "Perluas", tetapi bagian periferal yang tidak ditangkap dalam foto telah secara ajaib "diperluas" ke pinggiran.
Di sisi lain, ponsel tampaknya digunakan untuk mengambil selfie bagi pengunjung, dan ketika Anda memasuki area kamera yang menghadap ke depan, Anda akan menemukan bahwa latar belakang gambar orang tersebut dalam gambar diganti secara real time, bahkan jika orang selfie terus bergerak, latar belakang virtual tidak usang, dan penundaan hampir tidak terasa.
Ubah latar belakang selfie secara real time |
Dan jika Anda melihat sedikit lebih dekat, Anda akan menemukan bahwa semua ponsel yang digunakan untuk demonstrasi berada dalam mode pesawat - yaitu, semua komplikasi di atas berjalan pada chip lokal ponsel.
Ini adalah aula pengalaman demo Qualcomm Snapdragon Summit 2023, dan fungsi AI yang ditunjukkan oleh ponsel di atas semuanya mengandalkan daya komputasi chip prosesor Snapdragon 8 Gen 3 (Snapdragon 8 generasi ketiga) yang baru saja diekspos di konferensi.
Pada saat model besar AI populer, Qualcomm merilis dua produk baru pada konferensi pers tahun ini, masing-masing chip Snapdragon X Elite dan Snapdragon 8 Gen 3, pada perangkat seluler yang diwakili oleh PC dan ponsel cerdas, mewujudkan operasi lokal puluhan miliar model besar parameter, menjadikan kemampuan magis AI generatif sebagai "fungsi bawaan" perangkat seluler.
Selain "cloud AI", dengan pesatnya perkembangan chip, "terminal AI" telah terwujud, dan era "hybrid AI" di mana keduanya bekerja sama mungkin telah tiba.
**01 AI, dari pusat data ke ponsel dan PC **
"Kami baru saja melihat awal dari transformasi berikutnya, dan itu jauh jangkauannya. **」
Presiden dan CEO Qualcomm, Cristiano Amon membuat prediksi "hybrid AI" yang menggabungkan perangkat dan cloud ketika menggambarkan ponsel dari ponsel fitur ke smartphone dan kemudian ke masa depan.
Pada Qualcomm Snapdragon Summit, Ammon menjelaskan bahwa era "terminal AI" telah tiba|Geek Park
AI di cloud, seperti banyak aplikasi percakapan AI generatif saat ini, mungkin tidak asing, tetapi implementasi AI terminal memiliki persyaratan perangkat keras yang tinggi, itulah sebabnya dua chip baru pada konferensi pers Qualcomm - Snapdragon X Elite dan Snapdragon 8 Gen 3 - sangat menarik.
Mungkin hal yang paling menarik hari itu adalah bahwa CPU Ryon pada Snapdragon X Elite tidak hanya mengalahkan chip M2 MAX kebanggaan Apple ** dan Intel i9-13980HX dalam hal kinerja pada satu utas, tetapi juga mengkonsumsi energi 70% lebih sedikit daripada yang terakhir pada kinerja yang sama.
Terlebih lagi, CPU Oryon yang kuat, Hexagon NPU, dan GPU Adreno, dengan dukungan mesin AI heterogen X Elite, dapat mencapai daya komputasi keseluruhan 75 TOP dalam tiga unit prosesor.
Kekuatan komputasi super memungkinkan pengalaman percakapan AI generatif, yang sebelumnya hanya tersedia di cloud, untuk berhasil diimplementasikan di lingkungan lokal komputer yang dilengkapi dengan chip Snapdragon X Elite, yang dapat menjalankan model bahasa besar hingga 13 miliar parameter di sisi PC, dan kecepatan pembuatan Token mencapai 30 token per detik, yang lebih cepat dari kecepatan membaca pengguna; Pada saat yang sama, gambar yang dihasilkan dengan Difusi Stabil ternyata sangat cepat dalam waktu kurang dari 1 detik.
Kecepatan CPU Oryon yang baru diluncurkan dan konsumsi energi adalah yang terbaik di dunia
Di lapangan, ketika Anda mengklik tombol hasilkan dengan jari Anda dan gambar dapat diselesaikan dalam sekejap, pengalamannya luar biasa, karena orang telah lama terbiasa menunggu dialog generatif untuk menghasilkan gambar, dari buram hingga jernih.
Sebagai chip smartphone andalan, Snapdragon 8 Gen 3 tidak jauh di belakang X Elite, dan dalam hal AI, tidak hanya dapat menjalankan model besar dengan puluhan miliar parameter secara lokal, tetapi juga menghasilkan gambar hanya dalam 0,6 detik.
Pada kuartal pertama tahun ini saja, demo Qualcomm hanya mampu menjalankan model besar dengan 1 miliar parameter secara lokal, dan kecepatan menghasilkan gambar dikendalikan hingga 15 detik. "Keajaiban" macam apa yang digunakan Qualcomm untuk membuat "AI terminal" membuat lompatan besar?
Dalam kasus Snapdragon 8 Gen 3, Qualcomm** pertama-tama mengukur model besar seperti Llama 2, mengompresnya menggunakan tumpukan perangkat lunak AI, dan memuat model terkuantisasi ke dalam memori DDR berkecepatan sangat tinggi**, yang dapat memasukkan model ke dalam NPU Hexagon dengan throughput ultra-cepat untuk bekerja.
AI Engine Qualcomm dioptimalkan khusus untuk AI |
Qualcomm telah membuat perbaikan signifikan pada mikroarsitektur. Selain meningkatkan perangkat keras inferensi mikroirisan, tim juga menambahkan jalur pengiriman daya terpisah ke akselerator tensor untuk kinerja optimal dan efisiensi energi. Pada saat yang sama, Qualcomm telah meningkatkan kecepatan clock akselerator skalar dan vektor dan menggandakan bandwidth memori bersama yang besar. Penyempurnaan pada NPU Hexagon ini menjadikannya akselerator terdepan untuk inferensi model besar.
Qualcomm juga menggunakan teknik "decoding spekulatif" dalam percakapan berbasis suara, yang juga digunakan untuk pertama kalinya di terminal. Teknologi ini menggunakan algoritma "draft model" yang hampir setengah ukuran model aslinya, dan dengan cepat menghasilkan 3 token spekulatif setelah melakukan sejumlah besar inferensi pada CPU.
Model master memproses semua 3 tag sekaligus dan memutuskan mana yang akan diterima. Model draf yang baik memprediksi token berikutnya dengan tingkat penerimaan yang tinggi, menggandakan tingkat pembuatan token sambil mempertahankan akurasi. Akhirnya, suara yang dihasilkan oleh asisten AI dihasilkan oleh model AI text-to-speech yang berjalan pada CPU.
Ini adalah proses Qualcomm AI Engine, atau NPU, dikombinasikan dengan CPU, GPU, Qualcomm Sensor Hub, dan memori ultra-cepat, bekerja sama untuk menyelesaikan kasus penggunaan AI sisi perangkat.
Namun, di balik kasus aplikasi AI generatif yang kompleks namun efisien adalah akumulasi dan eksplorasi Qualcomm yang panjang ke arah AI sisi perangkat.
02 Evolusi Terminal AI
Jika kita berbicara tentang evolusi perangkat keras cloud AI dalam skenario pusat data, simbolnya adalah kartu grafis NVIDIA; Kemudian perkembangan AI di sisi perangkat ditandai dengan mesin Qualcomm AI, tentunya bagian terpenting dari level hardware adalah prosesor Snapdragon Hexagon NPU yang terus berkembang.
Kembali pada tahun 2007, Qualcomm memperkenalkan prosesor Hexagon pertama pada platform Snapdragon.
Pada tahun 2015, Qualcomm mengintegrasikan teknologi AI ke dalam prosesornya, menggunakan AI untuk meningkatkan komputasi gambar, audio, dan sensor.
Pada tahun 2017, Qualcomm memperkenalkan Hexagon 685 DSP dalam chip Snapdragon 845, yang memungkinkan smartphone melakukan tugas AI yang kompleks seperti pengenalan gambar dan pemrosesan suara dengan lebih cepat.
Tahun berikutnya, pada tahun 2018, Snapdragon 855 meningkatkan mesin AI generasi keempatnya, menambahkan akselerator tensor ke prosesor Hexagon, menghasilkan peningkatan kinerja 3x lipat dalam pemrosesan AI.
Di Snapdragon 865, Hexagon 698 DSP diperkenalkan, memberikan lebih banyak kinerja dan efisiensi AI. Rilis ini menekankan akselerasi AI dan mengoptimalkan eksekusi model AI untuk menjalankan aplikasi AI lebih cepat di smartphone. Hexagon 780 DSP di Snapdragon 888 pada akhir tahun 2020 menghadirkan performa AI hingga 26TOPS.
Setelah lebih dari satu dekade evolusi, kemampuan AI dari platform komputasi Snapdragon telah tumbuh 100x
Hingga saat ini, chip Snapdragon X Elite dan 8 Gen 3 telah mampu memberikan 75 TOP daya komputasi - jika Anda membuat grafik kekuatan pemrosesan AI chip Qualcomm dalam tujuh tahun terakhir, Anda dapat melihat bahwa "kurva AI" telah menunjukkan tren kenaikan yang tajam, dan masih belum berhenti.
Selain perangkat keras, upaya Qualcomm di tingkat perangkat lunak AI juga sangat diperlukan untuk meningkatkan kemampuan AI terminal. Tumpukan perangkat lunak Qualcomm AI mengintegrasikan semua produk perangkat lunak AI-nya ke dalam solusi terpadu. OEM dan pengembang dapat membuat, mengoptimalkan, dan menerapkan aplikasi AI berdasarkan produk Qualcomm, memanfaatkan sepenuhnya kinerja Qualcomm AI Engine, memungkinkan pengembang AI untuk membuat model AI sekali dan menerapkannya di berbagai produk.
Di Snapdragon Summit, Qualcomm juga meluncurkan model tumpukan perangkat lunak AI – serangkaian model yang memenuhi kebutuhan pengembang yang telah sepenuhnya dioptimalkan, diuji, dan divalidasi oleh Qualcomm untuk mendukung platform Snapdragon 8 dan Snapdragon X Elite generasi ketiga.
Qualcomm Neural Network Processing SDK dan Qualcomm AI Engine Direct berada di jantung tumpukan perangkat lunak Qualcomm AI, menghubungkan chip ke semua kerangka kerja AI utama. Dengan model terkelola TF Lite dan ONNX RT, pengguna juga dapat menggunakan Tensorflow dan ONNX secara langsung, memberi pengembang kebebasan untuk memilih lingkungan kerja pilihan mereka.
Qualcomm sedang membangun ekosistem AI terminal dengan banyak raksasa dan perusahaan model besar
Qualcomm telah bermitra dengan sejumlah raksasa dan startup model besar, dan pada saat rilis model tumpukan perangkat lunak AI Qualcomm, sudah ada lebih dari 30 model besar yang didukung, dan jumlahnya masih terus bertambah, dan model tumpukan perangkat lunak juga akan muncul di platform hosting model populer Hugging Face.
Sekarang di generasi kedelapan, AI Engine Qualcomm, yang terdiri dari beberapa komponen perangkat keras dan perangkat lunak, memungkinkan akselerasi AI sisi perangkat pada platform Snapdragon dan Qualcomm.
Dapat dilihat bahwa ** Berdasarkan perangkat keras yang mendasari chip, Qualcomm menyatukan sejumlah besar mitra untuk membangun ekosistem "terminal AI" **.
Mengapa "AI terminal" begitu penting, dan Qualcomm serta mitranya harus berusaha keras untuk berinvestasi di dalamnya?
03 Masa Depan "AI Hybrid"
Di browser, di aplikasi seluler, banyak orang menggunakan aplikasi AI generatif, dan tampaknya "cloud AI" semacam ini telah memenuhi kebutuhan orang. Apa keuntungan AI pada perangkat dibandingkan AI cloud?
Yang pertama adalah segera merespons. Di masa lalu, pengembang telah mencoba mengompres model Difusi Stabil untuk menghasilkan gambar di notebook Mac, dan hasilnya diukur dalam hitungan jam. Namun, jika operasi lokal dilakukan di terminal, dalam demo yang ditunjukkan oleh Qualcomm, kecepatan Fast Stable Diffusion untuk menghasilkan gambar telah dikurangi menjadi kurang dari 1 detik.
Terutama dalam skenario dengan persyaratan latensi tinggi, seperti manusia virtual dan latar belakang virtual real-time, kedekatan komputasi lokal AI terminal disorot.
Selain itu, dalam kasus jaringan yang buruk, kemampuan AI perangkat lokal menjadi satu-satunya pilihan bagi pengguna.
Chip Snapdragon 8 generasi ketiga dapat mencapai kemampuan ekspansi foto secara lokal di telepon|Qualcomm
Pada saat yang sama, ketika data berjalan secara lokal di terminal, keamanan juga lebih aman daripada di cloud. Misalnya, Snapdragon X Elite mendukung keamanan end-to-end terbaru, melindungi semua titik akhir di perusahaan, dari chip hingga cloud. Unit Pemrosesan Aman Qualcomm khusus mendukung arsitektur keamanan Microsoft Pluton dan dirancang untuk menyimpan data sensitif.
Akhirnya, peningkatan kemampuan AI terminal benar-benar dapat memberi asisten AI kesempatan untuk menghilangkan stigma "cacat intelektual buatan" dan benar-benar menjadi asisten cerdas pribadi yang berkualitas dan sangat personal. Sama seperti demonstrasi langsung, dengan bantuan informasi pribadi, kebiasaan penggunaan, dan data lain yang direkam dan disimpan di sisi terminal, asisten cerdas dapat langsung memesan hotel dan tiket pesawat setelah menerima perintah suara, alih-alih melompat-lompat di berbagai aplikasi di ponsel. Ini semua tak tertandingi oleh AI di cloud.
Sekitar sepuluh tahun yang lalu, Mark Anderson, pendiri a16z, pernah membuat prediksi bahwa "perangkat lunak akan menelan dunia", tetapi sayangnya kenyataannya dipalsukan; Di bawah gelombang AI yang disebabkan oleh model besar, "aplikasi pemakan AI" secara bertahap menjadi kenyataan.
Terminal AI + cloud AI akan mengubah paradigma smartphone yang berpusat pada aplikasi|Geek Park
"Kekuatan prediktif AI, ditambah dengan fakta bahwa terminal dibangun untuk Anda, membuat terminal dan sistem operasi, serta aplikasi dan cloud, pintar."
Amon menjelaskan bagaimana "hybrid AI" yang terdiri dari terminal AI + cloud AI akan mengubah kebiasaan orang menggunakan perangkat.
Hingga kini, jumlah terminal yang menggunakan platform Snapdragon telah mencapai 3 miliar.
Sama seperti CPU Oryon akan memasuki berbagai lini produk Qualcomm di masa depan, kemampuan AI terminal akan segera ditransfer dari PC dan ponsel ke XR dan perangkat mobil pintar - masa depan di mana "hybrid AI" ada di mana-mana.
AI akan menemukan jalannya ke semua jenis perangkat
Pembukaan Snapdragon Summit, upacara khusus untuk penduduk lokal Maui, orang asing dari luar negeri, melalui instrumen dan panggilan keong yang unik, menunjukkan bahwa mereka tidak bersalah; Orang-orang lokal di pulau itu menjawab dengan "mantra" unik untuk memastikan bahwa pihak lain tidak memiliki niat jahat dan dapat dipercaya.
Upacara yang mengharukan ini sangat mirip dengan konvergensi "AI terminal" dan "AI cloud" untuk membawa masa depan "AI hybrid" ke dunia.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Model besar diletakkan di ponsel, membuka tirai pada AI untuk mengubah dunia
Sumber asli: Geek Park
Penulis: Jing Yu
Membuka antarmuka kamera, presenter mengambil gambar pemandangan di depannya. Di album, temukan gambar ini dan pilih fungsi "Perluas", tetapi bagian periferal yang tidak ditangkap dalam foto telah secara ajaib "diperluas" ke pinggiran.
Di sisi lain, ponsel tampaknya digunakan untuk mengambil selfie bagi pengunjung, dan ketika Anda memasuki area kamera yang menghadap ke depan, Anda akan menemukan bahwa latar belakang gambar orang tersebut dalam gambar diganti secara real time, bahkan jika orang selfie terus bergerak, latar belakang virtual tidak usang, dan penundaan hampir tidak terasa.
Dan jika Anda melihat sedikit lebih dekat, Anda akan menemukan bahwa semua ponsel yang digunakan untuk demonstrasi berada dalam mode pesawat - yaitu, semua komplikasi di atas berjalan pada chip lokal ponsel.
Ini adalah aula pengalaman demo Qualcomm Snapdragon Summit 2023, dan fungsi AI yang ditunjukkan oleh ponsel di atas semuanya mengandalkan daya komputasi chip prosesor Snapdragon 8 Gen 3 (Snapdragon 8 generasi ketiga) yang baru saja diekspos di konferensi.
Pada saat model besar AI populer, Qualcomm merilis dua produk baru pada konferensi pers tahun ini, masing-masing chip Snapdragon X Elite dan Snapdragon 8 Gen 3, pada perangkat seluler yang diwakili oleh PC dan ponsel cerdas, mewujudkan operasi lokal puluhan miliar model besar parameter, menjadikan kemampuan magis AI generatif sebagai "fungsi bawaan" perangkat seluler.
Selain "cloud AI", dengan pesatnya perkembangan chip, "terminal AI" telah terwujud, dan era "hybrid AI" di mana keduanya bekerja sama mungkin telah tiba.
**01 AI, dari pusat data ke ponsel dan PC **
"Kami baru saja melihat awal dari transformasi berikutnya, dan itu jauh jangkauannya. **」
Presiden dan CEO Qualcomm, Cristiano Amon membuat prediksi "hybrid AI" yang menggabungkan perangkat dan cloud ketika menggambarkan ponsel dari ponsel fitur ke smartphone dan kemudian ke masa depan.
AI di cloud, seperti banyak aplikasi percakapan AI generatif saat ini, mungkin tidak asing, tetapi implementasi AI terminal memiliki persyaratan perangkat keras yang tinggi, itulah sebabnya dua chip baru pada konferensi pers Qualcomm - Snapdragon X Elite dan Snapdragon 8 Gen 3 - sangat menarik.
Mungkin hal yang paling menarik hari itu adalah bahwa CPU Ryon pada Snapdragon X Elite tidak hanya mengalahkan chip M2 MAX kebanggaan Apple ** dan Intel i9-13980HX dalam hal kinerja pada satu utas, tetapi juga mengkonsumsi energi 70% lebih sedikit daripada yang terakhir pada kinerja yang sama.
Terlebih lagi, CPU Oryon yang kuat, Hexagon NPU, dan GPU Adreno, dengan dukungan mesin AI heterogen X Elite, dapat mencapai daya komputasi keseluruhan 75 TOP dalam tiga unit prosesor.
Kekuatan komputasi super memungkinkan pengalaman percakapan AI generatif, yang sebelumnya hanya tersedia di cloud, untuk berhasil diimplementasikan di lingkungan lokal komputer yang dilengkapi dengan chip Snapdragon X Elite, yang dapat menjalankan model bahasa besar hingga 13 miliar parameter di sisi PC, dan kecepatan pembuatan Token mencapai 30 token per detik, yang lebih cepat dari kecepatan membaca pengguna; Pada saat yang sama, gambar yang dihasilkan dengan Difusi Stabil ternyata sangat cepat dalam waktu kurang dari 1 detik.
Di lapangan, ketika Anda mengklik tombol hasilkan dengan jari Anda dan gambar dapat diselesaikan dalam sekejap, pengalamannya luar biasa, karena orang telah lama terbiasa menunggu dialog generatif untuk menghasilkan gambar, dari buram hingga jernih.
Sebagai chip smartphone andalan, Snapdragon 8 Gen 3 tidak jauh di belakang X Elite, dan dalam hal AI, tidak hanya dapat menjalankan model besar dengan puluhan miliar parameter secara lokal, tetapi juga menghasilkan gambar hanya dalam 0,6 detik.
Pada kuartal pertama tahun ini saja, demo Qualcomm hanya mampu menjalankan model besar dengan 1 miliar parameter secara lokal, dan kecepatan menghasilkan gambar dikendalikan hingga 15 detik. "Keajaiban" macam apa yang digunakan Qualcomm untuk membuat "AI terminal" membuat lompatan besar?
Dalam kasus Snapdragon 8 Gen 3, Qualcomm** pertama-tama mengukur model besar seperti Llama 2, mengompresnya menggunakan tumpukan perangkat lunak AI, dan memuat model terkuantisasi ke dalam memori DDR berkecepatan sangat tinggi**, yang dapat memasukkan model ke dalam NPU Hexagon dengan throughput ultra-cepat untuk bekerja.
Qualcomm telah membuat perbaikan signifikan pada mikroarsitektur. Selain meningkatkan perangkat keras inferensi mikroirisan, tim juga menambahkan jalur pengiriman daya terpisah ke akselerator tensor untuk kinerja optimal dan efisiensi energi. Pada saat yang sama, Qualcomm telah meningkatkan kecepatan clock akselerator skalar dan vektor dan menggandakan bandwidth memori bersama yang besar. Penyempurnaan pada NPU Hexagon ini menjadikannya akselerator terdepan untuk inferensi model besar.
Qualcomm juga menggunakan teknik "decoding spekulatif" dalam percakapan berbasis suara, yang juga digunakan untuk pertama kalinya di terminal. Teknologi ini menggunakan algoritma "draft model" yang hampir setengah ukuran model aslinya, dan dengan cepat menghasilkan 3 token spekulatif setelah melakukan sejumlah besar inferensi pada CPU.
Model master memproses semua 3 tag sekaligus dan memutuskan mana yang akan diterima. Model draf yang baik memprediksi token berikutnya dengan tingkat penerimaan yang tinggi, menggandakan tingkat pembuatan token sambil mempertahankan akurasi. Akhirnya, suara yang dihasilkan oleh asisten AI dihasilkan oleh model AI text-to-speech yang berjalan pada CPU.
Ini adalah proses Qualcomm AI Engine, atau NPU, dikombinasikan dengan CPU, GPU, Qualcomm Sensor Hub, dan memori ultra-cepat, bekerja sama untuk menyelesaikan kasus penggunaan AI sisi perangkat.
Namun, di balik kasus aplikasi AI generatif yang kompleks namun efisien adalah akumulasi dan eksplorasi Qualcomm yang panjang ke arah AI sisi perangkat.
02 Evolusi Terminal AI
Jika kita berbicara tentang evolusi perangkat keras cloud AI dalam skenario pusat data, simbolnya adalah kartu grafis NVIDIA; Kemudian perkembangan AI di sisi perangkat ditandai dengan mesin Qualcomm AI, tentunya bagian terpenting dari level hardware adalah prosesor Snapdragon Hexagon NPU yang terus berkembang.
Kembali pada tahun 2007, Qualcomm memperkenalkan prosesor Hexagon pertama pada platform Snapdragon.
Pada tahun 2015, Qualcomm mengintegrasikan teknologi AI ke dalam prosesornya, menggunakan AI untuk meningkatkan komputasi gambar, audio, dan sensor.
Pada tahun 2017, Qualcomm memperkenalkan Hexagon 685 DSP dalam chip Snapdragon 845, yang memungkinkan smartphone melakukan tugas AI yang kompleks seperti pengenalan gambar dan pemrosesan suara dengan lebih cepat.
Tahun berikutnya, pada tahun 2018, Snapdragon 855 meningkatkan mesin AI generasi keempatnya, menambahkan akselerator tensor ke prosesor Hexagon, menghasilkan peningkatan kinerja 3x lipat dalam pemrosesan AI.
Di Snapdragon 865, Hexagon 698 DSP diperkenalkan, memberikan lebih banyak kinerja dan efisiensi AI. Rilis ini menekankan akselerasi AI dan mengoptimalkan eksekusi model AI untuk menjalankan aplikasi AI lebih cepat di smartphone. Hexagon 780 DSP di Snapdragon 888 pada akhir tahun 2020 menghadirkan performa AI hingga 26TOPS.
Hingga saat ini, chip Snapdragon X Elite dan 8 Gen 3 telah mampu memberikan 75 TOP daya komputasi - jika Anda membuat grafik kekuatan pemrosesan AI chip Qualcomm dalam tujuh tahun terakhir, Anda dapat melihat bahwa "kurva AI" telah menunjukkan tren kenaikan yang tajam, dan masih belum berhenti.
Selain perangkat keras, upaya Qualcomm di tingkat perangkat lunak AI juga sangat diperlukan untuk meningkatkan kemampuan AI terminal. Tumpukan perangkat lunak Qualcomm AI mengintegrasikan semua produk perangkat lunak AI-nya ke dalam solusi terpadu. OEM dan pengembang dapat membuat, mengoptimalkan, dan menerapkan aplikasi AI berdasarkan produk Qualcomm, memanfaatkan sepenuhnya kinerja Qualcomm AI Engine, memungkinkan pengembang AI untuk membuat model AI sekali dan menerapkannya di berbagai produk.
Di Snapdragon Summit, Qualcomm juga meluncurkan model tumpukan perangkat lunak AI – serangkaian model yang memenuhi kebutuhan pengembang yang telah sepenuhnya dioptimalkan, diuji, dan divalidasi oleh Qualcomm untuk mendukung platform Snapdragon 8 dan Snapdragon X Elite generasi ketiga.
Qualcomm Neural Network Processing SDK dan Qualcomm AI Engine Direct berada di jantung tumpukan perangkat lunak Qualcomm AI, menghubungkan chip ke semua kerangka kerja AI utama. Dengan model terkelola TF Lite dan ONNX RT, pengguna juga dapat menggunakan Tensorflow dan ONNX secara langsung, memberi pengembang kebebasan untuk memilih lingkungan kerja pilihan mereka.
Qualcomm telah bermitra dengan sejumlah raksasa dan startup model besar, dan pada saat rilis model tumpukan perangkat lunak AI Qualcomm, sudah ada lebih dari 30 model besar yang didukung, dan jumlahnya masih terus bertambah, dan model tumpukan perangkat lunak juga akan muncul di platform hosting model populer Hugging Face.
Sekarang di generasi kedelapan, AI Engine Qualcomm, yang terdiri dari beberapa komponen perangkat keras dan perangkat lunak, memungkinkan akselerasi AI sisi perangkat pada platform Snapdragon dan Qualcomm.
Dapat dilihat bahwa ** Berdasarkan perangkat keras yang mendasari chip, Qualcomm menyatukan sejumlah besar mitra untuk membangun ekosistem "terminal AI" **.
Mengapa "AI terminal" begitu penting, dan Qualcomm serta mitranya harus berusaha keras untuk berinvestasi di dalamnya?
03 Masa Depan "AI Hybrid"
Di browser, di aplikasi seluler, banyak orang menggunakan aplikasi AI generatif, dan tampaknya "cloud AI" semacam ini telah memenuhi kebutuhan orang. Apa keuntungan AI pada perangkat dibandingkan AI cloud?
Yang pertama adalah segera merespons. Di masa lalu, pengembang telah mencoba mengompres model Difusi Stabil untuk menghasilkan gambar di notebook Mac, dan hasilnya diukur dalam hitungan jam. Namun, jika operasi lokal dilakukan di terminal, dalam demo yang ditunjukkan oleh Qualcomm, kecepatan Fast Stable Diffusion untuk menghasilkan gambar telah dikurangi menjadi kurang dari 1 detik.
Terutama dalam skenario dengan persyaratan latensi tinggi, seperti manusia virtual dan latar belakang virtual real-time, kedekatan komputasi lokal AI terminal disorot.
Selain itu, dalam kasus jaringan yang buruk, kemampuan AI perangkat lokal menjadi satu-satunya pilihan bagi pengguna.
Pada saat yang sama, ketika data berjalan secara lokal di terminal, keamanan juga lebih aman daripada di cloud. Misalnya, Snapdragon X Elite mendukung keamanan end-to-end terbaru, melindungi semua titik akhir di perusahaan, dari chip hingga cloud. Unit Pemrosesan Aman Qualcomm khusus mendukung arsitektur keamanan Microsoft Pluton dan dirancang untuk menyimpan data sensitif.
Akhirnya, peningkatan kemampuan AI terminal benar-benar dapat memberi asisten AI kesempatan untuk menghilangkan stigma "cacat intelektual buatan" dan benar-benar menjadi asisten cerdas pribadi yang berkualitas dan sangat personal. Sama seperti demonstrasi langsung, dengan bantuan informasi pribadi, kebiasaan penggunaan, dan data lain yang direkam dan disimpan di sisi terminal, asisten cerdas dapat langsung memesan hotel dan tiket pesawat setelah menerima perintah suara, alih-alih melompat-lompat di berbagai aplikasi di ponsel. Ini semua tak tertandingi oleh AI di cloud.
Sekitar sepuluh tahun yang lalu, Mark Anderson, pendiri a16z, pernah membuat prediksi bahwa "perangkat lunak akan menelan dunia", tetapi sayangnya kenyataannya dipalsukan; Di bawah gelombang AI yang disebabkan oleh model besar, "aplikasi pemakan AI" secara bertahap menjadi kenyataan.
"Kekuatan prediktif AI, ditambah dengan fakta bahwa terminal dibangun untuk Anda, membuat terminal dan sistem operasi, serta aplikasi dan cloud, pintar."
Amon menjelaskan bagaimana "hybrid AI" yang terdiri dari terminal AI + cloud AI akan mengubah kebiasaan orang menggunakan perangkat.
Hingga kini, jumlah terminal yang menggunakan platform Snapdragon telah mencapai 3 miliar.
Sama seperti CPU Oryon akan memasuki berbagai lini produk Qualcomm di masa depan, kemampuan AI terminal akan segera ditransfer dari PC dan ponsel ke XR dan perangkat mobil pintar - masa depan di mana "hybrid AI" ada di mana-mana.
Pembukaan Snapdragon Summit, upacara khusus untuk penduduk lokal Maui, orang asing dari luar negeri, melalui instrumen dan panggilan keong yang unik, menunjukkan bahwa mereka tidak bersalah; Orang-orang lokal di pulau itu menjawab dengan "mantra" unik untuk memastikan bahwa pihak lain tidak memiliki niat jahat dan dapat dipercaya.
Upacara yang mengharukan ini sangat mirip dengan konvergensi "AI terminal" dan "AI cloud" untuk membawa masa depan "AI hybrid" ke dunia.