Apple baru-baru ini menyediakan pengembang AI dengan chip M3, dan sekarang mereka dapat bekerja dengan mulus dengan model besar dengan miliaran parameter di MacBook mereka. Dalam posting blognya, Apple mengatakan: "Dukungan untuk RAM hingga 128GB membuka alur kerja yang sebelumnya tidak dapat dicapai pada laptop." "
Saat ini, hanya MacBook Pro 14 inci yang mendukung chip M3, M3 Pro, dan M3 Max, sedangkan MacBook Pro 16 inci hanya mendukung konfigurasi M3 Pro dan M3 Max. Apple juga mengklaim bahwa Neural Engine yang disempurnakan membantu mempercepat model pembelajaran mesin (ML) yang kuat sekaligus melindungi privasi.
Pengembang sekarang dapat menjalankan LLM open-source terbesar (Falcon dengan 180 miliar parameter) pada laptop 14 inci dengan kehilangan kualitas rendah.
Namun, menjalankan LLM open-source di laptop bukanlah hal baru. Sebelumnya, orang-orang AI juga telah mencoba M1. Anshul Khandelwal, salah satu pendiri dan CTO Invideo, bereksperimen dengan LLM open-source 65 miliar parameter di MacBook-nya (didukung oleh M1). Dia mengatakan itu mengubah segalanya sekarang sekitar seminggu sekali. "Ini bukan jalan panjang untuk pergi di masa depan bagi setiap teknisi untuk memiliki LLM lokal," tambahnya.
Aravind Srinivas, salah satu pendiri dan CEO Perplexity.ai, bercanda bahwa begitu MacBook cukup kuat dalam hal FLOPs untuk setiap chip M1, organisasi besar di mana semua orang menggunakan MacBook dan intranet berkecepatan tinggi perlu diatur dan perlu melaporkan kehadiran mereka kepada pemerintah.
M3 untuk Beban Kerja AI
Apple mengklaim bahwa chip seri M3 saat ini 15% lebih cepat dari chip seri M2 dan 60% lebih cepat dari chip seri M1. Jelas, hanya ada perbedaan mencolok antara M2 dan M3 dalam hal kinerja dan spesifikasi lainnya. Chip terbaru Apple memiliki jumlah core yang sama, tetapi memiliki keseimbangan core kinerja dan efisiensi yang berbeda (masing-masing 6 core, 8 P dan 4 E) dan mendukung memori hingga 36GB, bukan 32GB.
Chip M3 mendukung memori terpadu hingga 128GB, menggandakan kapasitas dibandingkan dengan pendahulunya, chip M1 dan M2. Kapasitas memori yang diperluas ini sangat penting untuk beban kerja AI/ML yang memerlukan sumber daya memori yang signifikan untuk melatih dan menjalankan model bahasa besar dan algoritme kompleks.
Selain Neural Engine yang disempurnakan dan dukungan memori yang diperluas, chip M3 memiliki arsitektur GPU yang didesain ulang.
Arsitekturnya dibuat khusus untuk kinerja dan efisiensi yang unggul, menggabungkan caching dinamis, mesh shading, dan ray tracing. Kemajuan ini dirancang khusus untuk mempercepat beban kerja AI/ML dan mengoptimalkan efisiensi komputasi secara keseluruhan.
Tidak seperti GPU tradisional, M3 baru memiliki GPU dengan "Dynamic Cache" yang menggunakan memori lokal secara real-time, meningkatkan pemanfaatan GPU, dan secara dramatis meningkatkan kinerja aplikasi dan game profesional yang menuntut. **
Kekuatan GPU akan bermanfaat bagi pengembang game dan pengguna aplikasi intensif grafis seperti Photoshop atau alat AI yang terkait dengan foto. Apple mengklaim bahwa itu hingga 1 kali lebih cepat daripada chip seri M2.5, memiliki naungan jaringan yang dipercepat perangkat keras, dan meningkatkan kinerja dengan konsumsi daya yang lebih rendah.
Apple dan Dunia
Apple tidak sendirian, dengan yang lain seperti AMD, Intel, Qualcomm, dan Nvidia berinvestasi besar-besaran dalam meningkatkan kemampuan edge yang memungkinkan pengguna menjalankan beban kerja AI yang besar pada laptop dan PC.
Sebagai contoh, AMD baru-baru ini meluncurkan AMD Ryzen AI, yang mencakup mesin AI built-in pertama untuk laptop Windows x86 dan satu-satunya mesin AI terintegrasi di kelasnya.
Intel, di sisi lain, menggantungkan harapannya pada Danau Meteor Generasi ke-14. Ini adalah prosesor Intel pertama yang menampilkan arsitektur ubin yang dapat mencampur dan mencocokkan berbagai jenis inti, seperti inti berkinerja tinggi dan inti berdaya rendah, untuk mencapai keseimbangan kinerja dan efisiensi daya terbaik.
Baru-baru ini, Qualcomm juga meluncurkan Snapdragon X Elite. CEO perusahaan, Cristiano Amon, mengklaim bahwa itu mengungguli chip M2 Max Apple, dengan kinerja puncak yang sebanding dan pengurangan konsumsi daya 30%. Pada saat yang sama, NVIDIA berinvestasi dalam kasus penggunaan edge dan diam-diam bekerja merancang CPU yang kompatibel dengan sistem operasi Microsoft Windows, menggunakan teknologi Arm.
Pengembang AI semakin berjalan dan bereksperimen dengan model bahasa secara lokal, dan sangat menarik untuk menyaksikan bagaimana bidang ini berkembang. Mengingat kemajuan terbaru di lapangan, Apple perlahan tapi pasti menjadi pilihan utama bagi pengembang AI.
Lihat Asli
Halaman ini mungkin berisi konten pihak ketiga, yang disediakan untuk tujuan informasi saja (bukan pernyataan/jaminan) dan tidak boleh dianggap sebagai dukungan terhadap pandangannya oleh Gate, atau sebagai nasihat keuangan atau profesional. Lihat Penafian untuk detailnya.
Apple telah menjadi favorit baru pengembang AI untuk menjalankan LLM open-source terbesar (model bahasa besar).
Sumber artikel: AI Ape
Apple baru-baru ini menyediakan pengembang AI dengan chip M3, dan sekarang mereka dapat bekerja dengan mulus dengan model besar dengan miliaran parameter di MacBook mereka. Dalam posting blognya, Apple mengatakan: "Dukungan untuk RAM hingga 128GB membuka alur kerja yang sebelumnya tidak dapat dicapai pada laptop." "
Saat ini, hanya MacBook Pro 14 inci yang mendukung chip M3, M3 Pro, dan M3 Max, sedangkan MacBook Pro 16 inci hanya mendukung konfigurasi M3 Pro dan M3 Max. Apple juga mengklaim bahwa Neural Engine yang disempurnakan membantu mempercepat model pembelajaran mesin (ML) yang kuat sekaligus melindungi privasi.
Pengembang sekarang dapat menjalankan LLM open-source terbesar (Falcon dengan 180 miliar parameter) pada laptop 14 inci dengan kehilangan kualitas rendah.
Namun, menjalankan LLM open-source di laptop bukanlah hal baru. Sebelumnya, orang-orang AI juga telah mencoba M1. Anshul Khandelwal, salah satu pendiri dan CTO Invideo, bereksperimen dengan LLM open-source 65 miliar parameter di MacBook-nya (didukung oleh M1). Dia mengatakan itu mengubah segalanya sekarang sekitar seminggu sekali. "Ini bukan jalan panjang untuk pergi di masa depan bagi setiap teknisi untuk memiliki LLM lokal," tambahnya.
Aravind Srinivas, salah satu pendiri dan CEO Perplexity.ai, bercanda bahwa begitu MacBook cukup kuat dalam hal FLOPs untuk setiap chip M1, organisasi besar di mana semua orang menggunakan MacBook dan intranet berkecepatan tinggi perlu diatur dan perlu melaporkan kehadiran mereka kepada pemerintah.
M3 untuk Beban Kerja AI
Apple mengklaim bahwa chip seri M3 saat ini 15% lebih cepat dari chip seri M2 dan 60% lebih cepat dari chip seri M1. Jelas, hanya ada perbedaan mencolok antara M2 dan M3 dalam hal kinerja dan spesifikasi lainnya. Chip terbaru Apple memiliki jumlah core yang sama, tetapi memiliki keseimbangan core kinerja dan efisiensi yang berbeda (masing-masing 6 core, 8 P dan 4 E) dan mendukung memori hingga 36GB, bukan 32GB.
Chip M3 mendukung memori terpadu hingga 128GB, menggandakan kapasitas dibandingkan dengan pendahulunya, chip M1 dan M2. Kapasitas memori yang diperluas ini sangat penting untuk beban kerja AI/ML yang memerlukan sumber daya memori yang signifikan untuk melatih dan menjalankan model bahasa besar dan algoritme kompleks.
Selain Neural Engine yang disempurnakan dan dukungan memori yang diperluas, chip M3 memiliki arsitektur GPU yang didesain ulang.
Arsitekturnya dibuat khusus untuk kinerja dan efisiensi yang unggul, menggabungkan caching dinamis, mesh shading, dan ray tracing. Kemajuan ini dirancang khusus untuk mempercepat beban kerja AI/ML dan mengoptimalkan efisiensi komputasi secara keseluruhan.
Tidak seperti GPU tradisional, M3 baru memiliki GPU dengan "Dynamic Cache" yang menggunakan memori lokal secara real-time, meningkatkan pemanfaatan GPU, dan secara dramatis meningkatkan kinerja aplikasi dan game profesional yang menuntut. **
Kekuatan GPU akan bermanfaat bagi pengembang game dan pengguna aplikasi intensif grafis seperti Photoshop atau alat AI yang terkait dengan foto. Apple mengklaim bahwa itu hingga 1 kali lebih cepat daripada chip seri M2.5, memiliki naungan jaringan yang dipercepat perangkat keras, dan meningkatkan kinerja dengan konsumsi daya yang lebih rendah.
Apple dan Dunia
Apple tidak sendirian, dengan yang lain seperti AMD, Intel, Qualcomm, dan Nvidia berinvestasi besar-besaran dalam meningkatkan kemampuan edge yang memungkinkan pengguna menjalankan beban kerja AI yang besar pada laptop dan PC.
Sebagai contoh, AMD baru-baru ini meluncurkan AMD Ryzen AI, yang mencakup mesin AI built-in pertama untuk laptop Windows x86 dan satu-satunya mesin AI terintegrasi di kelasnya.
Intel, di sisi lain, menggantungkan harapannya pada Danau Meteor Generasi ke-14. Ini adalah prosesor Intel pertama yang menampilkan arsitektur ubin yang dapat mencampur dan mencocokkan berbagai jenis inti, seperti inti berkinerja tinggi dan inti berdaya rendah, untuk mencapai keseimbangan kinerja dan efisiensi daya terbaik.
Baru-baru ini, Qualcomm juga meluncurkan Snapdragon X Elite. CEO perusahaan, Cristiano Amon, mengklaim bahwa itu mengungguli chip M2 Max Apple, dengan kinerja puncak yang sebanding dan pengurangan konsumsi daya 30%. Pada saat yang sama, NVIDIA berinvestasi dalam kasus penggunaan edge dan diam-diam bekerja merancang CPU yang kompatibel dengan sistem operasi Microsoft Windows, menggunakan teknologi Arm.
Pengembang AI semakin berjalan dan bereksperimen dengan model bahasa secara lokal, dan sangat menarik untuk menyaksikan bagaimana bidang ini berkembang. Mengingat kemajuan terbaru di lapangan, Apple perlahan tapi pasti menjadi pilihan utama bagi pengembang AI.