MediaTek: Mobil tarafta, bulut işlemeye ihtiyaç duymadan üretken yapay zeka görevleri dönemi geliyor

Yazan: Jason Perlow

Kaynak: Zdnet

Resim kaynağı: Sınırsız AI aracı tarafından oluşturulmuştur

MediaTek, üretken yapay zeka görevlerini bulut tabanlı işleme gerekmeden doğrudan mobil cihazlarda çalıştırmak için tasarlanan Meta'nın Lllama 2 LLM'si ile işbirliği yapıyor. Bunu yapmanın çeşitli avantajları vardır, ancak buna karşılık gelen sorunlar da vardır.

Üretken yapay zeka, OpenAI'nin ChatGPT ve Google'ın Bard sohbet sistemlerinin yanı sıra Stable Diffusion ve DALL-E gibi görüntü oluşturma sistemleri tarafından desteklenen, gelişen en yeni teknolojilerden biridir. Ancak bu araçlar, her sorgu için gereken hesaplamaları gerçekleştirmek üzere bulut veri merkezlerindeki yüzlerce GPU'yu kullandığından hâlâ biraz sınırlıdır.

Ancak bir gün yapay zeka tarafından oluşturulan görevleri doğrudan mobil cihazlarda çalıştırabileceğiz. Veya bağlantılı bir arabada veya oturma odasında, yatak odasında ve mutfakta Amazon Echo, Google Home veya Apple HomePod gibi akıllı hoparlörler aracılığıyla çalışıyor.

MediaTek bu geleceğin sandığımızdan daha yakın olduğuna inanıyor. Tayvan merkezli yarı iletken şirketi bugün, sosyal devin Lllama 2 LLM'sini şirketin en yeni nesil APU'su ve NeuroPilot yazılım geliştirme platformuyla birleştirerek üretken yapay zeka cihaz içi görevlerini harici işlemeye dayanmadan çalıştırmak için Meta ile ortaklık kurduğunu duyurdu.

Elbette bunda bir sorun var: Bu kombinasyon veri merkezlerini tamamen ortadan kaldırmayacak. LLM veri setlerinin boyutu (içerdikleri parametre sayısı) ve depolama sisteminin gerekli performansı nedeniyle, çok daha küçük ölçekte de olsa hala bir veri merkezine ihtiyacımız var.

Örneğin, Llama 2'nin "küçük" veri kümesinde 7 milyar parametre (yaklaşık 13 GB) bulunur ve bazı temel üretken yapay zeka işlevleri için uygundur. Bununla birlikte, 72 milyar parametrenin daha büyük bir versiyonu, gelişmiş veri sıkıştırma teknikleriyle bile, günümüz akıllı telefonlarının pratik yeteneklerinin ötesinde, orantılı olarak büyük miktarda depolama gerektirecektir. Önümüzdeki birkaç yıl içinde, geliştirilmekte olan LLM'ler, yüzlerce gigabayt veya daha fazla depolama gereksinimleriyle, kolaylıkla Llama 2 veya GPT-4'ün 10 ila 100 katı büyüklüğünde olacak.

Bunu bir akıllı telefonda depolamak ve veritabanı performansı için yeterli IOPS'ye sahip olmak zordur, ancak hızlı flaşa ve terabaytlarca RAM'e sahip amaca yönelik tasarlanmış bir önbellekleme cihazı için bu kesinlikle doğru değildir. Yani Llama 2 ile artık mobil cihazlara hizmet vermek üzere optimize edilmiş bir cihazı yoğun bilgi işlem gerektirmeden tek bir raf ünitesinde barındırmak mümkün. Bu bir telefon değil ama yine de etkileyici!

MediaTek, Llama 2 tabanlı yapay zeka uygulamalarının, bu yılın sonuna kadar piyasaya sürülmesi planlanan yeni nesil amiral gemisi SoC tarafından desteklenen akıllı telefonlarda başlatılmasını bekliyor.

Cihaz içi üretken yapay zekanın bu veri kümelerine erişmesi için mobil operatörlerin, 5G kulelerine hızla bağlanan küçük veri merkezleri/ekipman dolapları gibi düşük gecikme süreli uç ağlara güvenmesi gerekiyor. Bu veri merkezleri doğrudan operatörün ağında yer alacak, böylece akıllı telefonda çalışan LLM'nin parametre verilerine erişmeden önce birden fazla ağ "atlamasından" geçmesi gerekmeyecek.

AI iş yüklerini MediaTek gibi özel işlemcilere sahip cihazlarda çalıştırmanın yanı sıra, etki alanına özgü LLM'ler, "kısıtlı cihaz ucu" senaryosunda mikro veri merkezlerinde bu önbellekleme cihazlarıyla birleştirilebilir.

Peki, cihaz içi üretken yapay zeka kullanmanın faydaları nelerdir?

• Daha Az Gecikme: Veriler cihazda işlendiğinden, özellikle parametre veri kümesinin sık erişilen bölümleri için yerelleştirilmiş önbelleğe alma yöntemleri kullanılıyorsa yanıt süreleri büyük ölçüde azalır.
• Veri gizliliğini artırın: Verilerin cihazda tutulmasıyla veriler (sohbet konuşmaları veya kullanıcı tarafından gönderilen eğitim gibi) veri merkezi üzerinden değil, yalnızca model verileri aracılığıyla iletilir.
• Geliştirilmiş Bant Genişliği Verimliliği: Günümüzde üretken yapay zeka görevleri, bir kullanıcı görüşmesindeki tüm verilerin veri merkezine ileri geri iletilmesini gerektirir. Yerelleştirilmiş işleme ile cihaz üzerinde büyük miktarda veri yapılacaktır.
• **Operasyonel esnekliği artırın: **Cihaz üzerinde üretim gerçekleştirerek, özellikle cihazın yeterince büyük bir parametre önbelleğine sahip olması durumunda sistem, ağ kesintiye uğrasa bile çalışmaya devam edebilir.
• Enerji Verimliliği: Veri merkezleri, hesaplama açısından yoğun kaynaklara veya cihazlardan veri merkezine veri aktarmak için çok fazla enerjiye ihtiyaç duymaz.

Ancak bu avantajların gerçekleştirilmesi, iş yüklerinin bölünmesini ve hesaplama maliyetlerinin ve ağ yükünün merkezi veri merkezlerinden alınması için diğer yük dengeleme tekniklerinin kullanılmasını gerektirebilir.

Hızlı bağlantılı uç veri merkezlerine yönelik süregelen ihtiyacın yanı sıra (her ne kadar büyük oranda azaltılmış hesaplama ve enerji gereksinimlerine rağmen), başka bir soru daha var: Yüksek Lisans günümüzün donanımında ne kadar güçlü çalıştırılabilir? Cihazdaki verilere ağ üzerinde müdahale edilmesi daha az endişe verici olsa da, uygun şekilde yönetilmezse, yerel cihaza sızılan hassas verilerin güvenlik riski de artacak ve model verilerinin güncellenmesi ve verilerin çok sayıda dağıtılmış durumda tutulması sağlanacaktır. uç önbellek aygıtları Tutarlılık da bir zorluktur.

Son olarak maliyet sorunu var: Tüm bu küçük veri merkezlerinin parasını kim ödeyecek? Uç ağlar şu anda Equinix gibi uç hizmet sağlayıcıları tarafından benimsenmektedir; Netflix ve Apple'ın iTunes'u gibi hizmetler uç ağlara ihtiyaç duymaktadır ve AT&T, T-Mobile veya Verizon gibi mobil ağ operatörleri geleneksel olarak uç ağlara ihtiyaç duymamaktadır. OpenAI/Microsoft, Google ve Meta gibi üretken yapay zeka hizmet sağlayıcılarının da benzer düzenlemeler yapması gerekecek.

Cihaz üzerinde üretken yapay zekanın dikkate alınması gereken çok şey var, ancak teknoloji şirketlerinin bunu düşündüğü açık. Beş yıl içinde cihazınızdaki akıllı asistan kendi adına düşünebilir. Yapay zekayı cebinize koymaya hazır mısınız? Geliyor ve çoğu kişinin beklediğinden çok daha erken.