Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yılın büyük bir bölümünde büyük model fırtınası esti ve AIGC pazarı yeniden değişmeye başladı:
Harika teknoloji demolarının yerini tam ürün deneyimleri alıyor. **
Örneğin, OpenAI'nin en son AI boyama modeli DALL· E 3 piyasaya çıkar çıkmaz, ChatGPT Plus'ta en çok beklenen yeni üretkenlik aracı olmak için ChatGPT ile güçlerini birleştirdi.
** **## △DALL· E3, metin girişinin her ayrıntısını doğru bir şekilde yeniden üretir
Örneğin, Microsoft'un GPT-4 tabanlı Copilot'u Windows 11'e tamamen yerleşti ve işletim sisteminde yeni nesil AI asistanları olarak resmi olarak Cortana'nın yerini aldı.
** **###### △ Blog gönderilerini tek bir tıklamayla özetlemek için Copilot'u kullanın
Başka bir örnek olarak, Jiyue 01 gibi yerli otomobiller resmi olarak kokpitte büyük modeller donattı ve tamamen çevrimdışılar ...
Mart 2023'te "büyük modeller her şeyi yeniden şekillendiriyor" teknoloji öncülerinin iyimser bir tahminiyse, bugün hala şiddetli olan 100 model savaşı ve pratik uygulama ilerlemesi, bu görüşü sektör içinde ve dışında giderek daha fazla yankı uyandırdı.
Başka bir deyişle, tüm İnternet üretim yönteminden her otomobildeki akıllı kokpite kadar, teknik temel olarak büyük modellerin yer aldığı ve binlerce endüstriyi yönlendiren bir kendi kendini yenileme çağı geliyor.
Buhar çağı ve elektrik çağının adlandırma yöntemine göre "modüler kuvvet çağı" olarak adlandırılabilir.
"Moli Dönemi"nde en çok endişe duyulan senaryolardan biri akıllı terminal'dir.
Nedeni basit: Akıllı telefonlar, PC'ler, akıllı arabalar ve hatta XR cihazları tarafından temsil edilen akıllı terminal endüstrisi, çağdaş insanların yaşamlarıyla en yakından ilişkili teknoloji endüstrilerinden biridir ve doğal olarak en son teknolojilerin olgunluğunu test etmek için altın bir standart haline gelmiştir.
Bu nedenle, teknoloji patlamasının getirdiği ilk yutturmaca dalgası, akıllı terminal senaryosunun bir çıpa olarak kullanılmasıyla yavaş yavaş sakinleştiğinde, "modüler güç çağının" yeni fırsatları ve zorlukları nasıl görülmeli ve yorumlanmalıdır?
Şimdi sıra onu parçalamaya, yoğurmaya ve taramaya geldi.
Akıllı Terminal, Büyük Model Yeni Savaş Alanı
Zorlukları ve fırsatları ayrıntılı olarak analiz etmeden önce, temel soruya geri dönelim: üretken yapay zeka neden büyük modellerle bu kadar popüler ve hatta "dördüncü sanayi devrimi" olarak kabul ediliyor?
Bu fenomene yanıt olarak, birçok kurum, Sequoia Capital'in "Üretken Yapay Zeka: Yaratıcı Yeni Bir Dünya" gibi farklı senaryolarda üretken yapay zekanın gelişimini tahmin etmeye veya özetlemeye çalışmak için araştırmalar yürütüyor.
Bunlar arasında, sektördeki birçok lider şirket, kendi deneyimlerine dayanarak belirli sektörlerde üretken yapay zekanın iniş senaryolarını ve potansiyel değişim yönlerini analiz etti.
Örneğin, terminal tarafı yapay zeka, oyuncu Qualcomm'u temsil ediyor ve bir süre önce üretken yapay zekanın geliştirme durumu ve eğilimi hakkında bir teknik inceleme yayınladı "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir".
Bundan, üretken yapay zekanın sektörde popüler olmasının üç ana nedenini yorumlamak mümkün olabilir.
Her şeyden önce, teknolojinin kendisi yeterince zor.
İster akıllıca ortaya çıkan büyük bir model, ister sahte kaliteyle sahte kalite üreten bir yapay zeka resmi olsun, her şey konuşmak için efektler kullanmakla ilgilidir ve metin, resim, video ve otomasyonla ilgili gerçek bir çalışma alanıdır ve geleneksel iş akışlarını bozma konusunda inanılmaz bir yetenek gösterir.
İkincisi, zengin potansiyel iniş senaryoları var. Büyük modelin getirdiği yapay zekanın nesiller boyu atılımı, insanlara en başından beri sonsuz hayal gücü getirdi: en eski deneyimciler grubu, üretken yapay zekanın işe yaramasının faydalarını hızla algıladı.
Kullanıcı tarafındaki büyük talep, ChatGPT gibi temsili uygulamaların kullanıcı büyüme hızından görülebilir.
** **#### △ChatGPT, popüler uygulamaların 100 milyondan fazla kayıtlı kullanıcısının rekorunu kırdı, kaynak Sequoia Capital
İlk İnternet aramasından, programlamadan, ofisten, kültür turizminin, hukukun, tıbbın, endüstrinin, ulaşımın ve diğer sahne uygulamalarının ortaya çıkmasına kadar, üretken yapay zekanın rüzgarını sürmek, temel büyük modeller sağlayabilen şirketlerden çok daha fazlası, aynı zamanda çok sayıda start-up gelişiyor ve büyüyor.
Birçok endüstri uzmanı, girişimciler için büyük modellerin getirdiği uygulama katmanının daha büyük fırsatlara sahip olduğuna inanıyor.
Alt kısımda nesiller boyu süren bir teknoloji atılımı, en üstte ise uygulama talebinde güçlü bir patlama yaşanıyor ve ekolojik etki teşvik ediliyor.
Bloomberg Intelligence'ın tahminine göre, üretken yapay zeka pazarı 2032 yılına kadar 40 milyar dolardan 1,3 trilyon dolara** patlayacak ve altyapı, temel modeller, geliştirici araçları, uygulama ürünleri, terminal ürünleri vb. dahil olmak üzere ekolojik zincirdeki çok çeşitli katılımcıları kapsayacak.
Bu ekolojik zincirin oluşumu, endüstride yeni değişiklikleri teşvik etti ve yapay zekayı daha da temel temel üretkenlik haline getirmesi bekleniyor.
Bu arka plana dayanarak, bugün akıllı endüstride neler olup bittiğine bakalım.
Bir yandan, büyük modellerle temsil edilen AIGC uygulama fırtınası, günlerin yineleme ritminde hızla ** buluttan terminale ** olur.
ChatGPT, mobil terminalde "görsel-işitsel konuşma"nın çok modlu işlevini güncelleyen ilk kişidir ve kullanıcılar fotoğraf çekip yükleyebilir ve fotoğraf içeriği için ChatGPT ile konuşabilirler.
Örneğin, "Bisiklet koltuğunun yüksekliği nasıl ayarlanır":
** **#### △ ve GPT-4 grafik diyaloğu, saniyeler içinde 5 öneri verin
Qualcomm ayrıca, terminal tarafında bir milyardan fazla parametre çalıştıran büyük Stable Diffusion ve ControlNet modelini hızlı bir şekilde gerçekleştirdi ve cep telefonlarında yüksek kaliteli AI görüntüleri oluşturmak yalnızca bir düzineden fazla saniye sürüyor.
Birçok cep telefonu üreticisi, sesli asistanları için büyük modellerin "beynini" kuracaklarını da açıkladı.
Ve bu sadece telefonlar değil.
Şangay Otomobil Fuarı, Chengdu Otomobil Fuarı, Münih Otomobil Fuarı vb. gibi yurtiçinde ve yurtdışında büyük ölçekli sergilerde, temel model üreticileri ve otomobil üreticileri arasındaki işbirliği giderek daha yaygın hale geliyor ve büyük model "arabaya binmek" akıllı kokpit alanında yeni bir rekabet noktası haline geldi.
** **###### △ Bir cümle, araba modelinin APP'de malzeme satın almasını sağlayabilir ve eve gittiğinizde yemek pişirebilirsiniz
Öte yandan, ** uygulamalarının patlak vermesi, bilgi işlem gücünün yetersiz olduğu durumu daha da kötüleştirdi. **
Günlük aktif kullanıcı sayısının ve kullanım sıklığının artmasıyla modelin çıkarım maliyetinin artacağı öngörülebilir ve yalnızca bulut bilişim gücüne güvenmek, üretken yapay zeka ölçeğini hızlı bir şekilde teşvik etmek için yeterli değildir.
Bu, hayatın her kesiminin terminal tarafı AI bilgi işlem gücüne olan ilgilerini artırması gerçeğinden de görülebilir.
Örneğin, terminal tarafı AI oynatıcı Qualcomm, Qualcomm'un kendi geliştirdiği Oryon CPU'yu kullanarak, PC çip performansını iyileştirmek için yeni nesil bir PC bilgi işlem platformu yayınladı, özellikle onunla donatılmış NPU, Snapdragon X serisi platform olarak adlandırılan üretken AI için daha güçlü performans sağlayacaktır.
Bu yeni bilgi işlem platformunun 2023 Snapdragon Zirvesi'nde piyasaya sürülmesi bekleniyor.
Açıkçası, ister uygulama ister bilgi işlem gücü açısından olsun, akıllı terminaller AIGC'nin en büyük iniş potansiyeline sahip senaryolardan biri haline geldi.
AIGC Resifi Gelgit Altında
İşlerin genellikle iki yüzü vardır ve hızlı gelişmeden inişe kadar büyük modeller de öyle.
Üretken yapay zeka bugüne kadar yükseldiğinde, akıllı terminal endüstrisinin büyük potansiyelinin altındaki gerçek darboğaz su yüzüne çıktı.
**En büyük kısıtlamalardan biri en düşük donanım seviyesidir. **
Sequoia yatırımcıları Sonya Huang ve Pat Grady'nin en son üretken yapay zeka analiz makalesinde belirttikleri gibi "Üretken Yapay Zekanın İkinci Yasası", AIGC hızla büyüyor, ancak beklenen darboğaz müşteri talebi değil, arz tarafı bilgi işlem gücü.
Buradaki bilgi işlem gücü, temel olarak, dağıtım senaryoları açısından beş kategoriye ayrılabilen yapay zeka ve makine öğrenimi donanım hızlandırıcılarını ifade eder:
Veri merkezi sınıfı sistemler, sunucu düzeyinde hızlandırıcılar, destekli sürüş ve otonom sürüş senaryoları için hızlandırıcılar, uç bilgi işlem ve ultra düşük güçlü hızlandırıcılar.
** **##### △5 tür yapay zeka hızlandırıcısı, kaynak MIT makalesi "AI ve ML Hızlandırıcı Anketi ve Eğilimleri"
ChatGPT'nin patlamasıyla, büyük model AIGC'yi olağanüstü bir şekilde çemberin dışına çıkardı ve veri merkezleri ve sunucu düzeyindeki işlemciler gibi "** bulut bilişim gücünün** kısa vadede çok fazla ilgi görmesini ve hatta yetersiz tedarik durumunu ortaya çıkardı.
Bununla birlikte, üretken yapay zeka ikinci aşamasına girerken, bilgi işlem gücüyle ilgili bazı sorular giderek daha belirgin hale geliyor.
**İlk ve en büyük sorun maliyettir. ** Qualcomm'un "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" teknik incelemesinde belirtildiği gibi, büyük modeller teknoloji takibinden uygulama açılışına geçerken, her şirketin temel model ** eğitimi ** yavaş yavaş yerleşti ve bilgi işlem gücünün çoğu büyük modellerin ** mantığına ** düştü.
Kısa vadede, çıkarım maliyeti kabul edilebilir, ancak büyük modeller için giderek daha fazla uygulama ve daha fazla uygulama senaryosu olduğundan, sunucular gibi hızlandırıcılarda çıkarım maliyeti keskin bir şekilde artacak ve sonuçta büyük modelleri çağırma maliyetinin büyük modelleri eğitmekten daha yüksek olmasına neden olacaktır.
Başka bir deyişle, büyük model ikinci aşamaya girdikten sonra, çıkarım için bilgi işlem gücüne yönelik uzun vadeli talep, tek bir eğitimden çok daha yüksek olacaktır ve yalnızca veri merkezlerinden ve sunucu düzeyindeki işlemcilerden oluşan "bulut bilişim gücüne" güvenmek, çıkarımı kullanıcılar için kabul edilebilir bir maliyete ulaştırmak için tamamen yetersizdir.
Qualcomm'un white paper'da yer alan istatistiklerine göre, büyük bir modele sahip arama motorunu örnek alarak, her bir arama sorgusunun maliyeti geleneksel yöntemlerin 10 katına ulaşabiliyor ve sadece bu alandaki yıllık maliyet milyarlarca dolar artabiliyor.
Bu, büyük modellerin inişi için önemli bir kısıtlama haline gelecektir.
**Bununla birlikte gecikme, gizlilik ve kişiselleştirme sorunları da var. **Qualcomm ayrıca "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" başlıklı makalesinde, büyük modellerin doğrudan bulutta konuşlandırıldığını, kullanıcı sayısındaki artışın neden olduğu yetersiz sunucu bilgi işlem miktarına, "kullanım için sıraya alma" ihtiyacına ve diğer hatalara ek olarak, kullanıcı gizliliği ve kişiselleştirme sorunlarını da çözmekle yükümlüdür.
Kullanıcılar buluta veri yüklemek istemezlerse, ofis ve akıllı asistan gibi büyük modellerin kullanım senaryoları birçok kısıtlamaya tabi olacaktır ve bu senaryoların çoğu terminal tarafında dağıtılır; Büyük modelleri kendi kullanımınız için özelleştirmek gibi daha iyi sonuçlar elde etmeniz gerekiyorsa, büyük model eğitimi için kişisel bilgileri doğrudan kullanmanız gerekir.
Çeşitli faktörler altında, akıl yürütmede rol oynayabilecek "terminal bilgi işlem gücü", yani otomatik sürüş ve destekli sürüş, uç bilgi işlem (gömülü) ve ultra düşük güçlü hızlandırıcılar dahil olmak üzere çeşitli işlemci türleri, insanların görüş alanına girmeye başladı.
Terminaller çok büyük bilgi işlem gücüne sahiptir. IDC'nin tahminine göre, küresel IoT cihazlarının sayısı 2025 yılına kadar 40 milyarı aşacak, yaklaşık 80 zettabayt veri üretecek ve verilerin yarısından fazlasının işleme için terminal veya uç bilgi işlem gücüne dayanması gerekiyor.
Bununla birlikte, terminalin sınırlı güç tüketimi ve ısı dağılımı gibi sorunları da vardır ve bu da sınırlı bilgi işlem gücüne neden olur.
Bu durumda, bulut bilişim gücünün gelişmesiyle karşılaşılan darboğazı aşmak için terminalde gizlenmiş devasa bilgi işlem gücünün nasıl kullanılacağı, "modüler güç çağında" en yaygın teknik sorunlardan biri haline geliyor.
**Bilgi işlem gücüne ek olarak, büyük modellerin uygulanmasının algoritmalar, veriler ve pazar rekabeti gibi zorluklarla da karşı karşıya olduğundan bahsetmiyorum bile. **
Algoritma için, temel alınan modelin mimarisi hala bilinmemektedir. ChatGPT iyi sonuçlar elde etti, ancak teknik rotası yeni nesil modelin mimari yönü değil.
Veriler için, yüksek kaliteli veriler, diğer şirketlerin ChatGPT'nin büyük model sonuçlarına ulaşması için vazgeçilmezdir, ancak Generative AI'nın İkinci Yasası, uygulama şirketi tarafından üretilen verilerin gerçekten bir engel oluşturmadığına da işaret ediyor.
Verilerin oluşturduğu avantaj kırılgan ve sürdürülemez ve yeni nesil temel modellerin bu "duvarı" doğrudan yok etmesi muhtemeldir, aksine, sürekli ve istikrarlı kullanıcılar gerçekten veri kaynakları oluşturabilir.
Pazar için şu anda büyük model ürünler için öldürücü bir uygulama yoktur ve ne tür senaryolar için uygun olduğu hala bilinmemektedir.
Bu çağda, ne tür ürünlerde kullanıldığı ve hangi uygulamaların en büyük değerini gösterebileceği, pazar henüz izlenebilecek bir dizi metodoloji veya standart cevap vermemiştir.
**Bu sorunlar dizisine yanıt olarak, şu anda sektördeki sorunları çözmenin iki ana yolu vardır. **
Birincisi, modelin "özünü" değiştirmeden büyük modelin algoritmasını geliştirmek, boyutunu daha iyi iyileştirmek ve daha fazla cihazda dağıtım yeteneğini geliştirmektir;
Transformer algoritmasını örnek alırsak, çok sayıda parametreye sahip bu tür modeller, uç tarafta çalışmak istiyorlarsa yapıda ayarlanmalıdır, bu süre zarfında MobileViT gibi pek çok hafif algoritma doğmuştur.
Bu algoritmalar, çıktı etkisini etkilemeden parametrelerin yapısını ve miktarını iyileştirmeye çalışır, böylece daha küçük modellerle daha fazla cihazda çalışabilirler.
Diğeri, donanımın kendisinin AI bilgi işlem gücünü geliştirmektir, böylece büyük modeller uç tarafa daha iyi inebilir.
Bu tür yöntemler, donanım bilgi işlem performansını ve farklı cihazlardaki modellerin çok yönlülüğünü artırmak için kullanılan donanım ve geliştirme yazılımı yığınlarında çok çekirdekli tasarımı içerir, böylece büyük modellerin uç tarafa inme olasılığını artırır.
Birincisi, yazılımın donanıma uyarlanması olarak adlandırılabilir ve ikincisi, donanım üreticilerinin zamanın gelgitinin değişimine uyum sağlamasıdır. Ancak her iki yönde de, yalnızca bahis tarafından geçilme riski vardır. **
"Modüler güç çağı" altında, teknoloji her geçen gün değişiyor ve yazılım ve donanımın her iki tarafından da yeni atılımlar ortaya çıkabiliyor ve gerekli teknik rezervler eksik kaldığında geride kalabiliyor.
Öyleyse, bu teknoloji dalgasının gelişimini körü körüne takip etmeli miyiz yoksa basitçe kaçırmalı mıyız? Pek sayılmaz.
**İnternet ve yapay zeka çağında kendi değerini keşfeden şirketler için de kendi senaryolarına ve teknoloji birikimine dayalı olarak AIGC döneminde üçüncü bir çözüm fikrini keşfedebilirler. **
Örnek olarak hem yazılım hem de donanım teknolojilerine sahip bir yapay zeka şirketi olan Qualcomm'u ele alalım.
Farklı senaryolarda büyük model teknolojisinin zorluklarıyla karşı karşıya kalan Qualcomm, bir çip şirketi kimliğinden sıyrıldı ve AIGC dalgasını erkenden benimsedi.
Qualcomm, terminal tarafı çipinin AI bilgi işlem gücünü sürekli olarak geliştirmenin yanı sıra, AIGC'yi etkin bir kuruluş olarak benimsemek için tüm akıllı terminal endüstrisinin hızını artırmaya çalışan temel AI teknolojisini de ortaya koyuyor.
Bununla birlikte, bu yaklaşımda öngörülebilir çeşitli zorluklar da vardır:
Daha büyük ve daha karmaşık yapay zeka modelleri için, terminalde sorunsuz çalışmasını sağlarken performans nasıl sağlanır?
Terminaller ve bulutlar arasında bilgi işlem gücünü en iyi şekilde dağıtmak için farklı modeller ne zaman kullanılır?
Büyük modellerin terminal tarafında konuşlandırılması sorunu çözülse bile, hangi parçanın bulutta konuşlandırılması ve hangi parçanın terminalde konuşlandırılması gerektiği ve büyük modelin farklı bölümleri arasındaki bağlantıların ve işlevlerin etkilenmemesi nasıl sağlanır?
Terminal tarafındaki performans avantajı yetersizse, nasıl çözülür?
......
Bu sorunlar tek bir durumda ortaya çıkmaz, ancak AIGC'den etkilenen her sektörde veya senaryoda zaten mevcuttur.
İster ezber bozan bir yöntem ister gerçek bir iniş deneyimi olsun, cevap yalnızca belirli senaryolardan ve endüstri vakalarından keşfedilebilir.
**"Modüler Güç Çağı"nın sisi nasıl kırılır? **
AIGC ikinci aşamaya girdi, büyük modeller daha popüler hale geliyor ve endüstri iniş yollarını keşfetmeye başladı.
** Qualcomm'un "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" teknik incelemesinde, akıllı telefonları ve PC'leri örnek alarak, yeni savaş alanı akıllı terminal endüstrisinde birçok AIGC iniş senaryosu vakası olduğunu belirtti. **
Şirketler, mesaj bulma, yanıt mesajları oluşturma, takvim etkinliklerini değiştirme ve tek tıklamayla gezinme dahil olmak üzere daha kişiselleştirilmiş sorunlar için terminal tarafına daha küçük, daha büyük modeller dağıtıyor.
Örneğin, favori restoranların ve ücretsiz programların kullanıcı veri analizine göre, büyük modele dayalı olarak "favori bir restoran koltuğu ayırtın", zamanlama önerileri verin ve sonuçları takvime ekleyin.
Qualcomm, terminal tarafından dağıtılan sınırlı sayıda büyük model parametresi ve ağ eksikliği nedeniyle, yanıt verirken "AI yanılsaması" olabileceğine ve daha sonra büyük modelde yukarıdaki sorunları önlemek için bilgi bulunmadığında korkuluklar ayarlamak için orkestratör teknolojisine dayanabileceğine inanıyor.
Büyük model tarafından oluşturulan içerikten memnun değilseniz, soruyu tek bir tıklamayla yürütülmek üzere buluta gönderebilir ve ardından büyük model oluşturma sonucunu terminal tarafına daha iyi yanıtla geri bildirebilirsiniz.
Bu sayede sadece bulutta çalışan büyük modellerin bilgi işlem gücü baskısını azaltmakla kalmaz, aynı zamanda kullanıcı gizliliğini büyük ölçüde korurken büyük modellerin kişiselleştirilebilmesini de sağlar.
**Terminal bilgi işlem gücü ve algoritmalar gibi aşılması gereken teknik darboğazlara gelince, bazı oyuncular da bazı "oyunu kırmanın yolları" geliştirdiler. **
Teknik incelemede Qualcomm, bir süre önce yangın olan spekülatif kod çözme gibi teknik incelemede yaygın olarak kullanılan bir dizi yeni teknolojiyi tanıttı.
Bu, büyük modellerin çıkarımını hızlandırmak için Google ve DeepMind tarafından aynı anda keşfedilen bir yöntemdir ve büyük modellerin oluşturulmasını hızlandırmak için daha küçük bir büyük model uygulayabilir.
Basitçe söylemek gerekirse, büyük modelin kendi başına "düşünmesine" ve üretmesine ve doğrudan "seçimler" yapmasına izin vermek yerine, daha küçük bir modeli eğitmek ve büyük model için önceden bir grup "aday kelime" oluşturmaktır.
Küçük model oluşturma hızı, büyük modelden birkaç kat daha hızlı olduğundan, büyük model, küçük modelin zaten sahip olduğu kelimelerin mevcut olduğunu hissettiğinde, yavaş yavaş kendiniz oluşturmadan doğrudan alınabilir.
Bu yöntem esas olarak, büyük modellerin çıkarım hızının, hesaplama miktarındaki artıştan ziyade bellek bant genişliğinden daha fazla etkilenmesi gerçeğinden yararlanır.
Çok sayıda parametre ve önbellek kapasitesinin çok aşılması nedeniyle, büyük modellerin çıkarım sırasında donanım performansını hesaplamaktan ziyade bellek bant genişliği ile sınırlandırılması daha olasıdır. Örneğin, GPT-3'ün her kelime ürettiğinde 175 milyar parametrenin tümünü okuması gerekir ve bilgi işlem donanımı, DRAM'den bellek verilerini beklerken genellikle boşta kalır.
Başka bir deyişle, model toplu çıkarım yaptığında, bir seferde 100 belirteç ile bir belirteç arasında çok az zaman farkı vardır.
Bu nedenle, spekülatif örneklemenin kullanılması, yalnızca on milyarlarca parametreye sahip büyük modelleri kolayca çalıştırmakla kalmaz, aynı zamanda bilgi işlem gücünün bir kısmını terminal tarafına koyarak büyük modellerin üretim etkisini korurken çıkarım hızını sağlar.
......
Ancak ister bir senaryo ister bir teknoloji olsun, sonuçta önemli bir uygulama değeri üretmek için birbirimizin adaptasyon noktalarını bulmalıyız**, tıpkı yazılım ve donanım arasındaki ilişkinin ayrılmaz olması gibi:
Üretken yapay zeka gibi yazılım algoritması atılımları, akıllı terminal iniş senaryoları ararken, kaçınılmaz olarak Qualcomm gibi mobil yapay zeka donanımlarıyla birlikte teknik gereksinimlerle karşı karşıya kalacaktır.
Akıllı telefonlar, PC'ler, XR, otomobiller ve Nesnelerin İnterneti dahil olmak üzere, akıllı terminal endüstrisinin çeşitli segmentleri, AIGC etkin noktalarına dayalı olarak kendi oyunlarını ve değerlerini nasıl bulabilir?
İşletmeler, bu tür bir teknolojinin uygulama değerini canlandırmak ve tüm endüstride üretkenlik dönüşümü fırsatını kaçırmamak için zamanın bu dalgasını nasıl yakalayabilir?
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
10 yıllık pazar büyüklüğü 1,3 trilyon ABD dolarıdır ve modüler güç çağı gelmiştir
Orijinal kaynak: Qubits
Yılın büyük bir bölümünde büyük model fırtınası esti ve AIGC pazarı yeniden değişmeye başladı:
Harika teknoloji demolarının yerini tam ürün deneyimleri alıyor. **
Örneğin, OpenAI'nin en son AI boyama modeli DALL· E 3 piyasaya çıkar çıkmaz, ChatGPT Plus'ta en çok beklenen yeni üretkenlik aracı olmak için ChatGPT ile güçlerini birleştirdi.
**
**## △DALL· E3, metin girişinin her ayrıntısını doğru bir şekilde yeniden üretir
Örneğin, Microsoft'un GPT-4 tabanlı Copilot'u Windows 11'e tamamen yerleşti ve işletim sisteminde yeni nesil AI asistanları olarak resmi olarak Cortana'nın yerini aldı.
**
**###### △ Blog gönderilerini tek bir tıklamayla özetlemek için Copilot'u kullanın
Başka bir örnek olarak, Jiyue 01 gibi yerli otomobiller resmi olarak kokpitte büyük modeller donattı ve tamamen çevrimdışılar ...
Mart 2023'te "büyük modeller her şeyi yeniden şekillendiriyor" teknoloji öncülerinin iyimser bir tahminiyse, bugün hala şiddetli olan 100 model savaşı ve pratik uygulama ilerlemesi, bu görüşü sektör içinde ve dışında giderek daha fazla yankı uyandırdı.
Başka bir deyişle, tüm İnternet üretim yönteminden her otomobildeki akıllı kokpite kadar, teknik temel olarak büyük modellerin yer aldığı ve binlerce endüstriyi yönlendiren bir kendi kendini yenileme çağı geliyor.
Buhar çağı ve elektrik çağının adlandırma yöntemine göre "modüler kuvvet çağı" olarak adlandırılabilir.
"Moli Dönemi"nde en çok endişe duyulan senaryolardan biri akıllı terminal'dir.
Nedeni basit: Akıllı telefonlar, PC'ler, akıllı arabalar ve hatta XR cihazları tarafından temsil edilen akıllı terminal endüstrisi, çağdaş insanların yaşamlarıyla en yakından ilişkili teknoloji endüstrilerinden biridir ve doğal olarak en son teknolojilerin olgunluğunu test etmek için altın bir standart haline gelmiştir.
Bu nedenle, teknoloji patlamasının getirdiği ilk yutturmaca dalgası, akıllı terminal senaryosunun bir çıpa olarak kullanılmasıyla yavaş yavaş sakinleştiğinde, "modüler güç çağının" yeni fırsatları ve zorlukları nasıl görülmeli ve yorumlanmalıdır?
Şimdi sıra onu parçalamaya, yoğurmaya ve taramaya geldi.
Akıllı Terminal, Büyük Model Yeni Savaş Alanı
Zorlukları ve fırsatları ayrıntılı olarak analiz etmeden önce, temel soruya geri dönelim: üretken yapay zeka neden büyük modellerle bu kadar popüler ve hatta "dördüncü sanayi devrimi" olarak kabul ediliyor?
Bu fenomene yanıt olarak, birçok kurum, Sequoia Capital'in "Üretken Yapay Zeka: Yaratıcı Yeni Bir Dünya" gibi farklı senaryolarda üretken yapay zekanın gelişimini tahmin etmeye veya özetlemeye çalışmak için araştırmalar yürütüyor.
Bunlar arasında, sektördeki birçok lider şirket, kendi deneyimlerine dayanarak belirli sektörlerde üretken yapay zekanın iniş senaryolarını ve potansiyel değişim yönlerini analiz etti.
Örneğin, terminal tarafı yapay zeka, oyuncu Qualcomm'u temsil ediyor ve bir süre önce üretken yapay zekanın geliştirme durumu ve eğilimi hakkında bir teknik inceleme yayınladı "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir".
Bundan, üretken yapay zekanın sektörde popüler olmasının üç ana nedenini yorumlamak mümkün olabilir.
Her şeyden önce, teknolojinin kendisi yeterince zor.
İster akıllıca ortaya çıkan büyük bir model, ister sahte kaliteyle sahte kalite üreten bir yapay zeka resmi olsun, her şey konuşmak için efektler kullanmakla ilgilidir ve metin, resim, video ve otomasyonla ilgili gerçek bir çalışma alanıdır ve geleneksel iş akışlarını bozma konusunda inanılmaz bir yetenek gösterir.
İkincisi, zengin potansiyel iniş senaryoları var. Büyük modelin getirdiği yapay zekanın nesiller boyu atılımı, insanlara en başından beri sonsuz hayal gücü getirdi: en eski deneyimciler grubu, üretken yapay zekanın işe yaramasının faydalarını hızla algıladı.
Kullanıcı tarafındaki büyük talep, ChatGPT gibi temsili uygulamaların kullanıcı büyüme hızından görülebilir.
**
**#### △ChatGPT, popüler uygulamaların 100 milyondan fazla kayıtlı kullanıcısının rekorunu kırdı, kaynak Sequoia Capital
İlk İnternet aramasından, programlamadan, ofisten, kültür turizminin, hukukun, tıbbın, endüstrinin, ulaşımın ve diğer sahne uygulamalarının ortaya çıkmasına kadar, üretken yapay zekanın rüzgarını sürmek, temel büyük modeller sağlayabilen şirketlerden çok daha fazlası, aynı zamanda çok sayıda start-up gelişiyor ve büyüyor.
Birçok endüstri uzmanı, girişimciler için büyük modellerin getirdiği uygulama katmanının daha büyük fırsatlara sahip olduğuna inanıyor.
Alt kısımda nesiller boyu süren bir teknoloji atılımı, en üstte ise uygulama talebinde güçlü bir patlama yaşanıyor ve ekolojik etki teşvik ediliyor.
Bloomberg Intelligence'ın tahminine göre, üretken yapay zeka pazarı 2032 yılına kadar 40 milyar dolardan 1,3 trilyon dolara** patlayacak ve altyapı, temel modeller, geliştirici araçları, uygulama ürünleri, terminal ürünleri vb. dahil olmak üzere ekolojik zincirdeki çok çeşitli katılımcıları kapsayacak.
Bu arka plana dayanarak, bugün akıllı endüstride neler olup bittiğine bakalım.
Bir yandan, büyük modellerle temsil edilen AIGC uygulama fırtınası, günlerin yineleme ritminde hızla ** buluttan terminale ** olur.
ChatGPT, mobil terminalde "görsel-işitsel konuşma"nın çok modlu işlevini güncelleyen ilk kişidir ve kullanıcılar fotoğraf çekip yükleyebilir ve fotoğraf içeriği için ChatGPT ile konuşabilirler.
Örneğin, "Bisiklet koltuğunun yüksekliği nasıl ayarlanır":
**
**#### △ ve GPT-4 grafik diyaloğu, saniyeler içinde 5 öneri verin
Qualcomm ayrıca, terminal tarafında bir milyardan fazla parametre çalıştıran büyük Stable Diffusion ve ControlNet modelini hızlı bir şekilde gerçekleştirdi ve cep telefonlarında yüksek kaliteli AI görüntüleri oluşturmak yalnızca bir düzineden fazla saniye sürüyor.
Birçok cep telefonu üreticisi, sesli asistanları için büyük modellerin "beynini" kuracaklarını da açıkladı.
Ve bu sadece telefonlar değil.
Şangay Otomobil Fuarı, Chengdu Otomobil Fuarı, Münih Otomobil Fuarı vb. gibi yurtiçinde ve yurtdışında büyük ölçekli sergilerde, temel model üreticileri ve otomobil üreticileri arasındaki işbirliği giderek daha yaygın hale geliyor ve büyük model "arabaya binmek" akıllı kokpit alanında yeni bir rekabet noktası haline geldi.
**
**###### △ Bir cümle, araba modelinin APP'de malzeme satın almasını sağlayabilir ve eve gittiğinizde yemek pişirebilirsiniz
Öte yandan, ** uygulamalarının patlak vermesi, bilgi işlem gücünün yetersiz olduğu durumu daha da kötüleştirdi. **
Günlük aktif kullanıcı sayısının ve kullanım sıklığının artmasıyla modelin çıkarım maliyetinin artacağı öngörülebilir ve yalnızca bulut bilişim gücüne güvenmek, üretken yapay zeka ölçeğini hızlı bir şekilde teşvik etmek için yeterli değildir.
Bu, hayatın her kesiminin terminal tarafı AI bilgi işlem gücüne olan ilgilerini artırması gerçeğinden de görülebilir.
Örneğin, terminal tarafı AI oynatıcı Qualcomm, Qualcomm'un kendi geliştirdiği Oryon CPU'yu kullanarak, PC çip performansını iyileştirmek için yeni nesil bir PC bilgi işlem platformu yayınladı, özellikle onunla donatılmış NPU, Snapdragon X serisi platform olarak adlandırılan üretken AI için daha güçlü performans sağlayacaktır.
Bu yeni bilgi işlem platformunun 2023 Snapdragon Zirvesi'nde piyasaya sürülmesi bekleniyor.
Açıkçası, ister uygulama ister bilgi işlem gücü açısından olsun, akıllı terminaller AIGC'nin en büyük iniş potansiyeline sahip senaryolardan biri haline geldi.
AIGC Resifi Gelgit Altında
İşlerin genellikle iki yüzü vardır ve hızlı gelişmeden inişe kadar büyük modeller de öyle.
Üretken yapay zeka bugüne kadar yükseldiğinde, akıllı terminal endüstrisinin büyük potansiyelinin altındaki gerçek darboğaz su yüzüne çıktı.
**En büyük kısıtlamalardan biri en düşük donanım seviyesidir. **
Sequoia yatırımcıları Sonya Huang ve Pat Grady'nin en son üretken yapay zeka analiz makalesinde belirttikleri gibi "Üretken Yapay Zekanın İkinci Yasası", AIGC hızla büyüyor, ancak beklenen darboğaz müşteri talebi değil, arz tarafı bilgi işlem gücü.
Buradaki bilgi işlem gücü, temel olarak, dağıtım senaryoları açısından beş kategoriye ayrılabilen yapay zeka ve makine öğrenimi donanım hızlandırıcılarını ifade eder:
Veri merkezi sınıfı sistemler, sunucu düzeyinde hızlandırıcılar, destekli sürüş ve otonom sürüş senaryoları için hızlandırıcılar, uç bilgi işlem ve ultra düşük güçlü hızlandırıcılar.
**
**##### △5 tür yapay zeka hızlandırıcısı, kaynak MIT makalesi "AI ve ML Hızlandırıcı Anketi ve Eğilimleri"
ChatGPT'nin patlamasıyla, büyük model AIGC'yi olağanüstü bir şekilde çemberin dışına çıkardı ve veri merkezleri ve sunucu düzeyindeki işlemciler gibi "** bulut bilişim gücünün** kısa vadede çok fazla ilgi görmesini ve hatta yetersiz tedarik durumunu ortaya çıkardı.
Bununla birlikte, üretken yapay zeka ikinci aşamasına girerken, bilgi işlem gücüyle ilgili bazı sorular giderek daha belirgin hale geliyor.
**İlk ve en büyük sorun maliyettir. ** Qualcomm'un "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" teknik incelemesinde belirtildiği gibi, büyük modeller teknoloji takibinden uygulama açılışına geçerken, her şirketin temel model ** eğitimi ** yavaş yavaş yerleşti ve bilgi işlem gücünün çoğu büyük modellerin ** mantığına ** düştü.
Kısa vadede, çıkarım maliyeti kabul edilebilir, ancak büyük modeller için giderek daha fazla uygulama ve daha fazla uygulama senaryosu olduğundan, sunucular gibi hızlandırıcılarda çıkarım maliyeti keskin bir şekilde artacak ve sonuçta büyük modelleri çağırma maliyetinin büyük modelleri eğitmekten daha yüksek olmasına neden olacaktır.
Başka bir deyişle, büyük model ikinci aşamaya girdikten sonra, çıkarım için bilgi işlem gücüne yönelik uzun vadeli talep, tek bir eğitimden çok daha yüksek olacaktır ve yalnızca veri merkezlerinden ve sunucu düzeyindeki işlemcilerden oluşan "bulut bilişim gücüne" güvenmek, çıkarımı kullanıcılar için kabul edilebilir bir maliyete ulaştırmak için tamamen yetersizdir.
Qualcomm'un white paper'da yer alan istatistiklerine göre, büyük bir modele sahip arama motorunu örnek alarak, her bir arama sorgusunun maliyeti geleneksel yöntemlerin 10 katına ulaşabiliyor ve sadece bu alandaki yıllık maliyet milyarlarca dolar artabiliyor.
Bu, büyük modellerin inişi için önemli bir kısıtlama haline gelecektir.
**Bununla birlikte gecikme, gizlilik ve kişiselleştirme sorunları da var. **Qualcomm ayrıca "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" başlıklı makalesinde, büyük modellerin doğrudan bulutta konuşlandırıldığını, kullanıcı sayısındaki artışın neden olduğu yetersiz sunucu bilgi işlem miktarına, "kullanım için sıraya alma" ihtiyacına ve diğer hatalara ek olarak, kullanıcı gizliliği ve kişiselleştirme sorunlarını da çözmekle yükümlüdür.
Kullanıcılar buluta veri yüklemek istemezlerse, ofis ve akıllı asistan gibi büyük modellerin kullanım senaryoları birçok kısıtlamaya tabi olacaktır ve bu senaryoların çoğu terminal tarafında dağıtılır; Büyük modelleri kendi kullanımınız için özelleştirmek gibi daha iyi sonuçlar elde etmeniz gerekiyorsa, büyük model eğitimi için kişisel bilgileri doğrudan kullanmanız gerekir.
Çeşitli faktörler altında, akıl yürütmede rol oynayabilecek "terminal bilgi işlem gücü", yani otomatik sürüş ve destekli sürüş, uç bilgi işlem (gömülü) ve ultra düşük güçlü hızlandırıcılar dahil olmak üzere çeşitli işlemci türleri, insanların görüş alanına girmeye başladı.
Terminaller çok büyük bilgi işlem gücüne sahiptir. IDC'nin tahminine göre, küresel IoT cihazlarının sayısı 2025 yılına kadar 40 milyarı aşacak, yaklaşık 80 zettabayt veri üretecek ve verilerin yarısından fazlasının işleme için terminal veya uç bilgi işlem gücüne dayanması gerekiyor.
Bununla birlikte, terminalin sınırlı güç tüketimi ve ısı dağılımı gibi sorunları da vardır ve bu da sınırlı bilgi işlem gücüne neden olur.
Bu durumda, bulut bilişim gücünün gelişmesiyle karşılaşılan darboğazı aşmak için terminalde gizlenmiş devasa bilgi işlem gücünün nasıl kullanılacağı, "modüler güç çağında" en yaygın teknik sorunlardan biri haline geliyor.
**Bilgi işlem gücüne ek olarak, büyük modellerin uygulanmasının algoritmalar, veriler ve pazar rekabeti gibi zorluklarla da karşı karşıya olduğundan bahsetmiyorum bile. **
Algoritma için, temel alınan modelin mimarisi hala bilinmemektedir. ChatGPT iyi sonuçlar elde etti, ancak teknik rotası yeni nesil modelin mimari yönü değil.
Veriler için, yüksek kaliteli veriler, diğer şirketlerin ChatGPT'nin büyük model sonuçlarına ulaşması için vazgeçilmezdir, ancak Generative AI'nın İkinci Yasası, uygulama şirketi tarafından üretilen verilerin gerçekten bir engel oluşturmadığına da işaret ediyor.
Verilerin oluşturduğu avantaj kırılgan ve sürdürülemez ve yeni nesil temel modellerin bu "duvarı" doğrudan yok etmesi muhtemeldir, aksine, sürekli ve istikrarlı kullanıcılar gerçekten veri kaynakları oluşturabilir.
Pazar için şu anda büyük model ürünler için öldürücü bir uygulama yoktur ve ne tür senaryolar için uygun olduğu hala bilinmemektedir.
Bu çağda, ne tür ürünlerde kullanıldığı ve hangi uygulamaların en büyük değerini gösterebileceği, pazar henüz izlenebilecek bir dizi metodoloji veya standart cevap vermemiştir.
Birincisi, modelin "özünü" değiştirmeden büyük modelin algoritmasını geliştirmek, boyutunu daha iyi iyileştirmek ve daha fazla cihazda dağıtım yeteneğini geliştirmektir;
Transformer algoritmasını örnek alırsak, çok sayıda parametreye sahip bu tür modeller, uç tarafta çalışmak istiyorlarsa yapıda ayarlanmalıdır, bu süre zarfında MobileViT gibi pek çok hafif algoritma doğmuştur.
Bu algoritmalar, çıktı etkisini etkilemeden parametrelerin yapısını ve miktarını iyileştirmeye çalışır, böylece daha küçük modellerle daha fazla cihazda çalışabilirler.
Diğeri, donanımın kendisinin AI bilgi işlem gücünü geliştirmektir, böylece büyük modeller uç tarafa daha iyi inebilir.
Bu tür yöntemler, donanım bilgi işlem performansını ve farklı cihazlardaki modellerin çok yönlülüğünü artırmak için kullanılan donanım ve geliştirme yazılımı yığınlarında çok çekirdekli tasarımı içerir, böylece büyük modellerin uç tarafa inme olasılığını artırır.
Birincisi, yazılımın donanıma uyarlanması olarak adlandırılabilir ve ikincisi, donanım üreticilerinin zamanın gelgitinin değişimine uyum sağlamasıdır. Ancak her iki yönde de, yalnızca bahis tarafından geçilme riski vardır. **
"Modüler güç çağı" altında, teknoloji her geçen gün değişiyor ve yazılım ve donanımın her iki tarafından da yeni atılımlar ortaya çıkabiliyor ve gerekli teknik rezervler eksik kaldığında geride kalabiliyor.
Öyleyse, bu teknoloji dalgasının gelişimini körü körüne takip etmeli miyiz yoksa basitçe kaçırmalı mıyız? Pek sayılmaz.
**İnternet ve yapay zeka çağında kendi değerini keşfeden şirketler için de kendi senaryolarına ve teknoloji birikimine dayalı olarak AIGC döneminde üçüncü bir çözüm fikrini keşfedebilirler. **
Örnek olarak hem yazılım hem de donanım teknolojilerine sahip bir yapay zeka şirketi olan Qualcomm'u ele alalım.
Farklı senaryolarda büyük model teknolojisinin zorluklarıyla karşı karşıya kalan Qualcomm, bir çip şirketi kimliğinden sıyrıldı ve AIGC dalgasını erkenden benimsedi.
Qualcomm, terminal tarafı çipinin AI bilgi işlem gücünü sürekli olarak geliştirmenin yanı sıra, AIGC'yi etkin bir kuruluş olarak benimsemek için tüm akıllı terminal endüstrisinin hızını artırmaya çalışan temel AI teknolojisini de ortaya koyuyor.
Bununla birlikte, bu yaklaşımda öngörülebilir çeşitli zorluklar da vardır:
Daha büyük ve daha karmaşık yapay zeka modelleri için, terminalde sorunsuz çalışmasını sağlarken performans nasıl sağlanır?
Terminaller ve bulutlar arasında bilgi işlem gücünü en iyi şekilde dağıtmak için farklı modeller ne zaman kullanılır?
Büyük modellerin terminal tarafında konuşlandırılması sorunu çözülse bile, hangi parçanın bulutta konuşlandırılması ve hangi parçanın terminalde konuşlandırılması gerektiği ve büyük modelin farklı bölümleri arasındaki bağlantıların ve işlevlerin etkilenmemesi nasıl sağlanır?
Terminal tarafındaki performans avantajı yetersizse, nasıl çözülür?
......
Bu sorunlar tek bir durumda ortaya çıkmaz, ancak AIGC'den etkilenen her sektörde veya senaryoda zaten mevcuttur.
İster ezber bozan bir yöntem ister gerçek bir iniş deneyimi olsun, cevap yalnızca belirli senaryolardan ve endüstri vakalarından keşfedilebilir.
**"Modüler Güç Çağı"nın sisi nasıl kırılır? **
AIGC ikinci aşamaya girdi, büyük modeller daha popüler hale geliyor ve endüstri iniş yollarını keşfetmeye başladı.
** Qualcomm'un "Hibrit Yapay Zeka, Yapay Zekanın Geleceğidir" teknik incelemesinde, akıllı telefonları ve PC'leri örnek alarak, yeni savaş alanı akıllı terminal endüstrisinde birçok AIGC iniş senaryosu vakası olduğunu belirtti. **
Şirketler, mesaj bulma, yanıt mesajları oluşturma, takvim etkinliklerini değiştirme ve tek tıklamayla gezinme dahil olmak üzere daha kişiselleştirilmiş sorunlar için terminal tarafına daha küçük, daha büyük modeller dağıtıyor.
Örneğin, favori restoranların ve ücretsiz programların kullanıcı veri analizine göre, büyük modele dayalı olarak "favori bir restoran koltuğu ayırtın", zamanlama önerileri verin ve sonuçları takvime ekleyin.
Qualcomm, terminal tarafından dağıtılan sınırlı sayıda büyük model parametresi ve ağ eksikliği nedeniyle, yanıt verirken "AI yanılsaması" olabileceğine ve daha sonra büyük modelde yukarıdaki sorunları önlemek için bilgi bulunmadığında korkuluklar ayarlamak için orkestratör teknolojisine dayanabileceğine inanıyor.
Büyük model tarafından oluşturulan içerikten memnun değilseniz, soruyu tek bir tıklamayla yürütülmek üzere buluta gönderebilir ve ardından büyük model oluşturma sonucunu terminal tarafına daha iyi yanıtla geri bildirebilirsiniz.
Bu sayede sadece bulutta çalışan büyük modellerin bilgi işlem gücü baskısını azaltmakla kalmaz, aynı zamanda kullanıcı gizliliğini büyük ölçüde korurken büyük modellerin kişiselleştirilebilmesini de sağlar.
Teknik incelemede Qualcomm, bir süre önce yangın olan spekülatif kod çözme gibi teknik incelemede yaygın olarak kullanılan bir dizi yeni teknolojiyi tanıttı.
Bu, büyük modellerin çıkarımını hızlandırmak için Google ve DeepMind tarafından aynı anda keşfedilen bir yöntemdir ve büyük modellerin oluşturulmasını hızlandırmak için daha küçük bir büyük model uygulayabilir.
Basitçe söylemek gerekirse, büyük modelin kendi başına "düşünmesine" ve üretmesine ve doğrudan "seçimler" yapmasına izin vermek yerine, daha küçük bir modeli eğitmek ve büyük model için önceden bir grup "aday kelime" oluşturmaktır.
Küçük model oluşturma hızı, büyük modelden birkaç kat daha hızlı olduğundan, büyük model, küçük modelin zaten sahip olduğu kelimelerin mevcut olduğunu hissettiğinde, yavaş yavaş kendiniz oluşturmadan doğrudan alınabilir.
Bu yöntem esas olarak, büyük modellerin çıkarım hızının, hesaplama miktarındaki artıştan ziyade bellek bant genişliğinden daha fazla etkilenmesi gerçeğinden yararlanır.
Çok sayıda parametre ve önbellek kapasitesinin çok aşılması nedeniyle, büyük modellerin çıkarım sırasında donanım performansını hesaplamaktan ziyade bellek bant genişliği ile sınırlandırılması daha olasıdır. Örneğin, GPT-3'ün her kelime ürettiğinde 175 milyar parametrenin tümünü okuması gerekir ve bilgi işlem donanımı, DRAM'den bellek verilerini beklerken genellikle boşta kalır.
Başka bir deyişle, model toplu çıkarım yaptığında, bir seferde 100 belirteç ile bir belirteç arasında çok az zaman farkı vardır.
Bu nedenle, spekülatif örneklemenin kullanılması, yalnızca on milyarlarca parametreye sahip büyük modelleri kolayca çalıştırmakla kalmaz, aynı zamanda bilgi işlem gücünün bir kısmını terminal tarafına koyarak büyük modellerin üretim etkisini korurken çıkarım hızını sağlar.
Ancak ister bir senaryo ister bir teknoloji olsun, sonuçta önemli bir uygulama değeri üretmek için birbirimizin adaptasyon noktalarını bulmalıyız**, tıpkı yazılım ve donanım arasındaki ilişkinin ayrılmaz olması gibi:
Üretken yapay zeka gibi yazılım algoritması atılımları, akıllı terminal iniş senaryoları ararken, kaçınılmaz olarak Qualcomm gibi mobil yapay zeka donanımlarıyla birlikte teknik gereksinimlerle karşı karşıya kalacaktır.
Akıllı telefonlar, PC'ler, XR, otomobiller ve Nesnelerin İnterneti dahil olmak üzere, akıllı terminal endüstrisinin çeşitli segmentleri, AIGC etkin noktalarına dayalı olarak kendi oyunlarını ve değerlerini nasıl bulabilir?
İşletmeler, bu tür bir teknolojinin uygulama değerini canlandırmak ve tüm endüstride üretkenlik dönüşümü fırsatını kaçırmamak için zamanın bu dalgasını nasıl yakalayabilir?