Yazar: Hu Xiner, stajyer, Shao Wen, The Paper muhabiri
Görsel kaynağı: Unbounded AI tarafından oluşturuldu
Çin Mühendislik Akademisi akademisyeni Dai Qionghai, "Ülkemiz, politikalar, mekanizmalar ve yatırım açısından yapay zeka personeli ve temel araştırma ekimini derinleştirmeli, orijinal inovasyonu güçlendirmeli ve 'su' ikilemine düşmekten kaçınmalıdır. bir kaynak olmadan'."
Tsinghua Üniversitesi Elektronik Mühendisliği Bölümü'nde kadrolu bir profesör olan Wang Yu, "Şangay'da zaten çok sayıda çip şirketi var ve Şangay'da da birçok algoritma var. Verimli ve birleşik dağıtım nasıl elde edilir ve bu tür algoritmalar nasıl çalıştırılır? cips çok önemli bir konu.soru."
7 Temmuz 2023 Dünya Yapay Zeka Konferansı "Büyük Ölçekli Modeller Çağında Genel Yapay Zeka Endüstrisi Geliştirme Fırsatları ve Riskleri" forumunda, genel yapay zeka alanında bir dizi uzman sırasıyla büyük ölçekli modellere odaklandı. temel yenilik, uygulama teknolojisi ve gelecekteki beklentilerden Yapay zekanın diğer seviyelerde derinlemesine tartışılması.
Devlet Konseyi danışmanı ve akademisyen Dai Qionghai, "Ülkemiz yapay zeka yetenek eğitimini ve temel araştırmayı politikalar, mekanizmalar ve yatırım açısından derinleştirmeli, orijinal inovasyonu güçlendirmeli ve 'kaynaksız su' ikilemine düşmekten kaçınmalıdır." Çin Mühendislik Akademisi Başkanı, açılış konuşmasında vurguladı.
Tsinghua Üniversitesi'nde kadrolu bir profesör ve Elektronik Mühendisliği Bölümü başkanı olan Wang Yu, iniş uygulamaları açısından şu anda büyük ölçekli modelleri dikey alanda konuşlandırmanın zor olduğunu ve yerli büyük ölçekli modellerin üç zorlukla karşı karşıya olduğunu söyledi. : yüksek saha dağıtım maliyetleri, model bilgi işlem gücünde büyük bir boşluk ve yerel Çip değişimi zordur. Wang Yu, "Büyük model inişinin son milinde, algoritmayı çipe bağlamamız gerekiyor." dedi.
"Beyin zekası geleceğin yeni yönüdür"
Dai Qionghai, "0'dan 1'e" büyük modelin yenilenmesinde, temel araştırma alanındaki yerel yıkıcı başarıların zayıf olduğuna inanıyor. "Akıllı geliştirme endüstrisi açısından hem iyimseriz hem de iyimser değiliz." Ona göre, Çin'in yapay zeka yeteneklerinin çoğu uygulama katmanında yoğunlaşıyor, bu nedenle uygulama senaryoları ve teknoloji katmanları için çok yer var. Bununla birlikte, Çin, temel düzeydeki yetenekler açısından açıkça dezavantajlı durumda ve orijinal inovasyondan yoksun.
Dai Qionghai, yapay zekanın yenilenmesi ve geliştirilmesinin algoritmalar, veriler ve bilgi işlem gücü olmak üzere üç sütun gerektirdiğini söyledi. Algoritmalar zeka seviyesini, veriler zekanın kapsamını ve bilgi işlem gücü zekanın etkinliğini belirler. Algoritma düzeyinde, büyük modellerin yaklaşık beş yıl içinde yapay zeka uygulamalarında önemli bir temel platform haline gelmesi bekleniyor.
Dai Qionghai, beyin zekasının gelecekte yeni bir yön olduğuna da dikkat çekti. Beyni ve bilişi bütünleştiren yeni yapay zeka algoritması, endüstri düzeninin ön saflarında yer alıyor ve yeni nesil zekaya öncülük edecek. Forumda hükümetin işletmeleri büyük ölçekli modellerin inşasına öncülük etmeye, biyolojik mekanizmalar ve makine özelliklerinin kombinasyonunu keşfetmeye, yeni yapay zeka paradigmaları yaratmaya ve aynı anda temel araştırma ve uygulama genişletmeyi teşvik etmeye teşvik etmesi gerektiğini önerdi. Özünde bilişsel zeka olan yapay zekanın on yıl sonra uygulanmaya başlayacağını tahmin ediyor.
Ayrıca Dai Qionghai, büyük ölçekli model uygulamaların güvenlik sorunları konusunda dikkatli olunması gerektiğine inanıyor. Büyük modeller, yanıltıcı içerik oluşturmak gibi çıktıları henüz doğrulayamaz. "Bu, büyük modelin uygulanmasıyla ilgili bir sorun olduğunda, bunun mevcut bilgisayar ağı virüsü kadar basit olmadığı, yıkıcı bir etkiye sahip olacak virüsü öldürmeniz ve öldürmeniz gerektiği anlamına gelir. Bu nedenle, büyük model Uygulandığında, güvenlik ve güvenilirlik birleştirilmelidir. İnandırıcılık net bir şekilde tartışıldı."
Yerli büyük ölçekli modeller, dört sorunlu noktayı çözmeye odaklanmalıdır
Wang Yu, forumda, "Şangay, yapay zeka ve çipler konusunda çok endişeli, ancak başka bir açıdan bakıldığında, en gelişmiş modellerimiz ve nispeten önemli bilgi işlem gücümüz aslında belirli kısıtlamalara tabi. Bilgi işlem gücümüz daha fazla olmalı Hangi yöne gitmeli, yerli bilgi işlem gücünün nasıl daha iyi telafi edileceği ve böyle bir alanla büyük model eğitim ve muhakemede ülkenin gelişiminin nasıl destekleneceği bu konular son derece önemli hale geldi."
Wang Yu, şu anda yabancı ülkelerde yalnızca Nvidia ve AMD'nin yüksek bilgi işlem gücüne sahip yongaları seçebildiğinden de bahsetti. Nvidia pazara hakim ve yazılım ekosistemi nispeten iyi. "Dolayısıyla OpenAI, Microsoft ve Google gibi çeşitli yabancı modeller büyük miktarlarda Nvidia yongaları satın alıyor ve ardından bunları Nvidia'nın yazılım çerçevesinin üzerinde geliştiriyor. Yabancı ekoloji çok basit. İşletmeler algoritmalarla iyi iş çıkarıyor. Bu alanda dağıtım, Nvidia'nın yazılım sistemi tarafından desteklenir."
"Ancak, Çin'de büyük bilgi işlem gücü yongalarının geliştirilmesi henüz emekleme aşamasında." Wang Yu, "Şangay'da zaten Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, vb. gibi birçok yonga şirketi var. Algoritmalar, verimli ve birleşik dağıtıma nasıl ulaşılacağı ve bu tür algoritmaların çiplerde nasıl çalıştırılacağı çok önemli bir konu."
Aynı zamanda Wang Yu, şu anda dikey alanda büyük ölçekli modellerin konuşlandırılmasının çok zor olduğunu ve yerel büyük ölçekli modellerin üç büyük zorlukla karşı karşıya olduğunu vurguladı: yüksek alan dağıtım maliyetleri, model bilgi işlem gücünde büyük bir boşluk, ve yerli çipleri değiştirmede zorluk.
Wang Yu, "Geçmişteki AI 1.0 çağındaki belirli bir görevi hedefleyen bir modelden farklı olarak, günümüzün AI 2.0 dönemi, birden çok görevi çözen bir modeldir ve uygulama katmanı, algoritma katmanı ve sistem katmanının işbirliği içinde optimize edilmesi gerekir." dedi. Bir kilometrelik büyük model inişinin sonunda, yerli büyük ölçekli modeller dört sorunlu noktayı çözmeye odaklanmalıdır.
"Öncelikle uzun metin sorununu halletmemiz, yani onu iyi kullanmamız gerekiyor." Wang Yu, algoritmaların şu anki eğiliminin büyük modeller tarafından desteklenen metin uzunluğunu artırmak olduğunu, ancak uzun metnin aynı zamanda yükte bir artış Transformer (Google tarafından geliştirilen ve OpenAI'nin GPT'yi geliştirdiği bir derin öğrenme modeli) Girdi uzadıkça mimari üzerindeki yük önemli ölçüde artar. Bu nedenle, uzun metni ayarlamak son derece önemli bir gerekliliktir.
Büyük modeller için bir başka gereklilik de maliyet performansının iyileştirilmesidir. Wang Yu, "Google, arama motorunda büyük bir model kullanırsa, maliyeti 36 milyar ABD Doları artıracak ve kâr %65 oranında kaybedilebilir." Wang Yu, şirketin bir tıklamanın maliyetini düşürmesi durumunda, genel kar kaybı azaltılabilir. . Bu doğrultuda hareketle herkesin büyük modelleri karşılayabilmesi bekleniyor.
Ek olarak, büyük modellerin çeşitli dikey alanları güçlendirmesi gerekir.Yaşamın tüm kesimleri için, çok fazla bilgiye sahip çok sayıda büyük model yoktur. Özellikle tıbbi bakım ve finans gibi alanlarda korpus verilerinin elde edilmesi pahalıdır ve çok azdır. "Genel amaçlı bir temel model ekleyebilir ve ona ince ayar yapabilirseniz, çeşitli endüstrilerin temel performansının daha da iyileştirilmesi bekleniyor." Ancak Wang Yu, dikey alanda gelişirse genel amaçlı modelin daha da iyi olacağına da dikkat çekti. büyük modele ince ayar yapılmalıdır ve model ne kadar büyükse, ince ayarın maliyeti de önemli ölçüde artar. Bu nedenle verimli bir ince ayar algoritmasının nasıl tasarlanacağı tartışılması gereken bir konudur.
Aynı zamanda, büyük modeller tek noktadan devreye alma için yeni gereksinimler de getirir. Yazılım ve donanım optimizasyonunda, operatör optimizasyonu, derleme optimizasyonu ve donanım dağıtımı katmanlar halinde dağıtılırsa, günde toplam 100 insan gücü gerekirken, tek noktadan otomatik dağıtım için günde yalnızca 10 insan gücü gerekir. Wang Yu, tek noktadan dağıtımın işçilik maliyetlerini optimize edebileceğine, derleme optimizasyon alanının ölçeğini daha da artırabileceğine ve tüm endüstriyel zincirin gelişimini desteklemesinin beklendiğine dikkat çekti.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Yerli büyük ölçekli modellerin sorununu çözün: "pasif sudan" kaçının, son milin algoritmaları ve çipleri bağlaması gerekiyor
Kaynak: Kağıt
Yazar: Hu Xiner, stajyer, Shao Wen, The Paper muhabiri
Çin Mühendislik Akademisi akademisyeni Dai Qionghai, "Ülkemiz, politikalar, mekanizmalar ve yatırım açısından yapay zeka personeli ve temel araştırma ekimini derinleştirmeli, orijinal inovasyonu güçlendirmeli ve 'su' ikilemine düşmekten kaçınmalıdır. bir kaynak olmadan'."
Tsinghua Üniversitesi Elektronik Mühendisliği Bölümü'nde kadrolu bir profesör olan Wang Yu, "Şangay'da zaten çok sayıda çip şirketi var ve Şangay'da da birçok algoritma var. Verimli ve birleşik dağıtım nasıl elde edilir ve bu tür algoritmalar nasıl çalıştırılır? cips çok önemli bir konu.soru."
7 Temmuz 2023 Dünya Yapay Zeka Konferansı "Büyük Ölçekli Modeller Çağında Genel Yapay Zeka Endüstrisi Geliştirme Fırsatları ve Riskleri" forumunda, genel yapay zeka alanında bir dizi uzman sırasıyla büyük ölçekli modellere odaklandı. temel yenilik, uygulama teknolojisi ve gelecekteki beklentilerden Yapay zekanın diğer seviyelerde derinlemesine tartışılması.
Devlet Konseyi danışmanı ve akademisyen Dai Qionghai, "Ülkemiz yapay zeka yetenek eğitimini ve temel araştırmayı politikalar, mekanizmalar ve yatırım açısından derinleştirmeli, orijinal inovasyonu güçlendirmeli ve 'kaynaksız su' ikilemine düşmekten kaçınmalıdır." Çin Mühendislik Akademisi Başkanı, açılış konuşmasında vurguladı.
Tsinghua Üniversitesi'nde kadrolu bir profesör ve Elektronik Mühendisliği Bölümü başkanı olan Wang Yu, iniş uygulamaları açısından şu anda büyük ölçekli modelleri dikey alanda konuşlandırmanın zor olduğunu ve yerli büyük ölçekli modellerin üç zorlukla karşı karşıya olduğunu söyledi. : yüksek saha dağıtım maliyetleri, model bilgi işlem gücünde büyük bir boşluk ve yerel Çip değişimi zordur. Wang Yu, "Büyük model inişinin son milinde, algoritmayı çipe bağlamamız gerekiyor." dedi.
"Beyin zekası geleceğin yeni yönüdür"
Dai Qionghai, "0'dan 1'e" büyük modelin yenilenmesinde, temel araştırma alanındaki yerel yıkıcı başarıların zayıf olduğuna inanıyor. "Akıllı geliştirme endüstrisi açısından hem iyimseriz hem de iyimser değiliz." Ona göre, Çin'in yapay zeka yeteneklerinin çoğu uygulama katmanında yoğunlaşıyor, bu nedenle uygulama senaryoları ve teknoloji katmanları için çok yer var. Bununla birlikte, Çin, temel düzeydeki yetenekler açısından açıkça dezavantajlı durumda ve orijinal inovasyondan yoksun.
Dai Qionghai, yapay zekanın yenilenmesi ve geliştirilmesinin algoritmalar, veriler ve bilgi işlem gücü olmak üzere üç sütun gerektirdiğini söyledi. Algoritmalar zeka seviyesini, veriler zekanın kapsamını ve bilgi işlem gücü zekanın etkinliğini belirler. Algoritma düzeyinde, büyük modellerin yaklaşık beş yıl içinde yapay zeka uygulamalarında önemli bir temel platform haline gelmesi bekleniyor.
Dai Qionghai, beyin zekasının gelecekte yeni bir yön olduğuna da dikkat çekti. Beyni ve bilişi bütünleştiren yeni yapay zeka algoritması, endüstri düzeninin ön saflarında yer alıyor ve yeni nesil zekaya öncülük edecek. Forumda hükümetin işletmeleri büyük ölçekli modellerin inşasına öncülük etmeye, biyolojik mekanizmalar ve makine özelliklerinin kombinasyonunu keşfetmeye, yeni yapay zeka paradigmaları yaratmaya ve aynı anda temel araştırma ve uygulama genişletmeyi teşvik etmeye teşvik etmesi gerektiğini önerdi. Özünde bilişsel zeka olan yapay zekanın on yıl sonra uygulanmaya başlayacağını tahmin ediyor.
Ayrıca Dai Qionghai, büyük ölçekli model uygulamaların güvenlik sorunları konusunda dikkatli olunması gerektiğine inanıyor. Büyük modeller, yanıltıcı içerik oluşturmak gibi çıktıları henüz doğrulayamaz. "Bu, büyük modelin uygulanmasıyla ilgili bir sorun olduğunda, bunun mevcut bilgisayar ağı virüsü kadar basit olmadığı, yıkıcı bir etkiye sahip olacak virüsü öldürmeniz ve öldürmeniz gerektiği anlamına gelir. Bu nedenle, büyük model Uygulandığında, güvenlik ve güvenilirlik birleştirilmelidir. İnandırıcılık net bir şekilde tartışıldı."
Yerli büyük ölçekli modeller, dört sorunlu noktayı çözmeye odaklanmalıdır
Wang Yu, forumda, "Şangay, yapay zeka ve çipler konusunda çok endişeli, ancak başka bir açıdan bakıldığında, en gelişmiş modellerimiz ve nispeten önemli bilgi işlem gücümüz aslında belirli kısıtlamalara tabi. Bilgi işlem gücümüz daha fazla olmalı Hangi yöne gitmeli, yerli bilgi işlem gücünün nasıl daha iyi telafi edileceği ve böyle bir alanla büyük model eğitim ve muhakemede ülkenin gelişiminin nasıl destekleneceği bu konular son derece önemli hale geldi."
Wang Yu, şu anda yabancı ülkelerde yalnızca Nvidia ve AMD'nin yüksek bilgi işlem gücüne sahip yongaları seçebildiğinden de bahsetti. Nvidia pazara hakim ve yazılım ekosistemi nispeten iyi. "Dolayısıyla OpenAI, Microsoft ve Google gibi çeşitli yabancı modeller büyük miktarlarda Nvidia yongaları satın alıyor ve ardından bunları Nvidia'nın yazılım çerçevesinin üzerinde geliştiriyor. Yabancı ekoloji çok basit. İşletmeler algoritmalarla iyi iş çıkarıyor. Bu alanda dağıtım, Nvidia'nın yazılım sistemi tarafından desteklenir."
"Ancak, Çin'de büyük bilgi işlem gücü yongalarının geliştirilmesi henüz emekleme aşamasında." Wang Yu, "Şangay'da zaten Tianshu Zhixin, Suiyuan Technology, Cambrian, Biren Technology, vb. gibi birçok yonga şirketi var. Algoritmalar, verimli ve birleşik dağıtıma nasıl ulaşılacağı ve bu tür algoritmaların çiplerde nasıl çalıştırılacağı çok önemli bir konu."
Aynı zamanda Wang Yu, şu anda dikey alanda büyük ölçekli modellerin konuşlandırılmasının çok zor olduğunu ve yerel büyük ölçekli modellerin üç büyük zorlukla karşı karşıya olduğunu vurguladı: yüksek alan dağıtım maliyetleri, model bilgi işlem gücünde büyük bir boşluk, ve yerli çipleri değiştirmede zorluk.
Wang Yu, "Geçmişteki AI 1.0 çağındaki belirli bir görevi hedefleyen bir modelden farklı olarak, günümüzün AI 2.0 dönemi, birden çok görevi çözen bir modeldir ve uygulama katmanı, algoritma katmanı ve sistem katmanının işbirliği içinde optimize edilmesi gerekir." dedi. Bir kilometrelik büyük model inişinin sonunda, yerli büyük ölçekli modeller dört sorunlu noktayı çözmeye odaklanmalıdır.
"Öncelikle uzun metin sorununu halletmemiz, yani onu iyi kullanmamız gerekiyor." Wang Yu, algoritmaların şu anki eğiliminin büyük modeller tarafından desteklenen metin uzunluğunu artırmak olduğunu, ancak uzun metnin aynı zamanda yükte bir artış Transformer (Google tarafından geliştirilen ve OpenAI'nin GPT'yi geliştirdiği bir derin öğrenme modeli) Girdi uzadıkça mimari üzerindeki yük önemli ölçüde artar. Bu nedenle, uzun metni ayarlamak son derece önemli bir gerekliliktir.
Büyük modeller için bir başka gereklilik de maliyet performansının iyileştirilmesidir. Wang Yu, "Google, arama motorunda büyük bir model kullanırsa, maliyeti 36 milyar ABD Doları artıracak ve kâr %65 oranında kaybedilebilir." Wang Yu, şirketin bir tıklamanın maliyetini düşürmesi durumunda, genel kar kaybı azaltılabilir. . Bu doğrultuda hareketle herkesin büyük modelleri karşılayabilmesi bekleniyor.
Ek olarak, büyük modellerin çeşitli dikey alanları güçlendirmesi gerekir.Yaşamın tüm kesimleri için, çok fazla bilgiye sahip çok sayıda büyük model yoktur. Özellikle tıbbi bakım ve finans gibi alanlarda korpus verilerinin elde edilmesi pahalıdır ve çok azdır. "Genel amaçlı bir temel model ekleyebilir ve ona ince ayar yapabilirseniz, çeşitli endüstrilerin temel performansının daha da iyileştirilmesi bekleniyor." Ancak Wang Yu, dikey alanda gelişirse genel amaçlı modelin daha da iyi olacağına da dikkat çekti. büyük modele ince ayar yapılmalıdır ve model ne kadar büyükse, ince ayarın maliyeti de önemli ölçüde artar. Bu nedenle verimli bir ince ayar algoritmasının nasıl tasarlanacağı tartışılması gereken bir konudur.
Aynı zamanda, büyük modeller tek noktadan devreye alma için yeni gereksinimler de getirir. Yazılım ve donanım optimizasyonunda, operatör optimizasyonu, derleme optimizasyonu ve donanım dağıtımı katmanlar halinde dağıtılırsa, günde toplam 100 insan gücü gerekirken, tek noktadan otomatik dağıtım için günde yalnızca 10 insan gücü gerekir. Wang Yu, tek noktadan dağıtımın işçilik maliyetlerini optimize edebileceğine, derleme optimizasyon alanının ölçeğini daha da artırabileceğine ve tüm endüstriyel zincirin gelişimini desteklemesinin beklendiğine dikkat çekti.