Son zamanlarda "Yüzlerce Modelin Savaşı" yoğunlaştı. Büyük modellerin hızla çoğalmasıyla "yetenek", büyük teknoloji şirketleri, girişimci ekipler ve araştırma kurumları arasındaki şiddetli rekabetin odağı haline geldi. Ancak AIGC alanında ileri yetenekler arasında hâlâ büyük bir boşluk var.
Model geliştirmeyi kolaylaştırmak için ne tür yetenekler işe alınmalıdır?
Büyük model yetenekleri nereden işe alabilirim?
Büyük model Ar-Ge yetenekleri nasıl yetiştirilir?
Yukarıdaki soruları yanıtlamak amacıyla Qubit Think Tank, büyük model yeteneklerin fırsatlarını ve zorluklarını ve gelecekteki gelişim beklentilerini kurumsal ekiplerle paylaşmaları için yapay zeka büyük modelleri alanındaki uygulayıcıları, uzmanları ve akademisyenleri özel olarak davet ediyor ve iş arayanlar.
Bu makale, Qubit Think Tank'ın "Büyük Model Yetenek" serisinin derinlemesine röportaj sütunudur. Daha fazla bilgi için lütfen yakında yayınlanacak olan "2023 AIGC Büyük Model Yetenek Gelişimi Panoramik Raporu"nu inceleyin.
Röportaj Karakteri Tanıtımı
Çin Linux'unun kurucularından Kunlun Wanwei'nin Yönetim Kurulu Başkanı ve CEO'su Fang Han, ilk yerli P2P indirme yazılımı DUDU hızlandırıcısının geliştirilmesine öncülük etti.
** **###### △Fang Han, Kunlun Wanwei'nin Başkanı ve CEO'su
2008 yılında Kunlun Wanwei'ye katıldı ve "Three Kingdoms" ile RPG web oyunu "Dövüş Sanatları"nın geliştirilmesine öncülük etti ve birçok ödül kazandı.
Harika manzaralar
1-2 yıl içerisinde algoritmik yetenek açığı büyük ölçüde azalacak.
Anladığım kadarıyla yetenek inovasyon bilinci, teknik ve mühendislik açısından sorunların yenilikçi bir şekilde nasıl çözüleceği ve göstergelerin nasıl iyileştirileceği anlamına geliyor.
"Seçim", "yetiştirme"den daha önemlidir ve bağımsız öğrenme, bir ustanın çırağı yönetmesinden daha önemlidir.
Büyük modeller gibi yeni bir alanda, yeni mezun doktora öğrencileri yarım yıllık bir eğitimin ardından alan uzmanı olabilirler.
Tedarik açısından bakıldığında, büyük model yetenekleri şu anda kıtlık aşamasında ve durum 3-5 yıl içinde büyük ölçüde azalacak.
Makro açıdan bakıldığında, geleneksel endüstrilerle karşılaştırıldığında, büyük ölçekli model yeteneklerin yetiştirilmesindeki zorluk, üniversitelerin mevcut bilgi işlem gücünün yetersiz olmasından kaynaklanmaktadır.
Uygulama düzeyinde yapay zekaya ve büyük modellere dayalı yeni iş modelleri yaratan şirketler en büyük kazancı elde edecek.
Görüşme Kaydı
**Büyük model yetenek nasıl tanımlanır? **
**Qubit Think Tank: Kunlun Wanwei büyük model yetenekleri nasıl bölüyor? **
Fang Han: Model eğitiminin iki ana bölüme ayrılması gerektiğini düşünüyorum: eğitim çıkarımı ve uygulama geliştirme. Model eğitimi bağlantısına göre, yetenekleri algoritma tarafı yetenekleri, mimari tarafı yetenekleri ve uygulama geliştirme tarafı yetenekleri olarak ayırıyoruz**. Temel algoritma yetenekleri ayrıca ön eğitim, veri işleme, çıkarım optimizasyonunun ince ayarı, vesaire.
**Qubit Think Tank: Sizce algoritma yetenekleri, mimari yetenekler ve uygulama geliştirme yetenekleri arasında en az bulunan yetenek türü hangisi? Ve muhtemelen uzun bir süre de kıt olacak. **
Fang Han: Şu anda en az bulunan yetenek kesinlikle temel algoritma yeteneğidir, ancak arz ve talep durumu hızla düzelecektir. Çünkü burada çok ilginç bir olgu var.Şu anda çeşitli üniversitelerin bilgi işlem gücü ciddi anlamda yetersiz ve büyük modellerle ilgili yön şu sıralar gündemde olan bir konu.NLP gibi bu araştırma alanına yönelebilecek birçok yetenek var. Tüm NLP yetenekleri büyük modellere yöneliyor.
Dolayısıyla kişisel görüşüm 1-2 yıl içinde algoritmik yetenek açığının büyük ölçüde azalacağı yönünde.Çünkü yüksek maaşlı algoritmik yetenekler çok fazla olduğundan, Çin'in yetenek oranında hala çok pazar odaklı olduğunu düşünüyorum.
Büyük model yeteneklerin sahip olması gereken yetkinlik unsurları
**Qubit Think Tank: Yetenekleri işe alırken yeteneklerin hangi nitelikleri daha önemlidir? **
Fang Han: Bahsettiğiniz akademik başarı, pratik deneyim, akademik geçmiş ve inovasyon farkındalığı açısından önceliğimiz pratik deneyim ve inovasyon farkındalığı: Öncelikle, Büyük model eğitimi aslında bir mühendislik problemidir, dolayısıyla pratik deneyim kesinlikle çok önemlidir. İkincisi, büyük modeller yenilikçi projelerdir çünkü tüm büyük model şirketleri el ele rekabet halindedir.Yenilik duygusu yoksa başkalarının önünde kalmak zor olacaktır çünkü bu tamamen yeni bir mühendislik yönüdür.
**Qubit Think Tank: Bu inovasyon duygusu hakkında ne düşünüyorsunuz? **
Fang Han: Benim anladığım inovasyon, kamuoyu tarafından tanımlanan inovasyondan farklı. Geçmişte daha çok algoritmik inovasyondu. İnovasyondan kastım öncelikle büyük modellerin son ilerlemesine ayak uydurmak. Dünya çapında büyük model eğitimi üzerine çalışan birçok insan var. Bu yön çok hızlı ilerliyor. Her gün yüzlerce yeni makale yayınlanıyor. , çeşitli yönlerde ve alanlarda iyileştirmeler yapmak. İkincisi, mühendislikte karşılaşılan sorunları gerçek ihtiyaçlara dayalı olarak çözmek için yeni yöntemler kullanabilmektir Buradaki yenilik daha çok sorunların yenilikçi bir şekilde nasıl çözüleceğine ve teknik ve mühendislik açısından göstergelerin nasıl iyileştirileceğine odaklanmıştır.
**Qubit Think Tank: Büyük ölçekli yeteneklerin yenilikçi bilincinin akademik başarılar, patent başarıları vb. ile değerlendirilebileceğini düşünüyor musunuz? **
Fang Han: Yeteneklerin inovasyon bilincini patent sonuçlarına göre yargılamanın mantıksız olduğunu düşünüyorum. **OpenAI patent başvurularında yeteneklerin performansına pek dikkat etmez. En iyi inovasyon aslında iç deneyim birikimine dayanır. Sadece patent perspektifinden yargılamak mantıksızdır.
Ancak **akademik sonuçlar karar vermek için daha önemli bir temel olarak kullanılabilir. **Örneğin Vicuna modelini ilk yapanlar da, ControlNet'i de ilk yapanlar doktora öğrencileriydi, bu açıdan bakıldığında akademik sonuçlar kesin bir referans olarak kullanılabilir.
Ancak fiili operasyon sürecinde, makale yayınlamanın büyük yeniliğine ek olarak, mühendislik alanında da başarılması gereken sayısız küçük yenilik vardır. **Bu nedenle inovasyon bilincinin hâlâ, yeteneklerin uygulamadaki sorunları çözmedeki hızına ve teslimat yeteneğine göre değerlendirilmesi gerekiyor.
#### Büyük model yetenekler nasıl geliştirilir?
**Qubit Think Tank: Tiangong Modeli 1.0'dan 3.5'e yükseltildiğinde farklı aşamalarda hangi yetenek alanlarına odaklanılacak? **
Fang Han: İlk aşamalarda, büyük modellerin, CNN'nin ve Transformer'ın temel mimarisine daha aşina olan algoritma yeteneklerine gerçekten ihtiyacımız var.Elbette buna veri temizleme ve veri işleme de dahildir.Veri bilimi yetenekleri; Büyük modeller yavaş yavaş olgunlaştığında ve çok modaliteye yönelmek gerektiğinde, bilgisayarlı görü yapan bir grup yeteneğe ihtiyaç duyulacak; büyük modeller dış dünyaya sunulacaksa güvenlik denetimi yeteneklerine ihtiyaç duyulacak ihtiyaç vardı.
**Qubit Think Tank: Kunlun Wanwei kendi büyük model yeteneklerini nasıl geliştiriyor? **
Fang Han: Kunlun Wanwei, 2020'de büyük model eğitimi vermeye başladı. O zamanlar piyasada büyük modeller yapabilecek çok az yetenek vardı. BERT rotasını kullanan daha fazla, GPT rotasını kullanan daha az kişi vardı. , biz de** O zamanlar büyük model yetenekleri kendimiz yetiştirmeyi seçmiştik. **
Eğitim yöntemi, algoritma altyapısına sahip yeteneklerin model eğitiminin yönünü öğrenmelerine olanak sağlamaktır.Daha sonra işe alırken, makine öğrenmesi ve derin öğrenmeye aşina, kendi kendine sürüş gücü güçlü ve hızlı öğrenme hızına sahip yetenekleri seçmeyi düşünmeliyiz. Yetenekler, algoritma geçmişi olan yetenekler. Başlangıçta CNN gibi teknik yönlendirmeler üzerine çalışan bazı yeteneklerimiz vardı ama şimdi daha çok GPT eğitimine yönelecekler.
**Qubit Think Tank: “Büyük inek buzağıya liderlik eder” şeklindeki bu eğitim modeli hakkında ne düşünüyorsunuz? **
Fang Han: Teknoloji odaklı her şirket aslında "büyük ineklerin genç ineklere liderlik etmesi" eğitim yöntemini seçecektir, ancak **yetenekleri seçmek, yetenekleri yetiştirmekten daha önemlidir ve bağımsız öğrenme, ustaların çıraklara liderlik etmesinden daha önemlidir, ** yani işe alırken yeteneklerin bağımsız öğrenme yeteneğine de büyük önem veriyoruz.
Java gibi geleneksel teknik yönlendirmeler için zengin deneyime güvenmeniz gerekir ve yeni mezunların alan uzmanları haline gelmeleri için daha uzun bir eğitim süresine ihtiyaçları vardır. Ancak büyük model eğitimi yeni gelişen bir alan ve endüstrideki birikim akademide olduğundan çok daha derin değil. **Akademiden daha fazlasına sahip olduğumuz şey hesaplama gücüdür. **Aslında algoritma düzeyinde pek de değiliz. üniversitelerin önünde.
**Qubit Think Tank: Yeni mezunların büyük model uzmanlara dönüşmesi ne kadar zaman alacak? **
Fang Han: Son derece modern, büyük model makaleler yayınlayabilen çok sayıda doktora öğrencisi var.Ayrıca, birçok büyük ölçekli yenilikçi makalenin, doktora ikinci ve üçüncü sınıf öğrencileri tarafından yayınlandığı da görülebilir. D. öğrenciler. Okulda, gelir gelmez işe başlayabilecek ve birkaç ay içinde alan uzmanlarına dönüşebilecek yetenekler buluyoruz.
Amacımız, okuldayken yenilikçilik ve **teknik vizyon göstermiş, yeni mezun doktora öğrencileri arasından en iyi yetenekleri seçmektir. Daha kısa sürede "buzağı" yetiştirebiliriz. Sizin dediğiniz şeye dönüşebiliriz. "büyük inek".
**Qubit Think Tank: Birkaç aydan bir yıla kadar bu tür yeni doktora öğrencileri alanında "büyük inekler" haline gelebilir. Bahsettiğiniz "büyük ineklerin" temel araştırma ve geliştirme yeteneklerine sahip olanlar olduğunu anlıyorum. **
Fang Han: Evet, gençlere birçok fırsat veriyoruz. Aslında OpenAI'de muhtemelen yalnızca birkaç düzine kişi GPT eğitimi alıyor ve bunların büyük bir kısmı birkaç yıl önce mezun olmuş yeteneklerden oluşuyor. Bunun esas olarak Çin'deki büyük model takımlar için geçerli olduğunu düşünüyorum, bu yepyeni bir alan ve yeni gelenler için fırsatlar özellikle harika. **Yeni mezun bir doktora öğrencisinin yaklaşık yarım yıl çalıştıktan sonra alanında teknik uzman olması sorun değildir ancak yönetim yeteneği kesinlikle eksiktir. **Bu teknik alan çok yeni ve herkes aynı başlangıç çizgisinde koşuyor, yeni mezunların mutlaka bir dezavantajı yok.
**Qubit Think Tank: Bahsettiğiniz yeni mezunların çoğu doğal dil işleme alanında mı uzmanlaşıyor? Hangi spesifik alanlara bölünecek? **
Fang Han: Bu tam olarak doğal dil işleme değil. Büyük bir modelin tüm yaşam aşamasında, veri işlemenin yanı sıra, *ön hazırlık aşamasında da mühendislik birikimine dayanması gerektiğini düşünüyorum. eğitim, RLHF, SFT, operatör optimizasyonu * ve diğer hususlar, ilgili akademik araştırma yönlerine sahipler, dolayısıyla büyük modellerin %70-80'ini geliştirme ve eğitme yeteneğine sahip olduklarını düşünüyorum.
Makine öğrenmesi, takviyeli öğrenme ve derin öğrenme üzerine çalışan yeteneklerin büyük modellere geçiş yapması çok kolay. Ve artık pek çok açık kaynak modeli olduğundan ve akademide açık kaynak modellerine dayalı araştırma makaleleri yazan birçok insan olduğundan, üniversitedeki yetenekler arasındaki işbölümünde mutlak bir boşluk olduğunu düşünmüyorum.
#### Yurtiçi büyük model yetenek pazarının geliştirilmesi
**Qubit Think Tank: Büyük model yetenek pazarının mevcut genel gelişimi hakkında ne düşünüyorsunuz? **
Fang Han: Bence **büyük model yetenekler genel olarak yüksek düzeyde kıtlık durumunda ve **stok işi yapan daha fazla insan olacak. Ancak büyük modellerde uygulayıcıların sayısı arttıkça işbölümü de daha detaylı hale gelecektir, bu doğal bir farklılaşma sürecidir. Her yeni teknolojinin gelişim süreci şu şekildedir: İlk tam kadro mühendislerden ekip lideri ve direktör düzeyindeki liderlere kadar ekip üyelerinin teknik yön farklılaşması daha belirgin hale gelecektir.
**Qubit Think Tank: Kunlun Wanwei'nin işe aldığı yeteneklerin çoğu üniversitelerden mi geliyor yoksa daha çok bu sektörden mi geliyor? **
Fang Han: Şu anda pratik birikime sahip yeteneklere ihtiyacımız var, bu nedenle sektörden zengin mühendislik deneyimine sahip daha fazla yetenek seçeceğiz. Ancak yedek olarak yeni mezunlar da alınacağından okul alımları daha fazla oluyor.Okul alımlarının sosyal alımlara oranı neredeyse 1:5.
**Qubit Think Tank: Bu büyük modelin mevcut yetenek gelişiminin hangi aşamada olduğunu düşünüyorsunuz? **
Fang Han: Yeteneklerin genel akademik başarı sayısına bakıldığında, dünyada yayınlanan yapay zeka makalelerinin sayısında Çin birinci sırada yer alırken, Amerika Birleşik Devletleri ikinci sırada yer alıyor. Makalelerin sayısı Amerika Birleşik Devletleri'ndekinden daha fazla Çin'de.
Yeteneklerin yetenek unsurları açısından büyük modellerin farklı deneyimlere sahip yeteneklere ihtiyaç duyduğunu düşünüyorum.Yeni mezunlar, alan uzmanları ve liderler olmak üzere bunların üçünün de olması gerekiyor. **Fakat arz açısından bakıldığında şu anda yetersiz bir aşamada.Yaklaşık 3-5 yıl içerisinde arz durumu büyük oranda düzelecek, **çünkü konuların açılmasından öğrencinin mezun olmasına kadar geçen süre 5 yıl sürüyor.
Büyük model yetenekleri yetiştirmedeki zorluklar
**Qubit Think Tank: Yetenek eğitiminin hangi yönlerden geliştirilebileceğini düşünüyorsunuz? **
Fang Han: Bunu esas olarak iki açıdan paylaşacağım; kurumsal perspektif ve makro perspektif.
Kurumsal açıdan bakıldığında, mühendislik projelerine katılırlarsa yetenekler daha hızlı büyüyecektir. Bu çok açık ve pratik bir yoldur. Yeteneklere karşı daha sabırlı olan büyük şirketler için, yetenekleri yaptıkları işte daha profesyonel olacak, ancak küçük şirketlerde büyük model ekiplerin yetenekleri daha kapsamlı bir şekilde büyüyecek ve büyük şirketlerin tüm yeteneklerine sahip olmaları gerekecek. modeller.
Makroskobik bir bakış açısıyla, **diğer geleneksel endüstrilerle karşılaştırıldığında, büyük ölçekli model yetenekleri yetiştirmedeki zorluk, üniversitelerin mevcut yetersiz bilgi işlem gücünden kaynaklanmaktadır; bu da okulların mimarlık yeteneklerini yetiştirmesini ve bu yeteneklerin yetiştirilmesini zorlaştırmaktadır. işletmelere sadece eğitim amaçlı gidebilirler. Dünyadaki tüm üniversitelerin karşılaştığı bir ikilem olan bu durum, ulusal düzeydeki bilgi işlem gücünün üniversitelerle paylaşılmasıyla bu durumun hafifleyeceğine inanıyoruz.
**Qubit Think Tank: Yani, büyük ölçekli yetenekleri yetiştirmek için endüstri, akademi, araştırma ve politika arasındaki bağlantıya daha çok güveniyor. **
Fang Han: Bence işletmelerdeki donanım koşullarının aynısını okullarda da sağlamak için elimizden geleni yapmalıyız, aksi takdirde okullarda öğrendiklerimiz kesinlikle nispeten sınırlı olacaktır.
#### Büyük model yeteneklerin ve yapay zeka şirketlerinin gelecekteki gelişim eğilimleri
**Qubit Think Tank: Sizin bakış açınıza göre, büyük model endüstrisinin bir bütün olarak gelecekteki gelişim eğilimi nedir? **
Fang Han: Bence buna büyük model endüstri değil, tüm yapay zeka endüstrisi denilmeli. Yapay zeka endüstrisinin karşılaştığı fırsatlar, internet ve mobil internetten daha az olmamalıdır. Yapay zeka sektörünün gelişim trendi konusunda oldukça iyimserim. Yapay zekanın tüm interneti derinden değiştireceğini ve tüm insan yaşamının büyük ölçüde etkilenip değişeceğini düşünüyorum. Tüm sektörün yön değişikliğine uğrayacağını düşünüyorum.
**Qubit Think Tank: Bu trende dayanarak ne tür büyük model yeteneklerin işletmeler tarafından daha çok tercih edileceğini düşünüyorsunuz? **
Fang Han: Öncelikle "Yüzlerce Modelin Savaşı" oluştu. Herkes büyük model tabanları yapıyor. Gelecekte büyük model tabanları kesinlikle birkaç büyük üreticiye indirgenecek. , ve daha fazlası Birçok şirketin uygulamalar için büyük modeller kullanma konumunda olması gerekiyor, bu nedenle büyük modellere dayalı uygulamalar geliştiren yeteneklerin giderek daha fazla olacağını düşünüyorum. **
Büyük modellerin altında yatan eğitimden, optimizasyon algoritmalarından ve mimarisinden sorumlu olan yetenekler, büyük üreticilere veya büyük model ekiplerine gidecek.Ancak en büyük devlerin mutlaka büyük model şirketlerinin kendileri değil, güçlü uygulamaları tabanlı yapanlar olduğuna inanıyoruz. büyük modellerde bu işletmeler. Bu işletmeler büyüdükçe kendi büyük modellerini de oluşturacaklar.
"Uygulama kraldır" ifadesinin, yapay zekaya dayalı yeni iş modelleri ve uygulamalardaki büyük modelleri geliştiren şirketlerin en büyük kazancı elde edeceği anlamına geldiğine inanıyoruz. **O halde önümüzdeki 10 yıl içinde mutlaka Byte, Meituan, Didi gibi yeni dev şirketlerin ortaya çıkacağına ve bunların sayısının 0'dan 100'e çıkması gerektiğine inanıyoruz. Bu yıl veya gelecek yıl kurulan şirketlerin bu imkânı olması lazım. fırsat.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Büyük ölçekli modellere yönelik yetenekler son derece azdır ve "seçim", "yetiştirme"den daha önemlidir. Kunlun Wanwei ile Söyleşi
Kaynak: Qubit'ler
Son zamanlarda "Yüzlerce Modelin Savaşı" yoğunlaştı. Büyük modellerin hızla çoğalmasıyla "yetenek", büyük teknoloji şirketleri, girişimci ekipler ve araştırma kurumları arasındaki şiddetli rekabetin odağı haline geldi. Ancak AIGC alanında ileri yetenekler arasında hâlâ büyük bir boşluk var.
Model geliştirmeyi kolaylaştırmak için ne tür yetenekler işe alınmalıdır?
Büyük model yetenekleri nereden işe alabilirim?
Büyük model Ar-Ge yetenekleri nasıl yetiştirilir?
Bu makale, Qubit Think Tank'ın "Büyük Model Yetenek" serisinin derinlemesine röportaj sütunudur. Daha fazla bilgi için lütfen yakında yayınlanacak olan "2023 AIGC Büyük Model Yetenek Gelişimi Panoramik Raporu"nu inceleyin.
Röportaj Karakteri Tanıtımı
Çin Linux'unun kurucularından Kunlun Wanwei'nin Yönetim Kurulu Başkanı ve CEO'su Fang Han, ilk yerli P2P indirme yazılımı DUDU hızlandırıcısının geliştirilmesine öncülük etti.
**
**###### △Fang Han, Kunlun Wanwei'nin Başkanı ve CEO'su
2008 yılında Kunlun Wanwei'ye katıldı ve "Three Kingdoms" ile RPG web oyunu "Dövüş Sanatları"nın geliştirilmesine öncülük etti ve birçok ödül kazandı.
Harika manzaralar
Görüşme Kaydı
**Büyük model yetenek nasıl tanımlanır? **
**Qubit Think Tank: Kunlun Wanwei büyük model yetenekleri nasıl bölüyor? **
Fang Han: Model eğitiminin iki ana bölüme ayrılması gerektiğini düşünüyorum: eğitim çıkarımı ve uygulama geliştirme. Model eğitimi bağlantısına göre, yetenekleri algoritma tarafı yetenekleri, mimari tarafı yetenekleri ve uygulama geliştirme tarafı yetenekleri olarak ayırıyoruz**. Temel algoritma yetenekleri ayrıca ön eğitim, veri işleme, çıkarım optimizasyonunun ince ayarı, vesaire.
**Qubit Think Tank: Sizce algoritma yetenekleri, mimari yetenekler ve uygulama geliştirme yetenekleri arasında en az bulunan yetenek türü hangisi? Ve muhtemelen uzun bir süre de kıt olacak. **
Fang Han: Şu anda en az bulunan yetenek kesinlikle temel algoritma yeteneğidir, ancak arz ve talep durumu hızla düzelecektir. Çünkü burada çok ilginç bir olgu var.Şu anda çeşitli üniversitelerin bilgi işlem gücü ciddi anlamda yetersiz ve büyük modellerle ilgili yön şu sıralar gündemde olan bir konu.NLP gibi bu araştırma alanına yönelebilecek birçok yetenek var. Tüm NLP yetenekleri büyük modellere yöneliyor.
Dolayısıyla kişisel görüşüm 1-2 yıl içinde algoritmik yetenek açığının büyük ölçüde azalacağı yönünde.Çünkü yüksek maaşlı algoritmik yetenekler çok fazla olduğundan, Çin'in yetenek oranında hala çok pazar odaklı olduğunu düşünüyorum.
Büyük model yeteneklerin sahip olması gereken yetkinlik unsurları
**Qubit Think Tank: Yetenekleri işe alırken yeteneklerin hangi nitelikleri daha önemlidir? **
Fang Han: Bahsettiğiniz akademik başarı, pratik deneyim, akademik geçmiş ve inovasyon farkındalığı açısından önceliğimiz pratik deneyim ve inovasyon farkındalığı: Öncelikle, Büyük model eğitimi aslında bir mühendislik problemidir, dolayısıyla pratik deneyim kesinlikle çok önemlidir. İkincisi, büyük modeller yenilikçi projelerdir çünkü tüm büyük model şirketleri el ele rekabet halindedir.Yenilik duygusu yoksa başkalarının önünde kalmak zor olacaktır çünkü bu tamamen yeni bir mühendislik yönüdür.
**Qubit Think Tank: Bu inovasyon duygusu hakkında ne düşünüyorsunuz? **
Fang Han: Benim anladığım inovasyon, kamuoyu tarafından tanımlanan inovasyondan farklı. Geçmişte daha çok algoritmik inovasyondu. İnovasyondan kastım öncelikle büyük modellerin son ilerlemesine ayak uydurmak. Dünya çapında büyük model eğitimi üzerine çalışan birçok insan var. Bu yön çok hızlı ilerliyor. Her gün yüzlerce yeni makale yayınlanıyor. , çeşitli yönlerde ve alanlarda iyileştirmeler yapmak. İkincisi, mühendislikte karşılaşılan sorunları gerçek ihtiyaçlara dayalı olarak çözmek için yeni yöntemler kullanabilmektir Buradaki yenilik daha çok sorunların yenilikçi bir şekilde nasıl çözüleceğine ve teknik ve mühendislik açısından göstergelerin nasıl iyileştirileceğine odaklanmıştır.
**Qubit Think Tank: Büyük ölçekli yeteneklerin yenilikçi bilincinin akademik başarılar, patent başarıları vb. ile değerlendirilebileceğini düşünüyor musunuz? **
Fang Han: Yeteneklerin inovasyon bilincini patent sonuçlarına göre yargılamanın mantıksız olduğunu düşünüyorum. **OpenAI patent başvurularında yeteneklerin performansına pek dikkat etmez. En iyi inovasyon aslında iç deneyim birikimine dayanır. Sadece patent perspektifinden yargılamak mantıksızdır.
Ancak **akademik sonuçlar karar vermek için daha önemli bir temel olarak kullanılabilir. **Örneğin Vicuna modelini ilk yapanlar da, ControlNet'i de ilk yapanlar doktora öğrencileriydi, bu açıdan bakıldığında akademik sonuçlar kesin bir referans olarak kullanılabilir.
Ancak fiili operasyon sürecinde, makale yayınlamanın büyük yeniliğine ek olarak, mühendislik alanında da başarılması gereken sayısız küçük yenilik vardır. **Bu nedenle inovasyon bilincinin hâlâ, yeteneklerin uygulamadaki sorunları çözmedeki hızına ve teslimat yeteneğine göre değerlendirilmesi gerekiyor.
**Qubit Think Tank: Tiangong Modeli 1.0'dan 3.5'e yükseltildiğinde farklı aşamalarda hangi yetenek alanlarına odaklanılacak? **
Fang Han: İlk aşamalarda, büyük modellerin, CNN'nin ve Transformer'ın temel mimarisine daha aşina olan algoritma yeteneklerine gerçekten ihtiyacımız var.Elbette buna veri temizleme ve veri işleme de dahildir.Veri bilimi yetenekleri; Büyük modeller yavaş yavaş olgunlaştığında ve çok modaliteye yönelmek gerektiğinde, bilgisayarlı görü yapan bir grup yeteneğe ihtiyaç duyulacak; büyük modeller dış dünyaya sunulacaksa güvenlik denetimi yeteneklerine ihtiyaç duyulacak ihtiyaç vardı.
**Qubit Think Tank: Kunlun Wanwei kendi büyük model yeteneklerini nasıl geliştiriyor? **
Fang Han: Kunlun Wanwei, 2020'de büyük model eğitimi vermeye başladı. O zamanlar piyasada büyük modeller yapabilecek çok az yetenek vardı. BERT rotasını kullanan daha fazla, GPT rotasını kullanan daha az kişi vardı. , biz de** O zamanlar büyük model yetenekleri kendimiz yetiştirmeyi seçmiştik. **
Eğitim yöntemi, algoritma altyapısına sahip yeteneklerin model eğitiminin yönünü öğrenmelerine olanak sağlamaktır.Daha sonra işe alırken, makine öğrenmesi ve derin öğrenmeye aşina, kendi kendine sürüş gücü güçlü ve hızlı öğrenme hızına sahip yetenekleri seçmeyi düşünmeliyiz. Yetenekler, algoritma geçmişi olan yetenekler. Başlangıçta CNN gibi teknik yönlendirmeler üzerine çalışan bazı yeteneklerimiz vardı ama şimdi daha çok GPT eğitimine yönelecekler.
**Qubit Think Tank: “Büyük inek buzağıya liderlik eder” şeklindeki bu eğitim modeli hakkında ne düşünüyorsunuz? **
Fang Han: Teknoloji odaklı her şirket aslında "büyük ineklerin genç ineklere liderlik etmesi" eğitim yöntemini seçecektir, ancak **yetenekleri seçmek, yetenekleri yetiştirmekten daha önemlidir ve bağımsız öğrenme, ustaların çıraklara liderlik etmesinden daha önemlidir, ** yani işe alırken yeteneklerin bağımsız öğrenme yeteneğine de büyük önem veriyoruz.
Java gibi geleneksel teknik yönlendirmeler için zengin deneyime güvenmeniz gerekir ve yeni mezunların alan uzmanları haline gelmeleri için daha uzun bir eğitim süresine ihtiyaçları vardır. Ancak büyük model eğitimi yeni gelişen bir alan ve endüstrideki birikim akademide olduğundan çok daha derin değil. **Akademiden daha fazlasına sahip olduğumuz şey hesaplama gücüdür. **Aslında algoritma düzeyinde pek de değiliz. üniversitelerin önünde.
**Qubit Think Tank: Yeni mezunların büyük model uzmanlara dönüşmesi ne kadar zaman alacak? **
Fang Han: Son derece modern, büyük model makaleler yayınlayabilen çok sayıda doktora öğrencisi var.Ayrıca, birçok büyük ölçekli yenilikçi makalenin, doktora ikinci ve üçüncü sınıf öğrencileri tarafından yayınlandığı da görülebilir. D. öğrenciler. Okulda, gelir gelmez işe başlayabilecek ve birkaç ay içinde alan uzmanlarına dönüşebilecek yetenekler buluyoruz.
Amacımız, okuldayken yenilikçilik ve **teknik vizyon göstermiş, yeni mezun doktora öğrencileri arasından en iyi yetenekleri seçmektir. Daha kısa sürede "buzağı" yetiştirebiliriz. Sizin dediğiniz şeye dönüşebiliriz. "büyük inek".
**Qubit Think Tank: Birkaç aydan bir yıla kadar bu tür yeni doktora öğrencileri alanında "büyük inekler" haline gelebilir. Bahsettiğiniz "büyük ineklerin" temel araştırma ve geliştirme yeteneklerine sahip olanlar olduğunu anlıyorum. **
Fang Han: Evet, gençlere birçok fırsat veriyoruz. Aslında OpenAI'de muhtemelen yalnızca birkaç düzine kişi GPT eğitimi alıyor ve bunların büyük bir kısmı birkaç yıl önce mezun olmuş yeteneklerden oluşuyor. Bunun esas olarak Çin'deki büyük model takımlar için geçerli olduğunu düşünüyorum, bu yepyeni bir alan ve yeni gelenler için fırsatlar özellikle harika. **Yeni mezun bir doktora öğrencisinin yaklaşık yarım yıl çalıştıktan sonra alanında teknik uzman olması sorun değildir ancak yönetim yeteneği kesinlikle eksiktir. **Bu teknik alan çok yeni ve herkes aynı başlangıç çizgisinde koşuyor, yeni mezunların mutlaka bir dezavantajı yok.
**Qubit Think Tank: Bahsettiğiniz yeni mezunların çoğu doğal dil işleme alanında mı uzmanlaşıyor? Hangi spesifik alanlara bölünecek? **
Fang Han: Bu tam olarak doğal dil işleme değil. Büyük bir modelin tüm yaşam aşamasında, veri işlemenin yanı sıra, *ön hazırlık aşamasında da mühendislik birikimine dayanması gerektiğini düşünüyorum. eğitim, RLHF, SFT, operatör optimizasyonu * ve diğer hususlar, ilgili akademik araştırma yönlerine sahipler, dolayısıyla büyük modellerin %70-80'ini geliştirme ve eğitme yeteneğine sahip olduklarını düşünüyorum.
Makine öğrenmesi, takviyeli öğrenme ve derin öğrenme üzerine çalışan yeteneklerin büyük modellere geçiş yapması çok kolay. Ve artık pek çok açık kaynak modeli olduğundan ve akademide açık kaynak modellerine dayalı araştırma makaleleri yazan birçok insan olduğundan, üniversitedeki yetenekler arasındaki işbölümünde mutlak bir boşluk olduğunu düşünmüyorum.
**Qubit Think Tank: Büyük model yetenek pazarının mevcut genel gelişimi hakkında ne düşünüyorsunuz? **
Fang Han: Bence **büyük model yetenekler genel olarak yüksek düzeyde kıtlık durumunda ve **stok işi yapan daha fazla insan olacak. Ancak büyük modellerde uygulayıcıların sayısı arttıkça işbölümü de daha detaylı hale gelecektir, bu doğal bir farklılaşma sürecidir. Her yeni teknolojinin gelişim süreci şu şekildedir: İlk tam kadro mühendislerden ekip lideri ve direktör düzeyindeki liderlere kadar ekip üyelerinin teknik yön farklılaşması daha belirgin hale gelecektir.
**Qubit Think Tank: Kunlun Wanwei'nin işe aldığı yeteneklerin çoğu üniversitelerden mi geliyor yoksa daha çok bu sektörden mi geliyor? **
Fang Han: Şu anda pratik birikime sahip yeteneklere ihtiyacımız var, bu nedenle sektörden zengin mühendislik deneyimine sahip daha fazla yetenek seçeceğiz. Ancak yedek olarak yeni mezunlar da alınacağından okul alımları daha fazla oluyor.Okul alımlarının sosyal alımlara oranı neredeyse 1:5.
**Qubit Think Tank: Bu büyük modelin mevcut yetenek gelişiminin hangi aşamada olduğunu düşünüyorsunuz? **
Fang Han: Yeteneklerin genel akademik başarı sayısına bakıldığında, dünyada yayınlanan yapay zeka makalelerinin sayısında Çin birinci sırada yer alırken, Amerika Birleşik Devletleri ikinci sırada yer alıyor. Makalelerin sayısı Amerika Birleşik Devletleri'ndekinden daha fazla Çin'de.
Yeteneklerin yetenek unsurları açısından büyük modellerin farklı deneyimlere sahip yeteneklere ihtiyaç duyduğunu düşünüyorum.Yeni mezunlar, alan uzmanları ve liderler olmak üzere bunların üçünün de olması gerekiyor. **Fakat arz açısından bakıldığında şu anda yetersiz bir aşamada.Yaklaşık 3-5 yıl içerisinde arz durumu büyük oranda düzelecek, **çünkü konuların açılmasından öğrencinin mezun olmasına kadar geçen süre 5 yıl sürüyor.
Büyük model yetenekleri yetiştirmedeki zorluklar
**Qubit Think Tank: Yetenek eğitiminin hangi yönlerden geliştirilebileceğini düşünüyorsunuz? **
Fang Han: Bunu esas olarak iki açıdan paylaşacağım; kurumsal perspektif ve makro perspektif.
Kurumsal açıdan bakıldığında, mühendislik projelerine katılırlarsa yetenekler daha hızlı büyüyecektir. Bu çok açık ve pratik bir yoldur. Yeteneklere karşı daha sabırlı olan büyük şirketler için, yetenekleri yaptıkları işte daha profesyonel olacak, ancak küçük şirketlerde büyük model ekiplerin yetenekleri daha kapsamlı bir şekilde büyüyecek ve büyük şirketlerin tüm yeteneklerine sahip olmaları gerekecek. modeller.
Makroskobik bir bakış açısıyla, **diğer geleneksel endüstrilerle karşılaştırıldığında, büyük ölçekli model yetenekleri yetiştirmedeki zorluk, üniversitelerin mevcut yetersiz bilgi işlem gücünden kaynaklanmaktadır; bu da okulların mimarlık yeteneklerini yetiştirmesini ve bu yeteneklerin yetiştirilmesini zorlaştırmaktadır. işletmelere sadece eğitim amaçlı gidebilirler. Dünyadaki tüm üniversitelerin karşılaştığı bir ikilem olan bu durum, ulusal düzeydeki bilgi işlem gücünün üniversitelerle paylaşılmasıyla bu durumun hafifleyeceğine inanıyoruz.
**Qubit Think Tank: Yani, büyük ölçekli yetenekleri yetiştirmek için endüstri, akademi, araştırma ve politika arasındaki bağlantıya daha çok güveniyor. **
Fang Han: Bence işletmelerdeki donanım koşullarının aynısını okullarda da sağlamak için elimizden geleni yapmalıyız, aksi takdirde okullarda öğrendiklerimiz kesinlikle nispeten sınırlı olacaktır.
**Qubit Think Tank: Sizin bakış açınıza göre, büyük model endüstrisinin bir bütün olarak gelecekteki gelişim eğilimi nedir? **
Fang Han: Bence buna büyük model endüstri değil, tüm yapay zeka endüstrisi denilmeli. Yapay zeka endüstrisinin karşılaştığı fırsatlar, internet ve mobil internetten daha az olmamalıdır. Yapay zeka sektörünün gelişim trendi konusunda oldukça iyimserim. Yapay zekanın tüm interneti derinden değiştireceğini ve tüm insan yaşamının büyük ölçüde etkilenip değişeceğini düşünüyorum. Tüm sektörün yön değişikliğine uğrayacağını düşünüyorum.
**Qubit Think Tank: Bu trende dayanarak ne tür büyük model yeteneklerin işletmeler tarafından daha çok tercih edileceğini düşünüyorsunuz? **
Fang Han: Öncelikle "Yüzlerce Modelin Savaşı" oluştu. Herkes büyük model tabanları yapıyor. Gelecekte büyük model tabanları kesinlikle birkaç büyük üreticiye indirgenecek. , ve daha fazlası Birçok şirketin uygulamalar için büyük modeller kullanma konumunda olması gerekiyor, bu nedenle büyük modellere dayalı uygulamalar geliştiren yeteneklerin giderek daha fazla olacağını düşünüyorum. **
Büyük modellerin altında yatan eğitimden, optimizasyon algoritmalarından ve mimarisinden sorumlu olan yetenekler, büyük üreticilere veya büyük model ekiplerine gidecek.Ancak en büyük devlerin mutlaka büyük model şirketlerinin kendileri değil, güçlü uygulamaları tabanlı yapanlar olduğuna inanıyoruz. büyük modellerde bu işletmeler. Bu işletmeler büyüdükçe kendi büyük modellerini de oluşturacaklar.
"Uygulama kraldır" ifadesinin, yapay zekaya dayalı yeni iş modelleri ve uygulamalardaki büyük modelleri geliştiren şirketlerin en büyük kazancı elde edeceği anlamına geldiğine inanıyoruz. **O halde önümüzdeki 10 yıl içinde mutlaka Byte, Meituan, Didi gibi yeni dev şirketlerin ortaya çıkacağına ve bunların sayısının 0'dan 100'e çıkması gerektiğine inanıyoruz. Bu yıl veya gelecek yıl kurulan şirketlerin bu imkânı olması lazım. fırsat.