SignalPlus: Üretken Yapay Zekaya Giriş

Orijinal Yazar: Steven Wang

"Neyi yaratamam, anlamıyorum."

-Richard Feynman

Önsöz

Çarpıcı görüntüler oluşturmak için Stable Diffusion ve MidJourney'i kullanırsınız.

Zarif kelimeler oluşturmak için ChatGPT ve LLaMa'yı kullanma konusunda yetkinsiniz.

Dağ müziği oluşturmak için MuseNet ve MuseGAN arasında geçiş yaparsınız.

İnsanoğlunun en eşsiz yeteneği kuşkusuz yaratmaktır ama günümüzün sürekli değişen teknolojisinde biz makineler yaratarak yaratıyoruz! Bir makine, orijinal sanat eseri çizebilir (çizebilir), uzun ve tutarlı bir makale oluşturabilir (yazabilir), melodik müzik besteleyebilir (beste yapabilir) ve belirli bir stil verildiğinde karmaşık oyunlar için kazanma stratejileri formüle edebilir (oynayabilir). Bu teknoloji Üretici Yapay Zeka'dır (Üretken Yapay Zeka, GenAI), şimdi GenAI devriminin sadece başlangıcıdır, şimdi GenAI öğrenmek için en iyi zaman.

1. Modelleri Oluşturma ve Ayırt Etme

GenAI moda bir kelimedir, arkasındaki esas makine öğreniminin bir dalı olan üretken model'dir (üretken model). Amaç, modeli verilen veri kümesine benzer yeni veriler üretecek şekilde eğitmektir.

Bir at veri setimiz olduğunu varsayalım. İlk olarak, at görüntülerindeki pikseller arasındaki karmaşık ilişkileri yöneten kuralları yakalamak için bu veri kümesi üzerinde üretken bir model eğitebiliriz. Bu model daha sonra, aşağıdaki şekilde gösterildiği gibi, orijinal veri setinde olmayan atların gerçekçi görüntülerini oluşturmak için örneklenir.

Üretken bir modelin amaçlarını ve önemini gerçekten anlamak için, onu ayrımcı bir modelle karşılaştırmak gerekir. Aslında, makine öğrenimindeki sorunların çoğu ayrımcı modellerle çözülür, aşağıdaki örneklere bakın.

Bazıları Van Gogh'a, bazıları da diğer sanatçılara ait bir resim veri setimiz olduğunu varsayalım. Yeterli veriyle, aşağıdaki şekilde gösterildiği gibi, belirli bir resmin Van Gogh'a ait olup olmadığını tahmin etmek için ayrımcı bir model geliştirebiliriz.

Ayrımcı bir model kullanırken, eğitim setindeki her örneğin bir etiketi (etiketi) vardır.Yukarıdaki iki kategorili problem için, Van Gogh'un resminin etiketi genellikle 1, Van Gogh'a ait olmayan resmin etiketi ise 0'dır. Yukarıdaki şekilde, modelin tahmin edilen nihai olasılığı 0,83'tür, bu nedenle Van Gogh tarafından yapılmış olması çok muhtemeldir. Ayrımcı bir modelden farklı olarak, üretken bir model, etiketleri içeren örnekler gerektirmez çünkü amacı, veriler için etiketleri tahmin etmek değil, yeni veriler oluşturmaktır.

Örneği okuduktan sonra, üretici modeli ve ayrımcı modeli tam olarak tanımlamak için matematiksel gösterimi kullanalım:

• Ayrımcı model modelleri P(y|x), y etiketinin koşullu olasılığını tahmin etmek için x özelliklerine verilmiştir.
• Üretim modeli modelleri P(x), x özelliğinin olasılığını doğrudan tahmin eder ve yeni özellikler oluşturmak için bu olasılık dağılımından örnekler alır.

Van Gogh'un tablolarını tanımlamak için mükemmel bir ayırt edici model oluşturabilsek bile, yine de Van Gogh'a benzeyen bir tablonun nasıl yaratılacağını bilemez, yalnızca görüntünün Van Gogh'tan olup olmadığına dair bir olasılık verir. el olasılığı. Üretken modellerin ayrımcı modellere göre çok daha zor olduğu görülmektedir.

2. Modelin çerçevesini oluşturun

Üretken model çerçevesine geçmeden önce bir oyun oynayalım. Aşağıdaki şekildeki noktaların bir tür kural tarafından üretildiğini varsayarsak, bu kurala Pveri diyoruz, şimdi farklı bir x = (x 1, x 2) oluşturalım, böylece bu nokta aynı kurallar tarafından oluşturulmuş gibi görünüyor Pveri.

Bu noktayı nasıl oluşturursunuz? Verilen noktaları zihninizde bir model Pmodeli oluşturmak için kullanabilirsiniz ve istediğiniz noktalar bu modelin işgal ettiği konumlarda üretilebilir. Pmodelinin Pverilerinin tahmini olduğu görülmektedir. O halde en basit model Pmodel aşağıdaki şekildeki turuncu kutudur.Puanlar yalnızca kutunun içinde üretilebilir, kutunun dışında üretilemez.

Yeni bir nokta oluşturmak için kutudan rastgele bir nokta seçebilir veya daha kesin bir ifadeyle model Pmodel dağılımından örnek alabiliriz. Bu, minimalist bir üretken modeldir. Eğitim verilerinden (siyah noktalar) bir model (turuncu kutu) oluşturursunuz ve ardından oluşturulan noktaların eğitim setindeki noktalara benzediğini umarak modelden örnekleme yaparsınız.

Artık üretken öğrenme için resmi olarak bir çerçeve önerebiliriz.

Şimdi dağıtım Pverilerini üreten gerçek verileri ortaya koyalım ve yukarıdaki çerçevenin bu örneğe nasıl uygulanabileceğini görelim. Aşağıdaki şekilden, Pdata veri oluşturma kuralının, noktaların yalnızca karada düzgün bir şekilde dağıldığını ve okyanusta görünmeyeceğini görebiliriz.

Açıkça, Pmodelimiz Pveri kuralının basitleştirilmiş halidir. Yukarıdaki şekilde A, B ve C noktalarını incelemek, Pmodelinin Pveri kuralını başarıyla taklit edip etmediğini anlamamıza yardımcı olabilir.

• A noktası, denizde göründüğü için Pveri kuralına uymaz, ancak turuncu kutunun içinde göründüğü için Pmodeli modeli tarafından oluşturulmuş olabilir.
• B noktası, turuncu kutunun dışında göründüğü için Pmodeli modeli tarafından oluşturulamaz, ancak karada göründüğü için Pverileri kuralına uygundur.
• C noktası Pmodel modeli tarafından oluşturulur ve Pveri kuralına uygundur.

Bu örnek, üretken modellemenin arkasındaki temel kavramları göstermektedir.Gerçekte üretken modelleri kullanmak çok daha karmaşık olsa da, temel çerçeve aynıdır.

3. İlk üretici model

Bir şirketin Modadan Sorumlu Başkanı (CFO) olduğunuzu ve işinizin yeni moda giysiler yaratmak olduğunu varsayalım. Bu yıl moda eşdizimleriyle ilgili 50 veri seti aldınız (aşağıda gösterildiği gibi) ve 10 yeni moda eşdizimli oluşturmanız gerekiyor.

Baş moda sorumlusu olmanıza rağmen, aynı zamanda bir veri bilimcisisiniz, dolayısıyla bu sorunu çözmek için üretken modelleri kullanmaya karar veriyorsunuz. Yukarıdaki 50 resmi okuduktan sonra beş özelliği kullanmaya karar verdiniz, aksesuar türü (aksesuar türü), kıyafet rengi (kıyafet rengi), kıyafet türü (kıyafet türü), saç Renk (saç rengi) ve saç tipi (saç tipi), moda eşdizimini açıklamak için.

İlk 10 görüntü verisi özelliği aşağıdaki gibidir.

Her özelliğin ayrıca farklı sayıda özdeğeri vardır:

• 3 tip aksesuar (aksesuar tipi):

Boş, Yuvarlak, Güneş Gözlüğü

• 8 giysi rengi:

Siyah, Mavi 01, Gri 01, PastelYeşil, PastelTuruncu, Pembe, Kırmızı, Beyaz

• 4 giyim türü:

Hoodie, Tulum, GömlekScoopNeck, ShirtVNeck

• 6 saç rengi:

Siyah, Sarışın, Kahverengi, PastelPink, Kırmızı, SilverGray

• 7 saç tipi:

Saç Yok, Uzun SaçTopuz, Uzun Tüylü, Uzun SaçDüz, Kısa SaçKısaDalgalı, Kısa SaçKısaDüz, Kısa SaçKıvırcık

Bu şekilde 3 * 8 * 4 * 6 * 7 = 4032 özellik kombinasyonu vardır, dolayısıyla örnek uzayın 4032 nokta içerdiği düşünülebilir. Verilen 50 veri noktasından Pdata'nın farklı özellikler için belirli özellik değerlerini tercih ettiği görülmektedir. Görselde daha çok beyaz giyim renkleri ve gümüş grisi saç renkleri olduğu yukarıdaki tablodan da görülebilmektedir. Gerçek Pverisini bilmediğimiz için bu 50 veriyi yalnızca Pverisine benzeyecek bir Pmodeli oluşturmak için kullanabiliriz.

3.1 Minimalist model

En basit yöntemlerden biri 4032 özellik kombinasyonlarında her bir noktaya bir olasılık parametresi atamaktır, ardından model 4031 parametre içerir, çünkü tüm olasılık parametrelerinin toplamı 1'e eşittir. Şimdi 50 veriyi tek tek kontrol edelim ve ardından **(**θ 1 , θ 2 ,...,θ 4031 ) modelinin parametrelerini güncelleyelim, her birinin ifadesi parametre:

Bunlardan N gözlenen veri sayısı yani 50, nj ise 50 veride yer alan jth özellik kombinasyonunun sayısıdır.

Örneğin, (LongHairStraight, Red, Round, ShirtScoopNeck, White) özellik kombinasyonu (kombinasyon 1 olarak adlandırılır) iki kez görünür, ardından

Örneğin, (LongHairStraight, Red, Round, ShirtScoopNeck, Blue 01) özellik kombinasyonu (kombinasyon 2 olarak adlandırılır) görünmüyorsa, o zaman

Yukarıdaki kurallara göre 4031 kombinasyonun tamamı için bir θ değeri hesaplıyoruz.Hepsi 0 olan birçok θ değerinin olduğunu görmek zor değil. daha da kötüsü, yeni Görünmeyen görüntüler oluşturamayız ( θ = 0, bu özellik kombinasyonuna sahip hiçbir görüntünün gözlemlenmediği anlamına gelir). Bunu düzeltmek için, Laplace yumuşatma adı verilen bir teknikle, paydaya toplam öznitelik sayısı d'yi ve paya 1'i eklemeniz yeterlidir.

Şimdi, her kombinasyonun (orijinal veri setinde olmayanlar dahil) sıfır olmayan bir örnekleme olasılığı vardır, ancak orijinal veri setinde olmayan bir noktanın olasılığı bir sabit olduğundan, bu yine de tatmin edici bir üretken model değildir. Böyle bir modeli bir Van Gogh tablosu oluşturmak için kullanmaya çalışırsak, aşağıdaki iki tablo üzerinde eşit olasılıkla çalışacaktır:

1. Orijinal Van Gogh resimlerinin reprodüksiyonları (orijinal veri setinde değil)
2. Rastgele piksellerden oluşan resimler (orijinal veri setinde değil)

Bu açıkça istediğimiz üretken model değil, verilerden bazı doğal yapıları öğrenebileceğini umuyoruz, böylece örnek uzayda daha olası olduğunu düşündüğü bölgelerin olasılık ağırlığını artırabilir. veri seti varlık noktasındaki olasılık ağırlıkları.

3.2 Basitleştirilmiş model

Naive Bayes modeli (Naive Bayes), yukarıdaki özelliklerin kombinasyon sayısını büyük ölçüde azaltabilir ve modeline göre her bir özelliğin birbirinden bağımsız olduğu varsayılır. Yukarıdaki verilere geri dönersek, bir kişinin saç renginin (özellik xj ) giysi rengiyle (özellik xk ) ilişkili olmadığı, matematiksel bir ifadeyle ifade edilir:

p(xj | xk) = p(xk)

Bu varsayım ile hesaplayabiliriz.

Naive Bayes modeli, orijinal problemi "her özellik kombinasyonu için olasılık tahmini" ni "her özellik için olasılık tahmini" olarak basitleştirir. 4031 ( 3 * 8 * 4 * 6 * 7) parametre kullanmamız gerektiği ortaya çıktı. , şimdi sadece 23 ( 3 + 8 + 4 + 6 + 7) parametreye ihtiyaç vardır ve her parametrenin ifadesi şu şekildedir:

Bunlardan N gözlenen veri sayısı yani 50, n*kl kth özelliğin sayısı ve ****l ***th numarası altındaki özdeğer.

50 verinin istatistikleri üzerinden aşağıdaki tablo Naive Bayes modelinin parametre değerlerini vermektedir.

Bir modelin bir veri özelliği oluşturma olasılığını hesaplamak için, yukarıdaki tablodaki olasılıkları çarpmanız yeterlidir, örneğin:

Yukarıdaki kombinasyon, orijinal veri setinde görünmüyordu, ancak model yine de ona sıfır olmayan bir olasılık atadı, bu nedenle model tarafından yine de üretilebildi. Böylece Naive Bayes modelleri, verilerden bazı yapıları öğrenebilir ve orijinal veri setinde görülmeyen yeni örnekler oluşturmak için kullanabilir. Aşağıdaki resim, model tarafından oluşturulan 10 yeni moda eşdiziminin resmidir.

Bu problemde sadece 5 özellik düşük boyutlu verilere aittir.Naive Bayes modelinin bunların birbirinden bağımsız olduğunu varsayması mantıklıdır, bu nedenle model tarafından üretilen sonuçlar fena değildir.Bir model örneğine bakalım yıkılmak.

4. Model oluşturmadaki zorluklar

4.1 Yüksek boyutlu veriler

Baş moda sorumlusu olarak, Naive Bayesian ile 10 yeni moda eşdizimini başarıyla oluşturdunuz. Aşağıdaki veri setiyle karşılaşana kadar modelinizin yenilmez olduğundan o kadar eminsiniz ki.

Veri seti artık beş özellikle temsil edilmemekte, ancak 32* 32 = 1024 piksel ile temsil edilmektedir, her piksel değeri 0 ila 255 arasında bir değere gidebilir, 0 beyaz anlamına gelir, 255 siyah anlamına gelir. Aşağıdaki tablo, ilk 10 görüntü için 1 ila 5 piksel değerlerini listeler.

10 takım yepyeni moda eşdizimleri oluşturmak için aynı modeli kullanın. Model oluşturmanın sonucu aşağıdadır. Her biri çirkin ve benzerdir ve farklı özellikler ayırt edilemez. Bu neden böyle?

Her şeyden önce, Naive Bayes modeli pikselleri bağımsız olarak örneklediğinden, bitişik pikseller aslında çok benzerdir. Giysiler için aslında pikseller kabaca aynı olmalıdır, ancak model rastgele örneklenmiştir, bu nedenle yukarıdaki resimdeki giysilerin tümü renklidir. İkincisi, yüksek boyutlu bir örnek uzayda çok fazla olasılık vardır ve bunların yalnızca bir kısmı tanımlanabilir. Naive Bayes modeli, doğrudan bu kadar yüksek korelasyonlu piksel değerleriyle ilgilenirse, tatmin edici bir değer kombinasyonu bulma şansı çok düşüktür.

Özetlemek gerekirse, boyutları düşük ve özelliklerin korelasyonu düşük olan örnek uzaylar için Naive Bayes etkisi, bağımsız örnekleme yoluyla çok iyidir; ancak yüksek boyutlu ve özelliklerin yüksek korelasyonu olan örnek uzaylar için, etkili İnsan yüzlerini bulmak için bağımsız örnekleme pikselleri kullanılır. neredeyse imkansız.

Bu örnek, üretici modellerin başarılı olabilmesi için üstesinden gelmesi gereken iki zorluğu vurgulamaktadır:

1. Model, yüksek boyutlu özellikler arasındaki koşullu bağımlılıkları nasıl ele alıyor?
2. Model, yüksek boyutlu bir örnek uzaydan koşulu sağlayan çok küçük bir gözlem oranını nasıl buluyor?

Üretken modellerin yüksek boyutlu ve yüksek korelasyonlu örnek uzaylarda başarılı olabilmesi için derin öğrenme modellerinden yararlanılması gerekir. Hangi varsayımların önceden yapılması gerektiğinin söylenmesi yerine, verilerden ilgili yapıları çıkarabilen bir modele ihtiyacımız var. Derin öğrenme, düşük boyutlu uzayda kendi özelliklerini oluşturabilir ve bu bir temsil öğrenme (temsil öğrenme) biçimidir.

4.2 Temsil Öğrenimi

Temsil öğrenme, yüksek boyutlu verilerin temsilinin anlamını öğrenmektir.

Diyelim ki hiç tanışmamış bir netizenle buluşmaya gidiyorsunuz ve onu buluşma yerinde bulamayan birçok insan var, bu yüzden görünüşünüzü tarif etmek için onu arıyorsunuz. Görüntünüzdeki 1. pikselin rengi siyah, 2. pikselin rengi açık siyah, 3. pikselin rengi gri vesaire demeyeceksiniz sanırım. Aksine, netizenlerin sıradan insanların görünümü hakkında genel bir anlayışa sahip olacağını düşünecek ve ardından bu anlayışı piksel grubunun özelliklerini açıklamak için vereceksiniz, örneğin kısa siyah ve güzel saçlarınız var, bir çift giyiyorsunuz altın gözlük vb. Genellikle bu tür 10'dan fazla açıklama olmadan, bir netizen zihninden sizin bir görüntünüzü oluşturabilir.Görüntü kaba olabilir, ancak netizenin sizi hiç görmemiş olsa bile yüzlerce insan arasında sizi bulmasını engellemez.

Bu, yüksek boyutlu örnek uzayı (yüksek boyutlu örnek uzay) doğrudan modellemeye çalışmak yerine, ancak biraz düşük boyutlu gizli alan (düşük boyutlu gizli) kullanarak temsili öğrenmenin arkasındaki temel fikirdir. eğitim setindeki her gözlemi tanımlamak için boşluk ) ve ardından gizli uzayda bir noktayı alıp onu orijinal örnek uzaya eşleyebilen bir eşleme işlevi (eşleme işlevi) öğrenin. Başka bir deyişle, gizli uzaydaki her nokta, yüksek boyutlu verinin bir özelliğini temsil eder.

Yukarıdaki kelimelerin anlaşılması kolay değilse, lütfen bazı gri tonlamalı kavanoz resimlerinden oluşan aşağıdaki eğitim setine bakın.

Bu küplerin sadece iki özelliği ile tanımlanabileceğini görmek zor değil: yükseklik ve genişlik. Bu nedenle, görüntünün yüksek boyutlu piksel alanını aşağıdaki şekilde gösterildiği gibi iki boyutlu gizli bir alana dönüştürebiliriz. Bu şekilde gizli uzaydan örnek alabiliriz (mavi noktalar) ve ardından onu f eşleme işlevi aracılığıyla bir görüntüye dönüştürebiliriz.

Makinenin, orijinal veri kümesinin daha basit bir gizli alanla temsil edilebileceğini fark etmesi kolay değildir.Önce makinenin, veri kümesini en iyi tanımlayan iki gizli alan boyutu olan yükseklik ve genişliği belirlemesi ve ardından öğrenmesi gerekir. f eşleme işlevi bu boşlukta bir nokta alabilir ve onu gri tonlamalı bir haritaya eşleyebilir. Derin öğrenme, makineleri insan rehberliği olmadan bu karmaşık ilişkileri bulması için eğitmenize olanak tanır.

5. Oluşturulan modellerin sınıflandırılması

Üretken modellerin tüm türleri nihayetinde aynı görevi çözmeyi amaçlar, ancak hepsi yoğunluk fonksiyonlarını biraz farklı şekillerde modeller ve genellikle iki kategoriye ayrılır:

• açıkça modelleme (açıkça modelleme) yoğunluk fonksiyonu,

Ancak yoğunluk fonksiyonunu hesaplamak için modeli bir şekilde kısıtlayın, örneğin AKIŞ modelini normalleştirme(AKIŞ modelini normalleştirme)

Ancak varyasyonel otomatik kodlayıcı (rasyonel otomatik kodlayıcı, VAE) ve difüzyon modeli (difüzyon modeli) gibi yoğunluk işlevine yaklaşmak için

• Örtülü olarak modelleme (dolaylı olarak modelleme), doğrudan veri üreten stokastik bir süreç aracılığıyla yoğunluk fonksiyonunu. Örneğin, Üretken rakip ağ (üretken rakip ağ, GAN)

Özetle

Üretken yapay zeka (GenAI), metin, resim, video ve müzik dahil olmak üzere yeni içerik ve fikirler oluşturmak için kullanılabilen bir yapay zeka türüdür. Tüm yapay zekalar gibi GenAI da, genellikle temel model (FM) olarak adlandırılan, büyük miktarda veriye dayalı bir derin öğrenme modeli tarafından önceden eğitilmiş süper büyük bir modeldir. GenAI ile daha havalı resimler çizebilir, daha güzel metinler yazabilir ve daha hareketli müzikler besteleyebiliriz, ancak ilk adım, GenAI'nin nasıl yeni şeyler yarattığını anlamamızı gerektiriyor, makalenin başındaki Richard Feynman'ın dediği gibi, "Anlamayacağım. ne yaratamam".