Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Küresel sosyal ve teknoloji devi Meta (Facebook, Instagram ve diğer ana şirketler) resmi web sitesinde gişe rekorları kıran bir çalışmayı duyurdu, insan beynindeki görsel aktivitenin görüntüleme sürecini çözmek için MEG (manyetoensefalografi) aracılığıyla bir yapay zeka modeli geliştirdi ve bir makale yayınladı.
Bunun, saniyede binlerce beyin aktivitesini tespit edebilen, beynin her an algıladığı ve işlediği görüntüyü gerçek zamanlı olarak yeniden yapılandırabilen, invaziv olmayan bir beyin görüntüleme teknolojisi olduğu bildirilmektedir. Bilim camiasının beynin görüntüleri nasıl ifade ettiğini ve oluşturduğunu anlaması için önemli bir araştırma temeli sağlar.
Uygulama senaryoları açısından bakıldığında, bu teknoloji, ChatGPT ve Stable Difusion gibi yapay zeka modellerinin sinir ağı eylemlerini ve nöronlarını daha iyi anlayabilir ve kontrol edebilir, içerik çıktısının doğruluğunu artırabilir ve riskleri azaltabilir ve AGI'nin (genel yapay zeka) evrimi için temel taşı oluşturabilir.
Daha büyük hedefe bakıldığında, "beyin-bilgisayar arayüzlerinin" klinik gelişimini hızlandıracak ve beyin hasarı geçiren ve konuşma yeteneğini kaybedenlere yardımcı olacaktır.
Bildiri Adresi:
Teknik İlkeler
Meta tarafından yayınlanan makaleye bakılırsa, Meta tarafından MEG aracılığıyla geliştirilen yapay zeka modeli karmaşık değildir ve temel olarak üç modül içerir: görüntü düzenleme, beyin ve görüntü kod çözme.
Beynimiz aktif olduğunda, zayıf bir elektrik akımı üretilir. Fizik yasalarına göre, bu akımlar çevredeki manyetik alanda değişikliklere neden olur. Beyin aktivitesi hakkında veri elde etmek için MEG'in son derece hassas cihazlarını kullanarak bu manyetik alan değişikliklerini tespit edin.
Spesifik olarak, MEG dedektör olarak özel bir süper iletken jikle ölçer kullanır. Bu chokemetreler, manyetik alandaki küçük dalgalanmaları doğru bir şekilde yakalayabilen süper iletken bir döngüden oluşur.
Dedektörün konumu, kafanın etrafındaki alanı kaplayacak şekilde dikkatlice tasarlanmıştır ve test cihazının kafayı sabit tutmak için yalnızca MEG cihazına oturması gerekir.
, süre 00:31
MEG, deneycinin beyin görüntüsünü yeniden yapılandırdı ve her görüntü yaklaşık olarak her 1,5 saniyede bir sunuldu.
Beynin elektriksel aktivitesinin neden olduğu manyetik alanın gücü çok küçük olmasına rağmen, MEG dedektörü güçlendirildiğinde ve işlendiğinde bunu net bir şekilde kaydedebilir.
MEG, her biri beynin belirli bir bölgesinde bulunan 200-300 dedektör içerir. Bu şekilde MEG, yüksek zamansal çözünürlükle tüm beyin aktivite verilerini elde edebilir.
, süre 00:22
Ham MEG verileri elde edildikten sonra, araştırmacılar kodunu çözmek ve beyin görüntülerini yeniden yapılandırmak için kullanılabilecek önemli görsel bilgileri çıkarmak için güçlü sinir ağları kullanabilirler.
Meta, başlangıçta insan beyni hakkında elektriksel bilgi toplamak için fonksiyonel manyetik rezonans görüntüleme (fMRI) kullanmak istediğini, ancak görüntü çözünürlüğü, görüntü aralığı ve süreklilik açısından MEG'den daha düşük olduğunu söyledi.
Görüntü Düzenleme Modülü
Önceden eğitilmiş birden çok bilgisayarla görme modeline dayanan modül, kod çözme için hedef temsiller olarak giriş görüntülerinden anlamsal özellik vektörlerini ayıklar. Araştırmacılar, denetimli öğrenme modellerini, görüntü-metin eşleştirme modellerini, kendi kendini denetleyen modelleri ve daha fazlasını karşılaştırdılar ve CLIP ve DINO'nun en iyi performansı gösterdiğini buldular.
CLIP (Kontrastlı Dil-Görüntü Ön Eğitimi), güçlü genelleme yeteneği ile görsel anlamsal özellikler elde etmek için görüntü-metin eşleştirme yoluyla önceden eğitilmiştir. DINO (Distributional Iniance for Normalization), kendi kendini denetleyen bir kontrastlı öğrenme yöntemidir.
CLIP'i örnek olarak alırsak, görüntü modülünün (CLIP-Vision) ortalama özelliği veya sınıflandırma işareti (CLS) özelliği ve metin modülünün ortalama özelliği (CLIP-Text) çıkarılabilir ve ekleme kombinasyonu görüntünün anlamsal özellik temsili olarak kullanılabilir.
Beyin Modülü
Bu modül, giriş MEG veri penceresi için evrişimli bir sinir ağı kullanır ve çıkış, tahmin edilen görüntü özelliği vektörüdür. MEG'in verilerini görüntü çıktısının gizli alanıyla eşleştirmeyi öğrenmek için uçtan uca eğitim gereklidir.
Araştırmacılar, artık bloklar ve MEG zamanlama bilgilerini yakalayabilen genişletilmiş evrişimli bloklar içeren evrişimli bir sinir ağı yapısı kullandılar. Aynı zamanda dikkat katmanı ve özneye özel katman gibi mekanizmalar eklenir.
Görüntü alımı için, beyin modülü CLIP kaybı işlevini hedefler ve eşleşen görüntünün özellik benzerliğini en üst düzeye çıkarmayı öğrenir. Görüntü üretimi için beyin modülü, hedef olarak MSE kaybı ile görüntü modülünün özelliklerini doğrudan tahmin eder.
Görüntü Kod Çözme Modülü
Görüntüleri daha iyi çözmek için araştırmacılar, beyin modülü tarafından tahmin edilen özellik vektörlerini, girdi görüntülerinin anlambilimiyle tutarlı yeni görüntüler üretebilen koşullar olarak alan gizli difüzyon modelini kullandılar.
Beyin modülü tarafından çıkarılan CLIP anlamsal özellikleri ve AutoKL özellikleri, modelin anlamsal olarak tutarlı görüntüler üretmesine rehberlik etmek için koşullar olarak kullanıldı. DDIM örnekleme algoritmaları ve gürültü kılavuzu gibi teknikler, gürültü dağılımından kademeli olarak net görüntüler oluşturmak için kullanılır. Genellikle 50 adımlı bir örnekleme işlemi kullanılır.
最后，使用感知指标(SSIM)和语义指标(CLIP相似度、SwAV特征相关度) görüntünün kod çözme ve oluşturma kalitesini değerlendirmek.
Deneysel testler için araştırmacılar, 22.448 benzersiz doğal görüntü içeren 4 katılımcılı bir MEG veri seti olan THINGS-MEG'i kullandılar.
Araştırmacılar, MEG'in testleri sayesinde, beynin görüntülere verdiği tepkinin, esas olarak uyaranın ortaya çıkmasından sonraki 0-250 ms'lik zaman periyoduna odaklandığını, anlamsal bilgiyi koruyabilen görüntüler ürettiğini buldular. Ortaya çıkan görüntü mükemmel olmasa da, sonuçlar yeniden oluşturulan görüntünün zengin bir üst düzey özellikler koleksiyonunu koruduğunu göstermektedir.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
İnsan beyni görüntüleme sürecini yapay zeka modelleriyle yeniden yapılandıran Meta, gişe rekorları kıran araştırmalar yayınlıyor
Orijinal kaynak: AIGC Açık Topluluğu
Küresel sosyal ve teknoloji devi Meta (Facebook, Instagram ve diğer ana şirketler) resmi web sitesinde gişe rekorları kıran bir çalışmayı duyurdu, insan beynindeki görsel aktivitenin görüntüleme sürecini çözmek için MEG (manyetoensefalografi) aracılığıyla bir yapay zeka modeli geliştirdi ve bir makale yayınladı.
Bunun, saniyede binlerce beyin aktivitesini tespit edebilen, beynin her an algıladığı ve işlediği görüntüyü gerçek zamanlı olarak yeniden yapılandırabilen, invaziv olmayan bir beyin görüntüleme teknolojisi olduğu bildirilmektedir. Bilim camiasının beynin görüntüleri nasıl ifade ettiğini ve oluşturduğunu anlaması için önemli bir araştırma temeli sağlar.
Uygulama senaryoları açısından bakıldığında, bu teknoloji, ChatGPT ve Stable Difusion gibi yapay zeka modellerinin sinir ağı eylemlerini ve nöronlarını daha iyi anlayabilir ve kontrol edebilir, içerik çıktısının doğruluğunu artırabilir ve riskleri azaltabilir ve AGI'nin (genel yapay zeka) evrimi için temel taşı oluşturabilir.
Daha büyük hedefe bakıldığında, "beyin-bilgisayar arayüzlerinin" klinik gelişimini hızlandıracak ve beyin hasarı geçiren ve konuşma yeteneğini kaybedenlere yardımcı olacaktır.
Bildiri Adresi:
Meta tarafından yayınlanan makaleye bakılırsa, Meta tarafından MEG aracılığıyla geliştirilen yapay zeka modeli karmaşık değildir ve temel olarak üç modül içerir: görüntü düzenleme, beyin ve görüntü kod çözme.
Beynimiz aktif olduğunda, zayıf bir elektrik akımı üretilir. Fizik yasalarına göre, bu akımlar çevredeki manyetik alanda değişikliklere neden olur. Beyin aktivitesi hakkında veri elde etmek için MEG'in son derece hassas cihazlarını kullanarak bu manyetik alan değişikliklerini tespit edin.
Spesifik olarak, MEG dedektör olarak özel bir süper iletken jikle ölçer kullanır. Bu chokemetreler, manyetik alandaki küçük dalgalanmaları doğru bir şekilde yakalayabilen süper iletken bir döngüden oluşur.
Dedektörün konumu, kafanın etrafındaki alanı kaplayacak şekilde dikkatlice tasarlanmıştır ve test cihazının kafayı sabit tutmak için yalnızca MEG cihazına oturması gerekir.
, süre 00:31
MEG, deneycinin beyin görüntüsünü yeniden yapılandırdı ve her görüntü yaklaşık olarak her 1,5 saniyede bir sunuldu.
Beynin elektriksel aktivitesinin neden olduğu manyetik alanın gücü çok küçük olmasına rağmen, MEG dedektörü güçlendirildiğinde ve işlendiğinde bunu net bir şekilde kaydedebilir.
MEG, her biri beynin belirli bir bölgesinde bulunan 200-300 dedektör içerir. Bu şekilde MEG, yüksek zamansal çözünürlükle tüm beyin aktivite verilerini elde edebilir.
, süre 00:22
Ham MEG verileri elde edildikten sonra, araştırmacılar kodunu çözmek ve beyin görüntülerini yeniden yapılandırmak için kullanılabilecek önemli görsel bilgileri çıkarmak için güçlü sinir ağları kullanabilirler.
Meta, başlangıçta insan beyni hakkında elektriksel bilgi toplamak için fonksiyonel manyetik rezonans görüntüleme (fMRI) kullanmak istediğini, ancak görüntü çözünürlüğü, görüntü aralığı ve süreklilik açısından MEG'den daha düşük olduğunu söyledi.
Görüntü Düzenleme Modülü
Önceden eğitilmiş birden çok bilgisayarla görme modeline dayanan modül, kod çözme için hedef temsiller olarak giriş görüntülerinden anlamsal özellik vektörlerini ayıklar. Araştırmacılar, denetimli öğrenme modellerini, görüntü-metin eşleştirme modellerini, kendi kendini denetleyen modelleri ve daha fazlasını karşılaştırdılar ve CLIP ve DINO'nun en iyi performansı gösterdiğini buldular.
CLIP (Kontrastlı Dil-Görüntü Ön Eğitimi), güçlü genelleme yeteneği ile görsel anlamsal özellikler elde etmek için görüntü-metin eşleştirme yoluyla önceden eğitilmiştir. DINO (Distributional Iniance for Normalization), kendi kendini denetleyen bir kontrastlı öğrenme yöntemidir.
Beyin Modülü
Bu modül, giriş MEG veri penceresi için evrişimli bir sinir ağı kullanır ve çıkış, tahmin edilen görüntü özelliği vektörüdür. MEG'in verilerini görüntü çıktısının gizli alanıyla eşleştirmeyi öğrenmek için uçtan uca eğitim gereklidir.
Araştırmacılar, artık bloklar ve MEG zamanlama bilgilerini yakalayabilen genişletilmiş evrişimli bloklar içeren evrişimli bir sinir ağı yapısı kullandılar. Aynı zamanda dikkat katmanı ve özneye özel katman gibi mekanizmalar eklenir.
Görüntü Kod Çözme Modülü
Görüntüleri daha iyi çözmek için araştırmacılar, beyin modülü tarafından tahmin edilen özellik vektörlerini, girdi görüntülerinin anlambilimiyle tutarlı yeni görüntüler üretebilen koşullar olarak alan gizli difüzyon modelini kullandılar.
Beyin modülü tarafından çıkarılan CLIP anlamsal özellikleri ve AutoKL özellikleri, modelin anlamsal olarak tutarlı görüntüler üretmesine rehberlik etmek için koşullar olarak kullanıldı. DDIM örnekleme algoritmaları ve gürültü kılavuzu gibi teknikler, gürültü dağılımından kademeli olarak net görüntüler oluşturmak için kullanılır. Genellikle 50 adımlı bir örnekleme işlemi kullanılır.
Deneysel testler için araştırmacılar, 22.448 benzersiz doğal görüntü içeren 4 katılımcılı bir MEG veri seti olan THINGS-MEG'i kullandılar.