Görüntü kaynağı: Sınırsız AI tarafından oluşturuldu
Yakında çıkacak olan Hollywood bilim kurgu filmi "Yapay Zekanın Kurucusu"nda, insanlığa hizmet etmesi gereken bir yapay zeka Los Angeles'ta bir nükleer bomba patlatır.
Filmden daha da bilim kurgu olan şey, gerçekte, AI şirketlerinin bu tür senaryoların gerçek dünyada gerçekten ortaya çıkacağından endişelenmeye başlamasıdır.
**Son zamanlarda OpenAI, yapay zeka sistemlerinin güvenliğine yönelik endişelerden dolayı, şirketin nükleer tehditler de dahil olmak üzere son teknoloji yapay zekanın karşılaşabileceği "felaket riskleri" ile başa çıkmak için özel bir ekip kurduğunu söyledi. **
Aslında, CEO Sam Altman, yapay zekanın insanlığa yönelik "yok olma" tehdidi konusunda uzun süredir endişeliydi ve daha önce ABD Kongresi'ne danışmak da dahil olmak üzere çeşitli vesilelerle yapay zekanın daha fazla düzenlenmesi çağrısında bulundu. Bununla birlikte, Meta bilim adamı Yann LeCun da dahil olmak üzere bir grup bilim insanı, yapay zeka yeteneklerinin hala sınırlı olduğunu ve erken düzenlemenin yalnızca büyük şirketlere fayda sağlamakla kalmayıp aynı zamanda yeniliği de boğacağını savunarak yapay zeka düzenlemesi konusunda farklı bir görüşe sahip.
Bu, endüstrinin en son yapay zeka düzenlemesi konusunda devam eden anlaşmazlığını vurgulamaktadır. Erken düzenleme teknoloji gelişimini kısıtlayabilir, ancak düzenleme eksikliği risklerin ele alınmasını zorlaştıracaktır. Yapay zekanın verimli ve güvenli bir şekilde kontrol edilebilmesi için teknoloji ile önleme ve düzenleme arasında bir dengenin nasıl kurulacağı, sektörde hala zor bir sorundur.
01 Yapay Zeka, Sınır veya Tehlike
Son zamanlarda OpenAI, bir güncellemede, yapay zeka sistemlerinin güvenliğine yönelik endişelerden dolayı, şirketin siber güvenlik sorunları ve kimyasal, nükleer ve biyolojik tehditler de dahil olmak üzere sözde "felaket risklerini" önlemek için "son teknoloji modellerin" ** geliştirilmesini izlemek, değerlendirmek ve tahmin etmek için yeni bir "Hazırlık" ekibi oluşturduğunu söyledi. **
Resim kaynağı: OpenAI'nin resmi web sitesi
Ekip, şu anda MIT Konuşlandırılabilir Makine Öğrenimi Merkezi'nin direktörü olarak görevde olan Aleksander Madry tarafından yönetilecek.
Ayrıca ekip, OpenAI'nin yapay zeka modeli değerlendirme ve izleme araçları oluşturma yaklaşımını, şirketin risk azaltma eylemlerini ve tüm model geliştirme sürecini denetleyen yönetişim yapısını detaylandıracak bir "Riske Dayalı Geliştirme Politikası" geliştirmek ve sürdürmekle görevlendirildi. Bu politika, OpenAI'nin yapay zeka güvenliği alanındaki çalışmalarını tamamlamayı ve dağıtımdan önce ve sonra güvenliği ve tutarlılığı korumayı amaçlamaktadır.
OpenAI, son teknoloji yapay zeka modellerinin olası felaket risklerini yönetmenin aşağıdaki temel soruları yanıtlamayı gerektirdiğini öne sürüyor:
Son teknoloji bir yapay zeka modelinin kötüye kullanılması ne kadar tehlikeli? **
Son teknoloji yapay zeka modellerinin tehlikelerini izlemek, değerlendirmek, tahmin etmek ve önlemek için sağlam bir çerçeve nasıl oluşturulur? **
Son teknoloji yapay zeka modelleri tehlikeye girerse, kötü niyetli aktörler bunlardan nasıl yararlanabilir? **
Güncellemede OpenAI şunları yazdı: "İnanıyoruz ki... Mevcut son teknoloji modelleri geride bırakacak son teknoloji yapay zeka modelleri, tüm insanlığa fayda sağlama potansiyeline sahip... Ama aynı zamanda giderek daha ciddi riskler de oluşturuyorlar."
**Son zamanlarda OpenAI, yapay zekanın güvenliğini sürekli olarak vurguladı ve kurumsal düzeyde, kamuoyu düzeyinde ve hatta siyasi düzeyde bir dizi eylem gerçekleştirdi. **
Daha önce, 7 Temmuz'da OpenAI, OpenAI kurucu ortağı ve baş bilim adamı Ilya Sutskever ve Alignment başkanı Jan Leike tarafından ortaklaşa yönetilen "süper yapay zekayı" yönlendirmenin ve kontrol etmenin yollarını keşfetmek için yeni bir ekip kurduğunu duyurdu.
Sutskever ve Leike, insan zekasının ötesinde yapay zekanın 10 yıl içinde ortaya çıkacağını öngörmüşlerdi ve böyle bir yapay zekanın mutlaka iyi olmadığını, bu yüzden onu kontrol etmenin ve sınırlamanın yollarını araştırmak gerektiğini söylediler.
O zamanki raporlara göre, ekibe en yüksek öncelik verildi ve şirketin bilgi işlem kaynaklarının %20'si tarafından desteklendi ve amaçları, önümüzdeki dört yıl içinde süper "süper yapay zekayı" kontrol etmenin temel teknik zorluklarını çözmekti.
"Ready" ekibinin lansmanı ile aynı zamana denk gelmek için Open AI, yabancıların AI'nın nasıl kötüye kullanılabileceği ve gerçek dünyada nasıl zarar verebileceği konusunda fikir bulmaları için bir meydan okuma düzenledi ve ilk 10 başvuru sahibi 25.000 $ ödül ve "hazır" bir iş alacak.
02 "Yapay zeka insan neslinin tükenmesine yol açabilir" endişesi
OpenAI'nin CEO'su Sam Altman, yapay zekanın insanlığın yok olmasına yol açabileceğinden endişe duyuyor.
Mayıs ayında yapay zeka temalı bir kongre oturumunda Altman, yapay zekanın düzenlenmesi gerektiğini ve süper yapay zeka için katı düzenleyici standartlar olmadan önümüzdeki 20 yıl içinde daha fazla tehlike olacağını söyledi.
Mayıs ayının sonunda Altman, Google'ın DeepMind, Anthropic'in CEO'ları ve bir dizi önde gelen yapay zeka araştırmacısı ile kısa bir bildiri imzaladı ve "yapay zeka kaynaklı yok olma riskini azaltmanın, pandemiler ve nükleer savaşta olduğu gibi küresel önceliklerden biri olması gerektiğini" belirtti.
Haziran ayında San Francisco Teknoloji Zirvesi'nde Sam Altman, yapay zeka teknolojisi söz konusu olduğunda "bir şirkete ve kesinlikle tek bir kişiye güvenmemeniz gerektiğini" belirtti ve teknolojinin kendisinin, faydalarının, erişiminin, yönetişiminin tüm insanlığa ait olduğunu savundu.
Bununla birlikte, Altman'ı sadece OpenAI'nin liderliğini korumak için "düzenleme çağrısında bulunmakla" suçlayanlar da (Elon Musk tarafından temsil edilen) var. Sam Altman, "Belirli bir yüksek yetenek eşiğinin üzerinde olan büyük şirketler ve tescilli modeller için daha fazla düzenleme yapılması ve daha küçük girişimler ve açık kaynak modelleri için daha az düzenleme yapılması gerektiğine inanıyoruz" dedi. Teknolojiyi aşırı düzenlemeye çalışan ülkelerin karşılaştığı sorunları gördük ve beklediğimiz bu değildi."
"İnsanlar, bugün sahip olduğumuz herhangi bir modelin boyutunun çok ötesinde eğitim modelleridir, ancak belirli yetenek eşikleri aşılırsa, dış denetimler ve güvenlik testleri ile birlikte bir sertifikasyon süreci olması gerektiğini düşünüyorum" diye ekledi. Ayrıca, bu tür modellerin hükümete bildirilmesi ve hükümet incelemesine tabi tutulması gerekiyor."
Altman'ın görüşünün aksine, 19 Ekim'de Meta bilimcisi Yann LeCun, Financial Times ile yaptığı röportajda yapay zekanın erken düzenlenmesine karşı olduğunu ifade etti.
Yann LeCun, Ulusal Bilimler Akademisi, Ulusal Mühendislik Akademisi ve Fransız Bilimler Akademisi üyesidir ve aynı zamanda evrişimli ağların yanı sıra optik karakter tanıma ve evrişimli sinir ağları (CNN'ler) kullanan bilgisayarla görme konusundaki çalışmalarıyla da tanınır.
2018'de Yann LeCun, genellikle "Yapay Zekanın Vaftiz Babaları" ve "Derin Öğrenmenin Vaftiz Babaları" olarak anılan Yoshua Bengio ve Geoffrey Hinton ile birlikte Turing Ödülü'nü (genellikle "Nobel Bilgisayar Ödülü" olarak anılır) kazandı.
Röportajda Yann LeCun, genel olarak YZ düzenlemesine daha olumsuz bir bakış açısı getiriyor ve YZ modellerini şu anda düzenlemenin 1925'te (bu tür uçaklar icat edilmeden önce) jet uçaklarını düzenlemeye benzediğini ve YZ'nin erken düzenlenmesinin yalnızca büyük teknoloji şirketlerinin hakimiyetini güçlendireceğini ve rekabeti boğacağını savunuyor.
Yann LeCun, "Yapay zeka araştırma ve geliştirmesini düzenlemek inanılmaz derecede ters etki yaratıyor" dedi ve yapay zekayı düzenleme ihtiyacının, yapay zekayı güvenli bir şekilde geliştirmek için yalnızca kendilerine güvenilebileceğine inanan bazı önde gelen teknoloji şirketlerinin "kibrinden" veya "üstünlüğünden" kaynaklandığını da sözlerine ekledi.
"Ama aslında, kedilerin öğrenme yetenekleriyle eşleşebilecek bir sistem tasarlayana kadar, yapay zekanın oluşturabileceği riskleri tartışmak için henüz çok erken" diyen Yann LeCun, mevcut nesil yapay zeka modellerinin bazı araştırmacıların iddia ettiği kadar güçlü olmadığını da sözlerine ekledi: "Dünyanın nasıl çalıştığını anlamıyorlar, planlama yeteneğine sahip değiller, gerçek akıl yürütme yeteneğine sahip değiller."
Ona göre, OpenAI ve Google'ın DeepMind'ı sorunun karmaşıklığı konusunda "aşırı iyimser" davrandılar ve aslında, yapay zekanın insan zekası seviyesine ulaşması için birkaç "kavramsal atılım" gerekecek. Ancak o zaman bile, yapay zeka, tıpkı yasaların artık insan davranışını düzenlemek için kullanılabileceği gibi, sistemdeki "ahlaki nitelikleri" kodlayarak kontrol edilebilir.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Yapay zekanın insanlara nükleer bomba atmasından endişe duyan OpenAI ciddi
Orijinal kaynak: Geek Park
Yazar: Lian Ran
Yakında çıkacak olan Hollywood bilim kurgu filmi "Yapay Zekanın Kurucusu"nda, insanlığa hizmet etmesi gereken bir yapay zeka Los Angeles'ta bir nükleer bomba patlatır.
Filmden daha da bilim kurgu olan şey, gerçekte, AI şirketlerinin bu tür senaryoların gerçek dünyada gerçekten ortaya çıkacağından endişelenmeye başlamasıdır.
**Son zamanlarda OpenAI, yapay zeka sistemlerinin güvenliğine yönelik endişelerden dolayı, şirketin nükleer tehditler de dahil olmak üzere son teknoloji yapay zekanın karşılaşabileceği "felaket riskleri" ile başa çıkmak için özel bir ekip kurduğunu söyledi. **
Aslında, CEO Sam Altman, yapay zekanın insanlığa yönelik "yok olma" tehdidi konusunda uzun süredir endişeliydi ve daha önce ABD Kongresi'ne danışmak da dahil olmak üzere çeşitli vesilelerle yapay zekanın daha fazla düzenlenmesi çağrısında bulundu. Bununla birlikte, Meta bilim adamı Yann LeCun da dahil olmak üzere bir grup bilim insanı, yapay zeka yeteneklerinin hala sınırlı olduğunu ve erken düzenlemenin yalnızca büyük şirketlere fayda sağlamakla kalmayıp aynı zamanda yeniliği de boğacağını savunarak yapay zeka düzenlemesi konusunda farklı bir görüşe sahip.
Bu, endüstrinin en son yapay zeka düzenlemesi konusunda devam eden anlaşmazlığını vurgulamaktadır. Erken düzenleme teknoloji gelişimini kısıtlayabilir, ancak düzenleme eksikliği risklerin ele alınmasını zorlaştıracaktır. Yapay zekanın verimli ve güvenli bir şekilde kontrol edilebilmesi için teknoloji ile önleme ve düzenleme arasında bir dengenin nasıl kurulacağı, sektörde hala zor bir sorundur.
01 Yapay Zeka, Sınır veya Tehlike
Son zamanlarda OpenAI, bir güncellemede, yapay zeka sistemlerinin güvenliğine yönelik endişelerden dolayı, şirketin siber güvenlik sorunları ve kimyasal, nükleer ve biyolojik tehditler de dahil olmak üzere sözde "felaket risklerini" önlemek için "son teknoloji modellerin" ** geliştirilmesini izlemek, değerlendirmek ve tahmin etmek için yeni bir "Hazırlık" ekibi oluşturduğunu söyledi. **
Ekip, şu anda MIT Konuşlandırılabilir Makine Öğrenimi Merkezi'nin direktörü olarak görevde olan Aleksander Madry tarafından yönetilecek.
Ayrıca ekip, OpenAI'nin yapay zeka modeli değerlendirme ve izleme araçları oluşturma yaklaşımını, şirketin risk azaltma eylemlerini ve tüm model geliştirme sürecini denetleyen yönetişim yapısını detaylandıracak bir "Riske Dayalı Geliştirme Politikası" geliştirmek ve sürdürmekle görevlendirildi. Bu politika, OpenAI'nin yapay zeka güvenliği alanındaki çalışmalarını tamamlamayı ve dağıtımdan önce ve sonra güvenliği ve tutarlılığı korumayı amaçlamaktadır.
OpenAI, son teknoloji yapay zeka modellerinin olası felaket risklerini yönetmenin aşağıdaki temel soruları yanıtlamayı gerektirdiğini öne sürüyor:
Son teknoloji bir yapay zeka modelinin kötüye kullanılması ne kadar tehlikeli? ** Son teknoloji yapay zeka modellerinin tehlikelerini izlemek, değerlendirmek, tahmin etmek ve önlemek için sağlam bir çerçeve nasıl oluşturulur? ** Son teknoloji yapay zeka modelleri tehlikeye girerse, kötü niyetli aktörler bunlardan nasıl yararlanabilir? **
Güncellemede OpenAI şunları yazdı: "İnanıyoruz ki... Mevcut son teknoloji modelleri geride bırakacak son teknoloji yapay zeka modelleri, tüm insanlığa fayda sağlama potansiyeline sahip... Ama aynı zamanda giderek daha ciddi riskler de oluşturuyorlar."
**Son zamanlarda OpenAI, yapay zekanın güvenliğini sürekli olarak vurguladı ve kurumsal düzeyde, kamuoyu düzeyinde ve hatta siyasi düzeyde bir dizi eylem gerçekleştirdi. **
Daha önce, 7 Temmuz'da OpenAI, OpenAI kurucu ortağı ve baş bilim adamı Ilya Sutskever ve Alignment başkanı Jan Leike tarafından ortaklaşa yönetilen "süper yapay zekayı" yönlendirmenin ve kontrol etmenin yollarını keşfetmek için yeni bir ekip kurduğunu duyurdu.
Sutskever ve Leike, insan zekasının ötesinde yapay zekanın 10 yıl içinde ortaya çıkacağını öngörmüşlerdi ve böyle bir yapay zekanın mutlaka iyi olmadığını, bu yüzden onu kontrol etmenin ve sınırlamanın yollarını araştırmak gerektiğini söylediler.
O zamanki raporlara göre, ekibe en yüksek öncelik verildi ve şirketin bilgi işlem kaynaklarının %20'si tarafından desteklendi ve amaçları, önümüzdeki dört yıl içinde süper "süper yapay zekayı" kontrol etmenin temel teknik zorluklarını çözmekti.
"Ready" ekibinin lansmanı ile aynı zamana denk gelmek için Open AI, yabancıların AI'nın nasıl kötüye kullanılabileceği ve gerçek dünyada nasıl zarar verebileceği konusunda fikir bulmaları için bir meydan okuma düzenledi ve ilk 10 başvuru sahibi 25.000 $ ödül ve "hazır" bir iş alacak.
02 "Yapay zeka insan neslinin tükenmesine yol açabilir" endişesi
OpenAI'nin CEO'su Sam Altman, yapay zekanın insanlığın yok olmasına yol açabileceğinden endişe duyuyor.
Mayıs ayında yapay zeka temalı bir kongre oturumunda Altman, yapay zekanın düzenlenmesi gerektiğini ve süper yapay zeka için katı düzenleyici standartlar olmadan önümüzdeki 20 yıl içinde daha fazla tehlike olacağını söyledi.
Mayıs ayının sonunda Altman, Google'ın DeepMind, Anthropic'in CEO'ları ve bir dizi önde gelen yapay zeka araştırmacısı ile kısa bir bildiri imzaladı ve "yapay zeka kaynaklı yok olma riskini azaltmanın, pandemiler ve nükleer savaşta olduğu gibi küresel önceliklerden biri olması gerektiğini" belirtti.
Haziran ayında San Francisco Teknoloji Zirvesi'nde Sam Altman, yapay zeka teknolojisi söz konusu olduğunda "bir şirkete ve kesinlikle tek bir kişiye güvenmemeniz gerektiğini" belirtti ve teknolojinin kendisinin, faydalarının, erişiminin, yönetişiminin tüm insanlığa ait olduğunu savundu.
Bununla birlikte, Altman'ı sadece OpenAI'nin liderliğini korumak için "düzenleme çağrısında bulunmakla" suçlayanlar da (Elon Musk tarafından temsil edilen) var. Sam Altman, "Belirli bir yüksek yetenek eşiğinin üzerinde olan büyük şirketler ve tescilli modeller için daha fazla düzenleme yapılması ve daha küçük girişimler ve açık kaynak modelleri için daha az düzenleme yapılması gerektiğine inanıyoruz" dedi. Teknolojiyi aşırı düzenlemeye çalışan ülkelerin karşılaştığı sorunları gördük ve beklediğimiz bu değildi."
"İnsanlar, bugün sahip olduğumuz herhangi bir modelin boyutunun çok ötesinde eğitim modelleridir, ancak belirli yetenek eşikleri aşılırsa, dış denetimler ve güvenlik testleri ile birlikte bir sertifikasyon süreci olması gerektiğini düşünüyorum" diye ekledi. Ayrıca, bu tür modellerin hükümete bildirilmesi ve hükümet incelemesine tabi tutulması gerekiyor."
Altman'ın görüşünün aksine, 19 Ekim'de Meta bilimcisi Yann LeCun, Financial Times ile yaptığı röportajda yapay zekanın erken düzenlenmesine karşı olduğunu ifade etti.
Yann LeCun, Ulusal Bilimler Akademisi, Ulusal Mühendislik Akademisi ve Fransız Bilimler Akademisi üyesidir ve aynı zamanda evrişimli ağların yanı sıra optik karakter tanıma ve evrişimli sinir ağları (CNN'ler) kullanan bilgisayarla görme konusundaki çalışmalarıyla da tanınır.
2018'de Yann LeCun, genellikle "Yapay Zekanın Vaftiz Babaları" ve "Derin Öğrenmenin Vaftiz Babaları" olarak anılan Yoshua Bengio ve Geoffrey Hinton ile birlikte Turing Ödülü'nü (genellikle "Nobel Bilgisayar Ödülü" olarak anılır) kazandı.
Röportajda Yann LeCun, genel olarak YZ düzenlemesine daha olumsuz bir bakış açısı getiriyor ve YZ modellerini şu anda düzenlemenin 1925'te (bu tür uçaklar icat edilmeden önce) jet uçaklarını düzenlemeye benzediğini ve YZ'nin erken düzenlenmesinin yalnızca büyük teknoloji şirketlerinin hakimiyetini güçlendireceğini ve rekabeti boğacağını savunuyor.
Yann LeCun, "Yapay zeka araştırma ve geliştirmesini düzenlemek inanılmaz derecede ters etki yaratıyor" dedi ve yapay zekayı düzenleme ihtiyacının, yapay zekayı güvenli bir şekilde geliştirmek için yalnızca kendilerine güvenilebileceğine inanan bazı önde gelen teknoloji şirketlerinin "kibrinden" veya "üstünlüğünden" kaynaklandığını da sözlerine ekledi.
"Ama aslında, kedilerin öğrenme yetenekleriyle eşleşebilecek bir sistem tasarlayana kadar, yapay zekanın oluşturabileceği riskleri tartışmak için henüz çok erken" diyen Yann LeCun, mevcut nesil yapay zeka modellerinin bazı araştırmacıların iddia ettiği kadar güçlü olmadığını da sözlerine ekledi: "Dünyanın nasıl çalıştığını anlamıyorlar, planlama yeteneğine sahip değiller, gerçek akıl yürütme yeteneğine sahip değiller."
Ona göre, OpenAI ve Google'ın DeepMind'ı sorunun karmaşıklığı konusunda "aşırı iyimser" davrandılar ve aslında, yapay zekanın insan zekası seviyesine ulaşması için birkaç "kavramsal atılım" gerekecek. Ancak o zaman bile, yapay zeka, tıpkı yasaların artık insan davranışını düzenlemek için kullanılabileceği gibi, sistemdeki "ahlaki nitelikleri" kodlayarak kontrol edilebilir.