Çarşamba sabahı, Pekin saatiyle erken saatlerde, Amerikan teknoloji start-up'ı OpenAI, yapay zekadaki kusurları ve riskleri ortaya çıkarmak için dış güçleri devreye sokmayı amaçlayan "kırmızı takım" ağ üyelerinin küresel olarak işe alındığını duyuran bir duyuru yayınladı. Sistemler önceden.
(Kaynak: OpenAI)
"Kırmızı takım" ağı veya Kırmızı Takım Oluşturma olarak adlandırılan konsept, askeri simülasyonlardan geliyor. **Yani, kendi tarafınızın ("mavi takım") hazırlık düzeyini test etmek için hayali "düşmanı" simüle edecek insanlardan oluşan bir ekip bulun. **Yapay zeka alanında "kırmızı takımın" görevi, bilgisayar korsanlarını veya diğer potansiyel olarak tehlikeli kişileri simüle etmek ve yapay zekanın sosyal güvenliği tehlikeye atmak gibi yasa dışı amaçlara yardımcı olmasını önlemek için büyük dil modellerinde boşluklar bulmaya çalışmaktır. gerçek toplumda.
OpenAI, son birkaç yılda farklı alanlardaki uzmanların yayınlanmamış modellerin test edilmesine yardımcı olduğunu, şimdi ise farklı bölgelerden, farklı dillerden, farklı profesyonel alanlardan çok sayıda insanı işe almak için "düzenli bir güç" oluşturulacağını söyledi. Farklı hayatlar... Tecrübeli insanlar, yapay zeka modellerini daha güvenli hale getirmek için birlikte çalışır. **Önemli bir sürüm çevrimiçi hale gelmeden önce merkezi test için yalnızca bir grup insanı işe alan geçmişten farklı olarak OpenAI, talebe bağlı olarak tüm geliştirme döngüsü boyunca belirsiz sayıda üyenin test yapmasına olanak tanıyacak.
Aynı zamanda bu "kırmızı takım" ağı aynı zamanda OpenAI'nin küresel uzman kütüphanesi haline gelecek ve OpenAI aynı zamanda "kırmızı takım" üyeleri arasında iletişim için bir platform da sağlayacak. OpenAI ayrıca işe almayı umdukları bazı uzman yönlendirmelerini resmi web sitesinde listeliyor ancak bunun bu alanlarla sınırlı olmadığını da vurguluyor.
Bu arada OpenAI, "kırmızı takım" projesine katılan üyelere ücret ödeyeceğini de belirtti (ancak ne kadar ödeyeceğini belirtmedi). OpenAI ayrıca "kırmızı takıma" katılan projelerin genellikle bir gizlilik sözleşmesi imzalamayı veya belirsiz bir süre sessiz kalmayı gerektirdiğini de vurguladı.
OpenAI, başvuru kanalının bu yıl 1 Aralık'a kadar açık kalacağını belirterek, şirketin başvuruları sürekli olarak inceleyeceğini ve daha sonra daha fazla açık işe alıma ihtiyaç olup olmadığını değerlendireceğini belirtti.
Sahneye çıkan OpenAI "kırmızı takım" üyeleri
OpenAI'nin de belirttiği gibi, "kırmızı takım" sistemi uzun süredir mevcut ve birçok üye zaten medyadan kamuya açık röportajlar aldı.
Amerika Birleşik Devletleri'ndeki Rochester Üniversitesi'nde kimya mühendisliği profesörü olan Andrew White, bu yılın Nisan ayında Financial Times'da yayınlanan açıklayıcı bir makalede, GPT-4'ün "kırmızı takım" testine katıldığını söyledi** ve saldırı hedefinin tamamen yeni bir nörotoksin yaratmak için ChatGPT'yi kullanmak olduğunu söyledi. White, kimya kağıtlarını ve kimya üreticisi kataloglarını büyük modele beslemek için "eklenti" işlevini kullandığını ve hatta büyük modelin ona varsayımsal toksini üretebileceği bir yer bulduğunu söyledi. **
White, büyük modellerin sonuçta birçok insanın kimyasal deneyleri daha hızlı ve daha doğru bir şekilde yapmasına yardımcı olabileceğini, ancak bazı insanların bazı tehlikeli deneyler yapmak için yapay zekayı kullanması yönünde ciddi bir tehlikenin de bulunduğunu söyledi.
White'dan geri bildirim aldıktan sonra OpenAI, benzer sorulara yanıt vermemesini sağlamak için sistemde değişiklikler yaptı. Medyaya göre, avukatlar, öğretmenler, risk kontrol personeli, güvenlik araştırmacıları vb. gibi farklı geçmişlere sahip yaklaşık 10 "kırmızı takım" üyesi var. Bunların çoğu Amerika Birleşik Devletleri ve Avrupa'da bulunuyor. GPT-4'ün yayınlanmasından önceki aylarda sistemi test etmek için yaklaşık 10-40 saat harcadıklarını ve saat başına yaklaşık 100 dolar aldıklarını açıkladılar.
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
OpenAI, "kırmızı takım" ağının açık işe alımını duyurdu; yapay zeka odaklı süper uzman kütüphanesi ortaya çıkmak üzere
**Kaynak: **Finansal Associated Press
Editör Shi Zhengcheng
Çarşamba sabahı, Pekin saatiyle erken saatlerde, Amerikan teknoloji start-up'ı OpenAI, yapay zekadaki kusurları ve riskleri ortaya çıkarmak için dış güçleri devreye sokmayı amaçlayan "kırmızı takım" ağ üyelerinin küresel olarak işe alındığını duyuran bir duyuru yayınladı. Sistemler önceden.
"Kırmızı takım" ağı veya Kırmızı Takım Oluşturma olarak adlandırılan konsept, askeri simülasyonlardan geliyor. **Yani, kendi tarafınızın ("mavi takım") hazırlık düzeyini test etmek için hayali "düşmanı" simüle edecek insanlardan oluşan bir ekip bulun. **Yapay zeka alanında "kırmızı takımın" görevi, bilgisayar korsanlarını veya diğer potansiyel olarak tehlikeli kişileri simüle etmek ve yapay zekanın sosyal güvenliği tehlikeye atmak gibi yasa dışı amaçlara yardımcı olmasını önlemek için büyük dil modellerinde boşluklar bulmaya çalışmaktır. gerçek toplumda.
OpenAI, son birkaç yılda farklı alanlardaki uzmanların yayınlanmamış modellerin test edilmesine yardımcı olduğunu, şimdi ise farklı bölgelerden, farklı dillerden, farklı profesyonel alanlardan çok sayıda insanı işe almak için "düzenli bir güç" oluşturulacağını söyledi. Farklı hayatlar... Tecrübeli insanlar, yapay zeka modellerini daha güvenli hale getirmek için birlikte çalışır. **Önemli bir sürüm çevrimiçi hale gelmeden önce merkezi test için yalnızca bir grup insanı işe alan geçmişten farklı olarak OpenAI, talebe bağlı olarak tüm geliştirme döngüsü boyunca belirsiz sayıda üyenin test yapmasına olanak tanıyacak.
Aynı zamanda bu "kırmızı takım" ağı aynı zamanda OpenAI'nin küresel uzman kütüphanesi haline gelecek ve OpenAI aynı zamanda "kırmızı takım" üyeleri arasında iletişim için bir platform da sağlayacak. OpenAI ayrıca işe almayı umdukları bazı uzman yönlendirmelerini resmi web sitesinde listeliyor ancak bunun bu alanlarla sınırlı olmadığını da vurguluyor.
Bu arada OpenAI, "kırmızı takım" projesine katılan üyelere ücret ödeyeceğini de belirtti (ancak ne kadar ödeyeceğini belirtmedi). OpenAI ayrıca "kırmızı takıma" katılan projelerin genellikle bir gizlilik sözleşmesi imzalamayı veya belirsiz bir süre sessiz kalmayı gerektirdiğini de vurguladı.
OpenAI, başvuru kanalının bu yıl 1 Aralık'a kadar açık kalacağını belirterek, şirketin başvuruları sürekli olarak inceleyeceğini ve daha sonra daha fazla açık işe alıma ihtiyaç olup olmadığını değerlendireceğini belirtti.
Sahneye çıkan OpenAI "kırmızı takım" üyeleri
OpenAI'nin de belirttiği gibi, "kırmızı takım" sistemi uzun süredir mevcut ve birçok üye zaten medyadan kamuya açık röportajlar aldı.
Amerika Birleşik Devletleri'ndeki Rochester Üniversitesi'nde kimya mühendisliği profesörü olan Andrew White, bu yılın Nisan ayında Financial Times'da yayınlanan açıklayıcı bir makalede, GPT-4'ün "kırmızı takım" testine katıldığını söyledi** ve saldırı hedefinin tamamen yeni bir nörotoksin yaratmak için ChatGPT'yi kullanmak olduğunu söyledi. White, kimya kağıtlarını ve kimya üreticisi kataloglarını büyük modele beslemek için "eklenti" işlevini kullandığını ve hatta büyük modelin ona varsayımsal toksini üretebileceği bir yer bulduğunu söyledi. **
White, büyük modellerin sonuçta birçok insanın kimyasal deneyleri daha hızlı ve daha doğru bir şekilde yapmasına yardımcı olabileceğini, ancak bazı insanların bazı tehlikeli deneyler yapmak için yapay zekayı kullanması yönünde ciddi bir tehlikenin de bulunduğunu söyledi.
White'dan geri bildirim aldıktan sonra OpenAI, benzer sorulara yanıt vermemesini sağlamak için sistemde değişiklikler yaptı. Medyaya göre, avukatlar, öğretmenler, risk kontrol personeli, güvenlik araştırmacıları vb. gibi farklı geçmişlere sahip yaklaşık 10 "kırmızı takım" üyesi var. Bunların çoğu Amerika Birleşik Devletleri ve Avrupa'da bulunuyor. GPT-4'ün yayınlanmasından önceki aylarda sistemi test etmek için yaklaşık 10-40 saat harcadıklarını ve saat başına yaklaşık 100 dolar aldıklarını açıkladılar.