Resim kaynağı: Sınırsız Yapay Zeka aracı tarafından oluşturulmuştur
Birçok yapay zeka modeli, insanların kararlarından her zaman emin olduklarını varsayar. Bunun talihsiz sonuçları olabilir.
Birçoğumuz için teknoloji belirsizliği çözmenin bir yolunu sunuyor. Bir gerçeği hatırlayamıyorsak veya bir şeyi anlamıyorsak, onu arayıp cevabını alabiliriz. Paris Barış Konferansı hangi yılda sona erdi? Google'da… 1920. 10 km koşu kaç mildir? 6,2 mil. İlk uzun metrajlı filmi Encino Adam'da Oscar ödüllü Brendan Fraser'ın yanında kim rol alıyor? Sean Astin ve Paulie Shore.
İlginç bir şekilde, bunun tersi giderek daha fazla oluyor; bilgisayarlar, işlerini kontrol etmek için insanlara güveniyor. "Döngüdeki insan" yapay zeka sistemleri, yapay zekanın bilgileri yanlış okumamasını ve hatalı tahminler yapmamasını sağlamak için insan müdahalesine dayanır. Bu durum çoğu zaman filmin öne çıkanlarından daha kritiktir.
Örneğin bir radyolog, AI'nın bir kırık veya lezyonu gözden kaçırıp kaçırmadığını belirlemek için X-ışını teşhisine bakacaktır. İnsanlar daha sonra herhangi bir hatayı düzeltebilir ve hastanın uygun tedaviyi almasını sağlayabilir. Bu harika bir ortaklık ama küçük bir sorun var: İnsanlar vardıkları sonuçlardan nadiren yüzde 100 emin olurlar.
Aynı radyolog, röntgende farklı renkte bir kemik dokusu alanı görebilir ve şunu merak edebilir: "Bu bir lezyon mu, yoksa röntgende bir düzensizlik mi? Eğer lezyonsa nedeni nedir?" iyi huylu mu yoksa kötü huylu mu?" Yüksek eğitimli uzmanlar bile - ve belki de özellikle uzmanlar - sıklıkla bu tür belirsizliği gözlemlerine ve kararlarına dahil ederler. Eğer %10 ihtimalle başka bir teşhis konacağını düşünüyorlarsa bunu hastayla tartışıp ona göre plan yapabilirler.
Bu bize doğal görünse de insan-makine geridöngü sistemleri bu şekilde akıl yürütmez. İnsan müdahalesini ikili olarak görüyorlar: İnsanlar ya bildiklerini biliyor ya da bilmiyorlar. Bu da yapay zeka sistemlerinin ortaklıklarda insan hatası riskini azaltma yeteneğini sınırlayabilir.
Peki bu sistemlerin insanın karar verme sürecindeki nüansları daha iyi anlaması, böylece onların yeteneklerini ve kendi performansımızı geliştirmesi mümkün mü? Cambridge Üniversitesi'nden bir araştırmacı ekibi bu soruyu yeni bir araştırma makalesinde teste tabi tuttu.
**Emin misin? **
İlk testte araştırmacılar, iki veri seti üzerinde kavram tabanlı modeller (insan geri bildirimi yoluyla tahminleri geliştiren makine öğrenimi modelleri) kullandılar. "CheXpert" adı verilen ilk veri seti göğüs röntgenlerini sınıflandırıyor. UMNIST adı verilen başka bir veri kümesi, el yazısı örneklerindeki sayıları topluyor. Çoğu kavram temelli model gibi, her iki model de daha önce belirsizlik konusunda eğitilmemişti, bu nedenle araştırmacılar belirsizlikle nasıl başa çıkacaklarını görmek istediler.
Araştırmanın baş yazarı ve Cambridge Üniversitesi'nde mühendislik alanında yüksek lisans öğrencisi olan Katherine Collins şunları söyledi: "Birçok geliştirici, modellerdeki belirsizliği ele almak için çok çalışıyor, ancak belirsizliği insan perspektifinden ele alan daha az çalışma var." İnsanların güvenliğin kritik olduğu ortamlarda özellikle önemli olan belirsizliği ifade ettiklerinde neler olacağını görün."
Cevap: pek iyi değil. Araştırmacılar, simülasyonlardaki belirsizlik düşük olduğunda bile modelin performansının düştüğünü ve belirsizlik arttıkça düşmeye devam ettiğini buldu. Bu, bu modellerin tamamen deterministik bir müdahaleye maruz kaldığında doğru olmasına rağmen, "müdahale kullanıcılarının belirli kavramların doğası hakkında belirsiz olduğu ortamlara genelleme yapmadığını" göstermektedir.
Bir sonraki testte araştırmacılar bir kuş görüntüsü sınıflandırma veri seti kullandılar ve gerçek insan katılımcıları tanıttılar. Katılımcılardan görsellerdeki kuşların belirli özelliklerini tanımlamaları istendi. Kuş çok renkli mi, tek parça mı, benekli mi yoksa çizgili mi? Kuyruğu çatal, daire, yelpaze veya kare şeklinde mi? vesaire.
Ancak resimler her zaman kuşları en iyi şekilde temsil etmez. Resimdeki kuş, parlak bir arka plan üzerinde bir siluet olabilir veya kuyruk tüyleri ağaç dalları tarafından gizlenmiş olabilir. Böylece araştırmacılar, insan katılımcılara "yumuşak etiketler" kullanma yeteneği verdi; bu kavramlar ya/veya değil, bunun yerine insanların 0 ile 100 arasındaki güven düzeylerini (0 bilmiyorum ve 100 kesinlikle kesindir) etiketlemesine olanak tanıyor. .
Örneğin, denekler bir kuşun kanat şeklinin geniş olduğunu oldukça inandırıcı buluyorsa kaydırıcıyı 80'e taşıyabilirler. Ancak kanatların yuvarlak mı yoksa sivri mi olduğundan emin değillerse kaydırıcıyı daha az hareket ettirebilirler (sırasıyla 20 ve 10 gibi).
Araştırmacılar, makinelerin yerini insanlar aldığında performansın düştüğünü buldu. Ancak modeli belirsizlik konusunda eğitmenin, insan katılımcıların yaptığı bazı hataları hafifletebileceğini de buldular. Ancak bu modeller mükemmel değildir. Bazen insan belirsizliği yardımcı olur; diğer zamanlarda ise model performansına zarar verir.
Çalışmanın ortak yazarlarından Matthew Barker, "Bu modelleri yeniden kalibre etmek için daha iyi araçlara ihtiyacımız var, böylece onları kullanan insanlar kararsız kaldıklarında açıkça konuşabilme becerisine sahip olacaklar" dedi. "Bazı yönlerden bu çalışma, yanıtladığından daha fazla soruyu gündeme getiriyor, ancak konu belirsizlik olduğunda insanlar hata yapabilse de, insan davranışını derece ve güvenilirliği hesaba katarak bu insan-makine geridöngü sistemlerinin güvenilirliğini artırabiliriz".
Araştırmaya Princeton Üniversitesi, Alan Turing Enstitüsü ve Google DeepMind'dan araştırmacılar da Cambridge ekibine katıldı. Makalelerini Montreal'deki 2023 AAI/ACM Yapay Zeka, Etik ve Toplum Konferansında sundular. Makale şu anda arXiv'de ön baskı olarak yayınlanmaktadır.
Belirsiz bir geleceğe doğru
Araştırmacılar, makalelerinin bir gün belirsizliği hesaba katan insan-makine geridöngü sistemlerinin geliştirilmesine yardımcı olacağını ve böylece insan ve yapay zeka hataları riskini azaltacağını umuyorlar. Ancak bu çalışma bu hedefe yönelik sadece bir ilk adımdır.
Ayrıca gelecekteki araştırmalar için çeşitli zorlukları da ortaya koymaktadır. Bu zorluklar şunları içerir: iyi bilinen insan tahmin hatalarını (aşırı güven yanlılığı gibi) hesaba katan yapay zeka modellerinin ve müdahale stratejilerinin nasıl geliştirileceği; insanların belirsizliklerini ölçmesine yardımcı olacak arayüzler oluşturma; ve yapay zeka modellerini, örneğin, farklı Belirsizlik türlerini ele alacak şekilde eğitme. kendi bilginizi sorgulamak ile rastgele etkilerin nasıl ortaya çıkacağı arasındaki fark gibi.
Bu sorunlar ele alınabilirse, insan belirsizliği "insan-makine döngüsünün" "insan" kısmını daha iyi destekleyebilir ve böylece bu modellerin performansının iyileştirilmesine yardımcı olabilir.
Collins, "Bazı meslektaşlarımızın söylediği gibi belirsizlik bir tür şeffaflıktır ve bu gerçekten önemlidir" diye ekledi. "Modellere ne zaman güveneceğimizi, insanlara ne zaman güveneceğimizi ve neden güveneceğimizi bulmamız gerekiyor. Bazı uygulamalarda olasılık yerine olasılığa odaklanıyoruz."
View Original
This page may contain third-party content, which is provided for information purposes only (not representations/warranties) and should not be considered as an endorsement of its views by Gate, nor as financial or professional advice. See Disclaimer for details.
Araştırma: İnsanın karar verme sürecindeki belirsizlik, yapay zekayı geliştirmenin anahtarı olacak mı?
Kevin Dickinson'ın yazdığı
Kaynak: FreeThink
Birçoğumuz için teknoloji belirsizliği çözmenin bir yolunu sunuyor. Bir gerçeği hatırlayamıyorsak veya bir şeyi anlamıyorsak, onu arayıp cevabını alabiliriz. Paris Barış Konferansı hangi yılda sona erdi? Google'da… 1920. 10 km koşu kaç mildir? 6,2 mil. İlk uzun metrajlı filmi Encino Adam'da Oscar ödüllü Brendan Fraser'ın yanında kim rol alıyor? Sean Astin ve Paulie Shore.
İlginç bir şekilde, bunun tersi giderek daha fazla oluyor; bilgisayarlar, işlerini kontrol etmek için insanlara güveniyor. "Döngüdeki insan" yapay zeka sistemleri, yapay zekanın bilgileri yanlış okumamasını ve hatalı tahminler yapmamasını sağlamak için insan müdahalesine dayanır. Bu durum çoğu zaman filmin öne çıkanlarından daha kritiktir.
Örneğin bir radyolog, AI'nın bir kırık veya lezyonu gözden kaçırıp kaçırmadığını belirlemek için X-ışını teşhisine bakacaktır. İnsanlar daha sonra herhangi bir hatayı düzeltebilir ve hastanın uygun tedaviyi almasını sağlayabilir. Bu harika bir ortaklık ama küçük bir sorun var: İnsanlar vardıkları sonuçlardan nadiren yüzde 100 emin olurlar.
Aynı radyolog, röntgende farklı renkte bir kemik dokusu alanı görebilir ve şunu merak edebilir: "Bu bir lezyon mu, yoksa röntgende bir düzensizlik mi? Eğer lezyonsa nedeni nedir?" iyi huylu mu yoksa kötü huylu mu?" Yüksek eğitimli uzmanlar bile - ve belki de özellikle uzmanlar - sıklıkla bu tür belirsizliği gözlemlerine ve kararlarına dahil ederler. Eğer %10 ihtimalle başka bir teşhis konacağını düşünüyorlarsa bunu hastayla tartışıp ona göre plan yapabilirler.
Bu bize doğal görünse de insan-makine geridöngü sistemleri bu şekilde akıl yürütmez. İnsan müdahalesini ikili olarak görüyorlar: İnsanlar ya bildiklerini biliyor ya da bilmiyorlar. Bu da yapay zeka sistemlerinin ortaklıklarda insan hatası riskini azaltma yeteneğini sınırlayabilir.
Peki bu sistemlerin insanın karar verme sürecindeki nüansları daha iyi anlaması, böylece onların yeteneklerini ve kendi performansımızı geliştirmesi mümkün mü? Cambridge Üniversitesi'nden bir araştırmacı ekibi bu soruyu yeni bir araştırma makalesinde teste tabi tuttu.
**Emin misin? **
İlk testte araştırmacılar, iki veri seti üzerinde kavram tabanlı modeller (insan geri bildirimi yoluyla tahminleri geliştiren makine öğrenimi modelleri) kullandılar. "CheXpert" adı verilen ilk veri seti göğüs röntgenlerini sınıflandırıyor. UMNIST adı verilen başka bir veri kümesi, el yazısı örneklerindeki sayıları topluyor. Çoğu kavram temelli model gibi, her iki model de daha önce belirsizlik konusunda eğitilmemişti, bu nedenle araştırmacılar belirsizlikle nasıl başa çıkacaklarını görmek istediler.
Araştırmanın baş yazarı ve Cambridge Üniversitesi'nde mühendislik alanında yüksek lisans öğrencisi olan Katherine Collins şunları söyledi: "Birçok geliştirici, modellerdeki belirsizliği ele almak için çok çalışıyor, ancak belirsizliği insan perspektifinden ele alan daha az çalışma var." İnsanların güvenliğin kritik olduğu ortamlarda özellikle önemli olan belirsizliği ifade ettiklerinde neler olacağını görün."
Cevap: pek iyi değil. Araştırmacılar, simülasyonlardaki belirsizlik düşük olduğunda bile modelin performansının düştüğünü ve belirsizlik arttıkça düşmeye devam ettiğini buldu. Bu, bu modellerin tamamen deterministik bir müdahaleye maruz kaldığında doğru olmasına rağmen, "müdahale kullanıcılarının belirli kavramların doğası hakkında belirsiz olduğu ortamlara genelleme yapmadığını" göstermektedir.
Bir sonraki testte araştırmacılar bir kuş görüntüsü sınıflandırma veri seti kullandılar ve gerçek insan katılımcıları tanıttılar. Katılımcılardan görsellerdeki kuşların belirli özelliklerini tanımlamaları istendi. Kuş çok renkli mi, tek parça mı, benekli mi yoksa çizgili mi? Kuyruğu çatal, daire, yelpaze veya kare şeklinde mi? vesaire.
Ancak resimler her zaman kuşları en iyi şekilde temsil etmez. Resimdeki kuş, parlak bir arka plan üzerinde bir siluet olabilir veya kuyruk tüyleri ağaç dalları tarafından gizlenmiş olabilir. Böylece araştırmacılar, insan katılımcılara "yumuşak etiketler" kullanma yeteneği verdi; bu kavramlar ya/veya değil, bunun yerine insanların 0 ile 100 arasındaki güven düzeylerini (0 bilmiyorum ve 100 kesinlikle kesindir) etiketlemesine olanak tanıyor. .
Örneğin, denekler bir kuşun kanat şeklinin geniş olduğunu oldukça inandırıcı buluyorsa kaydırıcıyı 80'e taşıyabilirler. Ancak kanatların yuvarlak mı yoksa sivri mi olduğundan emin değillerse kaydırıcıyı daha az hareket ettirebilirler (sırasıyla 20 ve 10 gibi).
Araştırmacılar, makinelerin yerini insanlar aldığında performansın düştüğünü buldu. Ancak modeli belirsizlik konusunda eğitmenin, insan katılımcıların yaptığı bazı hataları hafifletebileceğini de buldular. Ancak bu modeller mükemmel değildir. Bazen insan belirsizliği yardımcı olur; diğer zamanlarda ise model performansına zarar verir.
Çalışmanın ortak yazarlarından Matthew Barker, "Bu modelleri yeniden kalibre etmek için daha iyi araçlara ihtiyacımız var, böylece onları kullanan insanlar kararsız kaldıklarında açıkça konuşabilme becerisine sahip olacaklar" dedi. "Bazı yönlerden bu çalışma, yanıtladığından daha fazla soruyu gündeme getiriyor, ancak konu belirsizlik olduğunda insanlar hata yapabilse de, insan davranışını derece ve güvenilirliği hesaba katarak bu insan-makine geridöngü sistemlerinin güvenilirliğini artırabiliriz".
Araştırmaya Princeton Üniversitesi, Alan Turing Enstitüsü ve Google DeepMind'dan araştırmacılar da Cambridge ekibine katıldı. Makalelerini Montreal'deki 2023 AAI/ACM Yapay Zeka, Etik ve Toplum Konferansında sundular. Makale şu anda arXiv'de ön baskı olarak yayınlanmaktadır.
Belirsiz bir geleceğe doğru
Araştırmacılar, makalelerinin bir gün belirsizliği hesaba katan insan-makine geridöngü sistemlerinin geliştirilmesine yardımcı olacağını ve böylece insan ve yapay zeka hataları riskini azaltacağını umuyorlar. Ancak bu çalışma bu hedefe yönelik sadece bir ilk adımdır.
Ayrıca gelecekteki araştırmalar için çeşitli zorlukları da ortaya koymaktadır. Bu zorluklar şunları içerir: iyi bilinen insan tahmin hatalarını (aşırı güven yanlılığı gibi) hesaba katan yapay zeka modellerinin ve müdahale stratejilerinin nasıl geliştirileceği; insanların belirsizliklerini ölçmesine yardımcı olacak arayüzler oluşturma; ve yapay zeka modellerini, örneğin, farklı Belirsizlik türlerini ele alacak şekilde eğitme. kendi bilginizi sorgulamak ile rastgele etkilerin nasıl ortaya çıkacağı arasındaki fark gibi.
Bu sorunlar ele alınabilirse, insan belirsizliği "insan-makine döngüsünün" "insan" kısmını daha iyi destekleyebilir ve böylece bu modellerin performansının iyileştirilmesine yardımcı olabilir.
Collins, "Bazı meslektaşlarımızın söylediği gibi belirsizlik bir tür şeffaflıktır ve bu gerçekten önemlidir" diye ekledi. "Modellere ne zaman güveneceğimizi, insanlara ne zaman güveneceğimizi ve neden güveneceğimizi bulmamız gerekiyor. Bazı uygulamalarda olasılık yerine olasılığa odaklanıyoruz."