Yapay Zekaya Olumsuz Etki Edeceği Sanılan Şey, Onu Daha Akıllı Yaptı
MIT araştırmacıları, gürültüsüz bir simülasyonda eğitilen yapay zeka ajanlarının, öngörülemeyen ortamlarda test edildiklerinde bile gürültülü koşullarda eğitilenlerden daha iyi performans gösterdiğini keşfetti. Bu “iç mekan eğitim etkisi” geleneksel yapay zeka eğitim bilgeliğine meydan okuyor ve yapay zekanın gerçek dünyadaki görevlere nasıl hazırlandığı konusunda çığır açabilir.
Tanıdık Olmayan Ortamlarda Beklenmedik YZ Eğitim Başarısı
Fabrikada ev işlerini halletmek üzere eğitilen bir ev robotu, gerçek bir mutfağa yerleştirildiğinde lavaboyu ovmak veya çöpü çıkarmak gibi görevlerde zorlanabilir. Alışılmadık ortam robotun performansını düşürebilir.
Bunu önlemek için mühendisler genellikle yapay zekanın çalışacağı gerçek dünya ortamlarına çok benzeyen eğitim simülasyonları tasarlarlar.
Ancak MIT ve diğer kurumlardan araştırmacılar bu yaklaşımın her zaman en etkili yöntem olmadığını keşfettiler. Şaşırtıcı bir şekilde, bir yapay zekayı tamamen farklı, daha kontrollü bir ortamda eğitmek bazen daha iyi performansa yol açabilir.
Araştırmacıların bulguları, öngörülebilir, gürültüsüz bir ortamda eğitilen YZ ajanlarının, aynı gürültülü ortamda test edildiklerinde bile, daha değişken, gürültülü bir ortamda eğitilenlerden daha iyi performans gösterdiğini ortaya koyuyor.
Araştırmacılar bu beklenmedik olguyu iç mekan eğitim etkisi olarak adlandırıyor.
“Gürültünün olmadığı kapalı bir ortamda tenis oynamayı öğrenirsek, farklı atışlarda daha kolay ustalaşabiliriz. Daha sonra rüzgarlı bir tenis kortu gibi daha gürültülü bir ortama geçersek, tenisi iyi oynama olasılığımız rüzgarlı ortamda öğrenmeye başladığımızdan daha yüksek olabilir” diyor MIT Media Lab’de araştırma görevlisi ve iç mekan antrenman etkisi üzerine bir makalenin başyazarı olan Serena Bono.
Teoriyi Test Etmek: Atari Oyunları ve Şaşırtıcı Sonuçlar
Araştırmacılar bu
fenomeni, yapay zeka ajanlarını Atari oyunlarını oynamaları için eğiterek incelediler ve bu oyunları biraz öngörülemezlik ekleyerek değiştirdiler. Kapalı alan eğitim etkisinin Atari oyunları ve oyun varyasyonları arasında tutarlı bir şekilde gerçekleştiğini bulmak onları şaşırttı.
Bu sonuçların, YZ ajanları için daha iyi eğitim yöntemleri geliştirmeye yönelik ek araştırmaları teşvik etmesini umuyorlar.
“Bu, üzerinde düşünülmesi gereken tamamen yeni bir eksen. Eğitim ve test ortamlarını eşleştirmeye çalışmak yerine, bir YZ ajanının daha da iyi öğrendiği simüle edilmiş ortamlar oluşturabiliriz,” diye ekliyor Harvard Üniversitesi’nde yüksek lisans öğrencisi olan ortak yazar Spandan Madan.
Bono ve Madan makale üzerinde MIT’de yüksek lisans öğrencisi olan Ishaan Grover; Yale’de yüksek lisans öğrencisi olan Mao Yasueda; MIT’de medya sanatları ve bilimleri profesörü ve MIT Media Lab’de Kişisel Robotik Grubu başkanı olan Cynthia Breazeal; Harvard’da An Wang Bilgisayar Bilimi Profesörü olan Hanspeter Pfister ve Harvard Tıp Fakültesi’nde profesör olan Gabriel Kreiman ile işbirliği yaptı. Araştırmaları Association for the Advancement of Artificial Intelligence (AAAI) Konferansında sunulacak.
Eğitim Sorunları: Yapay Zeka Yeni Alanlarda Neden Zorlanıyor?
Araştırmacılar, takviyeli öğrenme aracılarının eğitim alanlarından farklı ortamlarda test edildiğinde neden bu kadar kötü performans gösterme eğiliminde olduklarını keşfetmek için yola çıktılar.
Takviyeli öğrenme, ajanın bir eğitim alanını keşfettiği ve ödülünü en üst düzeye çıkaran eylemlerde bulunmayı öğrendiği bir deneme-yanılma yöntemidir.
Ekip, takviyeli öğrenme probleminin geçiş fonksiyonu adı verilen bir unsuruna açıkça belirli bir miktarda gürültü eklemek için bir teknik geliştirdi. Geçiş fonksiyonu, bir ajanın seçtiği eyleme bağlı olarak bir durumdan diğerine geçme olasılığını tanımlar.
Temsilci Pac-Man oynuyorsa, bir geçiş fonksiyonu oyun tahtasındaki hayaletlerin yukarı, aşağı, sola veya sağa hareket etme olasılığını tanımlayabilir. Standart takviyeli öğrenmede, yapay zeka aynı geçiş fonksiyonu kullanılarak eğitilir ve test edilir.
Araştırmacılar bu geleneksel yaklaşımla geçiş fonksiyonuna gürültü eklediler ve beklendiği gibi bu durum ajanın Pac-Man performansına zarar verdi.
Ancak araştırmacılar ajanı gürültüsüz bir Pac-Man oyunuyla eğitip ardından geçiş fonksiyonuna gürültü ekledikleri bir ortamda test ettiklerinde, ajan gürültülü oyunla eğitilmiş bir ajandan daha iyi performans gösterdi.
“Temel kural, paranızın karşılığını en iyi şekilde almak için eğitim sırasında konuşlandırma koşulunun geçiş işlevini olabildiğince iyi yakalamaya çalışmanız gerektiğidir. Bu içgörüyü gerçekten ölümüne test ettik çünkü kendimiz bile inanamadık” diyor Madan.
Geçiş fonksiyonuna değişen miktarlarda gürültü enjekte etmek araştırmacıların birçok ortamı test etmesine olanak sağladı, ancak gerçekçi oyunlar yaratmadı. Pac-Man’e ne kadar çok gürültü enjekte ederlerse, hayaletlerin rastgele farklı karelere ışınlanma olasılığı o kadar artıyordu.
İç mekan eğitim etkisinin normal Pac-Man oyunlarında meydana gelip gelmediğini görmek için, temel olasılıkları ayarladılar, böylece hayaletler normal hareket etti, ancak sola ve sağa değil, yukarı ve aşağı hareket etme olasılıkları daha yüksekti. Gürültüsüz ortamlarda eğitilen yapay zeka ajanları bu gerçekçi oyunlarda yine de daha iyi performans gösterdi.
“Bu sadece geçici ortamlar yaratmak için gürültü ekleme yöntemimizden kaynaklanmıyordu. Bu, takviyeli öğrenme probleminin bir özelliği gibi görünüyor. Ve bunu görmek daha da şaşırtıcıydı” diyor Bono.
Yapay Zeka Öğrenme Kalıpları: Şaşırtıcı Bir Keşif
Araştırmacılar bir açıklama aramak için daha derine indiklerinde, yapay zeka ajanlarının eğitim alanını nasıl keşfettikleri konusunda bazı korelasyonlar gördüler.
Her iki YZ ajanı da çoğunlukla aynı alanları keşfettiğinde, gürültülü olmayan ortamda eğitilen ajan daha iyi performans gösterir, çünkü belki de ajanın oyunun kurallarını gürültünün müdahalesi olmadan öğrenmesi daha kolaydır.
Keşif modelleri farklıysa, gürültülü ortamda eğitilen ajan daha iyi performans gösterme eğilimindedir. Bunun nedeni, ajanın gürültüsüz ortamda öğrenemediği kalıpları anlamaya ihtiyaç duyması olabilir.
Bono şöyle açıklıyor: “Gürültüsüz ortamda sadece forehand ile tenis oynamayı öğrenirsem, ama gürültülü ortamda backhand ile de oynamam gerekirse, gürültüsüz ortamda o kadar iyi oynayamam.”
Gelecekteki Çıkarımlar: Kapalı Alan Antrenman Etkisinden Yararlanma
Araştırmacılar ileriye dönük olarak, iç mekan eğitim etkisinin daha karmaşık takviyeli öğrenme ortamları ve bilgisayarla görme ve doğal dil işleme gibi diğer YZ teknikleri için geçerli olup olmadığını araştırmayı planlıyor. Ayrıca, bu etkiden yararlanan eğitim ortamları geliştirmeyi ve öngörülemeyen gerçek dünya ortamlarında YZ performansını potansiyel olarak iyileştirmeyi amaçlıyorlar.
Kaynak: https://scitechdaily.com
OpenAI’nin Yeni Yapay Zekâsı İnsan Seviyesinde Düşünebilecek mi?