Yaşam Boyu Güçlendirme Öğrenimini Mümkün Kılacak Üretken Bellek Yaklaşımı

Mevcut yapay zeka (Al) sistemlerinin kilit bir kısıtlaması eğitilmemiş oldukları görevlerin üstesinden gelememeleridir.Aslında,yeniden eğitildiklerinde bile ,çoğunlukla bu sistemler ‘felaketi unutmaya’ meyillidir. Bu temel olarak yeni bir öğenin  önceden edindiği bilgileri bozabileceği anlamına gelir.
Örneğin, bir model başlangıçta A görevini tamamlamak için eğitilmişse ve daha sonra B görevinde yeniden eğitilmişse ,A görevindeki performansı önemli ölçüde düşebillir. Çözümlerden biri, ek görevlerin veya eğitilmekte olan öğelerin desteklenmesi için sınırsız  sayıda  daha fazla sinir katmanı eklemek olacaktır, ancak böyle bir yaklaşım etkili değil,hatta işlevsel olarak bile ölçeklendirilemezdir.
SRI international’daki araştırmacılar yakın zamanda yapay zeka sistemlerine biyolojik hafıza transfer mekanizmaları uygulamaya çalıştılar, çünkü bunun performanslarını araştıracağını ve daha uyumlu hale getirebileceğini düşünüyorlar. Öncesinde arXiv ‘de yayınlanan çalışmalar ,uzun süreli ve kısa süreli  hafıza gibi insanlarda hafıza transfer mekanizmalarıından ilham alınmıştır.
 SEK CHAİ “Deneyimlerden öğrenebilecek yeni nesil bir Al sistemleri inşa ediyoruz. Bu deneyimlerini temel alan yeni senaryolara uyum sağlayabilecekleri anlamına gelir. Bugün Al sistemleri başarısız oluyor  çünkü adaptif değiller. Dr . Hava Siegelmann liderliğindeki DARPA L2M projesi , Al yeteneklerinde paradigma değiştirici gelişmeler elde etmek istiyor.” diyor.
Hafıza transferi, gelecekteki olaylar hakkında düşünürken, planlarken, yaratırken veya tahminlerde bulunurken insanların göze çarpan veya ilgili hafızalara kolayca erişmelerini sağlayan karmaşık bir dinamik işlem dizisi gerektirir. Uykunun, hatıraların birleştirilmesinde özellikle de REM uykusunda düş görmenin en sık yaşandığı aşamada kritik bir rol oynadığı düşünülmektedir.
Çalışmalarında CHAİ ve SRI meslektaşları Al sistemlerini sahte prova tarzında eğitmek için kullanabilecek iletken bir bellek mekanizması geliştirdiler. Tekrarlama ve güçlendirme öğrenimini (RL) kullanan bu mekanizma , Al sistemlerinin yaşamları boyunca göze çarpan anılardan ders almasına  ve çok sayıda eğitim görevi veya maddesiyle ölçeklendirmesine izin verir. Chai ve meslektaşları tarafından geliştirilen üretken bellek yaklaşımı gizli alanı ayırmak için bir kodlama yöntemi kullanır.Bu ,bir Al sisteminin görevleri iyi tanımlamadığında veya görev sayısı bilinmediğinde bile öğrenmesini sağlar.
Al sistemimiz,Chai ‘nin açıkladğı gibi video,ses vb. gibi ham verileri doğrudan saklamaz.”Aksine, daha önce neler yaşadığını üretmek yada hayal etmek için üretici belleği kullanıyoruz.Yaratıcı Al sistemleri sanat, müzik vb. oluşturmak için kullanılmıştır.Araştırmamızda, onları daha sonra takviye öğrenimi ile kullanabilecek üretken deneyimleri kodlamak için kullanıyoruz. Böyle bir yaklaşım,uzun süreli hatıralarımızda güçlendirilen deneyim parçalarını hatırladığımız veya hayal ettiğimiz uyku ve rüyalardaki biyolojik mekanizmalardan ilham alıyor.
Gelecekte, Chai ve meslektaşları tarafından sunulan yeni üretken bellek yaklaşımı  , Al sistemlerinde yaşam boyu öğrenmeyi mümkün kılan sinirsel ağ tabanlı modellerde felaket unutmayı ele almaya yardımcı olabilir.Araştırmacılar şimdi yaklaşımlarını Al sistemlerini eğitmek ve değerlendirmek için yaygın olarak kullanılan bilgisayar tabanlı strateji oyunları üzerinde test ediyorlar.

Chai,”Al ajanlarımızı adaptasyon,sağlamlık ve güvenlik gibi yaşam boyu öğrenme ölçümleri konusunda eğitmek ve incelemek için StarCraft 2 gibi gerçek zamanlı strateji oyunları kullanıyoruz” dedi. ” Al temsilcilerimiz oyuna enjekte edilen süprizlerle eğitiliyorlar.

Kaynak: http://www.bizsiziz.com/a-generative-memory-approach-to-enable-lifelong-reinforcement-learning/

Çeviri: Abdullah Talha Akpur

11 Paylaşımlar

Bir cevap yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

Solve : *
13 + 24 =


This site uses Akismet to reduce spam. Learn how your comment data is processed.