Google Geçmiş Bilgileri Unutmayan Yeni Bir Yapay Zeka Öğrenme Modeli Geliştirdi
Google araştırmacıları, modellerin eski bilgileri unutmadan sürekli olarak yeni bilgiler edinmesini sağlayan Nested Learning adlı makine öğrenmesine yönelik yeni bir yaklaşım geliştirdiler.
Sinir ağlarındaki felaket düzeyindeki unutma, insanlardaki anterograd amneziye benzer; bu durum, kişinin beyin hasarından sonra yeni uzun süreli anılar oluşturamamasına neden olur.
Modern dil modelleri de benzer bir sınırlamadan muzdariptir: ön eğitim sırasında bilgileri dondurulur ve yeni bilgilere yalnızca bir bağlam penceresi içinde erişilebilir. Bu, gerçekten karmaşık görevler için açıkça yetersizdir.
Modern büyük dil modellerinin temel sorunu, felaket düzeyindeki unutkanlıktır: Yeni verilerle eğitildiklerinde, önceden edinilmiş bilgileri kaybederler. Bu, onları nöroplastisitesi sayesinde sürekli öğrenme yeteneğine sahip insan beyninden temelde ayırır.
Yapay zekada unutmayla mücadele için kullanılan geleneksel yöntemler, mimaride veya optimizasyon algoritmalarında yapılan değişikliklere dayanır, ancak bu unsurlar her zaman ayrı ayrı ele alınmış ve bu da gerçekten etkili bir öğrenme sisteminin oluşturulmasını engellemiştir.
Multipl sklerozun tedavisi
İç İçe Öğrenme, tamamen yeni bir yaklaşım sunar: Bir makine öğrenimi modeli, aynı anda çalışan bir dizi iç içe optimizasyon görevidir. Model mimarisi ve eğitim algoritması ayrı varlıklar değil, kendi veri akışları ve güncelleme hızlarına sahip farklı optimizasyon seviyeleridir. Böyle bir yapı oluşturmak, yüksek hesaplama karmaşıklığına sahip problemlerin çözülmesini sağlayacaktır.
Bu ilkeler, sınırsız bağlamsal öğrenme seviyelerine sahip, kendini değiştiren, yinelemeli bir sistem olan Hope mimarisinin temelini oluşturur. Kısa süreli belleğin dikkat mekanizması, uzun süreli belleğin ise sinir ağı ağırlıkları tarafından sağlandığı standart dönüştürücülerin aksine, Hope, farklı hızlarda güncellenen bir modül yelpazesi olan çoklu bellek sistemleri kullanır.
Yapılan deneyler, Hope’un dil modelleme görevlerinde daha az karışıklık ve daha yüksek doğruluk sergilediğini ve uzun bağlamlarla uğraşırken bellek yönetiminde mevcut modellerden daha iyi performans gösterdiğini göstermiştir.
Derleyen: Feyza ÇETİNKOL
Kaynak: Google Geçmiş Bilgileri Unutmayan Yeni Bir Yapay Zeka Öğrenme Modeli Geliştirdi
Google Uzayda Yapay Zeka Veri Merkezleri Kurmayı Planlıyor
Google, uzaydaki yapay zeka veri merkezlerine güç sağlamak için TPU işlemcili bir uydu takımyıldızı oluşturma girişimi olan Suncatcher projesini duyurdu…