Sürekli Öğrenebilmesi İçin Yapay Zekaya Unutma Sanatı Öğretildi
Bir grup yapay zeka araştırmacısı, modern yapay sinir ağlarının, zamanında durmaz ve daha fazla veri beslemeye devam ederseniz, yavaş yavaş öğrenme yeteneğini kaybettiğini göstermiştir.
Bilim insanları, sinir ağının bir insanın yaptığı gibi sürekli öğrenmesini sağlayan bir çözüm önerdiler: öğrendiklerinin bir kısmını unutmalı.
Neden bildiğimiz tüm modeller bu sayılara sahip: GPT-2, GPT-3, GPT-4? Neden aynı modeli yeni veriler üzerinde eğitemiyoruz?
Öğrenmenin bir sınırı olduğu ve bu sınırdan sonra modelin bozulmaya başladığı ortaya çıktı. Ama bir insan bu şekilde öğrenmez. Kendi yeni rafine versiyonlarını üretmez, sadece yeni şeyler öğrenir ve onları kullanır.
Yapay zeka modellerinin böylesine ciddi bir dezavantajıyla mücadele etmek mümkün mü? Görünüşe göre mümkün. Sadece onlara gereksiz olanı unutmayı öğretmek gerekiyor.
Geçtiğimiz birkaç yıl içinde, yapay zeka sistemleri ana akım haline geldi. Bunların arasında, sohbet robotlarından görünüşte akıllı yanıtlar üreten büyük dil modelleri (LLM’ler) de var.
Ancak hepsinde eksik olan bir şey var: kullanıldıkça öğrenmeye devam etme yeteneği. Bu da yapay zeka modellerinin örneğin kullanıcıyla konuşarak daha doğru hale gelmesini engelliyor.
Yapay sinir ağları, derin öğrenme teknikleri ve hatanın geriye yayılması algoritması modern makine öğrenimi ve yapay zekanın temelini oluşturmaktadır.
Bu yöntemler neredeyse her zaman iki aşamada kullanılır: biri ağın ağırlıklarının güncellendiği, diğeri ise ağ kullanımdayken ağırlıkların sabit kaldığı aşamadır. Bu, insanların öğrenme şeklinden oldukça farklıdır, çünkü onlar aldıkları verilerden sürekli olarak öğrenirler.
Şimdiye kadar, derin öğrenme yöntemlerinin bu tür “insan” koşullarına sokulduğunda, yani onları adım adım değil, sürekli olarak eğittiğinizde işe yarayıp yaramadığı belirsizdi.
Bilim insanları bu durumda, standart derin öğrenme yöntemleriyle modellerin yavaş yavaş esnekliğini kaybettiğini gösterdiler. Ve yetenekler düşer ve tepkiler dejenere olur, sözde “aşırı öğrenme” meydana gelir. Bilim insanları bu plastiklik kaybını ImageNet’teki klasik bir resim setini kullanarak gösterdiler.
Ancak bilim insanları beklenmedik bir çözüm buldular. Plastisite (yani öğrenme yeteneği), ağa sürekli olarak çeşitlilik katan algoritmalar tarafından korunur.
Bilim insanları yöntemlerine sürekli geri yayılım algoritması adını vermişlerdir. Bu durumda, en az kullanılan parametrelerin küçük bir kısmı sürekli olarak rastgele başlatılıyor, yani sinir ağı ağırlıkların bir kısmının değerlerini unutuyor.
Bilim insanları, aslında birikmiş bilginin bir kısmının sürekli olarak unutulmasına dayanan bu yaklaşımın, modelin sürekli olarak öğrenmesine ve dejenere olmamasına olanak tanıdığına inanıyor.
Derleyen: Feyza ÇETİNKOL
Kaynak: Sürekli Öğrenebilmesi İçin Yapay Zekaya Unutma Sanatı Öğretildi