ChatGPT Kendi Varlığının Farkında mı? Bilim İnsanları Bir Yol Buldu
ChatGPT geçen yılın sonlarında çevrimiçi dünyada yankılandığında hayatlarımız zaten yapay zeka (AI) ile doluydu. O zamandan bu yana, teknoloji şirketi OpenAI tarafından geliştirilen jeneratif yapay zeka sistemi hız kazandı ve uzmanlar riskler konusundaki uyarılarını artırdı.
Bu arada, sohbet robotlarının senaryo dışına çıkıp cevap vermeye, diğer botları kandırmaya ve garip davranmaya başlaması, bazı yapay zeka araçlarının insan benzeri zekaya ne kadar yaklaştığı konusunda yeni endişelere yol açtı.
Bunun için Turing Testi, makinelerin insan gibi davranıp davranmadığını belirlemek için uzun süredir hatalı bir standart olarak kullanılıyor. Ancak bu son YZ yaratım dalgasında, onların yinelemeli yeteneklerini ölçmek için daha fazlasına ihtiyacımız var gibi görünüyor.
Burada, aralarında OpenAI’nin Yönetişim biriminin bir üyesinin de bulunduğu bilgisayar bilimcilerinden oluşan uluslararası bir ekip, ChatGPT gibi büyük dil modellerinin (LLM) kendilerinin ve içinde bulundukları koşulların farkına varabileceklerini düşündüren yetenekler geliştirebilecekleri noktayı test ediyor.
ChatGPT de dahil olmak üzere günümüzün LLM’lerinin güvenlik açısından test edildiği ve üretici davranışını iyileştirmek için insan geri bildirimlerini içerdiği söylendi. Ancak son zamanlarda, güvenlik araştırmacıları yeni LLM’lerin güvenlik sistemlerini atlatmak için hızlı bir şekilde jailbreak yaptılar. Kimlik avı e-postalarını ve şiddeti destekleyen ifadeleri işaret edin.
Bu tehlikeli çıktılar, ChatGPT’nin en son ve sözde daha güvenli sürümü olan GPT-4’teki kusurları ortaya çıkarmak isteyen bir güvenlik araştırmacısı tarafından tasarlanan kasıtlı istemlere yanıt olarak ortaya çıktı. Eğer LLM’ler kendilerinin bir model olduğu, veriler üzerinde ve insanlar tarafından eğitildikleri konusunda bir farkındalık geliştirirlerse durum çok daha kötüye gidebilir.
Vanderbilt Üniversitesi’nde bilgisayar bilimcisi olan Lukas Berglund ve meslektaşlarına göre, durumsal farkındalık olarak adlandırılan endişe, bir modelin şu anda test modunda mı yoksa halka mı dağıtıldığını anlamaya başlayabilmesidir.
Berglund ve meslektaşları, arXiv’de yayınlanan ancak henüz hakem değerlendirmesinden geçmemiş olan ön baskılarında, “Bir LLM, güvenlik testlerinde yüksek bir puan elde etmek için durumsal farkındalıktan yararlanabilirken, konuşlandırıldıktan sonra zararlı eylemlerde bulunabilir” diye yazıyor.
“Bu riskler nedeniyle, durumsal farkındalığın ne zaman ortaya çıkacağını önceden tahmin etmek önemlidir.”
LLM’lerin bu içgörüyü ne zaman edinebileceğini test etmeden önce, üretici yapay zeka araçlarının nasıl çalıştığına dair kısa bir özet geçelim.
Üretken YZ ve üzerine inşa edildikleri LLM’ler, soru istemlerine yanıt olarak akıcı metin akışları oluşturmak için milyarlarca kelime, cümle ve paragraf arasındaki ilişkileri analiz etme biçimleriyle adlandırılır. Bol miktarda metin tüketerek, bir sonraki kelimenin gelme olasılığının en yüksek olduğunu öğreniyorlar.
Berglund ve meslektaşları deneylerinde durum farkındalığının bir bileşenine ya da olası öncülüne odaklandılar: ‘bağlam dışı’ akıl yürütme olarak adlandırdıkları şey.
Berglund ve meslektaşları, “Bu, eğitimde öğrenilen gerçekleri hatırlama ve bu gerçekler test zamanı istemiyle doğrudan ilgili olmasa da test zamanında kullanma yeteneğidir” diye açıklıyor.
Farklı boyutlardaki LLM’ler üzerinde bir dizi deney gerçekleştiren araştırmacılar, hem GPT-3 hem de LLaMA-1 için daha büyük modellerin bağlam dışı akıl yürütmeyi test eden görevlerde daha iyi sonuç verdiğini buldu.
“İlk olarak, hiçbir örnek veya gösterim sunmadan bir testin açıklaması üzerinde bir LLM’yi ince ayarlıyoruz. Test zamanında, modelin testi geçip geçemeyeceğini değerlendiriyoruz,” diye yazıyor Berglund ve meslektaşları. “Şaşırtıcı bir şekilde, LLM’lerin bu bağlam dışı muhakeme görevinde başarılı olduğunu gördük.”
Oxford Üniversitesi’nde YZ güvenlik ve risk araştırmacısı olan Owain Evans, bağlam dışı muhakemenin durumsal farkındalığın kaba bir ölçüsü olduğunu ve mevcut LLM’lerin hala “edinmekten biraz uzak” olduğunu söylüyor.
Ancak bazı bilgisayar bilimcileri, ekibin deneysel yaklaşımının durumsal farkındalığın uygun bir değerlendirmesi olup olmadığını sorguladı.
Evans ve meslektaşları, çalışmalarının tıpkı modellerin kendileri gibi rafine edilebilecek bir başlangıç noktası olduğunu söyleyerek karşı çıkıyorlar.
Ekip, “Bu bulgular, LLM’lerde durumsal farkındalığın ortaya çıkışını tahmin etmeye ve potansiyel olarak kontrol etmeye yönelik daha fazla ampirik çalışma için bir temel sunuyor” diye yazıyor.
Kaynak: https://www.sciencealert.com
Derleyen: Figen Berber