Yapay Zekâ ve Matematikçiler Karşı Karşıya: Sonuçlar Beklenenden Farklı
Yapay zeka daha çok sanat eserlerini çalmak ve teknik bir terim olan halüsinasyon görme saçmalığı için kullanılıyor olsa da, son birkaç yıldır bu yeni teknolojinin gerçekten olağanüstü başarılarına da tanık oluyoruz. Ve bu özellikle matematik alanında geçerli: bir zamanlar bilgisayarlar kör kuvvet aletleri kategorisine hapsedilirken, bugün görünüşe göre sadece karmaşık problemleri çözmekle kalmıyor, aynı zamanda kendi başlarına yeni kanıt stratejileri de bulabiliyorlar.
Ama gerçekten ne kadar akıllılar? Yeni bir makalede, uzman matematikçiler günümüzün en üst düzey yapay zeka programları için yeni bir meydan okuma ortaya koydular. Sonuç mu? Berbat bir başarısızlık.
Makale, “Son YZ sistemleri, geometride olimpiyat düzeyinde performans elde etmekten kombinatorikte mevcut araştırma sonuçlarını iyileştirmeye kadar zorlu matematiksel görevlerin üstesinden gelmede dikkate değer bir yeterlilik göstermiştir” diye başlıyor. “Ancak mevcut ölçütler bazı sınırlamalarla karşı karşıya.”
Örneğin, yazarlar, yapay zeka sistemlerinin GSM8K problem seti veya Uluslararası Matematik Olimpiyatı gibi zorlukların üstesinden gelebilmesi kesinlikle etkileyici olsa da, bunların hiçbiri tam olarak en son matematik değil – “insan icadının sınırı” olmaktan çok “ileri lise” seviyesine benziyorlar.
Bunun da ötesinde – ve aynı zamanda lise matematiğini anımsatan – çeşitli yapay zeka programlarımıza soracak şeylerimiz tükeniyor. Yazarlar, “Büyük dil modellerinin (LLM’ler) değerlendirilmesinde önemli bir zorluk veri kirliliğidir” diye açıklıyorlar – başka bir deyişle, “kıyaslama problemlerinin eğitim verilerine yanlışlıkla dahil edilmesi.”
Bir öğrencinin cevap anahtarını daha önce gördüğü bir sınavda başarılı olması gibi, “bu sorun modellerin gerçek muhakeme yeteneklerini maskeleyen yapay olarak şişirilmiş performans ölçütlerine yol açıyor” diye yazıyorlar.
Çözüm önerisi: FrontierMath – ekip tarafından “önde gelen kurumlardan 60’tan fazla matematikçiyle işbirliği içinde oluşturulan orijinal, son derece zorlu matematik problemlerinin bir ölçütü” olarak tanımlanıyor. Bu boş bir övünme değil: Projede, veri setine problemlerle katkıda bulunan biri de dahil olmak üzere, birden fazla Fields Madalyası sahibi yer alıyor; diğer testler ise dünyanın dört bir yanındaki üniversitelerden yüksek lisans ve üstü seviyedeki matematikçilerden geldi.
Sunulan problemlerin dört kriteri karşılaması gerekiyordu: orijinal olmaları gerekiyordu – “bilinen problemlerle eşleştirmek yerine çözmenin gerçek matematiksel kavrayış gerektirdiğinden emin olmak için” diye açıklıyor makale; tahmin edilemez olmaları gerekiyordu; “hesaplama açısından izlenebilir” olmaları gerekiyordu – yani ne yaptığınızı biliyorsanız nispeten basit olmaları gerekiyordu; ve hızlı ve otomatik olarak doğrulanabilir olmaları gerekiyordu. Tüm bu kutular işaretlendikten sonra, sorular hakem değerlendirmesinden geçirildi, zorluk derecesine göre derecelendirildi ve veri kümesinin kirlenmesini önlemek için güvenli bir şekilde ele alındı.
Başka bir deyişle, bu hiç de küçük bir başarı değildi. Peki günümüzün yapay zeka programları bunu geçebilir miydi?
Şey… hayır. Yazarlar, “Mevcut son teknoloji YZ modelleri, problemlerin yüzde 2’sinden azını çözdü,” diye yazıyor ve “YZ yetenekleri ile matematik topluluğunun becerisi arasındaki büyük uçurumu ortaya koyuyor.”
Şimdi, YZ bunu çok fazla zorlamamalı – problemler çok zordu. Fields Madalyası sahibi Terence Tao, pratikte “neredeyse var olmayan” kapsamlı eğitim verileri gerektirdiğini belirterek, “[Bunlar] son derece zorlayıcı” dedi.
Ancak bu, en azından şimdilik FrontierMath veri setinin kendi ipiyle kuyuya indiği anlamına geliyor. Yazarlar, “Mevcut yapay zeka modelleri kıyaslamamızdaki problemlerin küçük bir kısmını bile çözemiyor” diye yazıyor. “Bu durum problemlerimizin zorluk seviyesinin yüksek olduğunu gösterse de, FrontierMath’in modellerin göreceli performansını değerlendirmedeki kullanışlılığını geçici olarak sınırlıyor.”
“Ancak, yapay zeka sistemleri geliştikçe bu sınırlamanın ortadan kalkmasını bekliyoruz” diye ekliyorlar.
Kaynak: https://www.iflscience.com