ChatGPT Mühendislik Derslerini Neredeyse Hiç İnsan Yardımı Almadan Geçti
Illinois Üniversitesi’ndeki en yeni mühendislik öğrencisiyle tanışın: asla uyumuyor, iş yükünden asla şikayet etmiyor ve bazı insan sınıf arkadaşlarından daha iyi not aldı.
ChatGPT çoktan seçmeli testlerde başarılı oldu ve programlama projelerinde tökezleyerek hatırı sayılır bir B notu aldı; üstelik araştırmacılar ona hiçbir ek yönlendirme yapmadan sadece sorular yöneltti.
Yeni bir çalışma, ChatGPT’nin zorlu bir mühendislik lisans dersini sağlam bir B notuyla (%82,24) geçebildiğini, sınıf ortalaması olan %84,99’a yaklaştığını ancak tam olarak ulaşamadığını ortaya koyuyor.
Bunu neredeyse hiç insan yönlendirmesi olmadan, sadece kendisine yapıştırılan sorularla başardı. Araştırma Haziran ayında 14. Uluslararası Otomatik Kontrol Federasyonu Kontrol Eğitimindeki Gelişmeler Sempozyumunda sunulacak.
Ödevlerini tamamlamak için halihazırda yapay zeka araçlarını kullanan sayısız öğrenci için bu araştırma, birçok eğitimcinin korktuğu şeyi doğruluyor: ChatGPT gibi Büyük Dil Modelleri (LLM’ler), geleneksel üniversite müfredatının çoğunda ter dökmeden başarılı bir şekilde gezinebilir.
Yapay Zeka Tam Bir Mühendislik Kursunun Üstesinden Nasıl Geldi?
Araştırmacılar, yapay zeka sistemini orta düzey bir Havacılık ve Uzay Kontrol Sistemleri kursunda 115 ödev üzerinden değerlendirdi. Çalışma, ChatGPT’nin performansını çoktan seçmeli sorulardan karmaşık programlama görevlerine kadar birçok ödev türünde titizlikle test etti.
Araştırmacılar ChatGPT’yi öğrenciler arasında en erişilebilir ve en yaygın kullanılan yapay zeka sistemi olduğu için seçtiler. Test yaklaşımları, herhangi bir ek bağlam veya rehberlik sağlamadan sadece soruları kopyalayıp yapıştırarak minimum çabayla kurs ödevini tamamlayan gerçekçi öğrenci davranışını taklit etti.
YZ, çoktan seçmeli ödevler (%90,38) ve sınavlar (%89,72) gibi yapılandırılmış ödevlerde oldukça iyi performans gösterdi ve bu alanlarda genellikle sınıf ortalamasının üzerinde performans gösterdi. Ancak, açık uçlu projelerde önemli ölçüde zorlandı ve öğrencilerin %80,99’una kıyasla sadece %64,34 puan aldı.
“Bir öğrencinin bir soruyu yanıtlaması 20 dakika sürebilir. ChatGPT bunu 20 saniyeden daha kısa sürede çözüyor, ancak doğruluğu bazen sorgulanabilir” diyor Illinois Üniversitesi’nden çalışma yazarı Gokul Puthumanaillam.
Yapay Zekanın Yetersiz Kaldığı Noktalar
Yapay zeka örüntü tanıma konusunda başarılıdır, ancak derin bir anlayış ve pratik mühendislik yargısı gerektiğinde bocalamaktadır. Programlama ödevlerinde, YZ teknik olarak doğru kod üretebildiğini gösterdi, ancak bu çözümler genellikle verimsiz ve gereksiz yere karmaşıktı.
ChatGPT, proje raporları yazarken “uygunsuz karmaşıklık” eğilimi göstermiş, gelişmiş terminoloji ve uygun gerekçe olmaksızın kesin sayısal değerler kullanmış, bu da sıklıkla temel kavrama eksikliğini gizleyen bir model olmuştur.
Adil bir test sağlamak için araştırmacılar ChatGPT’yi üç farklı yönlendirme yöntemiyle değerlendirdi. Birincisi basitçe soruların ekran görüntülerini yükledi, ikincisi soruları basitleştirilmiş metne çevirdi ve üçüncüsü sorulardan önce ilgili ders notlarını ekledi. Beklendiği gibi, bağlam sağlamak performansı artırdı, ancak temel ekran görüntüsü yöntemi bile başarılı sonuçlar verdi.
Yapay Zeka Çağında Eğitim
Araştırmacılar, yapay zeka araçlarını yasaklamak yerine, insanların hala makinelerden daha iyi performans gösterdiği alanlar olan daha derin kavramsal anlayış ve pratik muhakeme gerektiren projeleri vurgulamak için kursları yeniden tasarlamayı öneriyor.
“Matematik derslerindeki hesap makineleri gibi ChatGPT de kalıcı ve öğrencilerin kullanacağı bir araç. Bu çalışmanın sonuçları bana bir eğitimci olarak uyum sağlamam gerektiğini gösterdi,” diyor Puthumanaillam’ın Illinois Üniversitesi’ndeki danışmanı Melkior Ornik.
Öğrenciler yapay zekanın kısayollarını kutlayabilir, ancak bu durum ödev yardımından daha derine iniyor. Bir bilgisayar temel bilgileri anlamadan dersinizi geçebiliyorsa, üniversite değerlendirmeleri önemli olanı ölçmüyor demektir.
Tek soru, eğitim sistemlerimizin buna uyum sağlayıp sağlamayacağı ya da giderek önemsiz hale gelip gelmeyeceği.
Derleyen: Feyza ÇETİNKOL
Kaynak: ChatGPT Mühendislik Derslerini Neredeyse Hiç İnsan Yardımı Almadan Geçti