Bir Yapay Zeka İşaret Dilini Konuşmak Üzere Eğitildi: İşaret Dili Tercümanı Olarak Çalışabilir
İki grup bilim insanı işaret dilleriyle çalışan yapay zeka modelleri geliştirdi. Biri işaret dilinden sesli dillere çeviri yapıyor, diğeri ise tam tersi yönde çalışıyor, metni işaret diline çeviriyor. Bu durumda, jestler bir avatar tarafından yeniden üretilir.
BM’ye göre, dünyada 70 milyondan fazla işitme engelli insan düzenli olarak işaret dillerini kullanmaktadır. Bugüne kadar 300’den fazla farklı işaret dili tanımlanmıştır.
İşaret dilleri sadece işitme engelliler tarafından kendi aralarında değil, aynı zamanda onlarla iletişim kuran normal işiten insanlar tarafından da kullanılmaktadır.
Bir yetişkin olarak işaret dilini öğrenmek zordur, ancak bazı durumlarda gereklidir. Örneğin, normal işiten ebeveynlerin sağır bir çocuğu büyüyorsa.
İşaret dilinden ses diline otomatik çeviri sorunu, örneğin metnin metne dönüştürüldüğü İngilizce’den Rusça’ya çeviriden çok daha zordur.
İşaret diliyle çalışırken, hareketleri (video) tanımanız ve hareketleri metne (veya sese) dönüştürmeniz ve ters yönde, metni hareketlere (video) dönüştürmeniz gerekir.
İşaret dilini metne dönüştürme
Ancak yapay zeka bu sorunu çözmeye yardımcı oluyor. Makalede, işaret dilindeki bir mesajı metne dönüştüren Sign2GPT adlı yapay zeka modeli anlatılıyor. Model, işaret dillerinin video kayıtları üzerinde eğitildi.
Bu durumda görüntü analizinin karmaşıklığı, işaret dilinin esasen üç boyutlu olmasından da kaynaklanmaktadır (dilin ana aracı olan el, sadece yukarı ve aşağı değil, aynı zamanda ileri ve geri de hareket eder ve video görüntüsü iki boyutludur). -boyutludur).
Kelimelerin ve cümlelerin anlamı jestlerin sırasına ve hatta bazı durumlarda tempoya bağlı olduğundan, tek tek kareleri analiz etmek yeterli değildir. Ancak, geliştirilen model işaret dilini güvenle metne çevirir.
Metni işaret diline dönüştürme
Daha da karmaşık bir görev, birkaç Amerikan üniversitesinden bilim insanlarından oluşan bir ekip tarafından çözüldü.
Makalede SignLLM yapay zeka modeli anlatılıyor. Bu model de videodan işaret dilini öğreniyordu ancak amacı farklıydı: metni videoya dönüştürmek. Model metni girdi olarak alıyor ve işaret dili çevirisini gerçekleştiren bir avatar görüntüsünü simüle ediyor.
İki ekibin atmayı planladığı bir sonraki adım, her iki modelin yeteneklerini bir araya getirmek ve ses tanıma ve sentezleme eklemek.
Böylece işitme engelli insanların iletişimi, normal işiten insanların iletişimine yaklaşacaktır. Bilim insanları böyle bir model geliştirmenin sadece mümkün değil, aynı zamanda yakın gelecekte başarılabilir olduğuna inanıyor.
Derleyen: Feyza ÇETİNKOL
Kaynak: Bir Yapay Zeka İşaret Dilini Konuşmak Üzere Eğitildi: İşaret Dili Tercümanı Olarak Çalışabilir
Robot Gerçek Taşlarla Satranç Oynarken Hamleleri Kelime ve Jestlerle Yorumluyor