Continuous sign language translation with pretrained language models for Turkish sign language (TID)

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, SOSYAL BİLİMLER ENSTİTÜSÜ, SOSYAL BİLİMLER ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2025

Tezin Dili: İngilizce

Öğrenci: KARAHAN ŞAHİN

Danışman: KADİR GÖKGÖZ

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İşaret Dili Çevirisi (Sign Language Translation - SLT), işitme engelli ve işitme güçlüğü çeken bireyler için erişilebilirlik sistemleri sağlamayı amaçlayan bir yapay öğrenme görevidir. Bu alandaki son gelişmelerle birlikte, SLT kapsamında geliştirilen teknolojiler, büyük dil modelleri (Large Language Models - LLMs) ile büyük ölçekli eğitime doğru kaymıştır. Ancak, mevcut teknolojiler ve veri setlerinin büyük çoğunluğu Amerikan İşaret Dili (ASL) ve İngiliz İşaret Dili (BSL) için mevcuttur. Türk İşaret Dili (TID) için bu yeni teknolojilerin uygulanabilmesini sağlamak amacıyla, 500 saatten fazla video içeriği ve bunlara hizalanmış Türkçe çevirilerden oluşan, kamuya açık YouTube içeriklerini kullanarak oluşturulmuş ilk büyük ölçekli açık veri setini öneriyoruz. Bu veri seti, SLT araştırmaları için ölçeklenebilir ve tekrarlanabilir bir çerçeve sunmaktadır. Bu çalışma, işaret dili çeviri performansı üzerindeki etkilerini inceleyerek farklı özellik çıkarım stratejilerini (Lineer katman, Çok Katmanlı Algılayıcı (MLP), Evrişim (Conv1D) kodlayıcılar), model boyutlarını ve ön eğitim yaklaşımlarını (çok dilli veya Türkçe'ye özgü) karşılaştırmaktadır. Ayrıca, dil odaklı uygulamalara yönelik teorik bir temelden türetilen, referans çeviri artımı için yeniden ifade (paraphrasing) ve işaret dili odaklı veri artımı (augmentation) yöntemleri ile bu çalışmada Türk İşaret Dili'nden Türkçe'ye çeviri için denektaşı sistemi sağlamaktadır.