Keyword search for sign language


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2020

Tezin Dili: İngilizce

Öğrenci: NAZİF CAN TAMER

Danışman: MURAT SARAÇLAR

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İşaret dili, işitme engellilerin temel iletişim aracıdır. Ancak işaret dilinden bilgiye erişim konuşma dilindeki kadar kolaylıkla mümkün olmamaktadır. Bu tezde, işaret dili için üç farklı bilgi erişimi tekniği sunulmuştur. İlk olarak, işitme engellilerin anadillerinde arama yapabilmelerini sağlamak amacıyla Dinamik Zaman Bükmesi temelli bir Örnekle Arama tekniği geliştirilmiştir. İkinci olarak sunulan çeviri tabanlı bir diller-arası arama tekniği ile işaret dili bilmeyenlerin yazı dilinden aramalarla işaretleri bağlam içerisinde öğrenebilmeleri amaçlanmıştır. Son olarak ise, bu tezin temel çıktısı olan düşük güdümlü öğrenmeye dayanan bir anahtar kelime arama tekniği geliştirilmiştir. Hem işaret hem yazı dilinden anahtar kelimelerle arama yapılabilen bu teknik, aynı zamanda iskelet pozisyon bilgileri ve el şekli öznitelikleri gibi farklı özniteliklerle ve farklı dizi kodlama metodlarıyla birlikte kullanılabilmektedir. Bu tez kapsamında HospiSign, RWTH-Phoenix-Weather 2014T ve MeineDGS Corpus veri kümelerinde gerçekleştirilen deneyler, iskelet pozisyonu özniteliklerinin genel olarak farklı işaret dili geri getirimi tekniklerinde, ve özellikle Uzam-Zamansal Çizge Evrişimli Sinir Ağları ile kullanıldığında, iyi başarımlara ulaştığını işaret etmektedir. Bunun yanı sıra, sadece düşük güdümlü öğrenme amacıyla eğitilen dikkat tabanlı modellerin anahtar kelimelerle ilintili zamansal bölgeleri kendiliğinden tespit edebildiği görülmüştür.