Disentangled representation learning in isolated sign language recognition

---

Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2023

Tezin Dili: İngilizce

Öğrenci: İPEK ERDOĞAN

Danışman: İNCİ MELİHA BAYTAŞ

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Temsil öğrenimi, derin öğrenme görevlerinin önemli bir parçasıdır. Tanıma, oluşturma ve sınıflandırma modellerinde iyi performans elde etmek, büyük ölçüde anlamlı ve güvenilir temsilleri öğrenmeye bağlıdır. Gereksiz ayrıntılardan etkilenmeyen bilgilendirici temsiller toplamak, her koşulda önemlidir. İşaret Dili Tanıma (İDT), derin öğrenme modellerinin başarıyla kullanıldığı alanlardan biridir. İşaret dili, işitme ve konuşma engelli insanlarla iletişimde kullanılan birincil iletişim aracıdır. İşaret dilini bilenler ve bilmeyenler arasında bilgi alışverişini sağlamak için kullanılan işaret dili tanıma modelleri vardır. İşaret dili tanıma modellerinin girdileri videolar olduğundan, Evrişimsel Sinir Ağları, tanıma modellerinin temel parçalarından biridir. Bununla birlikte, Evrişimsel Sinir Ağları tabanlı tanıma modelleri, yüz özellikleri, el ve vücut şekli ve ten rengi gibi kimlik ilintili özellikleri yakalama ve kodlama eğilimindedir. Bu, yüz tanıma modelleri, yürüyüş tanıma modelleri, görüntü manipülasyonu modelleri veya kişi yeniden tanımlama modelleri gibi görsel derin öğrenme modellerinde yaygın rastlanan bir sorundur. Bu tezde, İDT modellerinin işaretçi özelliklerinden etkilenmemesi için işaret ve işaretçi temsillerindeki gizli faktörleri ayırmak ve işaretçi özelliklerinden kaynaklanan ilgisiz bilgilerini ortadan kaldırmak için işaretçi bilgisinden ayıklanmış bir temsil öğrenme yöntemi önerilmiştir. Düzenlileştirilmiş hasmane eğitim de dahil olmak üzere çeşitli ayıklanmış öğrenme teknikleri araştırılmıştır. Deneyler, izole edilmiş iki Türk işaret dili veri kümesi üzerinde yapılmıştır. Özellik ayıklamanın etkisi ve tanıma performansını iyileştirme potansiyeli, niteliksel ve niceliksel analizlerle tartışılmıştır.