Bootstrapping a speech recognition system bu using sliding video text recognition


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2009

Tezin Dili: İngilizce

Öğrenci: TEMUÇİN SOM

Danışman: MURAT SARAÇLAR

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

İşitme engelliler haber bültenlerinde bilgi üç kip ile aktarılır; konuşma, işaret dili ve kayan yazı. Bu çalışmada, otomatik konuşma tanıma sistemi eğitimi için otomatik çeviriyazı verisi üretmek amacıyla, Saklı Markov Model tabanlı çalışan kayan yazı tanıma sistemi tasarlanmıştır. Ardından, otomatik çeviriyazılar kullanılarak otomatik konuşma tanıma sistemi eğitilmiştir.Kayan yazı tanıma sistemi asgari video verisi kullanılarak eğitilmiştir. Kayan yazıyı modellemek ve tanımak için konuşma tanıma teknikleri kullanılmıştır. Temel sistem, test setini %2.2 kelime hata oranı ile tanımaktadır. Ardından, karakter hata analizi yapılmış ve bu hataları düzeltmek için karakter tabanlı dil modeli uygulanmıştır. Son olarak, yarı-öğreticili eğitim tekniği uygulanmış ve kelime hata oranında belirgin bir azalma gözlemlenmiştir. Kelime hata oranı %1' in altına indirilmiştir.Otomatik çeviriyazılar kullanılarak, otomatik konuşma tanıma sistemi eğitilmiştir. Konuşma verisi otomatik olarak bölütlenmiş ve çeviriyazılar ile hizalanmıştır. 83 video (11 saat) kullanılarak öğreticisiz konuşma tanıma sistemi eğitilmiştir. Öğreticisiz akustik model 200K dil modeli ile beraber kullanılarak yapılan sınamada %12.7 kelime hata oranı elde edilmiştir. Kayan yazı tanıma sistemi çıktıları kullanılarak dağırcık dışı kelime oranı azaltılmış ve dağarcık dışı kelime oranının tanıma performansına etkisi gözlemlenmiştir. Son olarak, aynı eğitim setinin manüel çeviriyazısı kullanılarak öğreticili akustik model eğitilmiştir. Öğreticisiz akustik modelin performansı, öğreticili model ile karşılaştırılmıştır. Öğreticili akustik model ile öğreticisiz akustik model performansları arasında %0.4' lük kelime hata oranı gözlemlenmiştir (12.7' den 12.3' e).