Design and implementation of a response retrieval and reranking system


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2022

Tezin Dili: İngilizce

Öğrenci: MUSTAFA CAN DEVECİ

Danışman: MURAT SARAÇLAR

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu yüksek lisans tezinde, çalışmaya BM25 yanıt edinimi ve BERT Transformer modeli bazlı yeniden sıralama adımlarından oluşan genel bir yanıt alma ve yeniden sıralama sistemiyle başlanmıştır. Bu baz yaklaşımının üzerinde birtakım genel parametre değişikliklerinin ve BERT model boyutunun sistem performansı üzerindeki etkileri araştırıldıktan sonra, TF-IDF yanıt edinimi ve Cross-Encoder yeniden sıralama yaklaşımlarına dayalı bir yanıt edinim ve yeniden sıralama sistemi baştan tasarlanmış ve gerçeklenmiştir. Derin Öğrenme modellerinin yeniden sıralama adımına uygulanmasıyla tutarlı bir sıralama performansı artışı gözlemlenmiştir. Bu tezin araştırma odağı olarak farklı Transformer modellerinin karşılaştırmalı performans çalışması seçilmiştir. Daha hızlı ve daha verimli bir şekilde eğitilebilen ve test edilebilen görece çok daha küçük Transformer modellerle, büyük modellere nazaran eşit veya en azından nispeten rekabetçi sonuçlar elde edilmesi hedeflenmiştir. Nitekim, küçük Transformer modellerinin nispeten daha büyük modellerden daha iyi performans gösterebileceği gösterilmiştir. Son olarak, bu yanıt sıralama sistemi, belirli bir sorunun cevabının bir pasajın alt kümesi olarak arandığı Soru Cevaplama görevi için yeniden kullanılmıştır. Sistem üzerinde Soru Cevaplama görevine yönelik herhangi bir modifikasyon yapılmadan yanıt sıralama yaklaşımı doğrudan kullanılmasına rağmen, araştırmaya açık ve umut vadeden sonuçlar elde edilmiştir.