Audio-visual saliency in omnidirectional panoramic scenes


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, SOSYAL BİLİMLER ENSTİTÜSÜ, SOSYAL BİLİMLER ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2024

Tezin Dili: İngilizce

Öğrenci: HALİT ÖZSOY

Danışman: İNCİ AYHAN

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Sanal gerçeklik cihazlarının daha yaygın hale gelmesiyle, insanların panoramik sahneleri nasıl keşfettiklerini araştırmak ilgi çekici bir konu haline gelmiştir. Bu tür ortamlarda görsel dikkati tahmin etmek için çeşitli hesaplamalı modeller mevcuttur. Ancak, mevcut literatür, belirginlik haritalarını tahmin ederken işitsel ipuçlarını büyük ölçüde göz ardı etmektedir. Daha yetkin modellerin yolunu açmak için, sahne özelliklerinin ve ses kategorilerinin görsel keşfi nasıl etkilediğini araştırdık. Bu bağlamda, çeşitli ses ve mekanlara ait anlamsal kategorilerin gözlemci dikkatini nasıl etkilediğini ve bu tür etkilerin farklı renk ve ses modülasyonları arasında nasıl farklılaştığını bir deney yaparak ve yeni bir göz hareketi izleme veri seti oluşturarak araştırdık. Analizler, gözlemcinin 360° videoları serbestçe izlerkenki keşif davranışının, farklı ses kategorileri arasında tamamen değiştiğini ortaya koydu. Sesin mekansal özellikler içerip içermediğine bakılmaksızın, sesin varlığı bu keşif davranışını güçlü bir şekilde yönlendirdi. Renk içeriği ise benzer bir etkiye sahip değildi. Ayrıca, katılımcılara serbest izleme, arama ve hafıza geri çağırma görevlerinde farklı renklerde basit üç boyutlu görsel-işitsel uyaranlar göstererek gerçekleştirilen bir psikofizik deneyi ile farklı görev türlerinin göz sabitlemeleri üzerindeki etkileri araştırıldı. Analiz sonuçları, renk kontrast seviyeleri dışında modüle edilen özelliklerin hiçbirinin bir etkisi olmadığını, dolayısıyla bir görev mevcut olduğunda yalnızca görevle ilişkili özelliklerin göz sabitlemleri üzerinde rol oynadığına işaret etmektedir.