Semantic scene analysis through visual exploration and learning


Tezin Türü: Yüksek Lisans

Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye

Tezin Onay Tarihi: 2019

Tezin Dili: İngilizce

Öğrenci: DOĞAN PATAR

Danışman: HURİYE IŞIL BOZMA AYDIN

Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu

Özet:

Bu tezde, robot üzerindeki yatay dikey açı hareketli kamera kullanılar sahnenin nesne haritasını oluşturulması ve kullanımı incelenmiştir. Oluşturulan nesne haritası sahneyi anlamsal olarak analiz edebilmek için önemlidir; ancak, bu problemin çözümü için birçok sorununda değerlendirilmesi gerekmektedir. Nesne tespiti, sahnenin keşfi, nesnelerin tanınması, sahne haritasının oluşturulması ve doğrulanması değerlendirilmesi gereken sorunlardır. Bu çalışmada robotun kendi kendine nesne haritalarını oluşturabileceği şekilde her bir problem için bir dizi yaklaşım ileri sürlmüştür. İlk olarak, nesne tespiti ve sahne keşfinin eş zamanlı yapılabildiği bir yöntem önerilmiştir. Bu yönteme göre robot keşfettiği nesnelere göre kafa hareketlerini kontrol edip etrafına bakmaktadır. Bu esnasında da bölütlerin uzay-zamansal takibini yaparak, tutarlı bölütleri nesne adayı olarak belirlenmektedir. Ayrıca, bu tespit edilen nesne adaylarının öğrenilmesi ve tanınması için bir yöntem daha önerilmiştir. Bu yöntem iki ana kısımdan oluşmaktadır. Bunlardan ilki robotun gelişen uzun süreli nesne kategori hafızasıdır. Bu kısımda öğrenilen nesne kategorileri en alt düğümde bulunacak şekilde hiyerarşik bir yapı oluşturulur. İkinci kısımda ise robot tanıyamadığı nesneleri kısa süreli hafızasında biriktirir. Belli bir miktara kadar biriktiğinde yeni kategoriler oluşturulup uzun süreli hafıza güncellenir. Son olarak nesnelerin yatay-dikey açı pozisyonları ve kategorilerine göre robot merkezli nesne haritası oluşturulmaktadır. Robotun bir sahneyi tekrar ziyaret etmesi durumunda hafızadan gelen ve oluşturduğu sahne karşılaştırılarak doğrulama yöntemi sunulmuştur. Her bir yaklaşım deneyler yapılmış ve ayrıntılı olarak değerlendirilmiştir.