Appearance-based cognition of objects pointed out by human hands
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye
Tezin Onay Tarihi: 2021
Tezin Dili: İngilizce
Öğrenci: MİRHAN ÜRKMEZ
Danışman: HURİYE IŞIL BOZMA AYDIN
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:Bu tezde, bir robotun insanlarla onların nesneleri elle göstermeleri suretiyle etkileşime girerek, renk ve derinlik (RGB-D) verilerini kullanarak gösterilen nesneyi tanımaları veya öğrenmeleri konusunda çalışılmıştır. Bu problemin ilginç olmasının sebebi, tam güdümlü öğrenmeden farklı olarak görünüşlerin etiketlenmelerine gerek olmaması, ancak güdümsüz öğrenmede olduğu gibi de robotun nesnelere ait muhakemesinde tamamiyle tek başına olmaması nedeniyle nesne bilişinin daha insan-benzeri olabilmesidir. Önerilen yaklaşım üç ana aşamadan oluşmaktadır. İlk olarak, robot insanın işaret ettiği yönü belirlemeye çalışır. Bunun için robot evrişimsel sinir ağı temelli bir yaklaşımla RGB verisinden el ve insanın yerlerini ve şekillerini belirler. Ardından, bu bilgiyi derinlik verisiyle tümleştirerek ve yoğunluk bazlı bir bölütleme algoritması uygulanarak üç-boyutlu el bölütünü bulur. Bu bölütün geometrik özellikleri kullanılarak üç boyutlu işaret yönü hesaplanır. Değerlendirma amaçlı kıyaslama veri setlerinin olmaması nedeniyle, değişken robot-insan uzaklıkları ve geniş işaret yönü çeşitliliği içeren bir RGB-D veri seti hazırlanmıştır. İkinci aşamada, robot işaret edilen nesneyi belirler. Bunun için, aday nesnelere ait bölütler belirlenir ve aralarından en büyük hedef puanına sahip olan işaret edilen nesne olarak seçilir. Hedef puanı, işaret yönüne ve nesne konumlarına bağlı olarak hesaplanır. En son aşamada, bu nesnenin tanınması ve tanınamadığı durumda ise öğrenilmesi yapılır. Burada, sıradüzensel bir mimariye sahip nesneler belleği önemli bir rol oynar. Tanınamayan nesneler, bir denetimsiz öğrenme yöntemiyle yeni nesneler olarak bu belleğe eklenir. Bildiğimiz kadarıyla, önerilen yaklaşım robotun karar vermesinin tamamen otonom olduğu ilk uçtan uca sistemdir. Önerilen yaklaşım iki ana avantaja sahiptir: i) İnsan uzaklığı ve arka plan değişiminden bağımsız olarak geniş bir yelpazede robot-insan etkileşimi senaryolarında uygulanabilir olması; ii) Nesneler bilişinin insanın işaret ettiği nesneleri kapsayacak şekilde sürekli gelişebilme yetisine imkan sağlaması.