Unveiling limitations in single-view 3D object reconstruction models
Tezin Türü: Yüksek Lisans
Tezin Yürütüldüğü Kurum: Boğaziçi Üniversitesi, FEN BİLİMLERİ ENSTİTÜSÜ, FEN BİLİMLERİ ENSTİTÜSÜ, Türkiye
Tezin Onay Tarihi: 2024
Tezin Dili: İngilizce
Öğrenci: MERVE GÜL KANTARCI
Danışman: BERK GÖKBERK
Açık Arşiv Koleksiyonu: AVESİS Açık Erişim Koleksiyonu
Özet:3B nesne geriçatma modelleri tipik olarak tek bir veri setinden, ShapeNetCore, öğrenir ve ShapeNetCore ile yüksek benzerlikli özellikleri ölçen veri setlerine karşı değerlendirilir. Bu çalışmada bu sınırlı değerlendirme sorununu, yeni zorluklara karşı modellerin dayanıklılıklarını ölçmek için testler önererek ele aldık. Önerdiğimiz testlerin etkinliğini göstermek için karşılaştırmada üç yaygın kullanılan modeli seçtik: 3D-C2FT, Pix2Vox, ve Occupancy Networks. Bu seçim, iki iyi bilinen 3B şekil temsilini kapsar: voksel ve örtük gösterim için doluluk fonksiyonu. İlk olarak, performans üzerinde arka plan renginin değişiminin etkisini araştırdık. Bu görünüşte basit değişkenin performansta önemli bir düşüşe sebep olduğunu bulduk. Modellerin, 2B girdilerdeki nesne boyutları değişse bile, orijinal senaryoya oldukça yakın bir performans sergilediklerini gözlemledik. Daha sonra, yeni tanıtılan 3DCoMPaT++ verisetini 3B geriçatma değerlendirmesi için uyarladık. 3DCoMPaT++ şekiller için malzeme ve parça etiketleri açısından zengindir. Bu setle, 2B imgelerde hafifçe değişen bakış açıları ve stillerle geriçatma performansını değerlendirdik. Sonuçlar, modellerin yeni durumlara uyum sağlamakta zorlandığını gösteriyor. En iyi senaryoda performansta belirgin bir düşüş gözlemlendi ve beklenmedik bir şekilde, standart ShapeNetCore deneylerinin en iyisi Pix2Vox, tüm yeni veri seti deneylerinde en düşük skoru elde etti. Ek olarak, geriçatması en zor nesne kısımlarını belirlemek için modeller parça seviyesinde değerlendirildi. 3DCoMPaT++ setindeki parça nokta bulutlarının bilgisini yüzey nokta bulutlarına L2 mesafesiyle aktardık. Değerlendirme için önerdiğimiz Parça F-Skor@0.01 metriğini kullandık. Böylece, önceki çalışmalarda sadece nitel gözlemlerle aktarılan detay ve ince kısımlarda düşük geriçatma performansı nicel olarak gösterildi.