Illumination-guided inverse rendering benchmark : learning real objects with few cameras

Abstract

The field of 3D computer vision and graphics has seen a rapid expansion of late, making the development of realistic virtual environments and digital representations of real-world objects possible. Fundamental to this development are 3D reconstruction techniques that enable the transition of physical objects’ form, color, and surface particulars to the virtual domain. Current approaches mainly rely on neural scene representations, which, despite being effective, face challenges such as the need for a large quantity of captured images and the complexity associated with converting these representations into explicit geometric forms. An alternative strategy that has gained traction is the deployment of methods such as physically-based differentiable rendering (PBDR) and inverse rendering. These approaches require fewer viewpoints, yield explicit format results, and ensure a smoother transition to other representation methods. However, in order to effectively assess the performance of the available methods in 3D reconstruction, it is imperative to utilize standard benchmark scenes for comparison. Although there are standard objects and scenes available in existing research, there is a noticeable deficiency of real-world benchmark data that simultaneously captures camera, lighting, and scene parameters — all of which are essential for high-quality 3D reconstructions using methods based on PBDR and inverse rendering. In this study, we present a method for capturing real-world scenes as virtual environments, incorporating lighting parameters along with camera and scene parameters to enhance the veracity of virtual representations. In addition, we provide a set of ten realworld scenes, each with its corresponding virtual counterparts, purposely designed as benchmarks. These benchmarks cover a basic assortment of geometric structures, such as convex, concave, flat, and composite surfaces. Furthermore, we showcase the 3D reconstruction results of cutting-edge 3D reconstruction techniques using PBDR in real-world scenes, using both established methodologies and our proposed one.

Son dönemde 3B bilgisayar görüsü ve grafik alanında hızlı bir genişleme yaşanmış olup, gerçekçi sanal ortamların ve gerçek dünya nesnelerinin dijital temsillerinin geliştirilmesini mümkün kılmıştır. Bu gelişmenin temelinde, fiziksel nesnelerin şekil, renk ve yüzey özelliklerinin sanal ortama aktarılmasını mümkün kılan 3B rekonstrüksiyon teknikleri yer almaktadır. Mevcut yaklaşımların çoğunluğu, genellikle etkili olsalar da, büyük miktarda görüntüye ihtiyaç duymaları ve ürettikleri 3D rekonstrüksiyonun standart formatlara çevrilmesine ilişkin zorluklarla karşı karşıyadır. Son dönemde dikkat çeken alternatif bir strateji, fiziksel temelli türevlenebilir renderleme (FTTR) ve ters renderleme gibi yöntemlerin kullanılmasıdır. Bu yaklaşımlar, daha az bakış açısı gerektirir ve standart formatlarda sonuçlar verir. Bununla birlikte, 3B rekonstrüksiyondaki mevcut yöntemlerin performansını etkili bir şekilde değerlendirebilmek için standart ölçüt sahneleri kullanmak son derece önemlidir. Mevcut araştırmalarda standart nesne ve sahneler olsa da, FTTR ve ters renderleme tabanlı yöntemlerle yüksek kaliteli 3B rekonstrüksiyonlar için gereken kamera, aydınlatma ve sahne parametrelerini aynı anda yakalayan gerçek dünya ölçüt verilerinin belirgin bir eksikliği bulunmaktadır. Bu çalışmada, gerçek dünya sahnelerinin ışık parametrelerini de içeren sanal ortamlar olarak yakalanması için bir yöntem sunmaktayız. Ayrıca, temel geometrik yapıların, yani konveks, konkav, düz ve bileşik yüzeylerin yer aldığı bir dizi gerçek dünya sahnesi ve bunların karşılık gelen sanal versiyonlarını içeren bir ölçüt seti sunmaktayız. Ayrıca, FTTR kullanarak son teknoloji 3B rekonstrüksiyon tekniklerinin gerçek dünya sahnelerindeki sonuçlarını, mevcut yöntemlerle birlikte önerdiğimiz metodolojileri kullanarak sergilemekteyiz.