Multi-view structure from motion software platform for augmented reality applications

Abstract

Sensör, bilgisayar ve görselleme teknolojilerindeki hızlı gelişme, hareketten yapı çıkarımı tekniklerinin navigasyon, insan-bilgisayar etkileşimi, eğitim, eğlence ve eklenmiş gerçeklik gibi uygulamalarda kullanımı nı arttırmıştır. Hareketten yapı çıkarımı, genel olarak 2B öznitelik tespiti, öznitelik eşleştirme ve 3B öznitelik çıkarımından oluşur. Bizler gelişmiş bazı açık kaynak kodlu 3. parti araçları biraraya getiren bir yazılım platformu sunuyoruz. Bu araçlar genellikle komut satırından kullanılmakta ve birçok parametreye sahiptirler. Bu araçlar çıktı olarak kendi özel formatlarında dosyalar üretmektedirler ve kullanıcının bilgileri alabilmesi için bu dosyaları çözümlemesi gerekmektedir. Yazılım platformumuz, bu araçların konfigürasyonu ve önemli parametrelerin ayarlanması ve bunların yanı sıra da çıktıların istenildiği gibi çözümlenmesi ve saklanması için görsel birtakım arayüzler sunmaktadır. Platform ayrıca 2B özniteliklerin ve çıkarılan 3B noktaların karşılık gelen imgeler üzerinde gösteriminin yanında öznitelik noktaları arasında 3B mesafe ölçümüne olanak tanıyan görsel arayüzler de sağlamaktadır. Araştırmacıların kolayca erişimi için platformun kaynak kodunu açmayı planlıyoruz.

Rapid development of sensor, computer and display technologies led to increased usage of structure from motion techniques in many applications including navigation, human-computer interaction, training, entertainment, and augmented reality. Structure from motion techniques usually involve 2D feature detection, feature matching, and 3D feature extraction. We present a software platform which brings together state-of-the-art open-source third-party tools for structure from motion. These tools are generally used via a command prompt and have a large number of parameters. The output files of these tools also have their own specific format and users usually need to write special parsers to extract the information they need from these files. Our software platform provides several easy-to-use visual interfaces to configure and set the important parameters of these tools as well as parse/save their out files as desired. Our platform also provides visual interfaces to display the detected 2D features and extracted 3D points on their respective image frames, as well as allowing for making 3D distance measurements between feature points. We are planning to make the source-code of our system openly available to researchers.