A stereo HMD system with visual and inertial data capture for 3D augmented reality applications

Abstract

Augmented Reality (AR) technology has been considered to have a great potential in many different areas such as medical visualization, manufacturing, entertainment and cultural heritage for enhancing human-computer interaction (HCI) and improving user experience. It has been receiving growing interest by several major companies including Apple, Google, Microsoft and Sony. The main objective of augmented reality applications is to give realistic feeling of immersion with overlaying computer generated virtual scene images over user's view through specialized displays. Seamless blending of virtual scene elements on top of real world elements is one of the main requirements for immersive AR applications and it requires a high-accuracy 3D tracking. This thesis deals with the design and development of an augmented reality (AR) system that is made up of a head-mounted display (HMD) unit, visual and inertial sensors. A camera pair is employed as the visual sensor, and the inertial sensor (IMU) unit houses an accelerometer and a gyroscope. The system tries to improve the accuracy of tracking by combining measurement data from visual sensors (cameras) with inertial sensors (accelerometer, and gyroscope). The main objective of this work is the development of a stereo HMD system with visual and inertial data capture for 3D augmented reality applications. The work reported in this thesis was supported by The Scientific and Technological Research Council of Turkey (TÜBİTAK) under the project numbered EEEAG-110E053, which is developed in Özyeğin University.

Eklenmiş gerçeklik teknolojisi (AR), sağlık ve endüstriyel eğitim, eğlence ve kültürel miras gibi farklı alanlarda kullanıcı deneyimi ve bilgisayar-insan etkileşimini artırmada büyük bir potansiyele sahip olarak görülmektedir ve Apple, Google, Microsoft ve Sony gibi büyük firmalarin ilgisini artarak çekmektedir. Eklenmiş gerçeklik uygulamalarının ana amacı, kullanıcıya özel ekranlar aracılığı ile kendi gördüğü görüntü üzerine bilgisayar ile oluşturulmuş görüntüleri birleştirerek yüksek gerçeklik hissini vermektir. Sanal nesneler ile gerçek dünya nesnelerinin birbirlerine kusursuz birleşimi eklenmiş gerçeklik uygulamalarının ana gereksinimlerinden biridir ve yüksek hassasiyette 3 boyutlu takip sistemini ihtiyaç duyar. Bu tez çalışması, eylemsizlik (IMU) ve görsel algılayıcılardan oluşan başa takılan bir ekran (HMD) tabanlı eklenmiş gerçeklik sisteminin tasarım ve geliştirmesini ele almaktadır. Görsel algılayıcı bir kamera çifti ve eylemsizlik algılayıcılar (IMU) ise sırasıyla ivmeölçer ve açısal hız ölçerden oluşmaktadır. Sistem, görsel ve eylemsizlik algılayıcılarından aldığı verileri birleştirerek 3 boyut takip hassasiyetini arttırmaya çalışmaktadır. Çalışmanın ana amacı, görsel ve eylemsizlik algılayıcılarından veri toplayacak, stereo başa takılan ekran tabanlı 3 boyutlu eklenmiş gerçeklik sistemi geliştirmektir. Bu tezde raporlanan çalışma, Özyeğin Üniversitesi'nde geliştirilen ve Türkiye Bilimsel ve Teknolojik Araştırma Kurumu (TÜBİTAK) tarafından desteklenen EEEAG-110E053 numaralı proje dahilinda yapılmıştır.