Enhancement of 360-video experience during head motion

Abstract

Efficient use of available bandwidth is vital when streaming 360-degree videos, as users rarely have enough bandwidth for a pleasant experience. The combination of viewport-dependent streaming (VDS) and rate adaptation is a promising solution to efficient bandwidth use. In VDS, the whole spherical video can be partitioned into several tiles encoded at various quality levels. The goal of this combination is to spend most of the available bandwidth on the viewport tiles. However, the direction and amount of the head motion can change the viewport tiles, resulting in low-quality content rendering until the new tiles can be replaced with high-quality versions. Moreover, head motions can influence the perception of the content to a human eye, where users can experience unfocused (blurry) content on fast head motions. First, the concept of Head-motion-aware Viewport Margins (HMAVM) was developed as a head motion-dependent safety area around the viewport and evaluated using a human head motions dataset. Later, this thesis studies how moving the head may impact the objective viewport quality assessment at short, medium and long timescales.

Kullanıcılar tatmin edici bir 360 derece video deneyimi için nadiren yeterli bant genişliğine sahip olduklarından, 360 derecelik videolar yayınlanırken mevcut bant genişliğinin verimli kullanımı hayati önem taşır. Kullanıcıların görüntü alanına bağlı akış ve uyarlanabilen video kalitesi birleşimi, verimli bant genişliği kullanımı için umut verici bir çözümdür. Görüntü alanına bağlı akışta, tüm küresel video, çeşitli kalite seviyelerinde kodlanmış birkaç parçaya bölünebilir. Bu kombinasyonun amacı, mevcut bant genişliğinin çoğunu görünüm alanı parçalarına harcamaktır. Bununla birlikte, kafa hareketinin yönü ve miktarı, görüntü alanı parçalarını değiştirebilir, bu da yeni döşemeler yüksek kaliteli halleriyle değiştirilene kadar düşük kaliteli içerik görmek ile sonuçlanır. Ayrıca, kullanıcıların hızlı kafa hareketlerinde odaklanmamış (bulanık) içerik yaşayabilmesi gibi, baş hareketleri içeriğin insan gözü tarafından nasıl algılandığını etkileyebilir. İlk olarak, Baş Hareketine Duyarlı Görüntü Alanı Kenar Boşlukları (HMAVM), görüntü alanı çevresinde baş hareketine bağlı bir güvenlik alanı olarak geliştirildi ve kafa hareketlerinin etkisini en aza indirmek için gerçek insan kafa hareketlerinden oluşan veri seti kullanılarak değerlendirildi. Daha sonra, bu tez, kafayı hareket ettirmenin kısa, orta ve uzun zaman ölçeklerinde objektif bakış açıdan kalite değerlendirmesini nasıl etkileyebileceğini inceledi.