Server and client-side algorithms for enhancing adaptive streaming

Abstract

HTTP adaptive video streaming is a technique widely used on the internet today to stream live and on-demand content. Server and client-side algorithms play an important role in improving user experience in terms of metrics such as latency, rebufferings and rendering quality. After explaining the commonly used metrics, we analyzed four main aspects of video streaming (i) bandwidth prediction accuracy, (ii) utilization of playback speed, (iii) adaptive streaming for content-aware-encoded videos, and (iv) head motion awareness for 360-degree videos. 360-degree video streaming requires much higher bandwidth compared to conventional video streaming. We demonstrate that most of the algorithmic improvements achieved for video streaming can also be applied to Viewport Dependent Streaming (VDS) for 360-degree videos. It is also important that in 360-degree video streaming, we have a Head Mounted Display (HMD) device that is capable of pointing the viewport orientation of the user. We also investigate and improve the rate-adaptation algorithms for 360-degree videos by developing several new algorithms making use of the HMD. The new algorithms proposed in this thesis are Low-on-Latency (LoL), Low-on-Latency+ (LoL+), Bang-on-Bandwidth (BoB), Size-aware Rate Adaptation (SARA), Content-aware Playback Speed Control (CAPSC), Head-motion-aware Viewport Margins (HMAVM).We evaluate the proposed new algorithms using the objective metrics discussed in detail and show significant contributions for these new algorithms including up to 91% decrease in rebuffering duration for on-demand streaming, 61.9% decrease in rebuffering duration and 8.1% decrease in latency compared to L2A for low-latency live streaming, 81.3% bandwidth prediction accuracy for interactive streaming, lastly 20% improvement in viewport quality and 50% reduction in motion-to-high-quality delay for 360-degree video streaming.

HAS (HTTP adaptive streaming) günümüzde internet üzerinde canlı ve isteğe bağlı içerikleri yayınlamak için oldukça yaygın kullanılan bir tekniktir. Sunucu ve istemci tarafında geliştirilen algoritmalar kullanıcı deneyimini gecikme, donma ve seyir kalitesi metriklerine göre daha iyileştimek için önemli bir rol oynamaktadır. Genel olarak kullanılan metrikleri açıkladıktan sonra, video yayınını dört ana kategori altında analiz ettik (i) bant genişliği tahmini doğruluğu, (ii) oynatma hızının ayarlanması, (iii) içeriğe duyarlı kodlanmış videolar için uyarlanabilir yayın, ve (iv) 360-derece videolar için kafa hareketi duyarlılığı. 360-derece video yayımı, geleneksel yayınlara göre çok daha fazla bant genişliğine ihtiyaç duymaktadır. Bu çalışmada video yayınları için geçerli olan çoğu algoritma iyileştirmelerinin 360-derece VDS (Viewport Dependent Streaming) yayınlarında da kullanılabileceğini gösteriyoruz. 360-derece video yayınında HMD (Head Mounted Display) olarak bilinen bir aparat ile kullanıcının nereye baktığının bilgisini tespit etmek mümkün olmaktadır. Ayrıca, HMD cihazını kullanan yeni algoritmalar geliştirmek suretiyle 360-derece videolar için hız uyarlama algoritmalarını inceliyor ve iyileştiriyoruz. Bu tezde geliştirdiğimiz yeni algoritmalar şu şekildedir; Low-on-Latency (LoL), Low-on-Latency+ (LoL+), Bang-on-Bandwidth (BoB), Size-Aware Rate Adaptation (SARA), Content-Aware Playback Speed Control (CAPSC), Head-Motion-Aware Viewport Margins (HMAVM). Geliştirilen bu yeni algoritmaları detaylıca açıklanan objektif metrikleri kullanarak değerlendiriyoruz ve bu yeni algoritmaların, isteğe bağlı akış için donma süresinde %91'e varan azalma, düşük gecikmeli canlı yayın için L2A algorıtmasına kıyasla donma süresinde %61.9 azalma ve gecikme süresinde %8.1'e varan azalma, interaktif yayında %81.3 bant genişliği tahmin doğruluğu, son olarak 360-derece video akışında görüntü alanı kalitesinde %20 iyileşme ve hareketten yüksek kaliteye gecikme süresinde %50 azalma dahil olmak üzere kayda değer katkılarını gösteriyoruz.