Acceleration of image processing modules in wide-area aerial surveillance

Abstract

Wide Area Aerial Surveillance (WAAS) is a type of surveillance system that refers to monitoring of large geographical areas in real-time. A WAAS system is designed using multiple cameras and/or sensors mounted on an Unmanned Aerial vehicle (UAV). WAAS systems can scan an area of several square kilometers at once. However, the huge amount of data collected by WAAS systems can be challenging to process in real-time on board of the aircraft. This study proposes to use Graphics Processing Units (GPU) and multi-core programming techniques to accelerate the performance of the four key modules of a WAAS system: image matching/stitching, object detection, tracking, and super-resolution. Image matching/stitching involves registering and combining multiple images captured by cameras on UAV to create a panoramic image, in other words, the mosaic image of the area being monitored. Object detection and tracking modules involve identifying and tracking the movements of objects, such as cars, trucks, and people. Finally, the super-resolution module uses computational techniques to enhance the resolution of the images and provides more details on the images. The WAAS system's speed and efficiency are significantly improved by using the GPU and multi-core programming techniques to accelerate these modules. GPUs are well-suited to this task because they are designed for parallel processing, allowing them to process large amounts of data in real-time. The experiments show that using GPUs and multi-core programming techniques can significantly improve the performance of image stitching, object detection, tracking, and super-resolution, making it possible to execute these modules in parallel and process the large amount of data collected from WAAS in real-time. The accelerated modules are tested on NVIDIA Jetson AGX Xavier embedded GPU card for challenging test scenarios, demonstrating their potential for real-time surveillance on edge devices.Geniş Alan Havadan Gözetleme, GAHG, geniş coğrafi alanların gerçek zamanlı olarak izlenmesini ifade eden bir tür gözetim sistemidir. GAHG sistemi, insansız hava aracı (İHA) üzerine monte edilmiş birden fazla kamera veya sensör kullanılarak tasarlanmaktadır. GAHG sistemleri tek seferde birkaç kilometrekarelik bir alanı tarayabilir. Ancak, GAHG sistemleri tarafından toplanan büyük miktardaki verilerin uçakta gerçek zamanlı olarak işlenmesi zor olabilir. Bu çalışma, bir GAHG sisteminin dört temel modülünün performansını hızlandırmak için grafik işleme birimleri (GPU) ve çok çekirdekli programlama tekniklerinin kullanılmasını önermektedir: görüntü eşleştirme/birleştirme, nesne algılama, izleme ve süper çözünürlük. Görüntü eşleştirme/birleştirme, panoramik bir görüntü, başka bir deyişle izlenen alanın mozaik görüntüsü oluşturmak için İHA'daki kameralar tarafından çekilen görüntülerin kaydedilip birleştirilmesini içerir. Nesne tespit ve takip modülleri, arabalar, kamyonlar ve insanlar gibi nesnelerin hareketlerini tespitini ve takibini içerir. Son olarak, süper çözünürlük modülü, görüntülerin çözünürlüğünü artırır ve görüntüler hakkında daha fazla ayrıntı sağlar. Bu modülleri hızlandırmak için GPU ve çok çekirdekli programlama teknikleri kullanılarak WAAS sisteminin hızı ve verimliliği önemli ölçüde iyileştirilmiştir. GPU'lar, paralel işleme için tasarlandıkları ve büyük miktarda veriyi hızlı bir şekilde işlemelerine izin verdiği için bu görev için çok uygundur. Deneyler, GPU'ları ve çok çekirdekli programlama tekniklerini kullanmanın, GAHG sistemi modüllerinin performansını önemli ölçüde iyileştirebileceğini ve bu modüllerin paralel olarak yürütülmesini ve GAHG'tan toplanan büyük miktarda verinin gerçek zamanda işlenmesini mümkün kıldığını gösteriyor. Hızlandırılmış modüller, zorlu test senaryoları için NVIDIA Jetson AGX Xavier gömülü GPU kartı üzerinde test edilerek uç cihazlarda gerçek zamanlı gözetim potansiyelleri ortaya konmuştur.