Advisor: an adaptive framework for test oracle automation of visual output systems

Abstract

Test oracles differentiate between the correct and incorrect system behavior. Automation of test oracles for visual output systems mainly involves image comparison, where a snapshot of the observed output during test is compared with respect to a reference image. Hereby, the captured snapshot can be subject to variations due to, for instance, scaling, shifting, rotation, or color saturation. These variations lead to incorrect evaluations. Existing approaches in the literature employ a combination of techniques from the computer vision domain to address a specific set of variations. However, some of these techniques might not be the most effective one for addressing a particular variation, while some other techniques might not be necessary in the absence of a particular variation, introducing an unnecessary performance overhead. In this paper, we introduce ADVISOR, an adaptive framework for test oracle automation of visual output systems. The framework allows the use of a flexible combination and configuration of alternative techniques from the computer vision domain. We evaluated several instances of our framework with respect to state-of-the-art tools. We achieved up to 3% better overall accuracy based on a benchmark dataset collected during the tests of real Digital TV systems. We also observed that the accuracy of tools can differ for particular variations in the captured images.Test kahinleri, doğru ve yanlış¸ sistem davranışını ayırt ederler. Görsel çıktı sistemleri için test kahinleri esas olarak test sırasında gözlenen çıktının anlık görüntüsü ile referans görüntünün karşılaştırıldığı, görüntü karşılaştırmayı içermektedir. Bu yaklaşımda anlık görüntü, yakalama metoduna bağlı olarak ölçekleme, kayma, dönme, veya renk doygunluğu gibi değişikliklere tabi olmuştur. Bu değişiklikler, yanlış değerlendirmelere neden olmaktadır. Bilgisayarlı görme alanında bu konulara değinen birçok teknik vardır. Literatürdeki mevcut yaklaşımlar, belirli bir varyasyon setini ele almak için bilgisayarlı görme alanındaki tekniklerin kombinasyonunu kullanır. Ancak bu tekniklerin bazıları, belirli bir varyasyonu ele almak için en etkili olanı olmayabilirken, bazı diğer teknikler, belirli bir varyasyonun yokluğunda gerekli olmayabilir ve bu nedenle gereksiz bir performans yükü oluşturur. Bu çalışmada, görsel çıktı sistemlerinin test kahini otomasyonu için uyarlamalı bir sistem olan ADVISOR'ı tanıtıyoruz. Sistem, bilgisayarlı görme alanından esnek bir kombinasyon ve alternatif tekniklerin yapılandırılmasına izin verir. Çalışmamızda, sistemimizin birkaç örnegini güncel araçlara karşı değerlendirdik. Gerçek Dijital TV sistemi testinde elde edilen kıyaslama veri setine dayalı 3% daha iyi genel doğruluğa ulaştık. Ayrıca, yakalanan görüntülerdeki belirli değişiklikler için araçların doğruluklarının farklılık gösterebileceğini de gözlemledik.