Prioritization and parallel execution of test cases for certification testing

Abstract

Systems that are developed in the consumer electronics domain are subject to testing for certification regularly. For instance, each Smart TV product must go through a certification process that is regulated by application vendors like Netflix, YouTube and Amazon. There exist a separate test suite to be used as part of the certification process pertaining to each application. Each test suite includes hundreds of test cases. Many of these test cases have to be executed manually and it might take several days to complete the execution of certification test suites. There also exists a high variation among the execution times of test cases and severities of faults detected by these test cases. Therefore, prioritization of test cases and parallel test execution can significantly impact the duration and effectiveness of the process. We measure test effectiveness by calculating the average of the percentage of faults detected. In this thesis, we introduce variants of existing metrics to take parallel test execution, varying test execution times, and fault severity levels in ordinal scale into account. We also propose an approach for prioritizing such test cases that can be executed on multiple test stations in parallel. We employ integer linear programming for optimizing the allocation of test execution tasks on a set of available test stations. The goal of this allocation is to minimize the overall test execution time. Test cases that are allocated to a particular stations are executed in increasing order of their execution times. We conducted an industrial case study in the context of certification testing for Smart TV software. We used certification test suites of 3 Smart TV applications applied on 3 TV software projects as real experimental objects. We repeated our measurements for two test cycles for each project, adding up to 6 tests performed for each of the 3 test suites. So, our evaluation involves 18 test sessions. We evaluated 3 scenarios for each of these sessions, where the number of available test stations are 1, 3 and 5. We compared the effectiveness of our approach with respect to a greedy approach as the baseline. We observed that the overall test execution time can be reduced by up to 16% even when only 3 test stations are available. Test effectiveness is also improved as a result of optimal scheduling of test cases.

Tüketici elektroniği alanında geliştirilen sistemler düzenli olarak sertifikasyon testine tabidir. Örneğin her Smart TV ürünü Netflix, YouTube ve Amazon gibi uygulama satıcıları tarafından düzenlenen bir sertifika sürecinden geçmelidir. Her bir uygulama ile ilgili sertifikasyon sürecinin bir parçası olarak kullanılacak ayrı bir test grubu vardır. Her test grubu yüzlerce test senaryosu içermektedir. Bu test senaryolarının çoğunun manuel olarak yürütülmesi gerekmektedir. Bu nedenle sertifika test gruplarının koşumunun tamamlanması birkaç gün sürebilmektedir. Ayrıca test se naryolarının yürütme süreleri ve test senaryolarının bulduğu hataların önem dere celeri arasında da büyük farklılıklar vardır. Bu nedenle test senaryolarının öncelik lendirilmesi ve paralel olarak yürütülmesi, test yürütme sürecinin süresini ve etkin liğini önemli ölçüde etkileyebilmektedir. Tespit edilen hataların yüzdesinin ortalaması hesaplanarak test etkinliği ölçülmektedir. Bu tezde, paralel test yürütmeyi, değişen test yürütme sürelerini ve hata önem dereceleri sıralı ölçekte hesaba katacak şekilde mevcut metriklerin varyantları sunulmuştur. Ayrıca birden çok test istasyo nunda paralel olarak yürütülebilecek bu tür test senaryolarının sıralanması için bir yaklaşım önerilmiştir. Bir dizi mevcut test istasyonunda test yürütme planlarının paylaşımını eniyilemek için tam sayı doğrusal programlama kullanılmıştır. Bu paylaşımın amacı, genel test yürütme süresini en aza indirmektir. Belirli bir test istasyo nuna paylaştırılan test senaryolarının yürütme sürelerinin artan sırasına göre koşumu tamamlanmıştır. Smart TV yazılımı için sertifika testi bağlamında endüstriyel bir vaka çalışması gerçek-leştirilmiştir. Sertifika test grupları, 3 TV yazılım projesinde kullanılan 3 farklı Smart TV uygulaması üzerinde gerçek deneysel nesneler olarak kullanılmıştır. Her proje için iki test döngüsü olarak ölçümlerimiz tekrarlanmıştır ve 3 test grubunun her biri için 6 test koşumu gerçekleştirilmiştir. Sonuç olarak değerlendirmemiz 18 test oturumu içermektedir. Bu oturumların her biri, mevcut test istasyonlarının sayısının 1, 3 ve 5 olduğu 3 senaryo ile değerlendirilmiştir. Yak laşımımızın etkinliği temel olarak açgözlü yaklaşımla karşılaştırılmıştır. Yalnızca 3 test kurulumu mevcut olduğunda bile genel test yürütme süresinin %16’ya kadar azaltılabileceği gözlemlenmiştir. Test senaryolarının test istasyonlarına paylaşımının eniyilemesi sonucunda test etkinliği de iyileşmiştir.