Risk-driven model-based testing

Abstract

Software is becoming larger and more complex in consumer electronics products. As a result, testing these products for reliability is becoming a major challenge. Traditional and manual testing activities are not effective and efficient in pinpointing faults. Consequently, manual testing activities are being replaced with automated techniques. Modelbased testing is one of these techniques. It uses test models as input and automates test case generation. However, these models are very large for industry-scale systems. Hence, the number of generated test cases can be very large as well. However, it is not feasible to test every functionality of the system exhaustively due to extremely limited resources in the consumer electronics domain. Only those system usage scenarios that are associated with a high likelihood of failures should be tested. Therefore, we propose a risk-driven model-based testing approach in this thesis. Hereby, test models are augmented with information regarding failure risk. Markov chains are used for expressing these models, which are basically composed of states and transitions. Each state transition is annotated with a probability. Probability values are used for generating test cases that cover transitions with the highest probability values. The proposed approach updates transition probability values based on three types of analysis for risk estimation. First, usage profile is used for determining the mostly used features of the system. Second, static analysis is used for estimating fault potential at each state. Third, dynamic analysis is used for estimating error likelihood at each state. Test models are updated based on these analyses and estimations iteratively. The approach is evaluated with three industrial case studies for testing digital TVs, smart phones and washing machines. Results show that the approach increases test efficiency by revealing more faults in less testing time.

Tüketici elektroniği ürünlerinde bulunan yazılımın hem boyutları, hem de karmaşıklığı artmaktadır. Bu eğilim, ürünlerin test edilmesi ve güvenilirliklerinden emin olunması için zorluk teşkil etmektedir. Geleneksel ve manuel test süreçleri, kritik hatalarının tespit edilmesinde yetersiz ve verimsiz kalmaktadır. Bu süreçleri iyileştirmek ve otomatik bir hale getirmek için çeşitli teknikler kullanılagelmiştir. Test modellerinden yararlanarak otomatik test adımlarının oluşturulmasını sağlayan model bazlı test, bu tekniklerden birisidir. Endüstriyel ölçekteki sistemlere ilişkin çok büyük olan test modellerinden, prensip olarak sonsuz sayıda test adımı üretilebilmek mümkündür. Ancak tüketici elektroniği alanında oldukça kısıtlı olan kaynaklar sebebi ile sistemin tüm fonksiyonlarını test etmek mümkün değildir. Bu sebepten dolayı, bu tezde risk odaklı model bazlı test yaklaşımı önerilmektedir. Bu yaklaşımda, test modelleri hata riskine ilişkin bilgilerle zenginleştirilmektedir. Test modelleri, durum geçişlerinin olasılık değerleri ile etiketlendiği Markov zincirleri şeklinde tanımlanmaktadır. Bu değerler, yüksek olasılıklı senaryoları kapsayacak şekilde test adımlarının otomatik üretim sürecini yönlendirmektedir. Yaklaşımımızda, durum geçişlerine ilişkin olasılık değerleri, üç farklı analiz tipi ile hesaplanan risk tahminlerine göre güncellenmektedir. İlk olarak, ürün kullanıcılarından toplanan kullanım profili verileri analiz edilmektedir. İkinci olarak, sistemin farklı durumlarındaki hata potansiyelinin tahmini için statik analiz kullanılmaktadır. ÜçÜncÜ olarak ise, hata tahmini için dinamik analiz kullanılmaktadır. Test modelleri, bu analizler ve tahminlere göre yinelemeli olarak güncellenmektedir. Yaklaşımımızı değerlendirmek için dijital televizyonlar, akıllı telefonlar ve çamaşır makineleri olmak üzere, üç farklı ürün üzerinde endüstriyel vaka çalışmaları yapılmıştır. Elde edilen sonuçlar, yaklaşımın kısa sürede daha fazla hata tespit edilmesini sağlayarak test verimliliğini arttırdığını göstermektedir.