Tool support for model based software product line testing

Abstract

We introduce a tool for automated adaptation of test models to be reused for a prod uct family. Test models are specified in the form of hierarchical Markov chains. They represent possible usage behavior regarding the features of systems as part of the product family. A feature model documents the variability among these features. Optional and alternative features in this model are mapped to a set of states in test models. These features are selected or deselected for each product to be tested. Transition probabilities on the test model are updated by our tool according to these (de)selections. As a result, the test case generation process focuses only on the se lected features. We conducted two controlled experiments, both in industrial settings, to evaluate the effectiveness of the tool. We used systems as part of digital TV and wireless access point(WAP) systems. For DTV systems 10 and for wireless access points 5 participants were involved in testing these systems, respectively. We mea sured the effort spent by each participant for the same set of tasks when our tool is used and when it is not. We observed that the tool reduces costs significantly. We also observed that the initial cost for adopting product line testing is amortized even for small product families with 13 DTV and 11 WAP products, respectively.Bu tezde bir sistem ailesi için test modellerinin yeniden kullanılmasını kolaylaştıran bir araç tanıtılmaktadır. Test modelleri, bu sistemlerin özelliklerinin kullanım olasılıklarını belirlemek için hiyerarşik Markov zincirleri olarak tanımlanmaktadır. Bu özellikler arasındaki değişkenlik bir ürün özellik modeliyle belgelenmektedir. Ürün özellik modelinde isteğe bağlı ve alternatif özellikler test modellerinde bir dizi duruma eşlenmektedir. Bu durumlar için geçiş olasılıkları seçilen özelliklere göre değiştirilmekte, böylece oluşturulan test durumları yalnızca bu özelliklere odaklanmaktadır. Aracın etkinliğini değerlendirmek için endüstriyel ortamlarda iki kontrollü deney yapılmıştır. Deneyler için dijital TV (DTV) ve kablosuz erişim noktası (WAP) sistemleri kullanılmıştır. Bu sistemler için sırasıyla 10 ve 5 katılımcı, sistem testlerinde ve dolayısıyla deneylerde rol almışlardır. Her katılımcının harcadığı ¸caba, sistemlerin test modellerini güncellerken araç kullanıldığı ve kullanılmadığı durumlarda ölçülmüştür. Aracın maliyetleri önemli ölçüde düşürdüğünü ve sırasıyla 13 DTV ve 11 WAP ürününe sahip küçük ürün ailelerinde bile, araç kullanılarak ürün hattı mühendisliği uygulamasının adapte edilme maliyetinin karşılanarak, toplamda harcanan çabada düşüş olduğu gözlemlenmiştir.