Improving models for model-based testing based on exploratory testing

Abstract

Model bazlı test, test edilen sistemin modelleri sayesinde otomatik olarak test senaryoları oluşturulmasını sağlar. Bu modellerin doğruluğu ve tamlığı oluşturulan test senaryolarının etkinliğini belirler. Genelde manuel olarak oluşturulan modellerdeki eksikliklerden dolayı bazı kritik hatalar tespit edilemeyebilir. Pratikte bu hatalar tecrübeli test mühendisleri tarafından uygulanan araştırma tabanlı testler ile tespit edilebilmektedir. Bu tezde, araştırma tabanlı test aktivitelerinden elde edilen bilgileri kullanarak test senaryosu oluşturulmasında kullanılan modelleri iyileştirmek için bir yöntem ve aracı sunuyoruz. Model iyileştirme aktivitelerinin bir araç ile destekleneceği yarı otomatik bir işleyiş öneriyoruz. Bu araç, araştırma tabanlı test aktiviteleri sırasında kayıt altına alınan yazılım koşum yollarını analiz etmekte ve sistem modellerindeki eksiklikleri belirlemektedir. Belirlenen eksiklikler, daha verimli test senaryoları elde edilebilmesi için modelde yapılması gereken iyileştirmeler konusunda bir geribesleme sağlamaktadır. Bu yaklaşımımızı, bir Dijital TV sisteminin model bazlı testi için model geliştirmesi amacıyla, iki endüstriyel vaka çalışması kapsamında değerlendirdik. Yaklaşımımızı uyguladıktan sonra, birinci endüstriyel vaka çalışmamız sonucunda, 3 kritik hata bulduk. İkinci endüstriyel vaka çalışmamız sonucunda ise, 4 kritik hata daha bulduk. Bu hatalar ilk olarak oluşturulan test senaryoları ile bulunamamıştı ve bu hatalar ayrıca tecrübeye dayalı test aktiviteleri süresince de bulunamamıştı.

Model-based testing facilitates automatic generation of test cases by means of models of the system under test. Correctness and completeness of these models determine the effectiveness of the generated test cases. Critical faults can be missed due to omissions in the models, which are primarily created manually. In practice, these faults are usually detected with exploratory testing performed manually by experienced test engineers. In this thesis, we propose an approach for refining system models based on the experience and domain knowledge of these test engineers. Our toolset analyzes the execution traces that are recorded during exploratory testing activities and identifies the omissions in system models. The identified omissions guide the refinement of models to be able to generate more effective test cases. We applied our approach in the context of two industrial case studies to improve the models for model-based testing of a Digital TV system. After applying our approach, three and four critical faults were detected for the first and second case studies, respectively. These faults were not detected by the initial set of test cases and they were also missed during the exploratory testing activities.