Show simple item record

dc.contributor.authorErdil, Ö. F.
dc.contributor.authorCan, İrfan
dc.contributor.authorSözer, Hasan
dc.contributor.editorTurhan, Ç.
dc.contributor.editorCoşkunçay, A.
dc.contributor.editorYazıcı, A.
dc.contributor.editorOğuztüzün, H.
dc.date.accessioned2018-04-30T12:41:52Z
dc.date.available2018-04-30T12:41:52Z
dc.date.issued2017
dc.identifier.issn1613-0073en_US
dc.identifier.urihttp://hdl.handle.net/10679/5809
dc.identifier.urihttp://ceur-ws.org/Vol-1980/
dc.description.abstractTelevizyon gibi yoğun yazılım içeren gömülü sistemlerin kara kutu testleri, grafik kullanıcı arayüzleri (GKA) aracılığıyla gerçekleştirilmektedir. Bu testlerin otomasyonu kapsamında bir dizi kullanıcı işlemi dışarıdan tetiklenmektedir. Bu sırada, doğru ve yanlış sistem davranışı arasında ayrım yapan ve böylece testlerin geçip geçmediğine karar veren otomatik bir test kâhinine ihtiyaç duyulmaktadır. Bu amaçla yaygın olarak görüntü karşılaştırma araçları kullanılmaktadır. Bu araçlar, gözlenen GKA ile daha önceden kaydedilmiş bir referans GKA ekran görüntüsünü karşılaştırmaktadır. Bu çalışmada, 9 farklı görüntü karşılaştırma aracı bir endüstriyel vaka çalışması ile değerlendirildi. Bir televizyon sisteminin gerçek test çalışmalarından 1000 çift referans ve anlık GKA görüntüsü toplandı ve bu görüntüler başarılı/başarısız test olarak etiketlendirildi. Ayrıca, toplanan veri kümesi görüntülerde meydana gelen piksel kayması, renk tonu/doygunluk farklılığı ve resim gövdesinde esneme (büyüme, küçülme, genişleme, daralma) gibi çeşitli etkilere göre sınıflandırıldı. Ardından, bu veri kümesi ile karşılaştırılan araçlar, doğruluk ve performans açısından değerlendirildi. Araçların parametre değerlerine ve karşılaştırılan görüntülerin tâbi oldukları etkilere göre farklı sonuçlar verdiği görülmüştür. Hazırlanan veri kümesi için en iyi sonuçları veren araç ve bu aracın parametre değerleri tespit edilmiştir.en_US
dc.description.abstractBlack box testing of software intensive embedded systems such as TVs is performed via their graphical user interfaces (GUI). A series of user events are triggered for automating these tests. In the meantime, there is a need for a test oracle, which decides if tests pass or fail by differentiating between correct and incorrect system behavior. Image comparison tools are commonly used for this purpose. These tools compare the observed GUI screen during tests with respect to a previously recorded snapshot of a reference GUI screen. In this work, we evaluated 9 image comparison tools with an industrial case study. We collected 1000 pairs of reference and runtime GUI images during test activities performed on a real TV system and we labeled these image pairs as passed and failed tests. In addition, we categorized the data set according to various effects observed on images such as pixel shifting, color saturation and scaling. Then, this data set is used for comparing tools in terms of accuracy and performance. We observed that results are dependent on tool parameters and various image effects that take place. We identified the best tool and its parameter set for the collected data set.
dc.language.isoturen_US
dc.publisherCEUR-WSen_US
dc.relation.ispartofCEUR Workshop Proceedings
dc.rightsopenAccess
dc.titleTest kâhini olarak görüntü karşılaştırma algoritmalarının değerlendirilmesien_US
dc.title.alternativeEvaluation of image comparison algorithms as test oracles
dc.typeConference paperen_US
dc.description.versionPublisher version
dc.publicationstatusPublisheden_US
dc.contributor.departmentÖzyeğin University
dc.contributor.authorID(ORCID 0000-0002-2968-4763 & YÖK ID 23178) Sözer, Hasan
dc.contributor.ozuauthorSözer, Hasan
dc.identifier.volume1980en_US
dc.identifier.startpage101en_US
dc.identifier.endpage113en_US
dc.subject.keywordsGörüntü karşılaştırmasıen_US
dc.subject.keywordsGörüntü karşılaştırma algoritmalarıen_US
dc.subject.keywordsTest kâhinien_US
dc.subject.keywordsTest otomasyonuen_US
dc.subject.keywordsEndüstriyel vaka çalışmasıen_US
dc.subject.keywordsImage comparisonen_US
dc.subject.keywordsImage comparison algorithmsen_US
dc.subject.keywordsTest oraclesen_US
dc.subject.keywordsTest automationen_US
dc.subject.keywordsIndustrial case studyen_US
dc.identifier.scopusSCOPUS:2-s2.0-85035148586
dc.contributor.ozugradstudentCan, İrfan
dc.contributor.authorMale2
dc.relation.publicationcategoryConference Paper - National - Institutional Academic Staff and Graduate Student


Files in this item

Thumbnail

This item appears in the following Collection(s)

Show simple item record


Share this page