Risk-calibrated evidential classifiers

Abstract

In some applications, intelligent agents rely on classifiers in order to make their decisions and accuracy of their predictions may play a significant role in performing their tasks successfully. Although deep neural networks perform very well in many classification tasks, they may sometimes fail in their predictions and the cost of all misclassification errors are usually considered as the same, which is not true in practice. For instance, classifying a pedestrian in a given image as a cyclist may cost significantly different from classifying it as a car for a self-driving car application. The costs of errors can be asymmetric, vary from agent-to-agent, and depend on context. Accordingly, this thesis proposes a novel approach for uncertainty quantification and risk-awareness in deep neural networks for classification. Our main intuition is that the predictive uncertainty can be quantified in a principled way; hence, classifiers can associate high uncertainty with their predictions when these predictions are more likely to be wrong. Furthermore, they incorporate the notion of misclassification risk during training, which allows them to avoid making wrong predictions leading to higher losses. To achieve this, the proposed risk-calibrated classifiers quantify the uncertainty in predictions based on the mean and variance of the Dirichlet distribution, and increase the uncertainty value for the predictions, which are more likely to be wrong. Furthermore, the model increases the uncertainty for the classifications, which are more risky. To validate the performance of our approach, we conducted experiments on a variety of well-known data sets. The results show that the proposed risk-calibrated classifiers associate high uncertainty with their misclassification. Furthermore, the risk minimization objective of our loss function allows neural networks to make less risky decisions for classification.

Bazı uygulamalarda, akıllı etmenler kararlarını vermek için sınıflandırma algoritmalarına güvenir ve tahminlerinin do˘grulu˘gu görevlerini ba¸sarıyla yerine getirmede önemli bir rol oynayabilir. Derin sinir a˘gları birçok sınıflandırma görevinde çok iyi performans gösterse de, bazen tahminlerinde ba¸sarısız olabilirler. Genellikle, tüm yanlı¸s sınıflandırma hatalarının maliyeti aynı kabul edilir; fakat bu pratikte do˘gru de˘gildir. Örne˘gin, kendi kendini süren bir araba uygulaması için, görüntüdeki yayayı bisikletli olarak tahmin edilmesi ile araba olarak tahmin edilmesinin maliyeti önemli ölçüde farklı olabilir. Hataların maliyeti asimetrik olabilir, etmenden etmene de˘gi¸sebilir ve içeri˘ge ba˘glıdır. Bu tez, derin sinir a˘glarında sınıflandırma için belirsizlik ölçümü ve risk farkındalı˘gı için yeni bir yakla¸sım önermektedir. Ana sezgimiz, öngörücü belirsizli˘gin ilkeli bir ¸sekilde ölçülebilmesidir; bu nedenle, bu tahminlerin yanlı¸s olma olasılı˘gı daha yüksek oldu˘gunda sınıflandırıcılar yüksek belirsizli˘gi tahminleriyle ili¸skilendirebilirler. Ayrıca, e˘gitim sırasında yanlı¸s sınıflandırma riski göz önünde bulundurlar; bu da daha yüksek kayıplara yol açan yanlı¸s tahminler yapmaktan kaçınmalarını sa˘glar. Bunu ba¸sarmak için, önerilen risk kalibrasyonlu sınıflandırıcılar, Dirichlet da˘gılımının ortalamasına ve varyansına ba˘glı olarak tahminlerdeki belirsizli˘gi ölçmekte ve yanlı¸s olma olasılı˘gı daha yüksek olan tahminler için belirsizlik de˘gerini arttırmaktadır. Ayrıca, model daha riskli olan sınıflandırmalar için belirsizli˘gi arttırmaktadır. Yakla¸sımımızın performansını do˘grulamak için, iyi bilinen çe¸sitli veri setleri üzerinde deneyler yaptık. Sonuçlar, önerilen risk-kalibre edilmi¸s sınıflandırıcıların, yüksek belirsizli˘gi yanlı¸s sınıflandırmalarıyla ili¸skilendirdiklerini göstermektedir. Ayrıca, kayıp fonksiyonumuzun risk minimizasyon hedefi, sinir a˘glarının sınıflandırma için daha az riskli kararlar vermesini sağlar.