Profit-oriented classification : new approaches and business applications

Abstract

Classification problems are the most common prediction problems that have traditionally been tackled by the data mining (DM) algorithms. The objective taken in these algorithms is a statistical one aimed to minimize the number (or, the weighted number) of incorrectly classified observations (instances). Recently, the cost-sensitive classification got researchers' attentions as the existing algorithms are not able to deal with special concerns in some popular problems. There are two main special concerns. The first one is the case when the number of observations varies in different classes - called class imbalance (or skewness). The second issue is the case when there are naturally different costs of misclassification that should be considered while implementing a classification algorithm. This study includes two types of profit-oriented approaches to deal with four real-life problems. Firstly, we have modified Fisher Discriminant Analysis (FDA) converting it to a profit-sensitive approach. The Profit-sensitive Fisher Discriminant Analysis (PFDA) modifies the existing error-based FDA in a way that puts emphasize on the profitable observations inheriting the main error-minimization assumptions. The second approach called profit-based modeling tries to classify the observations with regard to total net profit rather than errors in classification. This approach searches solution space for a discriminating function with maximum net profit using meta-heuristics. Four meta-heuristics are utilized to implement the profit-based classification approach including Migrating Birds Optimization (MBO), Artificial Bee Colony (ABC), Particle Swarm Optimization (PSO), and Genetic Algorithm (GA). In this study, we also have proposed a modification on MBO (m-MBO). Results show that the profit-sensitive FDA could catch profitable positives more than its original version however, it has less number of positives correctly classified. The profit-sensitive approach adopts the error-minimization assumptions such that the priority in classification is set for profitable observations. On the other hand, the profit-based approach could reach more profit-making solutions using an objective function of maximizing the total net profit. As this approach totally neglects error-minimization assumptions while training, it showed under-performance in true positive rate. Among the meta-heuristics utilized in profit-based approach, the Artificial Bee Colony (ABC) and modified version of MBO (m-MBO) always outperform other meta-heuristics.

Tahmin etme problemlerinin en yaygınolan sınıflandırma problemleri şimdiye kadar genellikle veri madenciligi (VM) algoritmalarıyla çözülmeye çalışmıştır. Bu algoritmalarda ele alınan amaç fonksiyonu, yanlış sınıflandırılan gözlemlerin (durumların) sayısının (veya ağırlıklı toplam sayısının) en aza indirilmesini hedeflemektedir. Mevcut algoritmalar bazıpopüler problemlerde özel durumları doğru şekilde ele alamadıklarından dolayı, son dönemlerde maliyete duyarlı sınıflandırma araştırmacıların dikkatini çeker hale gelmiştir. Sınıf dengesizliği nedeniyle gözlem sayısının farklısınıflardaki değişkenliği, ve sınıflandırma algoritmalarının uygulanması esnasında yanlış sınıflandırma maliyetlerinin farklılığının ele alınmasıolmak üzere iki tür özel durum bulunmaktadır. Bu çalışma, iki tip kâr odaklı yaklaşımla döort ayrıgerçek hayat probleminin çözülmesini içermektedir. İlk olarak, Fisher Diskriminant Analizi (FDA) üzerinde değişiklikler yapılmış ve kâra duyarlıbir yaklaşım haline getirilmiştir. Kâra duyarlıFisher Diskriminant Analizi (KFDA) esas hata minimizasyonu varsayımlarını koruyarak, yapılan değişikliklerle mevcut hata bazlı FDA'nın daha kârlıgözlemleri daha fazla dikkate almasınısağlamıştır. İkinci yaklaşım olan kâr bazlımodelleme, gözlemleri sınıflandırma hatasından ziyade toplam net kârlarna göre sınıflandırmaktadır. Bu yaklaşım, meta-sezgisel algoritmalar kullanarak çözüm alanında maksimum net kâr ayırt edecek bir fonksiyonu aramaktadır. Kâr bazlı sınıflanırma yaklaşımınıuygulamak için, Göçmen Kuşlar optimizasyonu (GKO), Yapay Arı Kolonisi (YAK) Algoritması, Parçacık Sürü Optimizasyonu (PSO) ve Genetik Algoritma (GA) olmak üzere dört meta-sezgisel yaklaşım kullanılmıştır. Başka bir katkı olarak ise, bu çalışmada Göçmen Kuşlar Algoritmasının modifiye edilmiş versiyonu (d-GKO) sunulmaktadır. Sonuçlara bakıldığında kâra duyarlı FDA, orijinal versiyonuna göre kârlı pozitif kayıtları daha fazla yakalayabilmektedir. Bu yaklaşım daha az sayıda pozitifi doğru olarak sınıflandırmayıbaşarmaktadır, fakat hata minimizasyonu varsayımlarınıadapte ederek sınıflandırmadaki önceliği kârlı gözlemlere vermektedir. kâr bazlı yaklaşım toplam net kârını maksimizasyonunu amaç fonksiyonu olarak kullanarak daha fazla kâr getiren çözümler elde etmektedir. Bu yaklaşım öğrenme esnasında hata minimizasyonu varsayımlarınıtamamen yok saydığı için, doğru pozitif oranıaçısından daha düşük performans sergilemektedir. Kâr bazlı yaklaşımda kullanılan meta-sezgisel yöntemler arasında Yapay ArıKolonisi (YAK) algoritması, Göçmen Kuşlar Algoritmasının modifiye edilmiş versiyonu (d-GKO) haricindeki algoritmalardan toplam net k^ar açısından daha iyi sonuçlar vermektedir.