Rastgele Orman Yaklaşımı Kullanılarak Çok Değişkenli Uyumlu Regresyon Şeritlerinde Model Seçimi

Abstract

Çok değişkenli uyumlu regresyon şeritleri (MARS) makine öğreniminde bir denetimli öğrenme modeli olup, topluluk öğrenimi yöntemi ile elde edilmemektedir. Topluluk öğrenimi yöntemleri makine öğrenimi algoritmalarının istikrarını ve doğruluğunu iyileştirmek için ortak bir amaca hizmet eden yüzlerce ya da binlerce öğrenicinin oluşturduğu örneklemlerden bir araya getirilmektedir. Bu tezde MARS modeli, Rastgele Orman (RF) yönteminin algoritması kullanılarak topluluk öğrenimi yöntemi haline getirilmiştir. Torbalama (Bagging) yöntemi ile oluşturulan 200 adet eğitim ve test verisi Salford Predictive Modeler 8.3 programının MARS analiz motorunda analiz edilmiştir. Analiz sonucunda biri test verisine göre en küçük hata kareler ortalaması (Test MSE) değerini, diğeri en küçük genelleştirilmiş çapraz doğrulama (GCV) değerini veren iki farklı MARS modeller topluluğu oluşturulmuştur. Her bir modelin hata ölçüt kriterleri ve değişken önemleri ortalaması ile düğüm değerlerinin frekans sayıları incelenerek, en iyi modelin tahmini hem Test MSE hem GCV kriterleri için yapılmıştır. Sonuç olarak MARS modeli, en az orijinal veri setinden elde edilen MARS modeli kadar iyi sonuçlar veren yeni bir topluluk öğrenimi yöntemi ile elde edilmiştir. Büyük veri setlerinde daha iyi çalışan MARS modeli, önerilen yöntem sayesinde küçük veri setleri ile de güvenilir sonuçlar vermektedir.

Multivariate Adaptive Regression Splines (MARS) is a supervised learning model in machine learning, not obtained by an ensemble learning method. Ensemble learning methods are gathered from samples comprising of hundreds or thousands of learners that serve a common purpose of improving the stability and accuracy of machine learning algorithms. In this thesis, the MARS model was transformed into an ensemble learning method using the algorithm of the Random Forest (RF) method. 200 training and test sets generated via the bagging method were analyzed in the MARS analysis engine of the Salford Predictive Modeler 8.3 software. At the end of the analysis, two different MARS model sets were created, one yielding the smallest Mean Square Error for the test data (Test MSE), and the other yielding the smallest Generalized Cross Validation (GCV) value. The estimation of the best model was conducted for both the Test MSE and the GCV criteria by examining the error of measurement criteria, variable importance averages and frequencies of the node values for each model. Eventually, a MARS model was obtained via a new ensemble learning method that yields results as good as the MARS model obtained from the original data set. The MARS model, which works better in larger data sets, provides more reliable results with smaller data sets by means of the proposed method.