Görüntü İşleme ve Derin Öğrenme Teknikleri Kullanarak Fındıkta Kahverengi Kokarca (Halyomorpha Halys) Zararının Belirlenmesi ve Sınıflandırılması

Abstract

Fındığın kalite kontrolü, dünyanın birçok bölgesinde, özellikle de dünyanın en büyük fındık üreticisi olan Türkiye'de büyük bir problem kaynağıdır. Bu çalışma, görüntü işleme ve derin öğrenme tekniklerini kullanarak Kahverengi Kokarca ile enfekte olmuş ve sağlıklı fındıkları birbirinden ayırarak belirlemek ve sınıflandırmak amaçlanmıştır. Kahverengi Kokarcalı fındık örnekleri, uzmanlar tarafından 2021 üretim döneminden elde edilmiştir. Fındık görüntülerini yakalamak için Guppy Pro CCD kamera tabanlı görüntü alma sistemi kullanılmıştır. Derin ve makine öğrenme modellerini eğitmek için toplam olarak 4540 RGB fındık görüntüsü alınmıştır. Fındık görüntülerinin arka plandan çıkarılması için görüntü bölüntüleme işlemi Eşikleme tekniği kullanılarak gerçekleştirilmiştir. Fındık moment özellikleri, geleneksel makine öğrenme modellerini eğitmek için kullanılmak üzere RGB ve l*a*b* renk çıkarılmıştır. Ayrıca, Boruta seçim yöntemi kullanılarak en ayırt edici öznitelik seti seçilmiştir. Derin öğrenme modeli için, üç evrişim katmanı, üç maksimum havuzlama katmanı, bırakma ve tam bağlantılı katmandan oluşan bir Evrişimsel Sinir Ağı (ESA) modeli oluşturulmuştur. Rastgele Orman, Destek Vektör Makinesi, Lojistik Regresyon, Naive Bayes ve Karar Ağacı dâhil olmak üzere geleneksel makine öğrenme modelleri, bir kez tüm özelliklerle ve diğeri yalnızca seçilmiş özelliklerle olmak üzere iki kez eğitilmiştir. Genel doğruluk, karışıklık matrisinin istatistiksel özellikleri ve model eğitim süresinin tümü, modelin sınıflandırma performansını karşılaştırmak için hesaplanmıştır. Kahverengi Kokarcalı fındık sınıflandırmasında en verimli modeli belirlemek için geleneksel makine öğrenme modelleri, derin evrişimli sinir ağı modelinin performansıyla karşılaştırılmıştır. Sonuç olarak 24 özellik arasından en ayırt edici özellik arasında sadece yedi tane renk özelliği belirlenmiştir. Tüm çıkartılmış özellikler kullandıktan sonra Destek Vektör Makinesi modeli kullanılarak %98.75 ile en yüksek sınıflandırma doğruluğu elde edilmiştir. Sadece seçilen özellikler kullanıldığında Rastgele Orman ve Lojistik Regresyon modellerinin performansı sırasıyla %97.5 ve %96.25'e yükselmiştir. %98.83 genel doğruluk ve 0.038 sınıflandırma hatası ESA modeli ile elde edilmiştir. Bu doğrulukla, ESA gerçek zamanlı fındık sınıflandırma sistemlerinde faydalı ve uygun olarak önerilmektedir.Quality control of hazelnuts is a major concern in many regions across the world, but particularly in Turkey as the world's largest hazelnut producer. Using image processing and deep learning techniques, this study intended to detect and classify healthy hazelnuts and hazelnuts infected with the Brown Marmorated Stink Bug. Infected hazelnut samples were collected from the 2021 production period by experts. A Guppy Pro CCD camera-based image acquisition system was used to capture hazelnut images. A total of 4540 RGB hazelnut images were captured to train deep and machine learning models. Image segmentation process was carried out to subtract hazelnut images from the background using the Threshold technique. Moment features were extracted from RGB and l*a*b* spaces to be used to train traditional machine learning models. Furthermore, the most relevant and discriminative feature set was selected using the Boruta feature selection method. For deep learning, a Convolutional Neural Network (CNN) model of three convolutional layers, three max-pooling layers, drop out, and a fully connected layer was constructed using RGB and Grayscale hazelnut images with different DL parameters. Traditional machine learning models including Random Forest, Support Vector Machine, Logistic Regression, Naive Bayes, and Decision Tree were trained twice, once with all features and another with the select feature set only. The overall accuracy, statistical characteristics of the confusion matrix, and model training time were all calculated to compare the model's performance. Traditional machine learning models performances were compared to the performance of CNN model to determine the most efficient model in BMSB-infested hazelnut classification. As a result, only seven moment features were identified as the most discriminative features out of 24 features. The SVM model with all feature vectors had the greatest classification accuracy of 98.75 %. When only the selected features were employed, the performance of Random Forest and Logistic Regression models improved to 97.5 and 96.25 %, respectively. With an overall accuracy of 98.83 % and a classification error of 0.038, the CNN model was able to classify hazelnut images, which could be a useful performance in real-time hazelnut classification systems.