İnsansız Hava Araçlarında Gerçek Zamanlı Görüntü İşleme ve Yapay Zekâ Kullanarak Yabancı Ot Tespiti

Abstract

Mahsüllerde bulunan yabancı otların algılanması zorlu ve yoğun uğraş gerektiren bir görevdir. Tez çalışması kapsamında sahadan toplanan görüntüler çeşitli hazırlık işlemlerinden geçirildikten sonra model eğitimine hazır hale getirilmiştir. Bu görevin gerçekleştirilebilmesi için veri toplama, veri etiketleme, veri çoğullama adımları uygulanmıştır. Veri çoğullama adımlarıyla fotoğraflara gürültü, bulanıklık ve dönüşüm işlemleri uygulanmış farklı koşullarda model başarımının artırılması hedeflenmiştir. Eğitim sırasında model performansını olumsuz etkileme ihtimali göz önünde bulundurularak % 1-5 arasında bulanıklık ve gürültü eklenmiştir. Bu sayede görsellerde yer alan yabancı ot görüntüleri tamamen kaybolmamıştır ancak zorlu koşullara adaptasyonu sağlanmıştır. Elde edilen veriler Yolo4-tiny, Yolo-NAS, Yolo 11 ve Roboflow 3.0 algoritmalarıyla eğitilmiştir. Modellerin başarım oranlarına karşılaştırmalı olarak yer verilen çalışmada bu görev kapsamında yabancı otların algılanmasına ek olarak aynı anda algılanan yabancı otların görüntülenmesini sağlayacak bir sistem üzerinde çalışılmıştır. Bu sistem farklı insansız hava araçlarıyla çalışabilmesine olanak sağlamak amacıyla portatif olarak geliştirilmiştir. Geliştirilen sistemde yapay zekâ ve görüntü işleme işlemleri için özel olarak tasarlanmış Jetson Nano 4 GB üzerinden model performansı test edilmiştir. Performansın karşılaştırılabilmesi için kesinlik, duyarlılık, map ve FPS değerlendirme ölçütleri kullanılmıştır. Yapılan çalışma sonucunda tüm modeller için ortalama %90 üzeri bir başarım elde edilmiştir. Model performanslarının birbirine yakın olması nedeniyle gerçek zamanlı görüntü aktarımı sisteminde seçici olan metrik olarak FPS ele alınmıştır ve bu doğrultuda gerçek zamanlı görüntü işleme sisteminde kullanılmaya en uygun model olarak %91.23 ortalama doğruluk değerine sahip olan Yolo4-tiny modeli seçilmiştir.

The process of detecting weeds in plants is inherently challenging and requires significant manual effort. In the study, images collected from the field were subjected to a series of multiplexing operations and then used for model training. To achieve this goal, data collection, labeling, and multiplexing steps were used. The photographs were subjected to noise, blurring, and transformation processes along with data multiplexing steps to improve model performance under various conditions. During the training phase, images were subjected to blurring and noise addition at a rate of 1% to 5%, considering the potential of these factors to negatively affect model performance. In this way, weed images were not completely eliminated, but their ability to adapt to challenging conditions was guaranteed. The obtained data was trained with Yolo4-tiny, Yolo-NAS, Yolo11, and Roboflow 3.0 algorithms. Furthermore, this study investigated the potential of a system that could simultaneously visualize the detected weeds, including a comparison of the success rates of the models. The system was developed as a portable system to facilitate its use with various unmanned aerial vehicles. The performance of the models was evaluated on Jetson Nano 4 GB, a device specifically designed for artificial intelligence and image processing. The evaluation criteria used for comparison included precision, recall, map, and FPS. The study achieved an average performance of over 90% for all models. Considering the similarity in model performance, FPS was determined as the selective criterion for the real-time image transmission system. The Yolo4-tiny model with an average accuracy of 91.23% was selected as the most suitable model for use in the real-time image processing system.