EOG Tabanlı İnsan Bilgisayar Arabirim Tasarımı

Abstract

Since the beginning of computers, studies on Human Computer Interface (IBA) have also increased. IBA can be used to make people's lives easier, to achieve many tasks quickly, to communicate together and to operate some devices. Since 1992, the United Nations has been working to ensure the participation of disabled people in social life and equal opportunities for them. It is seen that IBA has a great potential in solving the problems of disabled people and also contributes to their socialization. In this study, the appropriate classification method for an IBA that is desired to be controlled by voluntary movements of the eyes has been investigated. For the control of EOG-based IBA, two-channel action potentials of seven voluntary eye movements were used. One of the most important factors in the performance of classification in real-time application is to create the dataset correctly. In order to minimize signal differences caused by users, a unique method has been developed for data recording. The dataset consists of electrooculography (EOG) signs measured during seven different eye movements. EOG signal is highlighted by using digital signal processing methods. An extensive feature extraction method research has been carried out to ensure the correct separation of the signals. These features are classified by both classical and deep learning methods. In addition, the results of deep learning methods were investigated in the raw form of the signal without feature extraction. Classical classification methods are used together with forward feature selection algorithm. In our study, in which many features and classification methods were investigated and classical and deep learning methods were compared, a high success rate of 95.66%, was obtained with the lightgbm classification algorithm for seven commands and 95.82% with the deep learning method on raw data. It is considered that the human computer interface we have developed can contribute to many different applications such as specifying needs or help, training for disabled individuals, and automatic fulfillment of some needs.

Bilgisayarların kullanılmaya başlamasından bu yana İnsan Bilgisayar Arabirimi (İBA) üzerine yapılan çalışmalar da artmıştır. İBA, insanların yaşamlarını kolaylaştırmada, birçok işi hızlıca sonuca ulaştırmada, birlikte iletişim kurmada ve bazı cihazların opere edilmesinde kullanılabilmektedir. Birleşmiş Milletler 1992 yılından bu yana tüm dünyada engellilerin toplumsal yaşama katılımını ve onlara fırsat eşitliğini sağlamak için çalışmalarını sürdürmektedir. İBA'nın engelli bireylerin sorunlarının çözümünde büyük bir potansiyele sahip olduğu, ayrıca sosyalleşmelerine de katkıda bulunduğu görülmektedir. Bu çalışmada gözlerin istemli hareket ettirilerek kontrol edilmek istenen bir İBA için uygun sınıflandırma yöntemi araştırılmıştır. Elektrookülogram (EOG) temelli İBA'nın kontrolü için yedi isteli göz hareketinin iki kanallı aksiyon potansiyelleri kulanılmıştır. Sınıflandırmanın gerçek zamanlı uygulamasındaki başarımının en önemli etkenlerinden birisi veri kümesini doğru şekilde oluşturmaktır. Kullanıcılardan kaynaklı sinyal farklılıklarını en aza indirmek için öncelikle veri kaydında özgün bir yöntem geliştirilmiştir. Veri seti, yedi farklı göz hareketi sırasında ölçülen elektrookülografi (EOG) işaretlerinden oluşmaktadır. Sayısal işaret işleme yöntemleri kullanılarak EOG sinyali ön plana çıkarılmıştır. Sinyalllerin doğru şekilde ayrıştırılmasını sağlayacak geniş bir öznitelik çıkarma yöntem araştırması yapılmıştır. Bu öznitelikler hem klasik hem de derin öğrenme metotları ile sınıflandırılmıştır. Ayrıca öznitelik çıkarılmadan sinyalin ham haliyle yine derin öğrenme metotlarının sonuçları araştırılmıştır. Klasik sınıflandırma metotları ileri yönlü öznitelik seçim algoritması birlikte kullanılmıştır. Birçok öznitelik ve sınıflandırma yönteminin araştırıldığı, klasik ve derin öğrenme metotlarının karşılaştırıldığı çalışmamızda yedi komut için lightgbm sınıflandırma algoritması ile 95,66%, ham veri üzerinde yapılan derin öğrenme yöntemi ile ise %95.82 gibi yüksek bir oranda başarım elde edilmiştir. Geliştirdiğimiz insan bilgisayar arabiriminin, ihtiyaç veya yardım belirtme, engelli birey eğitimi, bazı ihtiyaçların otomatik giderilmesi gibi birçok farklı uygulamaya entegre edilebilir düzeyde katkı sağlayabileceği değerlendirilmektedir.