Designing a Usability Assessment Process for Adaptive Intelligent Tutoring Systems: A Case Study

Abstract

This study aims at examining the usability evaluation process of ArtiBos, an adaptive intelligenttutoring system specifically designed for teaching of problem solving, and proposing usabilityevaluation recommendations accordingly. The study group consists of 90 students selected from 3different secondary education institutions and 30 experts from the fields of Computer Education andInstructional Technology and Mathematics Teaching. The usability of ArtiBos is evaluated accordingto the criteria of effectiveness, efficiency, and satisfaction included in the definition of usability by theInternational Standards Organization (ISO). In this study, quantitative and qualitative data were usedfor triangulation. Study data included users’ screenshots during performance of the instructed tasks inArtiBos, sound recordings taken from the think aloud technique, interviews with students, andopinions of experts. The study elaborates the procedure of usability tests of ArtiBos and makessuggestions for usability evaluation processes of similar systems. The results are expected to guideresearchers planning to carry out similar systems’ usability studies.

Bu çalışmanın amacı, problem çözme öğretimi için tasarlanmış bir uyarlanabilir zeki öğretim sistemiolan ArtiBos’un kullanılabilirlik değerlendirmesi sürecini incelemek ve benzer sistemlerinkullanılabilirlik değerlendirmesi süreçlerine yönelik öneriler sunmaktır. Çalışmaya, 3 farklıortaöğretim kurumundan seçilen 90 öğrenci ile Bilgisayar ve Öğretim Teknolojileri EğitimiMatematik Eğitimi alanlarından 30 uzman katılmıştır. ArtiBos’un kullanılabilirliği, UluslararasıStandartlar Enstitüsü (International Standards Organization – ISO) tarafından yapılan kullanılabilirliktanımında yer alan etkililik, verimlilik ve memnuniyet kriterlerine göre değerlendirilmiştir. Çalışmadaveri çeşitlemesi sağlanarak nicel ve nitel veriler birlikte kullanılmıştır. Kullanıcıların ArtiBos’daistenen görevleri gerçekleştirme süreçlerindeki ekran görüntüleri, sesli düşünme tekniği (think aloud)sırasında alınan ses kayıtları, öğrencilerle yapılan görüşmeler ve uzmanların görüşleriyle veriler eldeedilmiştir. Çalışmada, ArtiBos’un kullanılabilirlik testleri süreci detaylı bir şekilde açıklanmış vekullanılabilirlik değerlendirme süreçlerine yönelik öneriler sunulmuştur. Elde edilen sonuçlarınbenzer sistemlerin kullanılabilirlik çalışmasını yapmayı planlayan araştırmacılar için yol göstericiolması hedeflenmektedir.