Değerlendiricinin İki ve İkiden Fazla Olduğu Durumlarda Uyum için Bir Bayesci Yaklaşım

Abstract

İstatistiksel uygulamalarda uyum önemli bir kavramdır. Özellikle tıbbi çalışmalarda, eğitim bilimlerinde, psikolojik test çalışmaları gibi birçok alanda kullanılmaktadır. İki veya daha çok kişinin, yöntemin, makinenin vb. yapmış olduğu değerlendirmeler arasında bir uyum olup olmadığı istenebilir. İlgilenilen kategorik değerlendirmeler ikili sınıflandırma (evet/hayır, var/yok vb.), sıralı kategorik (düşük, orta, yüksek) ve isimsel (şizofrenik, manik depresyon, ağır depresyon, vb.) biçimde olabilir. Kappa istatistiği iki yada ikiden çok değerlendiricinin yapmış oldukları değerlendirmeler arasındaki uyumu hesaplamada kullanılan çok önemli bir yöntemdir. Kappa?nın diğer yöntemlerden farkı rastgele beklenenden daha büyük uyumluluk oranı göstermesidir. Ancak katsayının yorumlanması çok açık değildir, çünkü katsayının büyüklüğünü ve yorumunu etkileyebilecek diğer faktörler vardır. Kappanın büyüklüğünü etkileyebilecek faktörler prevelans ve yanlılıktır. Sıralı puanları bireylere atandıklarında ağırlıklı Kappa kullanılır. Çoklu değerlendiriciler arasındaki uyumu ölçmek için Fleiss Kappa kullanılır. Krippendorff ise değerlendiriciler veya ölçüm aletleri arasındaki uyumluluğu ölçmek için Krippendorff alfa denilen bir uyum ölçütü geliştirmiştir. Bu ölçütte uyumsuzluk hesaplanmakta ve 1?den çıkarılması sonucunda uyum katsayısı elde edilmektedir. Krippendorff alfa iki veya daha fazla sayıda gözlemci içeren verilere, herhangi bir ölçek türü (isimsel, sıralı, aralık, oran) ile ölçülmüş verilere, tamamlanmamış eksik verilere ve farklı büyüklükteki veri setlerine uygulanabilir. Bayesci yöntemler son yıllarda çok sık kullanılmaktadır. Önceki çalışmalardan ve deneyimlerden elde edilen önsel bilginin analize dahil edilebilmesi olanağını tanıması açısından Bayesci yaklaşım son yıllarda tercih edilir hale gelmiştir. Bir nesnenin birden fazla kişi, hakem veya gözlemci tarafından değerlendirildiği sosyoloji, psikoloji, tıp ve benzeri alanlarda sonuçların uyumu ile ilgili kanaatleri oluşturmak için kullanılan uyum istatistiklerinin hesaplanmasında da Bayesci yaklaşım kullanılmaktadır. Adlandırma, sıralama, aralık veya oran ölçeğindeki verilerde kullanılan farklı uyum yöntemlerinin Bayesci yaklaşımı yapılabilmektedir. Bu çalışmada iki ve ikiden çok değerlendirici olması durumunda değerlendiriciler arasındaki uyum Kappa, ağırlıklı Kappa ve Bayesci yaklaşımla hesaplandı ve sonuçlar karşılaştırıldı.

Agreement is an important concept in statistical applications. It is used in many fields such as medical studies, education, science and psychological testing. One may demand agreement between ratings of two people, methods or measuring instruments. Categorical assessments can be in the form of binary classification (yes / no or present / absent etc.), ordinal categorical (low, medium, high) or nominal (schizophrenia, manic depression, severe depression, and etc.). Kappa statistic is an important method that measures the agreement between two or more raters. The difference between Kappa and other methods is that it shows greater concordance ratio higher than the expected random one. However, the interpretation of the coefficient is not very clear because there are other factors that may influence the magnitude and interpretation of the coefficient. The factors influencing the magnitude of kappa are prevalence, bias and non-independent ratings. Weighted Kappa is used when sequential scores are assigned to individuals. Fleiss? Kappa is used to measure the agreement between multiple raters. Krippendorff?s alpha is a reliability coefficient developed to measure the agreement among observers and measuring instruments. In this criterion, disagreement is determined and coefficient of concordance is obtained by subtracting it from 1. Krippendorff?s alpha can be applied to any data that involves two or more raters and those which were measured by any type of scale (nominal, ordinal, range or ratio), incomplete and inaccurate data and data sets in different sizes. Bayesian methods have been widely used in recent years. Since it enables the inclusion of the prior knowledge which was obtained from previous studies and experiences in the analysis, Bayesian approach has become a preferred approach in recent years. Bayesian approach is applied to the agreement statistics which is used to form an opinion about the concordance of the outcomes of fields such as sociology, psychology or medicine in which an object is evaluated by more than one judge or observer. Bayesian approach of different agreement methods used in naming, sorting, interval or ratio scale data can be performed. In this study, the agreement between two or more raters was calculated by using Kappa, weighted Kappa and Bayesian approach and the results were compared.