Author:
Abstract
Genellenebilirlik kuramı madde, görev, puanlayıcı, zaman vb. birçok değişkenlik kaynağını ele alarak kapsamlı güvenirlik analizlerinin yapıldığı bir kuramdır. Ancak eksik verilerin varlığı analizlerin ve kestirimlerin doğru yapılamamasını sağlamaktadır. Literatürde genellenebilirlik kuramında eksik veri atama yöntemlerinin karşılaştırıldığı sınırlı çalışma bulunmaktadır. Bu doğrultuda araştırmanın amacı, tam veri matrisi ve kayıp veri atama yöntemlerine göre genellenebilirlik kuramı analizlerinden elde edilen G ve Phi katsayılarını farklı örneklem büyüklüğü ve kayıp veri oranlarında karşılaştırmaktır. Araştırmada, literatürdeki sınırlı çalışmalardan farklı olarak, iki yönlü çapraz tasarımlar için eksik veri atama yöntemlerinin eksik veri performanslarını karşılaştırmak amacıyla bir Monte Carlo simülasyon çalışması yapılmıştır. Çalışma kapsamında “örneklem sayısı x kayıp veri oranı x yöntem (3 x 4 x 3)” olmak üzere 36 koşul simulasyon çalışmasında incelenmiştir. Bu koşulların yanında her bir örneklem büyüklüğündeki tam veri matrisleri için de G ve Phi katsayıları hesaplanmıştır. Hesaplanan bu değerler ile atama yöntemleri kullanılarak hesaplanan G ve Phi katsayıları arasındaki yanlılık karşılaştırılmıştır. Bu karşılaştırma sonucunda tam veriye en yakın güvenirlik kestirimlerin kayıp veriler yerine birinci sırada EM yöntemi kullanıldığında elde edildiği belirlenmiştir. Kayıp veriler yerine EM kullanıldığında koşulların büyük çoğunluğunda tam veri matrisinden kestirilen güvenirlik katsayılarına benzer güvenirlik kestirimleri elde edilmiştir. Güvenirlik katsayılarına ilişkin en az bağıl hata ve yanlılık EM, daha sonra ise LR yöntemlerinden elde edilmiştir. PM bütün koşullar dikkate alındığında en yüksek hata ve yanlılığa sahip yöntem olmuştur. Çalışmada ayrıca kayıp veri oranı arttıkça tam veri matrisine göre farklılık, hata ve yanlılık değerlerinin tüm yöntemlerde arttığı belirlenmiştir.
Keywords
Abstract
Generalizability theory is a theory enabling comprehensive reliability analyses by dealing with several variability source like item, task, rater, time, etc. However, missing data causes an inability in making analyses and predictions. In literature, there is limited number of studies comparing missing data imputation methods in generalizability theory. In this direction, the aim of the study is to compare G and Phi coefficients obtained from generalizability theory analyses according to full data matrix and missing data imputation methods with different sample sizes and missing data rates. In this research, a Monte Carlo simulation study was conducted in order to compare performances of missing data imputation methods for missing data for two-facet crossed designs differently from limited studies in literature. In the simulation study, 36 conditions as “number of examine x missing data ratio x method (3 x 4 x 3)” were investigated. In addition, G and Phi coefficients were calculated for full data matrices for each sample size. Bias between G and Phi coefficients was compared by using imputation methods with these calculated values. As a result of this comparison, it is found that reliability predictions closest to the full data come from EM method instead of missing data. If EM is used instead of missing data, reliability predictions quite similar to reliability coefficients predicted from full data matrix is found in most of the conditions. The lowest level of relative error and bias for reliability coefficients is found with EM and LR methods respectively. PM is the method with the highest error and bias considering all conditions. In addition, the current study found that as the missing data rate increase, difference, error and bias values increase for all methods according to full data matrix.