Author :
DOI : 10.29228/iedres.63513
Year-Number: 2022-CİLT 2 SAYI 2
Yayımlanma Tarihi: 2022-08-29 08:33:37.0
Language : İngilizce
Konu : Eğitim Bilimleri
Abstract
Genellenebilirlik kuramı madde, görev, puanlayıcı, zaman vb. birçok değişkenlik kaynağını ele alarak kapsamlı güvenirlik analizlerinin yapıldığı bir kuramdır. Ancak eksik verilerin varlığı analizlerin ve kestirimlerin doğru yapılamamasını sağlamaktadır. Literatürde genellenebilirlik kuramında eksik veri atama yöntemlerinin karşılaştırıldığı sınırlı çalışma bulunmaktadır. Bu doğrultuda araştırmanın amacı, tam veri matrisi ve kayıp veri atama yöntemlerine göre genellenebilirlik kuramı analizlerinden elde edilen G ve Phi katsayılarını farklı örneklem büyüklüğü ve kayıp veri oranlarında karşılaştırmaktır. Araştırmada, literatürdeki sınırlı çalışmalardan farklı olarak, iki yönlü çapraz tasarımlar için eksik veri atama yöntemlerinin eksik veri performanslarını karşılaştırmak amacıyla bir Monte Carlo simülasyon çalışması yapılmıştır. Çalışma kapsamında “örneklem sayısı x kayıp veri oranı x yöntem (3 x 4 x 3)” olmak üzere 36 koşul simulasyon çalışmasında incelenmiştir. Bu koşulların yanında her bir örneklem büyüklüğündeki tam veri matrisleri için de G ve Phi katsayıları hesaplanmıştır. Hesaplanan bu değerler ile atama yöntemleri kullanılarak hesaplanan G ve Phi katsayıları arasındaki yanlılık karşılaştırılmıştır. Bu karşılaştırma sonucunda tam veriye en yakın güvenirlik kestirimlerin kayıp veriler yerine birinci sırada EM yöntemi kullanıldığında elde edildiği belirlenmiştir. Kayıp veriler yerine EM kullanıldığında koşulların büyük çoğunluğunda tam veri matrisinden kestirilen güvenirlik katsayılarına benzer güvenirlik kestirimleri elde edilmiştir. Güvenirlik katsayılarına ilişkin en az bağıl hata ve yanlılık EM, daha sonra ise LR yöntemlerinden elde edilmiştir. PM bütün koşullar dikkate alındığında en yüksek hata ve yanlılığa sahip yöntem olmuştur. Çalışmada ayrıca kayıp veri oranı arttıkça tam veri matrisine göre farklılık, hata ve yanlılık değerlerinin tüm yöntemlerde arttığı belirlenmiştir.
Keywords
Abstract
Generalizability theory is a theory enabling comprehensive reliability analyses by dealing with several variability source like item, task, rater, time, etc. However, missing data causes an inability in making analyses and predictions. In literature, there is limited number of studies comparing missing data imputation methods in generalizability theory. In this direction, the aim of the study is to compare G and Phi coefficients obtained from generalizability theory analyses according to full data matrix and missing data imputation methods with different sample sizes and missing data rates. In this research, a Monte Carlo simulation study was conducted in order to compare performances of missing data imputation methods for missing data for two-facet crossed designs differently from limited studies in literature. In the simulation study, 36 conditions as “number of examine x missing data ratio x method (3 x 4 x 3)” were investigated. In addition, G and Phi coefficients were calculated for full data matrices for each sample size. Bias between G and Phi coefficients was compared by using imputation methods with these calculated values. As a result of this comparison, it is found that reliability predictions closest to the full data come from EM method instead of missing data. If EM is used instead of missing data, reliability predictions quite similar to reliability coefficients predicted from full data matrix is found in most of the conditions. The lowest level of relative error and bias for reliability coefficients is found with EM and LR methods respectively. PM is the method with the highest error and bias considering all conditions. In addition, the current study found that as the missing data rate increase, difference, error and bias values increase for all methods according to full data matrix.
Keywords
- Acuna, E., & Rodriguez, C. (2004). The treatment of missing values and its effect in the classifier accuracy. In D. Banks. L. House. F.R. McMorris.P. Arabie. W. Gaul (Eds).Classification. Clustering and Data Mining Applications, Springer-Verlag Berlin-Heidelberg.
- Ak, D. (2020). A Research on the Handling Missing Data Methods in Generalizanbility Theory (Master's thesis). Ege Universtiy, Graduate School of Educational Sciences. Retrieved from https://tez.yok.gov.tr/UlusalTezMerkezi/tezSorguSonucYeni.jsp
- Akbaş, U., & Tavşancıl, E. (2015). Investigation of Psychometric Properties of Scales with Missing Data Techniques for Different Sample Sizes and Missing Data Patterns. Journal of Measurement and Evaluation in Education and Psychology, 6(1), 38-57.
- Akın-Arıkan, Ç., & Soysal, S. (2018). Investigation of Reliability Coefficients According to Missing Data Imputation Methods. H. U. Journal of Education, 33 (2), 316-336. doi: 10.16986/HUJE.2018036218
- Aljuaid, T., & Sasi, S. (2016). Intelligent Imputation Technique for Missing Values. International Conference on Advances in Computing, Communications and Informatics (ICACCI), Jaipur, India.
- Alkan, N., & Alkan, B. (2019). Investigation of the Multiple Imputation Method in Different Missing Ratios and Sample Sizes. Sakarya University Journal of Science, 23(4), 605-609. https://doi.org/10.16984/saufenbilder.507450
- Atilgan, H. (2013). Sample size for estimation of G and phi coefficients in generalizability theory. Eurasian Journal of Educational Research, 51, 215-228.
- Atilgan, H. (2019). Reliability of essay ratings: A study on generalizability Theory. Eurasian Journal of Educational Research, 80, 133-150. DOI: 10.14689/ejer.2019.80.7
- Bayram, İ. (2020). Comparison of Influence of the Missing Data Handling Methods on Reliability Estimation (Master's thesis). Hacettepe University, Graduate School of Educational Sciences, Ankara. Retrieved from
- Bennett, D. A. (2001). How can I deal with missing data in my study? Australian and New Zealand Journal of Public Health, 25, 464–469.
- Bloch, R., & Norman, G. (2018). G String V User Manual. Hamilton, Ontario, Canada. https://healthsci.mcmaster.ca/docs/librariesprovider15/default-document-library/g-stringv5-user-manual.pdf?sfvrsn=9c6f7395_2
- Brennan, R. L. (2001). Generalizability Theory: Statistics for Social Science and Public Policy. New York.
- Briesch, A. M., Chafouleas, S. M., & Johnson, A. (2016) Use of Generalizability Theory Within K– 12 School-Based Assessment: A Critical Review and Analysis of the Empirical Literature. Applied Measurement in Education, 29:2, 83-107. DOI: 10.1080/08957347.2016.1138955
- Chiu, C. W. T. (2001). Scoring performance assessments based on judgments: Generalizability theory. Boston, MA: Kluwer Academic.
- Çokluk, Ö., & Kayri, M. (2011). The Efects of Methods of Imputation for Missing Values on the Validity and Reliability of Scales. Educational Sciences:Theory and Practice, 11(1), 289309.
- Çüm, S. & Gelbal, S. (2015). The Effects of Different Methods Used for Value Imputation Instead of Missing Values on Model Data Fit Statistics. Mehmet Akif Ersoy University Journal of Education Faculty, 35, 87-111.
- Çüm, S., Demir, E. K., Gelbal, S., & Kışla, T. (2018). Comparison of advanced methods used to assign approximate values instead of lost data under different conditions. Mehmet Akif Ersoy University Journal of Education Faculty, (45). 230-249.Available at: https://doi.org/10.21764/maeuefd.332605.
- DeMars, C. (2015). Estimating variance components from sparse data matrices in large-scale educational assessments. Applied Measurement in Education, 28, 1-13.
- Demir, E. (2013). Item and Test Parameters Estimations for Multiple Choice Tests in the Presence of Missing Data: The Case of SBS. Journal of Educational Sciences Research, 3(2), 47-68.
- Enders, C. K. (2004). The Impact of Missing Data on Sample Reliability Estimates: Implications for Reliability Reporting Practices. Educational and Psychological Measurement, 64(3), 419436. DOI: 10.1177/0013164403261050.
- Enders, C. K. (2010). Applied Missing Data Analysis. (1. Ed.). New York: The Guilford Publications. Inc.
- Graham, J. W., Cumsille, P. E., & Elek-Fisk, E. (2003). Methods for handling missing data. In J. A. Schinka & W. F. Velicer (Eds.). Handbook of psychology: Research methods in psychology, 2, 87–114. John Wiley & Sons Inc.
- Greenwald, E., Persky, H., Campbell, J., & Mazzeo, J. (1999). The NAEP 1998 writing report card for the nation and the states (NCES 1999-462). Washington. DC: U.S. Government Printing Office.
- Hooijdonk, M. V., Mainhard, T., Kroesbergen, E. H., & Tartwijk, V. J. (2022). Examining the assessment of creativity with generalizability theory: An analysis of creative problem solving assessment tasks. Thinking Skills and Creativity, 43. https://doi.org/10.1016/j.tsc.2021.100994
- Huot, B. (1990). The literature of direct writing assessments: Major concerns and prevailing trends. Review of Educational Research, 60, 237-263.
- Johnson, R. L., Penny, J. A., & Gordon, B. (2009). Assessing performance: Designing, scoring, and validating performance tasks. Guilford Press.
- Karaman, H., Doğan, N., & Soysal, S. (2017). Kayıp Veri Atama Yöntemlerinin Genellenebilirlik Katsayısına Etkisi. IVth International Eurasian Educational Research Congress. Anı Yayıncılık. Ankara.
- Koçak, D., & Çokluk Bökeoğlu, Ö. (2017). The Effect Of Missing Data Techniques On Model Fit And Item Model Fit. Journal of Measurement and Evaluation in Education and Psychology, 8(2), 200-223.
- Köse, I. A., & Öztemur, B. (2014). Examining the effect of missing data handling methods on the parameters of t-test and ANOVA. Abant İzzet Baysal University Journal of Faculty of Education, 14(1), 400-412.
- Kurz, I. (1989). Conference interpreting - user expectations. In D. L. Hammond (Ed.). Coming of age: Proceedings of the 30th annual conference of the American translators association (pp. 143–148). Medford. NJ: Learned Information
- Lin, C. K. (2014). Issues and Challenges in Current Generalizability Theory Applications in Rated Measurement (Doctoral Dissertation). University of Illinois, Urbana-Champaign.
- Lin, C. K. (2016). Working with Sparse Data in Rated Language Tests: Generalizability Theory Applications. SAGE Journals in Language Testing. https://journals.sagepub.com/doi/10.1177/0265532216638890
- Lin, W. C. & Tsai, C.F. (2020). Missing value imputation: a review and analysis of the literature (2006–2017). Artificial Intelligence Review, 53, 1487–1509. https://doi.org/10.1007/s10462019-09709-4
- Miles, M. B., & Huberman, A. M. (1994). Qualitative data analysis: An expanded Sourcebook. (2nd ed). Thousand Oaks, CA: Sage.
- Muthen, L. K., & Muthen, B. O. (2010). Mplus 6 [Computer software]. Los Angeles: http://stat model.com
- Muthén, L. K., & Muthén, B. O. (2017). Mplus User’s Guide. Eighth Edition. Los Angeles, CA: Muthén & Muthén. https://www.statmodel.com/download/usersguide/MplusUserGuideVer_8.pdf
- Myers, M. (1980). A procedure for writing assessment and holistic scoring. Urbana, IL: ERIC Clearinghouse on Reading and Communication Skills and the Na-tional Council of Teachers of English.
- Nartgün, Z. (2015). Comparison of various methods used in solving missing data problems in terms of psychometric features of scales and measurement results under different missing data conditions. İnternational Online Journal of Educational Sciences, 7(4), 252-265.
- Paterson, J., Medvedev, O. N., Sumich, A., Tautolo, E., Krägeloh, S. U., Sisk, R., McNamara, R., Berk, M., Narayanan, A., & Siegert, R. J. (2018). Distinguishing transient versus stable aspects of depression in New Zealand Pacific Island children using generalizability theory. Journal of Affective Disorders, 227, 698–704.
- Peng. C. Y.. Harwell. M. R.. Liou. S. M.. & Ehman. L. H. (2007). Advances in missing data methods and implications for educational research. In S. S. Sawilowsky (Ed.). Real data analysis (pp. 31–78). Charlotte. NC: Information Age.
- Penny, J., Johnson, R. L. & Gordon, B. (2000). Using Rating Augmentation to Expand the Scale of an Analytic Rubric. The Journal of Experimental Education, 68(3), 269-287.
- Pigott, T. D. (2001). A Review Of Methods For Missing Data. Educational Research and Evaluation: An International Journal of Theory and Practice, 7(4), 353-383.
- Rios, J. A., Li, X., & Faulkner-Bond, M. (2012). A review of methodological trends in generalizability theory. Paper presented at the annual conference of the Northeastern Educational Research Association, Rocky Hill, CT.
- Sayın, A., Yandı, A., & Oyar, E. (2017). Investigation of the effects of coping with lost data on item parameters. Journal of Measurement and Evaluation in Education and Psychology, 8(4), 490 -510.
- Schmitt P, Mandel, J., & Guedj, M. (2015). A Comparison of Six Methods for Missing Data Imputation. Journal of Biometrics and Biostatistics , 6(1), 2-6. doi:10.4172/2155
- Soysal, S., Karaman, H., & Dogan, N. (2018). The effects of sample size and missing data rates on generalizability coefficients. Eurasian Journal of Educational Research, 75, 179-196, DOI: 10.14689/ejer.2018.75.10
- Shumate, S. R., Surles, j., Johnson, R. L. & Penny, J. (2007) The Effects of the Number of Scale Points and Non-Normality on the Generalizability Coefficient: A Monte Carlo Study. Applied Measurement in Education, 20(4), 357-376, DOI: 10.1080/08957340701429645
- Smith, P. L. (1978). Sampling Errors of Variance Components in Small Sample Multifacet Generalizability Studies. Journal of Educational Statistics, 3(4), 319-346.
- Şahin-Kürşad, M., & Nartgün, Z. (2015). Comparison of Various Methods Used in the Context of Validity and Reliability of the Scales. Journal of Measurement and Evaluation in Education and Psychology, 6(2), 254-267.
- Tabachnick, B. G., & Fidell, L. S. (2001). Using multivariate statistics (4th ed.). Needham, MA: Allyn & Bacon.
- Taşdelen-Teker, G., & Güler, N. (2019). Thematic Content Analysis of Studies Using Generalizability Theory. International Journal of Assessment Tools in Education, 6(2), 279– 299. https://dx.doi.org/10.21449/ijate.569996
- The Institute of Linguists Educational Trust. (2010). Diploma in Public Service Interpreting: Handbook for candidates. Retrieved from http://www.iol.org.uk/qualifications/DPSI/Handbook/DPSIHB11.pdf
- Weaver, B., & Maxwell, H. (2014). Exploratory factor analysis and reliability analysis with missing data: A simple method for SPSS users. The Quantitative Methods for Psychology, 10(2), 143-152.
- Wolcott, W., & Legg, S. M. (1998). An Overview of Writing Assessment: Theory, Research, and Practice. National Council of Teachers of English, Kenyon Road, Urbana.
- Yang, C. S. (2005). Studies on Interpreter Training: Theories and Practices. Beijing, China: China Translation and Publishing Corporation.
- Zhang, Z., & Yuan, K.-H. (2016). Robust coefficients alpha and omega and confidence intervals with outlying observations and missing data: Methods and software. Educational and Psychological Measurement, 76(3), 387-411.Available at: https://doi.org/10.1177/0013164415594658.
- Kaynak göstermek için: Nalbantoğlu Yılmaz, F. (2022). Kayıp veri atama yöntemlerinin
- bulunmaktadır (Akbaş & Tavşancıl, 2015; Akın-Arıkan & Soysal, 2018; Alkan & Alkan, 2019;
- Bayram, 2020; Çüm & Gelbal, 2015; Çüm, Demir, Gelbal, & Kışla, 2018; Çokluk & Kayri, 2011;
- Demir, 2013; Enders, 2004; Koçak & Çokluk Bökeoğlu, 2017; Köse & Öztemur, 2014; Nartgün,
- 2015; Aljuaid & Sasi, 2016; Sayın, Yandı, & Oyar, 2017; Schmitt, Mandel, & Guedj, 2015; Şahin-
- Kürşad & Nartgün, 2015; Zhang & Yuan, 2016). Tüm araştırma alanlarında kayıp verilerin olması sık karşılaşılan bir sorun olduğu gibi
- kullanılarak analizler yapılabilmektedir (Brennan, 2001). Fakat dengelenmemiş desenler
- kullanıldığında gerekli hesaplamalar daha karmaşık olmaktadır. Brennan (2001), kayıp verinin
- program %5’den daha fazla kayıp verinin olduğu durumlar için tasarlanmamıştır (Brennan, 2001,
- yöntemlerini kullanmaları tavsiye edilmektedir (Bloch & Norman, 2018). Bu gibi sınırlılıklar
- olan etkisini araştıran çalışmalar sınırlıdır. Bu konuyla ilgili literatürde Ak (2020), 689 kişilik
- belirlenmiştir. Karaman, Doğan ve Soysal (2017)’ın zayıf ve güçlü tek boyutluluk özelliği gösteren
- katsayılarının karşılaştırdığı çalışması bulunmaktadır. Ayrıca Soysal, Karaman ve Doğan (2018),
- araştırmaları için sıklıkla kullanılır (Muthen & Muthen, 2017).
- koşullara sahiptir. 2.2.1. Çalışma Deseni Briesch, Chafouleas ve Johnson (2016), genellenebilirlik kuramı üzerine yaptıkları çalışmalarında
- (Smith, 1978). Örneğin; Rios, Li ve Faulkner-Bond (2012), genellenebilirlik kuramına ait yaptıkları
- ölçekli testlere ait sınırlı çalışmada olduğu tespit edilmiştir. Atılgan (2013), örneklem büyüklüğünün
- parametrelerinin yansız kestirilmesinde önemli bir katkı sağlamadığı belirlenmiştir. Lin (2014),
- belirlemiştir. Briesch, Chafouleas ve Johnson (2016), genellenebilirlik kuramı üzerine yapılan
- 249 altında birey sayısına sahip olduğu belirlenmiştir (Taşdelen-Teker & Güler, 2019).
- Örneğin; Shumate ve diğ. (2007), yaptıkları monte-carlo simulasyon çalışmasında 2 puanlayıcı
- da iki puanlayıcı tercih edilmektedir (Chiu, 2001; DeMars, 2015; Penny, Johnson, & Gordon, 2000;
- Hooijdonk, Mainhard, Kroesbergen, & Tartwijk, 2022). Puanlayıcı sayısı arttıkça güvenirliğin arttığı
- yükü, zaman ve maaliyet gibi etkilerle çoğu zaman önemsenmeyecek düzeydedir (Lin, 2014; Atılgan,
- 2019). Bu doğrultuda çalışmadaki simulasyon çalışmasında 2 puanlayıcı belirlenmiştir. Puanlayıcılar arasındaki tutarlılık ise çalışmalardaki bir başka önemli bir konudur. In'nami ve
- Koizumi (2013), genellenebilirlik kuramı üzerine yaptıkları meta analiz çalışmasında puanlayıcılara
- ait varyans bileşeninin 1-3% arasında değiştiğini belirtmiştir (Akt. Lin, 2016). Literatürde
- 1999). Bununla birlikte bazı çalışmalarda puanlama güvenirliği için puanlayıcılar arasındaki uyumun
- 80% ve üstü olması tercih edilmektedir (Miles & Huberman, 1994). Bu doğrultuda yapılan
- 6 derece kullanıldığı belirlenmiştir (Huot, 1990; Johnson, Penny ve Gordon, 2009; Myers, 1980;
- Wolcott & Legg 1998). Ayrıca Godshalk ve diğ. (1966) 4’lü dereceleme ölçekleriyle daha yüksek
- puanlayıcılar arası güvenirliğe ulaşıldığını bulmuştur (Akt. Shumate ve diğ., 2007). Bu doğrultuda
- bir miktar arttığı görülmektedir (Kurz, 1989; The Institute of Linguists Educational Trust, 2010;
- Yang, 2005). Fakat bu artış çok yüksek seviyelerde olmamaktadır. Bu doğrultuda emek ve iş yükü
- durumlar ciddi sorunlara yol açmaktadır (Tabachnick & Fidell, 2001). Literatürde çalışmalardaki
- kayıp veri oranlarının %5, %10 ve %20’yi geçmemesi önerilmektedir (Bennett, 2001; Peng ve diğ.,
- 2007). Acuna ve Rodriguez (2004), veride %15’den fazla kayıp veri olması halinin her türlü yorumu
- ciddi etkileyebileceğini belirtmiştir. Ayrıca Lin ve Tsai (2020) tarafından 2006-2017 yılları
- %24’ünde kayıp veri olduğu belirlenmiştir (Rios ve diğ., 2012). Rios ve diğ. (2012) tarafından
- dengesiz tasarımlar kullanma vb. yolların tercih edildiği görülmüştür. Paterson ve diğ. (2018), ise
- sahip olduğu özelliği korumaktır (Graham, Cumsille, & Elek-Fisk, 2003). Bu doğrultuda veri setinin
- ise bu durum sağlam kestirimleri ifade etmektedir. Genellenebilirlik kuramı analizlerinde EduG 6.1 (Cardinet, Johnson, & Pini, 2010) programı
- simülasyon verisinin üretilmesinde Mplus (Muthen & Muthen, 2010) programı kullanılmıştır.
- Tavşancıl, 2015; Enders, 2004; Şahin-Kürşad & Nartgün, 2015; Weaver & Maxwell, 2014). Fakat
- ikili verilerle güvenirlik kestirimlerinde Bayram (2020), BM yöntemi yerine RA yönteminin daha
- ve yanlılığa sahip yöntem olmuştur. Ak (2020), kayıp verilerin G ve Phi katsayılarına etkisini
- (Enders, 2010; Pigott, 2001). Güvenirlik katsayılarına ilişkin en az bağıl hata ve yanlılık BM, daha sonra ise RA
- biri analiz öncesinde kayıp verileri atamak için kullanılabilir. Akın-Arıkan ve Soysal (2018), kayıp
- desteklenmektedir (Ak, 2020; Şahin-Kürşad & Nartgün, 2015; Soysal, Karaman, & Doğan, 2018). Her ne kadar kayıp veri matrisi ile G ve Phi katsayılarının hesaplansa da bu işlem karmaşıktır. Bu
- Ak, D. (2020). Genellenebilirlik kuramında kayıp veri ile baş etme yöntemleri üzerine bir araştırma (Yüksek Lisans Tezi). Ege Üniversitesi, Eğitim Bilimleri Enstitüsü, İzmir.
- Akbaş, U., & Tavşancıl, E. (2015). Farklı Örneklem Büyüklüklerinde ve Kayıp Veri Örüntülerinde Ölçeklerin Psikometrik Özelliklerinin Kayıp Veri Baş Etme Teknikleri ile İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 6(1), 38-57.
- Akın-Arıkan, Ç., & Soysal, S. (2018). Güvenirlik Katsayılarının Kayıp Veri Atama Yöntemlerine Göre İncelenmesi. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 33 (2), 316-336. doi:
- Çüm, S. & Gelbal, S. (2015). Kayıp Veriler Yerine Yaklaşık Değer Atamada Kullanılan Farklı Yöntemlerin Model Veri Uyumu Üzerindeki Etkisi. Mehmet Akif Ersoy University Eğitim Fakültesi Dergisi, 35, 87-111.
- Çüm, S., Demir, E. K., Gelbal, S., & Kışla, T. (2018). Kayıp Veriler Yerine Yaklaşık Değer Atamak için Kullanılan Gelişmiş Yöntemlerin Farklı Koşullar Altında Karşılaştırılması. Mehmet Akif Ersoy Üniversitesi Eğitim Fakültesi Dergisi, (45). 230-249.
- Koçak, D., & Çokluk Bökeoğlu, Ö. (2017). Kayıp Veriyle Baş Etme Yöntemlerinin Model Veri Uyumu Ve Madde Model Uyumuna Etkisi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(2), 200-223.
- Sayın, A., Yandı, A., & Oyar, E. (2017). Kayıp Veri ile Baş Etme Yöntemlerinin Madde Parametrelerine Etkisinin İncelenmesi. Eğitimde ve Psikolojide Ölçme ve Değerlendirme Dergisi, 8(4), 490 -510.
- Şahin-Kürşad, M., & Nartgün, Z. (2015). Kayıp Veri Sorununun Çözümünde Kullanılan Farklı Yöntemlerin Ölçeklerin Geçerlik ve Güvenirliği Bağlamında Karşılaştırılması. Eğitimde ve Psikolojide Ölçme ve Değerlendirme, 6(2), 254-267.
