AÇIK UÇLU MATEMATİK SORULARININ DEĞERLENDİRİLMESİNDE PUANLAYICI GÜVENİRLİĞİNİN GENELLENEBİLİRLİK KURAMINA GÖRE İNCELENMESİ
Author:
Abstract
Bu çalışmada, bireylerin problem çözme becerilerini yoklayan açık uçlu matematik sorularına vermiş oldukları cevapların bütünsel dereceli puanlama anahtarıyla puanlanması sonucu elde edilen puanların, madde ve puanlayıcı sayısının değişmesi ve farklı desenlerin kullanılması durumlarında G ve Phi katsayıları hesaplanarak incelenmiştir. Bireylere uygulanacak olan problem çözme becerilerinin yoklanmasına ilişkin açık uçlu sorular, PISA Matematik okuryazarlığı ve problem çözme alanlarında kullanılmış sorular içerisinden güncel müfredata uygun olduğu düşünülen sorular arasından seçilmiştir. Bireylerin problem çözme becerilerini yoklamak için hazırlanan açık uçlu soruların değerlendirilmesinde, dereceli puanlama anahtarı geliştirme süreci takip edilerek bütünsel dereceli puanlama anahtarı geliştirilmiştir. Çalışma grubu 57 öğrenciden, puanlayıcılar ise, 25 öğretmeninden oluşmaktadır. Çalışmada Genellenebilirlik Kuramı’nda birey (b), madde (m), puanlayıcı (p) değişkenlik kaynakları kullanılarak, bxmxp tümüyle çaprazlazlanmış desende ve bx(p:m) yuvalanmış desende, madde ve puanlayıcı sayıları değişimlenerek G ve Phi katsayıları hesaplanmıştır. Çalışmanın sonucunda, hem bxmxp hem de bx(p:m) desen için, madde sayılarının ve puanlayıcı sayılarının artmasıyla G ve Phi katsayılarında artış olduğu görülmüştür.
Keywords
Abstract
In this study, the scores obtained by scoring the answers given by individuals with open-ended math questions, which scored their problem-solving skills, with a holistic rubrics, were analyzed by calculating the G and Phi coefficients in case of changing the number of items and raters and using different designs. The open-ended questions being applied to individuals about the problem solving skills were selected from the questions that are considered to be in accordance with the current curriculum among the questions used in PISA Mathematical Literacy and Problem Solving Fields. In the evaluation of open-ended questions prepared to examine the problem solving skills of individuals, a holistic rubric were developed by following the rubric development process. The study group consists of 57 students and the raters consist of 25 teachers. In this study, in the Generalizability Theory, by using individual (b), item (m) and rater (p) variables G and Phi coefficients were calculated by using bxmxp completely crossed design and bx(p:m) nested design. As a result of the study, it was observed that there was an increase in G and Phi coefficients for both bxmxp and bx(p:m)design with increasing number of items and raters