Standart Belirleme Sürecini Güçlendirmede İstatistiksel Bir Yaklaşım: Kümeleme Analizi
(A Statistical Approach to Improve the Standard Setting Process: Cluster Analysis
)
|
Author
|
:
Ceylan Gündeğer
- Nuri Doğan
|
|
|
Type |
:
Copyright
|
|
Printing Year |
:
2018
|
|
Number |
:
8-2
|
|
Page |
:
387-397
|
Özet
Bu araştırmada standart belirlemede k-ortalama kümeleme analizinin kullanılması; iki farklı örneklemde üç yöntemle kesme puanı belirlenmesi; dışsal kriter kullanarak sonuçların geçerliğinin incelenmesi; kümeleme analizi sonuçlarıyla Angoff, Yes/No ve Ebel yöntemlerinden elde edilen sonuçların ilişkisinin belirlenmesi amaçlanmıştır. Bu çalışmada ana örneklem (N=305) ve geçerleme örneklemi (N=179) olmak üzere iki örneklem kullanılmıştır. Veri seti 20 maddelik başarı testine verilen öğrenci cevaplarından oluşmaktadır. Test merkezli yöntemlerle kesme puanı belirleyen uzman sayısı ise 17’dir. Bunun yanında geçerleme örnekleminde dışsal kriter ile kümeleme analizi sonuçları arasında 0,01 hata ile orta düzeyde ilişki olduğu görülmüştür. Kesme puanı belirleme yöntemleri arasında orta ve üstü düzeyde manidar ilişkiler olduğu görülmüştür. Çalışma sonuçlarına göre, test merkezli standart belirleme yöntemlerinin sonuçlarıyla en yüksek ilişkiyi elde etmek için sırasıyla şu yöntemler önerilebilir: başarılılar kümesine atanan en düşük puan ile başarısızlar kümesine atanan en yüksek puanın oluşturduğu ranjın ortancasının belirlenmesi, lojistik regresyon ve başarılılar kümesine atanan bireylerin toplam puanlarının ortalaması.
Anahtar Kelimeler
Kümeleme analizi, k-ortalama, geçme puanı, standart belirleme, lojistik regresyon
Abstract
This study aims to use k-means cluster analysis to improve the standard setting process, to determine the passing score in two samples by three methods, to examine the validity of the cluster analysis results using an external criteria, and to compare the cluster analysis results with those produced by Angoff, Yes/No, and Ebel test centered methods. In this study, the main sample consisted of 305 students and the validation sample consisted of 179 students. The data set is composed of the students' responses to a 20-item achievement test. On the other hand, the number of judges determining the passing score according to the test centered standard setting methods was 17. A moderate correlation was found between the external criteria and the results of cluster analysis for the validation sample. Medium and highly significant relationships were observed between the different statistical methods for determining the passing score. According to the study results, in order to achieve the highest relationship with the test centered standard setting methods’ results, the following methods could be proposed respectively: determine the passing score based on the range comprising the lowest score of the first cluster and the highest score of the second cluster; logistic regression and the average score of successful cluster.
Keywords
Cluster analysis, k-means, passing score, standard setting, logistic regression
