Research Article
Türkiye’de Eğitim Alanında Yayımlanan Ölçek Geliştirme Çalışmalarının Uygunluğunun Çok Yüzeyli Rasch Modeli ile İncelenmesi
Abstract
Bu çalışmanın amacı Türkiye’de 2010-2015 yılları arasında sosyal
bilimler atıf indeksinde (Social Sciences Citation Index- SSCI) taranan
bilimsel dergilerde yayımlanmış ölçek geliştirme çalışmalarının, ölçek
geliştirme sürecindeki adımları ne derece sağlayabildiklerini incelemektir.
Araştırma kapsamında Türkiye’de eğitim alanındaki üç dergide 2010-2015 yılları
arasında yayınlanan 57 ölçek geliştirme makalesi, Ölçme ve Değerlendirme
alanında dört uzman tarafından araştırmacıların geliştirdiği “Ölçek Geliştirme
Makaleleri İnceleme Formu” ile puanlanmıştır. Ölçek Geliştirme Makaleleri
İnceleme Formu alan yazında olan genel görüşler dikkate alınarak 19 maddeden
oluşan bir form olarak düzenlenmiştir. Analizler çok yüzeyli Rasch modeli
(ÇYRM) için FACETS ve frekans analizi için SPSS programı kullanılarak
gerçekleştirilmiştir. Çalışmada yer alan üç yüzeyin (makalelerin belirlenen
ölçütleri karşılama düzeyi, değerlendirme formunda kullanılan ölçütler ve
puanlayıcılar) ve değerlendirmedeki ölçütlerin puanlama düzeylerine ait
bulgular ayrı ayrı elde edilmiştir. Analizler sonucunda, Logit cetvele göre
çalışmada esas alınan ölçütleri karşılayabilme düzeyi en yüksek 14 numaralı makalenin
ve en düşük 27 numaralı makalenin olduğu gözlenmektedir. Değerlendirme formunda
yer alan ölçütler incelendiğinde güçlük düzeyi en yüksek (karşılanması en zor)
16. ölçüt (Ölçüt geçerliği analizi sonucu elde edilen değerler uygundur) iken
güçlük düzeyi en düşük (karşılanması en kolay) 3. ölçüt (Ölçeğin amacına
uygun bir hedef kitle belirlenmiştir.) olduğu belirlenmiştir.
Puanlayıcılara ait ölçümler incelendiğinde ise 4. puanlayıcının en katı (en
yüksek pozitif değer), 1. puanlayıcının ise en cömert (en düşük negatif değer)
puanlayıcı olduğu gözlenmektedir. Ayrıca incelenen 57 makalenin 27 tanesinde
(%47,4) geliştirilen ölçekler makale içeriğinde verilirken 30 makalede (%52,6)
bu durum gözlenmemiştir. Geliştirilen ölçeklerin diğer araştırmacılar tarafından
kullanıldığında puanlamanın nasıl yapılacağına dair bilginin verilme durumu ise
makalelerin %56,1’inde (32 makale) gözlenirken % 43,9’unda (25 makale) puanlama
ile ilgili bir bilgiye rastlanmamıştır.
References
- Acar Güvendir, M. ve Özer Özkan, Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14 (52), 23-33.
- Anshel, M. H., Weatherby, N. L., Kang M. ve Watson, T. (2009). Rasch Calibration of a Unidimensional Perfectionism Inventory for Sport. Psychology of Sport and Exercise. 10(2009), 210-216.
- Baştürk, R. ve Işıkoğlu, N. (2008). Okul Öncesi Eğitim Kurumlarının İşlevsel Kalitelerinin Çok-yüzeyli Rasch Ölçme Modeli ile Analizi. Kuram ve Uygulamada Eğitim Bilimleri, 8(1), 7-32.
- Boztunç Öztürk, N., Eroğlu, G. ve Kelecioğlu, H. (2014). Eğitim alanında yapılan ölçek uyarlama makalelerinin incelenmesi. Eğitim ve Bilim, 40(178), 123-137.
- Brinthaupt, T. M. ve Kang, M. (2012). Many-Faceted Rasch Calibraton: An Example Using the Self-Talk Scale. Assessment. Vol. 21(2), 241-249.
- Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7, 309-319.
- Cohen R.J. & Swerdlik M.E. (2010). Psychological testing and assessment. Boston: McGraw-Hill Companies.
- Çüm, S. ve Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama, 12 (24), 115-135.
- DeVellis, R.F. (2003). Scale development: Theory and applications. Newbury Park: Sage Publications, Inc.
- Edenborough R. (1999). Using psychometrics: a practical guide to testing and assessment. London: Kogan Page.
- Engelhard, G. (1994). Examining rater errors in the assessment of written composition with a many-faceted Rasch model. Journal of Educational Measurement. 31, 2, 93-112.
- Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13 (40), 17-25.
- Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme-1: Temel kavramlar ve işlemler. Ankara: Pegem Akademi.
- Güler, N. (2014).Analysis of Open-Ended Statistics Questions with Many Facet Rasch Model. Eurasian Journal of Educational Research. 55, 73-90.
- Güler, N. ve Gelbal, S. (2010). A Study Based on Classical Test Theory and Many Facet Rasch Model. Eurasian Journal of Educational Research, 38, 108-125.
- Hetherman, S. C. (2004). An application of multi faceted Rasch measurement to monitör effectiveness of the written composition in English in the new york city department of education. Unpublished phd. dissertation. Teacher College, Colombia University, Colombia.
- Hinkin, T. R. (1995), A review of scale development practices in the study of organizations, Journal of Management, 21(5), 967-988.
- Hinkin, T.R., Tracey, J.B.& Enz, C.A. (1997), “Scale construction: developing reliable and valid measurement instruments”, Journal of Hospitality and Tourism Research, Vol. 21 No. 1, pp. 100‐20.
- İlhan, M. (2016). Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli Rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368. Doi: 10.16986/HUJE.2016015182
- Karasar, N. (1998). Araştırmalarda rapor hazırlama yöntemi. Ankara: Pars Matbaacılık Sanayi.
- Kim, Y., Park, I. & Kang, M. (2012). Examining Rater Effects of the TGMD-2 on Children with Intellectual Disability. Adapted Physical Activity Quarterly, 29, 346-365.
- Lee, M. Peterson, J. J. ve Dixon, A. (2010). Rasch Calibration of Physical Activity Self-Efficacy and Social Support Scale for Persons with Intellectual Disabilities. Research in Developmental Disabilities. 31(2010), 903-913.
- Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. [Available online at: http://www.winsteps.com/a/facets-manual.pdf], Retrieved on July 13, 2015.
- Linacre, J. M. (2007). A User’s Guide to FACETS: Rasch Model Computer Programs. Chicago, IL.
- Linacre, J. M. (1989). Many-facet Rasch Measurement. Yayınlanmamış doktora tezi. University of Chicago, Chicago, IL.
- Lunz, M. E., Wright, B. D. & Linacre, J. M. (1990). Measuring the ımpact of judge severity on examination scores. Applied Measurement in Education. 3, 4, 331-345.
- Murphy K.R. & Davidshofer C.O. (2005). Psychological testing: principles and applications. New Jersey: Pearson Education International.
- Randall, J. & Engelhard, G. Jr. (2009). Examining teacher grades using Rasch measurement theory. Journal of Educational Measurement, 46, 1, 1-18.Revesz, A. (2012). Working Memory and the Observed Effectiveness of Recasts on Different L2 Outcome Measures. Language Learning, 62, 1, 93-132.
- Smith, V. E. & Kulikowich, M. J. (2004). An application of generalizability theory and many facet Rasch measurement using a complex problem-solving skills assessment. Educational and Psychological Measurement, 64, 617-639.
- Tavşancıl, E., Güler, G. ve Ayan, C. (2014). 2002-2012 yılları arasında Türkiye’de geliştirilen bazı tutum ölçeği geliştirme çalışmalarının ölçek geliştirme süreci açısından incelenmesi. IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi (Uluslararası Katılımlı) 9-13 Haziran, Hacettepe Üniversitesi, Ankara.
- Tezbaşaran, Ata. (2008). Likert tipi ölçek geliştirme kılavuzu. Üçüncü baskı, Türk Psikologlar Derneği Yayını, Ankara.
- Turner, J. (2003). Examining on art portfolio assessment using a many facet Rasch measurement model. Unpublished phd. dissertation. Boston College, Boston.
- Wright, B. D. ve Linacre, J. M. (1992). Combining and splitting categories. Rasch Measurement Transactions, 6(3) 233-235.
- Yıldırım, A. ve Simsek, H. (2008). Sosyal bilimlerde nitel arastırma yöntemleri. Ankara: SeçkinYayıncılık.
Year 2017,
Volume: 8 Issue: 2, 183 - 199, 30.06.2017
Abstract
References
- Acar Güvendir, M. ve Özer Özkan, Y. (2015). Türkiye’deki eğitim alanında yayımlanan bilimsel dergilerde ölçek geliştirme ve uyarlama konulu makalelerin incelenmesi. Elektronik Sosyal Bilimler Dergisi, 14 (52), 23-33.
- Anshel, M. H., Weatherby, N. L., Kang M. ve Watson, T. (2009). Rasch Calibration of a Unidimensional Perfectionism Inventory for Sport. Psychology of Sport and Exercise. 10(2009), 210-216.
- Baştürk, R. ve Işıkoğlu, N. (2008). Okul Öncesi Eğitim Kurumlarının İşlevsel Kalitelerinin Çok-yüzeyli Rasch Ölçme Modeli ile Analizi. Kuram ve Uygulamada Eğitim Bilimleri, 8(1), 7-32.
- Boztunç Öztürk, N., Eroğlu, G. ve Kelecioğlu, H. (2014). Eğitim alanında yapılan ölçek uyarlama makalelerinin incelenmesi. Eğitim ve Bilim, 40(178), 123-137.
- Brinthaupt, T. M. ve Kang, M. (2012). Many-Faceted Rasch Calibraton: An Example Using the Self-Talk Scale. Assessment. Vol. 21(2), 241-249.
- Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7, 309-319.
- Cohen R.J. & Swerdlik M.E. (2010). Psychological testing and assessment. Boston: McGraw-Hill Companies.
- Çüm, S. ve Koç, N. (2013). Türkiye’de psikoloji ve eğitim bilimleri dergilerinde yayımlanan ölçek geliştirme ve uyarlama çalışmalarının incelenmesi. Eğitim Bilimleri ve Uygulama, 12 (24), 115-135.
- DeVellis, R.F. (2003). Scale development: Theory and applications. Newbury Park: Sage Publications, Inc.
- Edenborough R. (1999). Using psychometrics: a practical guide to testing and assessment. London: Kogan Page.
- Engelhard, G. (1994). Examining rater errors in the assessment of written composition with a many-faceted Rasch model. Journal of Educational Measurement. 31, 2, 93-112.
- Erkuş, A. (2007). Ölçek geliştirme ve uyarlama çalışmalarında karşılaşılan sorunlar. Türk Psikoloji Bülteni, 13 (40), 17-25.
- Erkuş, A. (2012). Psikolojide ölçme ve ölçek geliştirme-1: Temel kavramlar ve işlemler. Ankara: Pegem Akademi.
- Güler, N. (2014).Analysis of Open-Ended Statistics Questions with Many Facet Rasch Model. Eurasian Journal of Educational Research. 55, 73-90.
- Güler, N. ve Gelbal, S. (2010). A Study Based on Classical Test Theory and Many Facet Rasch Model. Eurasian Journal of Educational Research, 38, 108-125.
- Hetherman, S. C. (2004). An application of multi faceted Rasch measurement to monitör effectiveness of the written composition in English in the new york city department of education. Unpublished phd. dissertation. Teacher College, Colombia University, Colombia.
- Hinkin, T. R. (1995), A review of scale development practices in the study of organizations, Journal of Management, 21(5), 967-988.
- Hinkin, T.R., Tracey, J.B.& Enz, C.A. (1997), “Scale construction: developing reliable and valid measurement instruments”, Journal of Hospitality and Tourism Research, Vol. 21 No. 1, pp. 100‐20.
- İlhan, M. (2016). Açık uçlu sorularla yapılan ölçmelerde klasik test kuramı ve çok yüzeyli Rasch modeline göre hesaplanan yetenek kestirimlerinin karşılaştırılması. Hacettepe Üniversitesi Eğitim Fakültesi Dergisi, 31(2), 346-368. Doi: 10.16986/HUJE.2016015182
- Karasar, N. (1998). Araştırmalarda rapor hazırlama yöntemi. Ankara: Pars Matbaacılık Sanayi.
- Kim, Y., Park, I. & Kang, M. (2012). Examining Rater Effects of the TGMD-2 on Children with Intellectual Disability. Adapted Physical Activity Quarterly, 29, 346-365.
- Lee, M. Peterson, J. J. ve Dixon, A. (2010). Rasch Calibration of Physical Activity Self-Efficacy and Social Support Scale for Persons with Intellectual Disabilities. Research in Developmental Disabilities. 31(2010), 903-913.
- Linacre, J.M. (2014). A user's guide to FACETS Rasch-model computer programs. [Available online at: http://www.winsteps.com/a/facets-manual.pdf], Retrieved on July 13, 2015.
- Linacre, J. M. (2007). A User’s Guide to FACETS: Rasch Model Computer Programs. Chicago, IL.
- Linacre, J. M. (1989). Many-facet Rasch Measurement. Yayınlanmamış doktora tezi. University of Chicago, Chicago, IL.
- Lunz, M. E., Wright, B. D. & Linacre, J. M. (1990). Measuring the ımpact of judge severity on examination scores. Applied Measurement in Education. 3, 4, 331-345.
- Murphy K.R. & Davidshofer C.O. (2005). Psychological testing: principles and applications. New Jersey: Pearson Education International.
- Randall, J. & Engelhard, G. Jr. (2009). Examining teacher grades using Rasch measurement theory. Journal of Educational Measurement, 46, 1, 1-18.Revesz, A. (2012). Working Memory and the Observed Effectiveness of Recasts on Different L2 Outcome Measures. Language Learning, 62, 1, 93-132.
- Smith, V. E. & Kulikowich, M. J. (2004). An application of generalizability theory and many facet Rasch measurement using a complex problem-solving skills assessment. Educational and Psychological Measurement, 64, 617-639.
- Tavşancıl, E., Güler, G. ve Ayan, C. (2014). 2002-2012 yılları arasında Türkiye’de geliştirilen bazı tutum ölçeği geliştirme çalışmalarının ölçek geliştirme süreci açısından incelenmesi. IV. Ulusal Eğitimde ve Psikolojide Ölçme ve Değerlendirme Kongresi (Uluslararası Katılımlı) 9-13 Haziran, Hacettepe Üniversitesi, Ankara.
- Tezbaşaran, Ata. (2008). Likert tipi ölçek geliştirme kılavuzu. Üçüncü baskı, Türk Psikologlar Derneği Yayını, Ankara.
- Turner, J. (2003). Examining on art portfolio assessment using a many facet Rasch measurement model. Unpublished phd. dissertation. Boston College, Boston.
- Wright, B. D. ve Linacre, J. M. (1992). Combining and splitting categories. Rasch Measurement Transactions, 6(3) 233-235.
- Yıldırım, A. ve Simsek, H. (2008). Sosyal bilimlerde nitel arastırma yöntemleri. Ankara: SeçkinYayıncılık.
There are 34 citations in total.
Details
| Journal Section | Articles |
|---|---|
| Authors | |
| Publication Date | June 30, 2017 |
| Acceptance Date | March 13, 2017 |
| Published in Issue | Year 2017 Volume: 8 Issue: 2 |
