A utilização do modelo multifacetas de Rasch na análise das influências dos avaliadores sobre as avaliações com itens abertos

Sonia Ferreira Lopes Toffoli, Cristina Valeria Bulhoes Simon

Resumo


Este trabalho analisa a qualidade da pontuação em avaliações com itens abertos por meio do modelo multifacetas de Rasch (MFR). Sao utilizadas as pontuacoes atribuidas às redacoes de participantes do Processo Seletivo Vestibular da Universidade Estadual de Londrina, de 2015. O modelo MFR pode proporcionar estudos, tanto no nivel de grupo quanto no nivel individual, possibilitando a identificação de avaliadores portadores de comportamentos tendenciosos, conhecidos por causarem erros importantes nas pontuacoes de tarefas escritas. As analises no nivel de grupo mostraram que a avaliação foi eficiente e que os dados, de modo geral, sao adequados às expectativas de medicao dos modelos de Rasch e, por meio das analises no nivel individual, foi possivel detectar avaliadores que pontuaram diferentemente do modo como os outros avaliadores, em media, atribuiram suas pontuacoes. O modelo MFR mostrou-se uma ferramenta adequada e eficiente para o monitoramento da qualidade das pontuacoes atribuidas às tarefas de escrita.


Palavras-chave


Modelo multifacetas de Rasch; Itens abertos; Provas de redação; Avaliação em larga escala; Tendencias do avaliador

Referências


BARROS, A. S. X. Vestibular e Enem: um debate contemporneo. Ensaio: Avaliao e Polticas Pblicas em Educao, v. 22, n. 85, p. 1057-90, dez. 2014. http://dx.doi.org/10.1590/S0104-40362014000400009

ECKES, T. Introduction to Many-Facet Rasch Measurement: analyzing and evaluating rater-mediated assessment. Frankfurt: Peter Lang, 2011.

ENGELHARD JR., G.; MYFORD, C. M. Monitoring faculty consultant performance in the advanced placement English literature and composition program with a many-faceted Rasch model. New York: College Entrance Examination Board, 2003.

ENGELHARD JR, G.; WIND, S. A. Rating quality studies using rasch measurement theory. Educational Testing Service (ETS). [Princeton, NJ]: College Board: 2013.

ILHAN M. A comparison of the results of many-facet rasch analyses based on crossed and judge pair designs. Educational Sciences: Theory & Practice, v. 16, p. 579-601, 2016. https://doi.org/10.12738/estp.2016.2.0390

JONSSON, A.; SVINGBY, G. The use of scoring rubrics: reliability, validity and educational consequences. Educational Research Review, v. 2, n. 2, p. 130-44, 2007. https://doi.org/10.1016/j.edurev.2007.05.002

LINACRE, J. M. A users guide to FACETS [computer program manual 3.71.4]. Chicago: MESA Press, 2014b.

LINACRE, J. M. Facets computer program for many-facet Rasch measurement, version 3.71.4. Beaverton, Oregon: Winsteps.com, jan. 2014a.

LINACRE, J. M. Many-facet Rasch measurement. Chicago: MESA Press, 1989.

LINACRE, J. M.; WRIGHT, B. D. Construction of measures from many-facet data. Journal of Applied Measurement, v. 3, n. 4, p. 484-509, 2002.

LONG, H.; PANG, W. Rater effects in creativity assessment: A mixed methods investigation. Thinking Skills and Creativity, v. 15, p. 13-25, 2015. https://doi.org/10.1016/j.tsc.2014.10.004

MYFORD, C. M.; WOLFE, E. W. Detecting and measuring rater effects using many-facet Rasch measurement: Part II. Journal of Applied Measurement, v. 5, n. 2, p. 189-227, 2004.

SEBOX, S. S. et al. Examiners and content and site: Oh My! A national organizations investigation of score variation in large-scale performance assessments. Advances in Health Sciences Education Theory and Practice, v. 20, n. 3, p. 581-94, 2015. https://doi.org/10.1007/s10459-014-9547-z

STEMLER, S. E. A comparison of consensus, consistency and measurement approaches to estimating interrater reliability. Practical Assessment, Research and Evaluation, v. 9, n. 4, p. 1-11, 2004.

TOFFOLI, S. F. L. Avaliaes em larga escala com itens de respostas construdas no contexto do modelo Multifacetas de Rasch. 2015. 313 f. Tese (Doutorado em Engenharia de Produo) Programa de Ps-Graduao em Engenharia de Produo, Universidade Federal de Santa Catarina, Florianpolis, 2015.

TOFFOLI, S. F. L.; ANDRADE, D. F.; BORNIA, A. C. Evaluation of open items using the many-facet Rasch model. Journal of Applied Statistics, v. 43, n. 2, p. 299-316, 2015. https://doi.org/10.1080/02664763.2015.1049938

UNIVERSIDADE ESTADUAL DE LONDRINA - UEL. Coordenadoria de Processos Seletivos. Manual do candidato, 2014. Disponvel em: . Acesso em: 14 set. 2016.

UNIVERSIDADE ESTADUAL DE LONDRINA - UEL. Coordenadoria de Processos Seletivos. Processo Seletivo Vestibular 2015: provas e gabaritos da 2 fase, 2015. Disponvel em: . Acesso em: 14 set. 2016.

WRIGHT, B. D.; LINACRE, J. M. Reasonable mean-square fit values. Rasch Measurement Transactions, v. 8, n.3, p. 370, 1994.

WRIGHT, B. D.; STONE, M. Measurement essentials. 2nd ed. Wilmington, Delaware: Wide Range, 1999.




DOI: http://dx.doi.org/10.1590/s0104-40362018002601146

Apontamentos

  • Não há apontamentos.




Direitos autorais 2017 Revista Ensaio: Avaliação e Politicas Públicas em Educação

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.