A utilização do modelo multifacetas de Rasch na análise das influências dos avaliadores sobre as avaliações com itens abertos

Resumo

Este trabalho analisa a qualidade da pontuação em avaliações com itens abertos por meio do modelo multifacetas de Rasch (MFR). Sao utilizadas as pontuacoes atribuidas às redacoes de participantes do Processo Seletivo Vestibular da Universidade Estadual de Londrina, de 2015. O modelo MFR pode proporcionar estudos, tanto no nivel de grupo quanto no nivel individual, possibilitando a identificação de avaliadores portadores de comportamentos tendenciosos, conhecidos por causarem erros importantes nas pontuacoes de tarefas escritas. As analises no nivel de grupo mostraram que a avaliação foi eficiente e que os dados, de modo geral, sao adequados às expectativas de medicao dos modelos de Rasch e, por meio das analises no nivel individual, foi possivel detectar avaliadores que pontuaram diferentemente do modo como os outros avaliadores, em media, atribuiram suas pontuacoes. O modelo MFR mostrou-se uma ferramenta adequada e eficiente para o monitoramento da qualidade das pontuacoes atribuidas às tarefas de escrita.