Sobre a complementaridade da teoria classica dos testes e dos modelos de resposta ao Item: estimativas da dificuldade do item e testes adaptativos computarizados

Patricia Costa, Maria Eugenia Ferrao

Resumo


O presente artigo tem por objetivo fornecer evidencia estatistica sobre a complementaridade entre a teoria classica dos testes e os modelos de resposta ao item para determinados fins de avaliação educacional. Essa complementaridade pode contribuir para o desenvolvimento futuro de processos inovadores de calibração dos items no contexto de testes adaptativos, a custo reduzido. A teoria classica dos testes e o modelo de resposta ao item de credito parcial generalizado sao aplicados a testes compostos por items de múltipla escolha, de resposta curta, de completamento e de resposta aberta, parcialmente classificados. Os conjuntos de dados advem dos testes realizados junto da população portuguesa de estudantes inscritos no 4º e no 6º ano. Os intervalos de confianca de 95% baseados em 1.000 amostras bootstrap revelam uma forte associação entre as estimativas da dificuldade do item, corroborando a teoria estatistica de testes psicologicos.


Palavras-chave


Credito parcial generalizado; Modelo de resposta ao item; Teoria classica dos testes; Avaliação educacional

Texto completo:

SciElo (English)

Referências


AMERICAN EDUCATIONAL RESEARCH ASSOCIATION – AERA; AMERICAN PSYCHOLOGICAL ASSOCIATION – APA; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION – NCME. Standards for educational and psychological testing. Washington, D.C., 1999.

BJORNER, J. et al. Developing tailored instruments: item banking and computerized adaptive assessment. Quality of Life Research, v. 16, n. 1 Suppl., p. 95-108, Aug. 2007. DOI:10.1007/s11136-007-9168-6

FERRAO, M. E.; COSTA, P.; OLIVEIRA, P. N. Generalized partial credit item response model: linking scales in the assessment of learning. Journal of Interdisciplinary Mathematics, v. 18, n. 4, p. 339-54, Jun. 2015. DOI: 10.180/09720502.2014.932119

FERRAO, M. E.; PRATA, P. Item response models in computerized adaptive testing: a simulation study. Lecture Notes in Computer Science, v. 8581, p. 552-65, 2014. Apresentado no 14th International Science and Its Applications – ICCSA 2014, Guimaraes, Portugal, 2014. DOI:10.1007/978-3-319-09150-1_40

GOLDSTEIN, H.; WOOD, R. Five decades of item response modelling. British Journal of Mathematical and Statistical Psychology, v. 42, n. 2, p. 139-67, Nov. 1989. DOI:10.1111/j.2044-8317.1989.tb00905.x

GUILFORD, J. P.; FRUCHTER, B. Fundamental statistics in psychology and education. 6. ed. New York: McGraw-Hill, 1978.

HAMBLETON, R. K. Theory, methods, and practices in testing for the 21st century. Psicothema, v. 16, n. 4, p. 696-701, 2004.

HAMBLETON, R. K.; JONES, R. W. Comparison of classical test theory and item response theory and their applications to test development. Educational Measurement: Issues and Practice, v. 12, n.3, p. 38-47, Sep. 1993. DOI:10.1111/j.1745-3992.1993.tb00543

HAMBLETON, R.; SWAMINATHAN, H.; ROGERS, H. J. Fundamentals of item response theory. California: Sage, 1991.

KLEIN, R. Alguns aspectos da teoria de resposta ao item relativos à estimacao das proficiencias. Ensaio: Avaliacao e Politicas Públicas Em Educacao, v. 21, n. 78, p. 35-56, jan./mar. 2013. DOI:10.1590/S0104-40362013005000003

LORD, F. M. Applications of item response theory to practical testing problems. Hillsdale: Lawrence Erlbaum, 1980.

LORD, F. M.; NOVICK, M. R. Statistical theories of mental test scores. Oxford: Addison-Wesley, 1968.

MURAKI, E. Information functions of the generalized partial credit model. Applied Psychological Measurement, v. 17, n. 4, p. 351-63, Dec.1993.

MURAKI, E. A generalized partial credit model. In: VAN DER LINDEN, W. J.; HAMBLETON, R. K. (Eds.). Handbook of modern item response theory. New York: Springer, 1997. p. 153-64.

MURAKI, E.; BOCK, R. IRT based test scoring and item analysis for graded open-ended exercises and performance tasks (Version 3). Chicago: Scientific Software, 2002.

NYDICK, S. W.; WEISS, D. J. A hybrid simulation procedure for the development of CATs. In: 2009 GMAC® CONFERENCE ON COMPUTERIZED ADAPTIVE TESTING, 2009, Minneapolis. Proceedings. Disponivel em: . Acesso em: 20 fev 2014.

STOCKING, M. L. Three practical issues form modern adaptive testing item pools. Princeton: Educational Testing Research, 1994. (ETS Research Report, 93-2).

THISSEN, D.; STEINBERG, L. The taxonomy of item response models. Psychometrika, v. 51, n. 4, p. 567-77, Dec. 1988. DOI:10.1007/BF02295596

VELDKAMP, B. P.; MATTEUCCI, M. Bayesian computerized adaptive testing. Ensaio: Avaliacao e Politicas Públicas em Educacao, v. 21, n. 78, p. 57-82, jan./mar. 2013. DOI:10.1590/S0104-40362013005000001

WISE, S. L.; KINGSBURY, G. G. Practical issues in developing and maintaining a computerized adaptive testing program developing and maintaining an item pool for use in an adaptive test. Psicologica, v. 21, n. 1, p. 135-55, 2000.




DOI: http://dx.doi.org/10.1590/S0104-40362015000300003

Apontamentos

  • Não há apontamentos.


Bookmark and Share


Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Apoio:


Programa de Apoio às Publicacoes Cientificas (AED) do Ministério da Ciência, Tecnologia e Inovação (MCTI), Conselho Nacional de Desenvolvimento Cientifico e tecnologico (CNPq), Ministerio da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)  

Revista chancelada pela Unesco. Revista parceira da Associação Brasileira de Avaliação Educacional (ABAVE)

SCImago Journal & Country Rank