Medidas de Qualidade de ajuste e de DIF (differential item functioning)

Ruben Klein

Resumo


Resumo

Este artigo revê algumas medidas de qualidade de ajuste de um modelo TRI (Teoria de Resposta ao Item) e introduz as estatísticas MaxAdif e RMSD (root mean square deviation – raiz quadrada da média dos quadrados dos desvios) baseada nas proporções esperadas por alternativa e nas proporções empíricas por alternativa. Estende estas estatísticas para o DIF (differential item functioning – comportamento diferencial do item) entre dois grupos. O item pode ser dicotômico ou politômico. Indica também como calcular as proporções esperadas.

Palavras-chave: Qualidade de ajuste, DIF, TRI, MaxAdif, RMSD, proporções esperadas, proporções empíricas.


Palavras-chave


Qualidade de ajuste. DIF. TRI. MaxAdif. RMSD. proporções esperadas. proporções empíricas.

Texto completo:

SciELO

Referências


Referências

ANDRADE, D. F.; TAVARES, H. R.; VALLE, R. C. Teoria da Resposta ao Item: conceitos e aplicações. In: SIMPÓSIO NACIONAL DE PROBABILIDADE E ESTATÍSTICA, 14., 2000, Caxambu. Livro de resumos. Caxambu, MG: Associação Brasileira de Estatística, 2000

BAKER, F. B. Item Response Theory: parameter estimation techniques. New York: Marcel Dekker, 1992. (Statistics, textbooks, and monographs; v. 129).

BIRNBAUM, A. Some Latent Trait Models and Their Use in Inferring an Examinee’s Ability. In: LORD, F. M.; NOVICK, M. R. (Eds.). . Statistical Theories of Mental Test Scores. Addison-Wesley series in behavioral sciences: Quantitative methods. [s.l.] Addison-Wesley, Reading, 1968. p. 397–479.

BOCK, R. D. Estimating item parameters and latent ability when responses are scored in two or more nominal categories. Psychometrika, v. 37, n. 1, p. 29–51, mar. 1972.

CHALMERS, R. P. mirt : A Multidimensional Item Response Theory Package for the R Environment. Journal of Statistical Software, v. 48, n. 6, 2012.

DU TOIT, M. IRT from SSI: BILOGMG, MULTILOG, PARSCALE, TESTFACT. [s.l.] Scientific Software International, 2003.

GEORGE, A. C., ROBITZSCH, A., KIEFER, T., GROSS, J., & UENLUE, A. The R Package CDM for Cognitive Diagnosis Models. Journal of Statistical Software, v. 74, n. 2, 2016.

KLEIN, RUBEN. Utilização da teoria da resposta ao item no Sistema Nacional de Avaliação da Educação Básica (SAEB). Ensaio: aval. pol. públ. educ.. Rio de Janeiro v. 11, n. 40, p. 283-296, jul. 2003. Disponível em . Acesso em: 01 nov. 2024

KLEIN, RUBEN. Utilização da Teoria de Resposta ao Item no Sistema Nacional de Avaliação da Educação Basica (SAEB). Revista Meta: Avaliação, [S.l.], v. 1, n. 2, p. 125-140, sep. 2009. ISSN 2175-2753. Disponível em: . Acesso em: 01 nov. 2024. doi:http://dx.doi.org/10.22347/2175-2753v1i2.38.

KHORRAMDEL, L., SHIN, H. J., & VON DAVIER, M.. GDM software mdltm including parallel EM algorithm. In M. von Davier & Y. S. Lee (Eds.), Handbook of psychometric models for cognitive diagnosis (pp. 603–628). Springer, 2019

MAYDEU-OLIVARES, A. (2013). Goodness-of-Fit Assessment of Item Response Theory Models. Measurement, 11: 71–101.

MCKINLEY, R. L.; MILLS, C. N. A Comparison of Several Goodness-of-Fit Statistics. Applied Psychological Measurement, v. 9, n. 1, p. 49–57, mar. 1985.

OCDE. PISA 2015 Technical Report. Paris: OCDE, 2017.

OCDE. PISA 2018 Technical Report. Paris: OCDE.

OCDE, PIAAC 2019. Technical Report of the Survey of Adult Skills (PIAAC) 3rd edition. Disponível em:

OLIVERI, M. E.; DAVIER, M. VON. Investigation of model fit and score scale comparability in international assessments. Psychological Test and Assessment Modeling, v. 53, n. 3, p. 315–333, 2011.

R CORE TEAM. R: A Language and Environment for Statistical Computing. Vienna, Austria: R Foundation for Statistical Computing, 2020.

Relatório Técnico Pedagógico do SAEB 2007, Cesgranrio 2008.

Relatório Técnico Pedagógico do ENEM 2016, Cesgranrio 2017.

ROBITZSCH, A. et al. CDM: Cognitive diagnosis modeling. [s.l: s.n.]. Disponível em: .

ROBITZSCH, A.; KIEFER, T.; WU, M. TAM: Test analysis modules. [s.l: s.n.]. Disponível em: .

STEIGER, J. H. Notes on the Steiger–Lind (1980) Handout. Structural Equation Modeling: A Multidisciplinary Journal, v. 23, n. 6, p. 777–781, set. 2016.

STEIGER, J. H.; LIND, J. C. Statistically-Based Tests for the Number of Common Factors. In: ANNUAL MEETING OF THE PSYCHOMETRIC SOCIETY. Iowa City, EUA, 1980.

TENNANT, A.; PALLANT, J. F. The Root Mean Square Error of Approximation (RMSEA) as a supplementary statistic to determine fit to the Rasch model with large sample sizes. Rasch Measurement Transactions, v. 25, n. 4, p. 1348–1349, 2012.

WRIGHT, B. D.; MASTERS, G. N. Rating scale analysis. Chicago, IL: Mesa Press, 1982.

YAMAMOTO, K., KHORRAMDEL, L., & VON DAVIER, M. (2013). Scaling PIAAC cognitive data. In OECD (Eds.). Technical Report of the Survey of Adults Skills (PIAAC) (Ch. 17). Paris: OECD

YEN, W. M. Using Simulation Results to Choose a Latent Trait Model. Applied Psychological Measurement, v. 5, n. 2, p. 245–262, abr. 1981.

YEN, W. M. Effects of Local Item Dependence on the Fit and Equating Performance of the Three-Parameter Logistic Model. Applied Psychological Measurement, v. 8, n. 2, p. 125–145, abr. 1984.

OKUBO,T, BASTINIAC,T. FRAGOSO, T, TSE, C. H. 2021. PISA_Based Test for Schools: International Linking Study 2020. OECD Education Working Paper No.244. https://dx.doi.org/10.1787/ef1356ae-en


Apontamentos

  • Não há apontamentos.


Bookmark and Share


Direitos autorais 2025 Ruben Klein

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição 4.0 Internacional.

Apoio:


Programa de Apoio às Publicacoes Cientificas (AED) do Ministério da Ciência, Tecnologia e Inovação (MCTI), Conselho Nacional de Desenvolvimento Cientifico e tecnologico (CNPq), Ministerio da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)  

Revista chancelada pela Unesco. Revista parceira da Associação Brasileira de Avaliação Educacional (ABAVE)

SCImago Journal & Country Rank