Testes adaptativos para o Enade: uma aplicação metodológica

Jean Piton-Goncalves

Resumo


O Exame Nacional de Desempenho dos Estudantes avalia o rendimento dos concluintes de cursos da Educação Superior. É realizado por meio de lápis e papel e analisado sob a metodologia da Teoria Clássica de Testes. Buscando minimizar custos de distribuição, aplicação e correção, os Testes Computadorizados são inovadores e, quando utilizado sob a ótica da Teoria de Resposta ao Item, podem ser adaptativos. Um teste adaptativo seleciona os itens dinamicamente conforme o examinado responde ao teste, resultando em um teste individualizado, com a vantagem de ser mais curto que os testes convencionais. Este artigo tem como objetivo avaliar a viabilidade da aplicação metodológica de um teste adaptativo. Partindo de 10.861 respostas de estudantes de Licenciaturas em Matemática e 206.359 testes adaptativos simulados, os resultados mostram que uma seleção por Kullback-Leibler é a que apresenta um teste mais curto e tão preciso quanto os convencionais.


Texto completo:

PDF

Referências


ANDRADE, D. F. de; TAVARES, H. R.; VALLE, R. da C. Teoria de resposta ao item: conceitos e aplicações. São Paulo: Associação Brasileira de Estatística, 2000.

BABCOCK, B.; WEISS, D. J. Termination criteria in computerized adaptive tests: variable-length cats are not biased. In: CONFERENCE ON COMPUTERIZED ADAPTIVE TESTING, 2009, [Mineapolis]. Proceedings […]. [Mineapolis]: [s. n.], 2009. p. 1-21.

BADARACCO, M.; MARTÍNEZ, L. A fuzzy linguistic algorithm for adaptive test in intelligent tutoring system based on competences. Expert Systems with Applications, New York, v. 40, n. 8, p. 3073-3086, 2013.

BAKER, F. B. The basics of item response. 2. ed. College Park, MD: University of Maryland, 2001.

BAKER, F. B.; KIM, S. Item response theory: parameter estimation techniques. 2. ed. New York: CRC Press and Francis Group, 2001.

BIRNBAUM, A. Some latent trait models and their use in inferring an examinee´s ability. In: LORD, F. M.; NOVICK, M.R. (org.). Statistical theories of mental test scores. [Boston]: Addison-Wesley, 1968. p. 397-479.

BRASIL. Ministério da Educação. Entenda a sua nota no Enem: guia do participante. Brasília, DF: Inep, 2012. Disponível em: http://www.portal.singular.com.br/arquivos/thumbs/documentos_cursinho/Entenda%20a%20sua%20nota%20do%20ENEM.pdf. Acesso em: 15 ago. 2015.

CAMARGO, R. V. W.; CAMARGO, R. de C. C. P.; ANDRADE, A. F. de; BORNIA, A. C. Desempenho dos alunos de ciências contábeis na prova ENADE/2012: uma aplicação da Teoria da Resposta ao Item. Revista de Educação e Pesquisa em Contabilidade (REPeC), Brasília, DF, v. 10, n. 3, p. 332-355, ago. 2016. DOI: https://doi.org/10.17524/repec.v10i3.1401. Disponível em: http://www.repec.org.br/repec/article/view/1401/1183. Acesso em: 13 jan. 2019.

CAMPOS, F. C. dos S. Elaboração da prova do ENADE no modelo do banco nacional de itens. Orientador: Marcel de Toledo Vieira. 2013. 89 f. Dissertação (Mestrado Profissional em Gestão e Avaliação da Educação Pública) - Centro de Políticas Públicas e Avaliação da Educação, Universidade Federal de Juiz de Fora, Juiz de Fora, MG, 2013. Disponível em: http://mestrado.caedufjf.net/wp-content/uploads/2014/02/dissertacao-2011-fernanda-cristina-dos-santos-campos.pdf. Acesso em: 25 ago. 2018.

CHUN, W.; WEISS, D. J.; ZHUORAN, S. Variable-length stopping rules for multidimensional computerized adaptive testing. Psychometrika, [New York], v. 84, n. 3, p. 749-771, 2018. Disponível em: https://www.researchgate.net/publication/329380148_Variable-Length_Stopping_Rules_for_Multidimensional_Computerized_Adaptive_Testing. Acesso em: 4 maio 2019.

COELHO, E. C. Teoria da resposta ao item: desafios e perspectivas em exames multidisciplinares. Orientador: Paulo Justiniano Ribeiro Júnior. 2014. 189 f. Tese (Doutorado em Ciências) - Programa de Pós-Graduação em Métodos Numéricos em Engenharia, Universidade Federal do Paraná, Curitiba, 2014. Disponível em: https://acervodigital.ufpr.br/bitstream/handle/1884/36872/R%20-%20T%20-%20EDY%20CELIA%20COELHO.pdf?sequence=3&isAllowed=y. Acesso em: 6 jul. 2016.

COELHO, E. C.; RIBEIRO JUNIOR, P. J.; BONAT, W. H. Exame nacional de desenvolvimento de estudantes de estatística - desafios e perspectivas pela tri. Revista da Estatística UFOP, Ouro Preto, MG, v. 3, n. 2, p. 323-337, 2014.

CORRÊA, A. C. et al. Modelagem de um instrumento de medida de avaliação do Enade fundamentado na teoria de resposta ao item (tri): desenho para o mees. In: COLÓQUIO INTERNACIONAL SOBRE GESTÃO UNIVERSITÁRIA NAS AMÉRICAS, 12., 2012, Veracruz, México. Anais [...]. Florianópolis: UFSC, 2012.

DRASGOW, F.; LISSAK, R. I. Modified parallel analysis: a procedure for examining the latent dimensionality of dichotomously scored item responses. Journal of Applied Psychology, Washington, DC, v. 68, p. 363-373, 1983.

HUA-HUA, C.; ZHILIANG, Y. A global information approach to computerized adaptive testing. Applied Psychological Measurement, [S. l.], v. 20, n. 3, p. 213-229, 1996.

INEP. Relatório síntese de área: matemática (bacharelado e licenciatura). Brasília, DF: MEC, 2017. Disponível em: http://download.inep.gov.br/educacao_superior/enade/relatorio_sintese/2017/Matematica.pdf. Acesso em: 22 jun. 2019.

KLEIN, R. Utilização da teoria de resposta ao item no sistema nacional de avaliação da educação básica (Saeb). Ensaio: Avaliação e Políticas Públicas em Educação, v. 11, n. 40, p. 283-296, 2003.

LINACRE, J. M. Computer-adaptive testing: a methodology whose time has come. In: CHAE, U. K.; JEON, E.; LINACRE, J. M. (ed.). Development of computerised middle school achievement test. Chicago: Mesa, 2000.

LINDEN, W. J. V. D. Bayesian item selection criteria for adaptive testing. Psychometrika, [New York], v. 63, n. 2, p. 201-216, jun. 1998.

LINDEN, W. J. V. D. Using response times for item selection in computerized adaptive testing. Enschede: University of Twente, 2006.

LINDEN, W. J. V. D.; GLAS, C. A. W. (ed.). Computerized adaptive testing: theory and practice. [Berlin]: Kluwer Academic Publishers, 2000.

LOPES, F. L.; VENDRAMINI, C. M. M. Equalização de provas acadêmicas via teoria de resposta ao item. Psico-USF, Bragança Paulista, SP, v. 18, n. 1, p. 141–150, jan./abr. 2013. Disponível em: https://www.scielo.br/pdf/pusf/v18n1/v18n1a15.pdf. Acesso em: 9 nov. 2017.

LOPES, F. L.; VENDRAMINI, C. M. M. Propriedades psicométricas das provas de pedagogia do enade via tri. Avaliação, Campinas, SP; Sorocaba, SP, v. 20, n. 1, p. 27–47, mar. 2015. DOI: https://doi.org/10.590/S1414-40772015000100004. Disponível em: https://www.scielo.br/pdf/aval/v20n1/1414-4077-aval-20-01-00027.pdf. Acesso em: 18 nov. 2017.

LORD, F. M. Application of item response theory to practical testing problems. New Jersey: Lawrence Erlbaum Associates, 1980.

MASLOVSKYI, S.; SACHENKO, A. Adaptive test system of student knowledge based on neural networks. In: INTERNATIONAL CONFERENCE ON INTELLIGENT DATA ACQUISITION AND ADVANCED COMPUTING SYSTEMS: TECHNOLOGY AND APPLICATIONS, 8., 2015, Warsaw, Poland. Annals […]. Warsaw, Poland: IEEE, 2015. p. 940–944.

MIGUEL, F. K. A utilização da informática nas pesquisas em avaliação psicológica. Avaliação Psicológica, São Paulo, v. 16, n. 4, p. 1-3, 2017.

OSTERLIND, S. Constructiong test items: multiple-choice, constructed-response, performance, and other formats. [New York]: Kluwer Academic Publishers, 1998.

PARSHALL, C. G.; SPRAY, J. A.; KALOHN, J. C.; DAVEY, T. Practical considerations in computer-based testing. New York: Springer-Verlag, 2002.

PASQUALI, L. Psicometria. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. especial, p. 992-999, dez. 2009. Disponível em: https://www.scielo.br/pdf/reeusp/v43nspe/a02v43ns.pdf. Acesso em: 12 nov. 2011.

PASQUALI, L.; PRIMI, R. Fundamentos da teoria de resposta ao item - tri. Avaliação

Psicológica, São Paulo, v. 2, n. 2, p. 99–110, 2003. Disponível em: http://pepsic.bvsalud.org/pdf/avp/v2n2/v2n2a02.pdf. Acesso em: 13 dez. 2007.

PITON-GONÇALVES, J. A integração de testes adaptativos informatizados e ambientes computacionais de tarefas para o aprendizado do inglês instrumental. Orientadora: Sandra Maria Aluísio. 2004. 141 f. Dissertação (Mestrado em Ciência da Computação e Matemática Computacional) - Programa de Pós-Graduação do Instituto de Ciências Matemáticas e de Computação, Universidade de São Paulo, São Carlos, SP, 2004. Disponível em: https://teses.usp.br/teses/disponiveis/55/55134/tde-03052004-160334/publico/dissertacao_Jean_Piton.pdf. Acesso em: 12 nov. 2004.

PITON-GONÇALVES, J. Desafios e perspectivas da implementação computacional de testes adaptativos multidimensionais para avaliações educacionais. Orientadora: Sandra Maria Aluísio. 2012. 176 f. Tese (Doutorado em Ciências da Computação e Matemática Computacional) – Programa de Pós-Graduação em Ciências de Computação e Matemática Computacional, Universidade de São Paulo, São Carlos, SP, 2012. Disponível em: https://www.teses.usp.br/teses/disponiveis/55/55134/tde-13032013-105955/publico/tese_revisada_final_jean_piton_jan2013.pdf. Acesso em: 2 jun. 2013.

PITON-GONÇALVES, J.; ALUÍSIO, S. M. An architecture for multidimensional computer adaptive test with educational purposes. In: SYMPOSIUM ON MULTIMEDIA AND THE WEB, 18., 2012, New York. Proceedings […]. New York: ACM, 2012. p. 17-24.

PITON-GONÇALVES, J.; ALUÍSIO, S. M. Teste adaptativo computadorizado multidimensional com propósitos educacionais: princípios e métodos. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 87, p. 389-414, 2015. DOI: https://doi.org/10.1590/S0104-40362015000100016. Disponível em: https://www.scielo.br/pdf/ensaio/v23n87/0104-4036-ensaio-23-87-389.pdf. Acesso em: 3 jan. 2016.

PITON-GONÇALVES, J.; MONZÓN, A. J.; ALUÍSIO, S. M. Métodos de avaliação informatizada que tratam o conhecimento parcial do aluno e geram provas individualizadas. In: SIMPÓSIO BRASILEIRO DE INFORMÁTICA NA EDUCAÇÃO, 20., 2009, Porto Alegre. Anais [...]. Porto Alegre: Sociedade Brasileira de Computação, 2009. p. 1-10.

PLAJNER, M.; VOMLEL, J. Bayesian network models for adaptive testing. In: ANNUAL BAYESIAN MODELLING APPLICATIONS WORKSHOP, 12., 2015, Amsterdam. Annals […]. Amsterdam: [s. n.], 2015.

PRIMI, R.; HUTZ, C. S.; SILVA, M. C. R. da. A prova do Enade de psicologia 2006: concepção, construção e análise psicométrica da prova. Avaliação Psicológica, São Paulo, v. 10, n. 3, p. 271-294, 2011. Disponível em: http://pepsic.bvsalud.org/pdf/avp/v10n3/v10n3a04.pdf. Acesso em: 17 set. 2017.

RECKASE, M. D. An interactive computer program for tailored testing based on the oneparameter logistic model. Behaviour Research Methods and Instrumentation, [Berlin], v. 6, n. 2, p. 208-212, 1974.

RIZOPOULOS, D. ltm: an r package for latent variable modelingand item response theory analyses. Journal of Statistical Software, [S. l.], v. 17, n. 5, p. 1-25, 2006.

SANTANA, L. F. et al. Avaliação informatiza adaptativa do Enade pelo moodle: evidências de validade. Informática na educação: teoria e prática, Porto Alegre, v. 20, n. 2, p. 222–238, maio/ago. 2017. Disponível em: https://seer.ufrgs.br/InfEducTeoriaPratica/article/view/69900/43630. Acesso em: 18 mar. 2019.

SCHER, V. T. et al. Uma aplicação da tri na avaliação do Enade do curso de administração. In: COLÓQUIO INTERNACIONAL DE GESTÃO UNIVERSITÁRIA, 14., 2014, Florianópolis. Anais [...]. Florianópolis: [UFSC], 2014. Disponível em: https://core.ac.uk/download/pdf/30408247.pdf. Acesso em: 23 mar. 2019.

VELDKAMP, B. P.; MATTEUCCI, M. Bayesian computerized adaptive testing. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro. v. 21, n. 78, p. 57-82, jan./mar. 2013. Disponível em: https://www.scielo.br/pdf/ensaio/v21n78/aop_0313.pdf. Acesso em: 12 abr. 2014.

VENDRAMINI, C. M. M. Avaliação multidimensional de desempenho do estudante. Avaliação, Campinas, SP; Sorocaba, SP, v. 10, n. 3, p. 27-40, set. 2005. Disponível em: http://periodicos.uniso.br/ojs/index.php/avaliacao/article/view/1314/1304. Acesso em: 10 out. 2013.

TIANYOU, W.; HANSON, B. A. Development and calibration of an item response model that incorporates response time. Applied Psychological Measurement, [S. l.], v. 29, n. 5, p. 323–339, 2005. Disponível em: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.861.8244&rep=rep1&type=pdf. Acesso em: 24 jul. 2007.

WEISS, D. J. Adaptive testing by computer. Journal of Consulting and Clinical Psychology, Arlington, v. 53, n. 6, p. 774-789, 1985.

WEISS, D. J.; KINGSBURY, G. G. Application of computerized adaptive testing to educational problems. Journal of Education Measurement, [S. l.], v. 21, p. 361-375, 1984.

WRIGHT, B. Practical adaptive testing CAT algorithm. Rasch Measurement Transactions, [S. l.], 1988.

ZHONGMIN, C.; CHUNYAN, L.; YONG, H.; HANWEI, C. Comparison of algorithms that allow item review in computerized adaptive testing. [USA]: ACT, 2018.




DOI: http://dx.doi.org/10.22347/2175-2753v12i36.2735

Bookmark and Share


Direitos autorais 2020 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.