INOValiar: lista consolidada de critérios de qualidade de questões de escolha múltipla na avaliação de aprendizagens

João Padilla, Marta Mateus de Almeida, Carla Nascimento, Mara Pereira Guerreiro

Resumo


As questões de escolha múltipla (QEM) são amplamente utilizadas na avaliação de estudantes do ensino superior, com capacidade de avaliar diversos domínios cognitivos. No entanto, a literatura científica indica que um número considerável de QEM apresenta não conformidades face às orientações de boa prática, comprometendo a validade e fiabilidade do processo de avaliação. Este trabalho foca-se na componente técnica da construção de QEM de resposta única, apresentando uma lista consolidada de 18 critérios de qualidade que derivam da literatura. Este recurso foi utilizado na formação de 176 docentes do ensino superior de várias disciplinas, que expressaram opiniões positivas e manifestaram a intenção de integrá-lo nas suas práticas de avaliação.

Texto completo:

PDF

Referências


AGÊNCIA DE AVALIAÇÃO E ACREDITAÇÃO DO ENSINO SUPERIOR. Referenciais para os sistemas internos de garantia da qualidade nas instituições de ensino superior: adaptado aos ESG 2015: versão 1.2. Lisboa: A3ES, 2016.

BIGGS, J. Enhancing teaching through constructive alignment. Higher Education, Dordrecht, v. 32, p. 347-364, 1996. DOI: https://doi.org/10.1007/BF00138871. Disponível em: https://link.springer.com/article/10.1007/BF00138871. Acesso em: 15 mar. 2024.

BOLLELA, V. R.; BORGES, M. D. C.; TRONCON, L. E. A. Avaliação somativa de habilidades cognitivas: experiência envolvendo boas práticas para a elaboração de testes de múltipla escolha e a composição de exames. Revista Brasileira de Educação Médica, Brasília, DF, v. 42, n. 4, p. 74-85, 2018. DOI: https://doi.org/10.1590/1981-52712015v42n4rb20160065. Disponível em: https://www.scielo.br/j/rbem/a/9dnZCHRwdQKjFt7vH4DcR6n/?lang=pt. Acesso em: 30 jan. 2025.

BREDON, G. Take-home tests in economics. Economic Analysis and Policy, Brisbane, v. 33, n. 1, p. 52-60, 2003. DOI: https://doi.org/10.1016/S0313-5926(03)50004-2. Disponível em: https://www.sciencedirect.com/science/article/pii/S0313592603500042?via%3Dihub. Acesso em: 15 mar. 2024.

BROWN, G. T. L.; ABDULNABI, H. H. A. Evaluating the quality of higher education instructor-constructed multiple-choice tests: impact on student grades. Frontiers in Education, Lausanne, v. 2, 2017. DOI: https://doi.org/10.3389/feduc.2017.00024. Disponível em: https://www.frontiersin.org/journals/education/articles/10.3389/feduc.2017.00024/full. Acesso em: 30 jan. 2025.

BRYAN, C.; CLEGG, K. (ed.). Innovative assessment in higher education. Abingdon: Routledge, 2006.

CATANZANO, T.; JORDAN, S. G.; LEWIS, P. J. Great question! The art and science of crafting high-quality multiple-choice questions. Journal of the American College of Radiology, Reston, v. 19, n. 6, p. 687-692, 2022. DOI: https://doi.org/10.1016/j.jacr.2022.01.016. Disponível em: https://www.jacr.org/article/S1546-1440(22)00171-5/abstract. Acesso em: 15 mar. 2024.

COUGHLIN, P. A.; FEATHERSTONE, C. R. How to write a high quality multiple choice question (MCQ): a guide for clinicians. European Journal of Vascular and Endovascular Surgery, Bègles, v. 54, n. 5, p. 654-658, 2017. DOI: https://doi.org/10.1016/j.ejvs.2017.07.012. Disponível em: https://www.ejves.com/article/S1078-5884(17)30445-8/fulltext. Acesso em: 16 jun. 2024.

DELL, K. A.; WANTUCH, G. A. How-to-guide for writing multiple choice questions for the pharmacy instructor. Currents in Pharmacy Teaching and Learning, [S. l.], v. 9, n. 1, p. 137-144, 2017. DOI: https://doi.org/10.1016/j.cptl.2016.08.036. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S1877129715300575?via%3Dihub. Acesso em: 30 jan. 2025.

DOWNING, S. M. The effects of violating standard item writing principles on tests and students: the consequences of using flawed test items on achievement examinations in medical education. Advances in Health Sciences Education: Theory and Practice, Dordrecht, v. 10, p. 133-143, 2005. DOI: https://doi.org/10.1007/s10459-004-4019-5. Disponível em: https://link.springer.com/article/10.1007/s10459-004-4019-5. Acesso em: 15 mar. 2024.

FAYYAZ KHAN, H.; FAROOQ DANISH, K.; SAEED AWAN, A.; ANWAR, M. Identification of technical item flaws leads to improvement of the quality of single best Multiple Choice questions. Pakistan Journal of Medical Sciences, Karachi, v. 29, n. 3, p. 715-718, 2013. DOI: https://doi.org/10.12669/pjms.293.2993. Disponível em: https://pmc.ncbi.nlm.nih.gov/articles/PMC3809311/. Acesso em: 30 jan. 2025.

FERNANDES, D. Avaliação das aprendizagens: uma agenda, muitos desafios. Lisboa: Texto Editora, 2004.

FERNANDES, D. Para um enquadramento teórico da avaliação formativa e da avaliação sumativa das aprendizagens escolares. In: ORTIGÃO, M. I. R.; FERNANDES, D.; PEREIRA, T. V.; SANTOS, L. (org.). Avaliar para aprender em Portugal e no Brasil: perspectivas teóricas, práticas e de desenvolvimento. Curitiba: CRV, 2019. p. 139-164.

FERNANDES, D.; BORRALHO, A.; BARREIRA, C.; MONTEIRO, A.; CATANI, D.; CUNHA, E.; ALVES, M. P. (ed.). Avaliação, ensino e aprendizagem no ensino superior em Portugal e no Brasil: realidades e perspectiva. Curitiba: EDUCA, 2014.

FERNANDES, D.; FIALHO, N. Dez anos de práticas de avaliação das aprendizagens no ensino superior: uma síntese da literatura (2000-2009). In: LEITE, C.; ZABALZA, M. (coord.). Ensino superior: inovação e qualidade na docência. Porto: Centro de Investigação e Intervenção Educativas da Faculdade de Psicologia e de Ciências da Educação da Universidade do Porto, 2012. p. 3693-3707.

FERNANDES, S. R. G.; MACHADO, E. A.; ABELHA, M. Student assessment in higher education: a review of thesis carried out in portuguese public universities. Revista Meta: Avaliação, Rio de Janeiro, v. 15, n. 46, 2023. DOI: https://doi.org/10.22347/2175-2753v15i46.3844. Disponível em: https://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/3844. Acesso em: 15 mar. 2024.

GUPTA, V.; WILLIAMS, E. R.; WADHWA, R. Multiple-choice tests: a-z in best writing practices. Psychiatric Clinics of North America, Filadélfia, v. 44, n. 2, p. 249-261, 2021. DOI: https://doi.org/10.1016/j.psc.2021.03.008. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0193953X21000137?via%3Dihub. Acesso em: 30 jan. 2025.

HATTIE, J. A. C.; DONOGHUE, G. M. Learning strategies: a synthesis and conceptual model. npj Science of Learning, Londres, v. 1, 2016. DOI: https://doi.org/10.1038/npjscilearn.2016.13. Disponível em: https://www.nature.com/articles/npjscilearn201613. Acesso em: 16 jun. 2024.

KELLAGHAN, T.; MADAUS, G. F. Outcome evaluation. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (ed.). Evaluation models: viewpoints on educational and human services evaluation. Dordrecht: Springer, 2000. p. 97-112.

MORGADO, V. et al. Análise estrutural dos exames de ingresso nos internatos complementares de 1994 a 1996. Acta Médica Portuguesa, Lisboa, v. 10, n. 5, p. 387-390, 1997. DOI: https://doi.org/10.20344/amp.2427. Disponível em: https://doaj.org/article/caef5178aa5d4795b265262fbc02a0ff. Acesso em: 30 jan. 2025.

NATIONAL BOARD OF MEDICAL EXAMINERS. Constructing written test questions for the health sciences. 6 ed. Filadélfia: National Board of Medical Examiners, 2021.

NEDEAU-CAYO, R.; LAUGHLIN, D.; RUS, L.; HALL, J. Assessment of item-writing flaws in multiple-choice questions. Journal for Nurses in Professional Development, Filadélfia, v. 29, n. 2, p. 52-57, 2013. DOI: https://doi.org/10.1097/NND.0b013e318286c2f1. Disponível em: https://journals.lww.com/jnsdonline/abstract/2013/03000/assessment_of_item_writing_flaws_in.2.aspx. Acesso em: 15 mar. 2024.

PAIS, J.; SILVA, A.; GUIMARÃES, B.; POVO, A.; COELHO, E.; SILVA-PEREIRA, F.; LOURINHO, I.; FERREIRA, M. A.; SEVERO, M. Do item-writing flaws reduce examinations psychometric quality? BMC research notes, Londres, v. 9, 2016. DOI: https://doi.org/10.1186/s13104-016-2202-4. Disponível em: https://bmcresnotes.biomedcentral.com/articles/10.1186/s13104-016-2202-4. Acesso em: 16 jun. 2024.

SALIH, K.; JIBO, A.; ISHAQ, M.; KHAN, S.; MOHAMMED, O. A.; AL-SHAHRANI, A. M.; ABBAS, M. Psychometric analysis of multiple-choice questions in an innovative curriculum in Kingdom of Saudi Arabia. Journal of Family Medicine and Primary Care, Mumbai, v. 9, n. 7, p. 3663-3668, 2020. DOI: https://doi.org/10.4103/jfmpc.jfmpc_358_20. Disponível em: https://journals.lww.com/jfmpc/Fulltext/2020/09070/Psychometric_analysis_of_multiple_choice_questions.84.aspx. Acesso em: 30 jan. 2025.

SANTOS, L. Reflexões em torno da avaliação pedagógica. In: ORTIGÃO, M. I. R.; FERNANDES, D.; PEREIRA, T. V.; SANTOS, L. (org.). Avaliar para aprender no Brasil e em Portugal: perspectivas teóricas, práticas e de desenvolvimento. Curitiba: CRV, 2019. p. 165-190.

SANTOS, L.; PINTO, J. Ensino de conteúdos escolares: a avaliação como fator estruturante. In: VEIGA, F. H. (coord.). O ensino como fator de envolvimento numa escola para todos. Lisboa: Climepsi Editores, 2018. p. 503-539.

SCRIVEN, M. Evalution ideologies. In: STUFFLEBEAM, D. L.; MADAUS, G. F.; KELLAGHAN, T. (org.). Evaluation models: viewpoints on educational and human services evaluation. 2 ed. Dordrecht: Kluwer, 2000. p. 249-278.

SMITH, L. S. How to write better multiple-choice questions. Nursing, Filadélfia, v. 48, n. 11, p. 14-17, 2018. DOI: https://doi.org/10.1097/01.NURSE.0000546471.79886.85. Disponível em: https://journals.lww.com/nursing/citation/2018/11000/how_to_write_better_multiple_choice_questions.4.aspx. Acesso em: 15 mar. 2024.

TARRANT, M.; WARE, J. Impact of item-writing flaws in multiple-choice questions on student achievement in high-stakes nursing assessments. Medical Education, [S. l.], v. 42, n. 2, p. 198-206, 2008. DOI: https://doi.org/10.1111/j.1365-2923.2007.02957.x. Disponível em: https://asmepublications.onlinelibrary.wiley.com/doi/10.1111/j.1365-2923.2007.02957.x. Acesso em: 16 jun. 2024.

TAVAKOL, M.; DENNICK, R. Post-examination analysis of objective tests. Medical Teacher, Milton Park, v. 33, n. 6, p. 447-458, 2011. DOI: https://doi.org/10.3109/0142159X.2011.564682. Disponível em: https://www.tandfonline.com/doi/full/10.3109/0142159X.2011.564682. Acesso em: 30 jan. 2025.




DOI: http://dx.doi.org/10.22347/2175-2753v17i54.5021

Bookmark and Share


Direitos autorais 2025 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.