Validity evidence based on internal structure of a pilot scientific literacy assessment instrument

Marcelo Coppi, Isabel Fialho, Marília Cid

Resumo


This study presents the validity evidence based on internal structure gathered from the application of a pilot instrument to assess the scientific literacy of students at the end of the 3rd cycle of basic education. The instrument, composed of the subtests nature of science, impact of science and technology on society and content of science, was applied to 176 students in the 10th grade from eight Portuguese schools. Evidence was gathered using the Item Response Theory information function. The analysis revealed that the three subtests show evidence of validity based on internal structure that makes it possible to use the results for decision making. Nevertheless, it was found to be necessary to revise the items of the content of science subtest in order for them to better fit the characteristics of the sample.


Texto completo:

PDF (English)

Referências


ALEXANDRE, N. M. C.; COLUCI, M. Z. O. Validade de conteúdo nos processos de construção e adaptação de instrumentos de medidas. Ciência & Saúde Coletiva, Rio de Janeiro, v. 16, n. 7, p. 3061–3068, 2011. DOI: https://doi.org/10.1590/S1413-81232011000800006. Available in: https://www.scielo.br/j/csc/a/5vBh8PmW5g4Nqxz3r999vrn/#. Access in: 20 oct. 2022.

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological testing. Washington, DC: AERA, 2014.

ANDRADE, J. M.; LAROS, J. A.; GOUVEIA, V. V. O uso da teoria de resposta ao item em avaliações educacionais: diretrizes para pesquisadores. Avaliação Psicológica, Porto Alegre, v. 9, n. 3, p. 421–435, 2010.

BAKER, F. B.; KIM, S.-H. The basics of item response theory: statistics for social and behavioral sciences. Pittsburgh: Springer, 2017.

BRAUN, H. I. Meeting the challenges to measurement in an era of accountability. New York: Routledge, 2016.

COPPI, M. A.; FIALHO, I.; CID, M. Evidências de validade baseadas no conteúdo de um instrumento de avaliação da literacia científica. Cadernos de Pesquisa, São Luís, v. 29, n. 2, p. 99–127, 2022. DOI: https://doi.org/10.18764/2178-2229v29n2.2022.27. Available in: https://periodicoseletronicos.ufma.br/index.php/cadernosdepesquisa/article/view/17211. Access in: 18 oct. 2022.

COPPI, M.; FIALHO, I.; CID, M. Developing a scientific literacy assessment instrument for portuguese 3rd cycle students. Education Sciences, [S. l.], v. 13, n. 9, p. 941, 2023. DOI: https://doi.org/10.3390/educsci13090941. Available in: https://www.mdpi.com/2227-7102/13/9/941. Access in: 16 apr. 2023.

COUTO, G.; PRIMI, R. Teoria de resposta ao item (TRI): Conceitos elementares dos modelos para itens dicotômicos. Boletim de Psicologia, São Paulo, v. 61, n. 134, p. 1–15, 2011.

CUARTAS, J. Improving the measurement of children’s mental health problems in Colombia with item response theory. Revista Colombiana de Psicologia, Bogotá, v. 29, n. 1, p. 87–103, 2020. DOI: https://doi.org/10.15446/.v29n1.77214. Available in: https://revistas.unal.edu.co/index.php/psicologia/article/view/77214. Access in: 07 mar. 2023.

DEBOER, G. E. Scientific literacy: another look at its historical and contemporary meanings and its relationship to science education reform. Journal of Research in Science Teaching, New York, v. 37, n. 6, p. 582–601, 2000. DOI: https://doi.org/10.1002/1098-2736(200008)37:6<582::AID-TEA5>3.0.CO;2-L. Available in: https://onlinelibrary.wiley.com/doi/10.1002/1098-2736(200008)37:6%3C582::AID-TEA5%3E3.0.CO;2-L. Access in: 07 mar. 2023.

DEPRESBITERIS, L.; TAVARES, M. R. Diversificar é preciso...: instrumentos e técnicas de avaliação de aprendizagem. São Paulo: Senac São Paulo, 2017.

EDELEN, M. O.; REEVE, B. B. Applying item response theory (IRT) modeling to questionnaire development, evaluation, and refinement. Quality of Life Research, Dordrecht, v. 16, supl. 1, p. 5–18, 2007. DOI: 10.1007/s11136-007-9198-0. Available in: https://link.springer.com/article/10.1007/s11136-007-9198-0. Access in: 20 oct. 2022.

FIVES, H.; HUEBNER, W.; BIRNBAUM, A. S.; NICOLICH, M. Developing a measure of scientific literacy for middle school students. Science Education, New York, v. 98, n. 4, p. 549–580, 2014. Doi: https://doi.org/10.1002/sce.21115. Available in: https://onlinelibrary.wiley.com/doi/abs/10.1002/sce.21115. Access in: 16 apr. 2023.

GALVÃO, C. (coord.). Ciências físicas e naturais: orientações curriculares para o 3o ciclo do ensino básico. Lisboa: Ministério da Educação, 2001.

GHIGLIONE, R.; MATALON, B. O inquérito: teoria e prática. Oeiras: Celta Editora, 1992.

GIPPS, C. V. Beyond testing: towards a theory of educational assessment. Washington, DC: The Falmer Press, 2003.

GORMALLY, C.; BRICKMAN, P.; LUTZ, M. Developing a test of scientific literacy skills (TOSLS): measuring undergraduates’ evaluation of scientific information and arguments. CBE: Life Sciences Education, Bethesda, v. 11, n. 4, p. 364–377, 2012. DOI: https://doi.org/10.1187/cbe.12-03-0026. Available in: https://www.lifescied.org/doi/10.1187/cbe.12-03-0026. Access in: 16 apr. 2023.

HALADYNA, T. M.; RODRIGUEZ, M. C. Developing and validating test items. New York: Routledge, 2013.

HILL, M. M.; HILL, A. Investigação por questionário. Lisboa: Edições Sílabo, 2005.

KANE, M. T. Validating the interpretations and uses of test scores. Journal of Educational Measurement, Washington, v. 50, n. 1, p. 1–73, 2013. DOI: https://doi.org/10.1111/jedm.12000. Available in: https://onlinelibrary.wiley.com/doi/abs/10.1111/JEDM.12000. Access in: 09 nov. 2022.

KLEIN, R. Alguns aspectos da teoria de resposta ao item relativos à estimação das proficiências. Ensaio: aval. Pol. Públ. Educ., Rio de Janeiro, v. 21, n. 78, p. 35–56, 2013. DOI: https://doi.org/10.1590/S0104-40362013005000003. Available in: https://www.scielo.br/j/ensaio/a/FxGm4KDdQ56hF8JMbwxjzJJ/abstract/?lang=pt#. Access in: 09 nov. 2022.

LAUGKSCH, R. C. Scientific literacy: a conceptual overview. Science Education, New York, v. 84, n. 1, p. 71–94, 2000. DOI: https://doi.org/10.1002/(SICI)1098-237X(200001)84:1<71::AID-SCE6>3.0.CO;2-C. Available in: https://onlinelibrary.wiley.com/doi/10.1002/(SICI)1098-237X(200001)84:1%3C71::AID-SCE6%3E3.0.CO;2-C. Access in: 18 oct. 2022.

LAUGKSCH, R. C.; SPARGO, P. E. Construction of a paper-and-pencil test of basic scientific literacy based on selected literacy goals recommended by the american association for the advancement of science. Public Understanding of Science, Bristol, v. 5, n. 4, p. 331–359, 1996. DOI: 10.1088/0963-6625/5/4/003. Available in: https://journals.sagepub.com/doi/10.1088/0963-6625/5/4/003. Access in: 18 oct. 2022.

MARTINS, G. O. (coord.). Perfil dos alunos à saída da escolaridade obrigatória. Lisboa: Ministério da Educação e Ciência - DGE, 2017.

MENDONÇA FILHO, E. J. Evidências de validade relacionadas à estrutura interna da escala cognitiva do inventário dimensional de avaliação do desenvolvimento infantil. 2017. 197 f. Orientador: Denise Ruschel Bandeira. Dissertação (Mestrado em Psicologia) - Universidade Federal do Rio Grande do Sul, Porto Alegre, Brasil, 2017.

MILLER, J. D. Scientific literacy: a conceptual and empirical review. Daedalus, Cambridge, v. 112, n. 2, p. 29–48, 1983.

MILLER, M. D.; LINN, R. L.; GRONLUND, N. E. Measurement and assessment in teaching. 10. ed. New Jersey: Pearson Education, 2009.

NUNES, M. F. O.; NORONHA, A. P. P. Escala de autoeficácia para atividades ocupacionais: estudo da estrutura interna e precisão. Avaliação Psicológica, Porto Alegre, v. 10, n. 1, p. 25–40, 2011.

ORGANISATION FOR ECONOMIC CO-OPERATION AND DEVELOPMENT. PISA 2015 assessment and analytical framework: science, reading, mathematic, financial literacy and collaborative problem solving, revised edition. Paris: OECD Publishing, 2017.

PASQUALI, L. Psicometria. Revista da Escola de Enfermagem da USP, São Paulo, v. 43, n. spe, p. 992–999, 2009a. DOI: https://doi.org/10.1590/S0080-62342009000500002. Available in: https://www.scielo.br/j/reeusp/a/Bbp7hnp8TNmBCWhc7vjbXgm/. Access in: 18 oct. 2022.

PASQUALI, L. Psicometria: teoria dos testes na psicologia e na educação. 4. ed. Petrópolis: Vozes, 2009b.

POPHAM, W. J. Classroom assessment: what teachers need to know. 8. ed. Los Angeles: Pearson, 2018.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: ciências naturais: 7o ano, 3o ciclo do ensino básico. Lisboa, 2018a. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/ciencias_naturais_3c_7a_ff.pdf. Access in: 16 apr. 2023.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: ciências naturais: 8o ano, 3o ciclo do ensino básico. Lisboa, 2018b. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/ciencias_naturais_3c_8a_ff.pdf. Access in: 16 apr. 2023.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: ciências naturais: 9o ano, 3o ciclo do ensino básico. Lisboa, 2018c. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/ciencias_naturais_3c_9a_ff.pdf. Access in: 16 apr. 2023.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: físico-química: 7o ano, 3o ciclo do ensino básico. Lisboa, 2018d. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/fisico-quimica_3c_7a_ff.pdf. Access in: 16 apr. 2023.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: físico-química: 8o ano. 3o ciclo do ensino básico. Lisboa, 2018e. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/fisico-quimica_3c_8a_ff.pdf. Access in: 16 apr. 2023.

PORTUGAL. Ministério da Educação. Direção-Geral da Educação. Aprendizagens essenciais: articulação com o perfil dos alunos: físico-química: 9o ano, 3o ciclo do ensino básico. Lisboa, 2018f. Available in: http://www.dge.mec.pt/sites/default/files/Curriculo/Aprendizagens_Essenciais/3_ciclo/fisico-quimica_3c_9a.pdf. Access in: 16 apr. 2023.

REEVE, B. B.; FAYERS, P. Applying item response theory modelling for evaluating questionnaire item and scale properties. In: FAYERS, P. M.; HAYS, R. D. (ed.). Assessing quality of life in clinical trials: methods and practice. 2. ed. Oxford: Oxford University Press, 2005. p. 55–73.

RUSSEL, M. K.; AIRASIAN, P. W. Avaliação em sala de aula: conceitos e aplicações. 7. ed. Porto Alegre: AMGH, 2014.

WORLD ECONOMIC FORUM. New vision for education: unlocking the potential of technology. Geneva: World Economic Forum, 2015.




DOI: http://dx.doi.org/10.22347/2175-2753v16i51.4330

Bookmark and Share


Direitos autorais 2024 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.