Critérios de julgamento de artigos para a revista Meta: Avaliação: construção e validação de instrumento

Resumo

O objetivo deste estudo foi construir e validar o instrumento de avaliação para a análise dos artigos submetidos à revista Meta: Avaliação, com vistas à aprovação e posterior publicação. O processo de revisão de artigos por pares é fundamental para a manutenção dos periódicos científicos, pois a qualidade dos pareceres dos especialistas embasa a legitimidade da pesquisa apresentada pelos autores e a confiabilidade do trabalho a ser publicado. Foi utilizada a abordagem centrada em especialistas, uma vez que a adaptação do instrumento de avaliação exige um conhecimento consistente sobre o processo de revisão por pares do periódico. O estudo foi desenvolvido em seis etapas. A primeira etapa compreendeu uma revisão bibliográfica sobre o tema revisão por pares. Na segunda etapa foram definidos como referencial teórico as orientações e diretrizes do Committee on Publication Ethics e das editoras comerciais Wiley, Elsevier, Springer Nature, Taylor & Francis e SAGE. Na terceira etapa foram selecionados e adaptados aspectos relevantes do referencial escolhido junto com o formulário de avaliação utilizado pela revista Meta: Avaliação, e elaborada uma lista de verificação contendo categorias e indicadores da avaliação. Na quarta etapa foi construído o instrumento para a validação técnica e de conteúdo da lista de verificação. Na quinta etapa, a lista de verificação foi validada por quatro especialistas em avaliação, membros da equipe editorial do periódico, que consideraram as nove categorias pertinentes e sugeriram pequenas modificações em 22 indicadores, a supressão de dois indicadores e a inclusão de quatro. A sexta etapa correspondeu à validação empírica do instrumento de avaliação validado pelos especialistas, por meio de um pré-teste do instrumento com o seu público-alvo, os pareceristas ad hoc do periódico. Embora os validadores tenham concordado sobre alguns aspectos e discordado em outros, os itens do instrumento possibilitaram o julgamento do artigo. Assim, todos os 38 itens de avaliação foram preenchidos adequadamente, cabendo apenas dois acréscimos nas instruções presentes no instrumento. Como resultado final, considera-se que o instrumento de avaliação elaborado e validado neste estudo atende tanto às necessidades da equipe editorial quanto dos pareceristas ad hoc da revista Meta: Avaliação.