Revista Meta: Avaliação

Semana Glocal 2024 - Experiências avaliativas na formação de avaliadores

A avaliação, como empreendimento investigativo, resulta no julgamento adequado e útil de produtos, políticas e programas sociais, promovendo melhorias contínuas e garantindo a qualidade dos diversos serviços prestados à sociedade. Sua importância é evidente e, portanto, requer a formação de avaliadores qualificados, profissionais responsáveis por conduzir avaliações rigorosas e fornecer informações para decisões fundamentadas.

Neste contexto, a edição especial da revista Meta: Avaliação apresenta artigos derivados das apresentações do Seminário "Experiências Avaliativas na Formação de Avaliadores", promovido pelo curso de Mestrado Profissional em Avaliação da Faculdade Cesgranrio.

Uma das principais características do mestrado é atrair situações de diversas origens para capitanear estudos avaliativos. A natureza multidisciplinar do curso se torna um polo de atração para mestrandos de diferentes origens acadêmico-profissionais – universidades públicas e privadas, secretarias de educação estaduais e municipais, colégios, escolas de diferentes níveis, autarquias, fundações, ONGs e outras.

Desde 2009, quando a primeira dissertação foi defendida, até junho de 2024, o programa contabilizou 276 estudos concluídos e aprovados em defesa pública. Todas as dissertações foram avaliadas por uma banca de três doutores, sendo um deles proveniente de instituição externa ao mestrado. É relevante destacar que, na quase totalidade dos pareceres sobre as dissertações, os elogios são constantes, frisando a qualidade dos estudos e evidenciando o sucesso do nosso trabalho.

O leque de tipos de estudos é bastante variado. Recentemente, ao final de 2023, organizamos e publicamos na revista eletrônica Meta: Avaliação alguns cadernos de Resumos de Dissertação. Esses resumos incluem conjuntos de estudos sob os seguintes temas: avaliação de curso; desempenho; instituição; organização; instrumento; programas e projetos; saúde; tecnologia; e editais, manuais, livros, formulários, documentos. Como a avaliação possui uma natureza multidisciplinar, cada um dos temas pode ser desdobrado em outros, dependendo da necessidade do estudo e de aspectos específicos.

O evento promovido pela Semana Glocal 2024, realizado online nos dias 4 e 5 de junho de 2024, proporcionou um ambiente enriquecedor de troca de conhecimento e destacou a relevância de diferentes abordagens metodológicas na avaliação.

Durante os dois dias de seminário, o foco principal foi explorar as experiências avaliativas na formação de avaliadores, alinhadas à visão da avaliação transformativa. O evento foi estruturado em mesas de debate, que proporcionaram uma abordagem abrangente de diversas perspectivas avaliativas, tanto do ponto de vista acadêmico quanto profissional. As mesas temáticas foram mediadas por professores do curso de mestrado, garantindo discussões ricas e informativas. Além disso, os alunos e egressos do programa compartilharam suas experiências e contribuições profissionais, oferecendo uma visão prática e aplicada das abordagens e metodologias avaliativas discutidas.

Um dos pontos altos do seminário foi a variedade de temas abordados, permitindo um intercâmbio de ideias e aprendizagens significativas no campo da avaliação. As apresentações dos alunos e egressos, guiadas pela pergunta norteadora "Até que ponto as experiências acadêmicas no curso de Mestrado Profissional em Avaliação contribuíram para sua formação no campo da avaliação?", trouxeram reflexões valiosas sobre o impacto do curso em suas trajetórias profissionais.

Este evento não só promoveu discussões profundas e relevantes sobre a avaliação, mas também reforçou a importância da formação contínua e da troca de experiências para o desenvolvimento de avaliadores competentes.

Esta edição especial reúne artigos abarcando múltiplas experiências avaliativas discutidas durante o seminário, exemplificando a importância da avaliação e suas contribuições para áreas como educação, políticas públicas, tecnologias de informação e comunicação, além de explorar perspectivas epistemológicas.

Na seção Experiências em Avaliação: Multiperspectivas 1, destacam-se dois estudos avaliativos importantes. O projeto "Estado da Arte da Avaliação", conduzido por Flávia Giffoni Abreu dos Santos e Ligia Silva Leite, investiga e sistematiza a produção acadêmica na área de Avaliação no Brasil desde 2001. Utilizando uma pesquisa estruturada em bases eletrônicas, o projeto oferece subsídios a pesquisadores por meio do banco de dados eletrônico e-Aval. O artigo de Felipe Jorge Granero e Ligia Silva Leite descreve a construção e validação de um instrumento de avaliação para cursos de especialização a distância oferecidos pelo Centro de Estudos de Pessoal do Exército/Forte Duque de Caxias, seguindo diretrizes do Ministério da Educação e do Departamento de Educação e Cultura do Exército.

Com ênfase nas Multiperspectivas Avaliativas Quantitativas e Qualitativas, o segundo bloco aborda métodos quantitativos e qualitativos na avaliação com base em dois contextos avaliativos. Simone Gonçalves Amorim e Elaine Rodrigues Perdigão apresentam um instrumento de avaliação para uma aula de campo no ensino de ecologia, utilizando a abordagem qualitativa iluminativa e a iniciativa "Blue Marble Evaluation" para avaliar cenários complexos de transformação. Kennedy Simões Santos Carvalho e Glauco da Silva Aguiar destacam a importância dos construtos latentes na avaliação e a complexidade de mensurá-los, exemplificando com um estudo que avaliou os sistemas SEI e PRODATA no Ministério Público do Estado do Rio de Janeiro.

No bloco Multiperspectivas Avaliativas Institucionais, as autoras Marisa Helena de Oliveira Silva e Ligia Gomes Elliot apresentam a construção e validação de um instrumento de avaliação para cursos a distância da Universidade da Força Aérea. O artigo aborda ainda sobre os conhecimentos adquiridos durante o Mestrado e suas implicações tanto na elaboração da dissertação quanto nas atividades profissionais pós-curso. Já o artigo seguinte, de autoria de Adriana Lilian Lisboa Linhares e Ligia Gomes Elliot, contempla uma meta-avaliação dos relatórios de avaliação dos ciclos de autoavaliação do Instituto Federal do Rio de Janeiro, destacando a importância da autoavaliação para o aprimoramento institucional.

A segunda seção contempla as Experiências em Avaliação: Multiperspectivas 2. No Bloco 1 Multiperspectivas Avaliativas nas Políticas Públicas, Leandro da Silva Fernandes e Ovidio Orlando Filho elucidam o Programa Esporte e Lazer da UFRJ, destacando seu impacto no acesso às atividades físicas e na qualidade de vida dos participantes. Dalva Carneiro e Ovidio Orlando Filho apresentam um estudo ainda em andamento sobre a avaliação de desempenho individual no RIOPREVIDÊNCIA, utilizando a abordagem centrada nos participantes e os padrões de qualidade do Joint Committee on Standards for Educational Evaluation.

No Bloco 2 Multiperspectivas Avaliativas nas Tecnologias de Informação e Comunicação, Renato Miguel de Moraes e Lucí Hildenbrand descrevem o processo de adaptação e validação de um instrumento avaliativo para a Experiência do Usuário (UX) do Sistema de Avaliação de Desempenho da UFRJ, propondo melhorias e recomendações para a implementação digital do instrumento. Kennedy Simões Santos Carvalho, Glauco da Silva Aguiar e Lucí Hildenbrand descrevem a percepção dos profissionais do GATE/MPRJ sobre os sistemas SEI e PRODATA, destacando vantagens, compatibilidade e facilidade de uso, apontando a necessidade de melhorias na testabilidade e demonstração de resultados.

Finalizando com o bloco 3 Multiperspectivas Epistemológicas, as autoras Flávia de Andrade Viveiros e Elaine Maria de Andrade Senra exploram a importância da epistemologia na formação de avaliadores, analisando conceitos filosóficos de Platão, Aristóteles e Kant, e destacando a influência dos princípios epistemológicos kantianos na avaliação contemporânea. Laisa Raquel Bezerra da Silva e Elaine Maria de Andrade Senra investigam a contribuição das experiências acadêmicas no curso de Mestrado Profissional em Avaliação para a formação dos alunos, utilizando a perspectiva filosófica de Immanuel Kant sobre a aprendizagem experiencial na educação a distância.

Os trabalhos apresentados evidenciam a diversidade e a profundidade das abordagens avaliativas, ressaltando a importância da avaliação como ferramenta indispensável para o desenvolvimento acadêmico e profissional. As contribuições apresentadas reforçam a relevância da avaliação em diferentes contextos e sua capacidade de promover melhorias significativas nos processos e resultados das áreas avaliadas.

Em suma, o Seminário "Experiências Avaliativas na Formação de Avaliadores não só promoveu discussões profundas e relevantes sobre a avaliação, mas também reforçou a importância da formação contínua e da troca de experiências para o desenvolvimento de avaliadores competentes, alinhados com a visão de uma avaliação transformativa e multidisciplinar.

Ligia Gomes Elliot – Coordenadora do Mestrado Profissional em Avaliação

Elaine Rodrigues Perdigão – Professora Adjunta do Mestrado Profissional em Avaliação

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

2. DOAJ - Directory of Open Access Journals

3. EBSCO - Information Services

4. Edubase

5. Google Scholar

6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.