Usos indevidos dos resultados de avaliações: proposta de framework teórico

Anderson José Freitas de Cerqueira, Roberto Brazileiro Paixão

Resumo


A avaliação é um meio importante para qualificar a gestão na área pública e viabilizar o controle social sobre a efetividade da ação do Estado. O uso da avaliação, que pode advir do processo ou do resultado, demonstra ser uma ferramenta para os usuários tanto para o fornecimento de informações para a tomada de decisões locais e de menor impacto, quanto para decisões gerais e com impacto mais amplo. Essas decisões dos usuários podem ser errôneas e/ou maliciosas, provocando o uso indevido da avaliação. Neste artigo, busca-se explorar, através de uma revisão sistemática, o estado da arte sobre o uso indevido da avaliação e uma proposição de um framework. Os resultados indicaram que há nove estudos que tratam, de forma substancial, o uso indevido da avaliação desde 1994. Os achados, que são explorados no estudo, indicam a baixa percepção dos profissionais e acadêmicos sobre este tema importante para o uso adequado da avaliação. Notou-se que os usuários são os principais responsáveis pelo uso indevido, sendo os motivos provocados por ações intencionais e não intencionais, relacionando-os com os usos malicioso e errôneo respectivamente.

Texto completo:

PDF

Referências


ADOM, D.; ADU-MENSAH, J.; DAKE, D. A. Test, measurement, and evaluation: understanding and use of the concepts in education. International Journal of Evaluation and Research in Education (IJERE), [S. l.], v. 9, n. 1, p. 109-119, 2020. DOI: http://doi.org/10.11591/ijere.v9i1.20457. Disponível em: https://ijere.iaescore.com/index.php/ijere/article/view/20457. Acesso em: 30 abr. 2023.

ALKIN, M. C.; COYLE, K. Thoughts on evaluation utilization, misutilization and non-utilization. Studies in Educational Evaluation, Nova York, v. 14, n. 3, p. 331–340, 1988. DOI: https://doi.org/10.1016/0191-491X(88)90027-2. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/0191491X88900272?via%3Dihub. Acesso em: 30 abr. 2023.

ALKIN, M. C.; DAILLAK, R. H. A study of evaluation utilization. Educational Evaluation and Policy Analysis, Washington, v. 1, n. 4, p. 41–49, 1979. DOI: https://doi.org/10.3102/01623737001004041. Disponível em: https://journals.sagepub.com/doi/10.3102/01623737001004041. Acesso em: 30 abr. 2023.

ALKIN, M. C.; KING, J. A. Definitions of evaluation use and misuse, evaluation influence, and factors affecting use. American Journal of Evaluation, [S. l.], v. 38, n. 3, p. 434–450, 2017. DOI: https://doi.org/10.1177/1098214017717015. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1098214017717015. Acesso em: 1 maio 2023.

ALKIN, M. C.; TAUT, S. M. Unbundling evaluation use. Studies in Educational Evaluation, Nova York, v. 29, n. 1, p. 1–12, 2002. DOI: https://doi.org/10.1016/S0191-491X(03)90001-0. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0191491X03900010. Acesso em: 30 abr. 2023.

ARKSEY, H.; O’MALLEY, L. Scoping studies: towards a methodological framework. International Journal of Social Research Methodology, [S. l.], v. 8, n. 1, p. 19–32, 2005. DOI: https://doi.org/10.1080/1364557032000119616. Disponível em: https://www.tandfonline.com/doi/full/10.1080/1364557032000119616. Acesso em: 30 abr. 2023.

BATTJES, R. J.; GORDON, M. S.; O’GRADY, K. E.; KINLOCK, T. W.; KATZ, E. C.; SEARS, E. A. Evaluation of a group-based substance abuse treatment program for adolescents. Journal of Substance Abuse Treatment, [S. l.], v. 27, n. 2, p. 123–134, 2004. DOI: https://doi.org/10.1016/j.jsat.2004.06.002. Disponível em: https://www.sciencedirect.com/science/article/pii/S0740547204000777. Acesso em: 30 abr. 2023.

BERNSTEIN, D. J. Comments on perrin’s “effective use and misuse of performance measurement”. American Journal of Evaluation, [S. l.], v. 20, n. 1, p. 85–93, 1999. DOI: https://doi.org/10.1016/S1098-2140(99)80110-6. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S1098214099801106?via%3Dihub. Acesso em: 30 abr. 2023.

CALLOWAY, G. C. The rorschach: its use in child custody evaluations. Journal of Child Custody: research, issues and practices, [S. l.], v. 2, n. 1–2, p. 143–157, 2005. DOI: https://psycnet.apa.org/doi/10.1300/J190v02n01_08. Disponível em: https://www.tandfonline.com/doi/abs/10.1300/J190v02n01_08. Acesso em: 30 abr. 2023.

CHRISTIE, C. A.; ALKIN, M. C. Further reflections on evaluation misutilization. Studies in Educational Evaluation, Nova York, v. 25, n. 1, p. 1–10, 1999. DOI: https://doi.org/10.1016/S0191-491X(99)00006-1. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0191491X99000061. Acesso em: 30 abr. 2023.

CHUNG, J.; MONROE, G. S. An exploratory study of counterexplanation as an ethical intervention strategy. Journal of Business Ethics, Dordrecht, v. 73, p. 245-261, 2007. DOI: https://doi.org/10.1007/s10551-006-9204-4. Disponível em: https://link.springer.com/article/10.1007/s10551-006-9204-4. Acesso em: 30 abr. 2023.

COOK, T. D.; POLLARD, W. E. Guidelines: how to recognize and avoid some common problems of misutilization of evaluation research findings. Evaluation, [S. l.], v. 4, p. 161–164, 1977.

COOKSY, L. J.; CARACELLI, V. J. Quality, context, and use: issues in achieving the goals of metaevaluation. American Journal of Evaluation, [S. l.], v. 26, n. 1, p. 31–42, 2005. DOI: https://doi.org/10.1177/1098214004273252. Disponível em: https://journals.sagepub.com/doi/10.1177/1098214004273252. Acesso em: 30 abr. 2023.

COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969–992, 2003.

COUSINS, J. B. Commentary: minimizing evaluation misuse as principled practice. The American Journal of Evaluation, v. 25, n. 3, 2004. DOI: https://doi.org/10.1177/109821400402500311. Disponível em: https://journals.sagepub.com/doi/10.1177/109821400402500311. Acesso em: 30 abr. 2023.

DEEMING, C. Uses and misuses of evaluation in social policy. In: GREVE, B. (ed.). Handbook of Social Policy Evaluation. Cheltenham: Edward Elgar Publishing, 2017. p. 161–182.

DEI ROSSI, G.-L.; IACONO, M.; MARIN, A. Evaluating the impact of eDoS attacks to cloud facilities. In: INTERNATIONAL CONFERENCE ON PERFORMANCE EVALUATION METHODOLOGIES AND TOOLS, 9., 2016, Berlim. Anais […]. Berlim: ICST, 2016. p. 188-195. DOI: http://dx.doi.org/10.4108/eai.14-12-2015.2262650. Disponível em: http://eudl.eu/doi/10.4108/eai.14-12- 2015.2262650. Acesso em: 30 abr. 2023.

DEMING, W. E. The logic of evaluation. In: STRUENING, E. L.; GUTTENTAG, M. (ed.). Handbook of evaluation research. v. 1 Nova York: Sage Publications, 1975. Capítulo 4.

DIAL, M. The misuse of evaluation in educational programs. New Directions for Program Evaluation, São Francisco, v. 1994, n. 64, p. 61–67, 1994. DOI: https://doi.org/10.1002/ev.1695. Disponível em: https://onlinelibrary.wiley.com/doi/10.1002/ev.1695. Acesso em: 30 abr. 2023.

DUFFY, B. P. Use and abuse of internal evaluation. New Directions for Program Evaluation, São Francisco, v. 1994, n. 64, p. 25-32, 1994. DOI: https://doi.org/10.1002/ev.1692. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/ev.1692. Acesso em: 30 abr. 2023.

FLEISCHER, D. N.; CHRISTIE, C. A. Evaluation use: results from a survey of U.S. American evaluation association members. American Journal of Evaluation, [S. l.], v. 30, n. 2, p. 158–175, 2009. DOI: https://doi.org/10.1177/1098214008331009. Disponível em: https://journals.sagepub.com/doi/10.1177/1098214008331009. Acesso em: 30 abr. 2023.

HARTZ, Z. M. A.; DENIS, J.-L.; MOREIRA, E.; MATIDA, A. From knowledge to action: challenges and opportunities for increasing the use of evaluation in health promotion policies and practices. In: MCQUEEN, D. V.; POTVIN, L. (ed.). Health promotion evaluation practices in the Americas; values and research. Nova York: Springer, 2009. p. 101–120.

IRANI, Z.; LOVE, P. (ed.). Evaluating information systems. Londres: Routledge, 2008.

JOHNSON, K.; GREENSEID, L. O.; TOAL, S. A.; KING, J. A.; LAWRENZ, F.; VOLKOV, B. Research on evaluation use: a review of the empirical literature from 1986 to 2005. American Journal of Evaluation, [S. l.], v. 30, n. 3, p. 377–410, 2009. DOI: https://doi.org/10.1177/1098214009341660. Disponível em: https://journals.sagepub.com/doi/10.1177/1098214009341660#tab-contributors. Acesso em: 30 abr. 2023.

KING, J. A. Research on evaluation use and its implications for evaluation research and practice. Studies in Educational Evaluation, Nova York, v. 14, n. 3, p. 285–299, 1988. DOI: https://doi.org/10.1016/0191-491X(88)90025-9. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/0191491X88900259. Acesso em: 30 abr. 2023.

KIRKHART, K. E. Reconceptualizing evaluation use: an integrated theory of influence. New Directions for Evaluation, São Francisco, v. 2000, n. 88, p. 5–23, 2000. DOI: https://doi.org/10.1002/ev.1188. Disponível em: https://onlinelibrary.wiley.com/doi/10.1002/ev.1188. Acesso em: 30 abr. 2023.

KITCHENHAM, B.; CHARTERS, S. M. Guidelines for performing systematic literature reviews in software engineering. Durham: Durham University, 2007.

KUEHLHORN, E.; JOHANSSON, L.; LUNDBERG, I. Non-institutional treatment and rehabilitation: an evaluation of a swedish correctional experiment: shortened version. Suécia: Liber Distribution, 1979.

LEMOS, M. M. Not so straightforward: interpreting the scores. Evaluation & Research in Education, [S. l.], v. 8, n. 1–2, p. 69–83, 1994. DOI: https://doi.org/10.1080/09500799409533355. Disponível em: https://www.tandfonline.com/doi/abs/10.1080/09500799409533355. Acesso em: 30 abr. 2023.

LEVITON, L. C. Presidential address: building evaluation’s collective capacity. American Journal of Evaluation, [S. l.], v. 22, n. 1, p. 1–12, 2001. DOI: https://doi.org/10.1016/S1098-2140(01)00106-0. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S1098214001001060. Acesso em: 30 abr. 2023.

MCCLURE, C. R.; BERTOT, J. C. (ed.). Evaluating networked information services: techniques, policy, and issues. v. 1. Medford, N.J: Information Today, 2001.

MORRIS, M. (ed.). Evaluation ethics for best practice: cases and commentaries. Nova York: Guilford Press, 2008.

MORRIS, M.; COHN, R. Program evaluators and ethical challenges: a national survey. Evaluation Review, Califórnia, v. 17, n. 6, p. 621–642, 1993. DOI: https://doi.org/10.1177/0193841X9301700603. Disponível em: https://journals.sagepub.com/doi/10.1177/0193841X9301700603. Acesso em: 1 maio 2023.

OFEK, Y. Matching evaluation approaches to levels of complexity. Evaluation Review, Califórnia, v. 40, n. 1, p. 61–84, 2016. DOI: https://doi.org/10.1177/0193841X16656102. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/0193841X16656102. Acesso em: 1 maio 2023.

PALUMBO, D. J. The political roots of misuse of evaluation. New Directions for Program Evaluation, São Francisco, v. 1994, n. 64, p. 15–23, 1994. DOI: https://doi.org/10.1002/ev.1691. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/ev.1691. Acesso em: 1 maio 2023.

PATTON, M. Q. Evaluation use theory, practice, and future research: reflections on the Alkin and King AJE series. American Journal of Evaluation, [S. l.], v. 41, n. 4, p. 581–602, 2020. DOI: https://doi.org/10.1177/1098214020919498. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1098214020919498. Acesso em: 1 maio 2023.

PERRIN, B. Effective use and misuse of performance measurement. American Journal of Evaluation, [S. l.], v. 19, n. 3, p. 367–379, 1998. DOI: https://doi.org/10.1177/109821409801900308. Disponível em: https://journals.sagepub.com/doi/10.1177/109821409801900308. Acesso em: 1 maio 2023.

PERRIN, B. How Evaluation can help make knowledge management real. In: RIST, R. C.; STAME, N. (ed.). From studies to streams. Nova York: Routledge, 2017. Capítulo 2.

PRESKILL, H.; CARACELLI, V. Current and developing conceptions of use: evaluation use tIG survey results. American Journal of Evaluation, [S. l.], v. 18, n. 1, p. 209–225, 1997. DOI: https://doi.org/10.1177/109821409701800122. Disponível em: https://journals.sagepub.com/doi/10.1177/109821409701800122. Acesso em: 30 abr. 2023.

RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, Rio de Janeiro, v. 46, n. 5, p. 1271–1294, 2012. DOI: https://doi.org/10.1590/S0034-76122012000500005. Disponível em: https://www.scielo.br/j/rap/a/bPM5xsjhwWgL54mdx3R7cnP/abstract/?lang=pt. Acesso em: 30 abr. 2023.

ROTTEAU, L.; ALBERT, M.; BHATTACHARYYA, O.; BERTA, W.; WEBSTER, F. When all else fails: the (mis)use of qualitative research in the evaluation of complex interventions. Journal of Evaluation in Clinical Practice, [S. l.], v. 27, n. 2, p. 264– 271, 2021. DOI: https://doi.org/10.1111/jep.13396. Disponível em: https://onlinelibrary.wiley.com/doi/10.1111/jep.13396. Acesso em: 30 abr. 2023.

SCRIVEN, M. The methodology of evaluation. In: TYLER, R. W.; GAGNE, R. M.; SCRIVEN, M. (ed.). Perspectives of curriculum evaluation. Chicago: Rand McNally, 1967. p. 39-83.

SHINER, M.; NEWBURN, T. Young people, drugs and peer education: an evaluation of the youth awareness programme (YAP). Londres: Great Britain Home Office 50, 1996.

SHULHA, L. M.; COUSINS, J. B. Evaluation use: theory, research, and practice since 1986. American Journal of Evaluation, [S. l.], v. 18, n. 1, p. 195-208, 1997. DOI: https://doi.org/10.1177/109821409701800121. Disponível em: https://journals.sagepub.com/doi/10.1177/109821409701800121. Acesso em: 30 abr. 2023.

STEVENS, C. J.; DIAL, M. What constitutes misuse? New Directions for Program Evaluation, São Francisco, v. 1994, n. 64, p. 3–13, 1994. DOI: https://doi.org/10.1002/ev.1690. Disponível em: https://onlinelibrary.wiley.com/doi/10.1002/ev.1690. Acesso em: 30 abr. 2023.

TORRES, R. T.; PRESKILL, H. S.; PIONTEK, M. E. Communicating and reporting: practices and concerns of internal and external evaluators. Evaluation Practice, [S. l.], v. 18, n. 2, p. 105–125, 1997. DOI: https://doi.org/10.1016/S0886-1633(97)90016-7. Disponível em: https://www.sciencedirect.com/science/article/abs/pii/S0886163397900167. Acesso em: 30 abr. 2023.

VAVERKA, K.; FENN, S. Background research: the review of literature. Collaborative Research Network. Kansas: [s. n.], 2002. Disponível em: http://kancrn.kckps.k12.ks.us/guide/literature.html. Acesso em: 5 jul. 2011.

VROOM, P. I.; COLOMBO, M.; NAHAN, N. Confronting ideology and self-interest: avoiding misuse of evaluation. New Directions for Program Evaluation, São Francisco, v. 1994, n. 64, p. 49–59, 1994. DOI: https://doi.org/10.1002/ev.1694. Disponível em: https://onlinelibrary.wiley.com/doi/abs/10.1002/ev.1694. Acesso em: 1 maio 2023.

WEISS, C. H. Where politics and evaluation research meet. Evaluation Practice, [S. l.], v. 14, n. 1, p. 93–106, 1993. DOI: https://doi.org/10.1177/109821409301400119. Disponível em: https://journals.sagepub.com/doi/10.1177/109821409301400119. Acesso em: 30 abr. 2023.

WEISS, C. H.; BUCUVALAS, M. J. Truth tests and utility tests: decision-makers’ frames of reference for social science research. American Sociological Review, Menasha, v. 45, n. 2, p. 302-313, 1980. DOI: https://doi.org/10.2307/2095127. Disponível em: https://www.jstor.org/stable/2095127?origin=crossref. Acesso em: 30 abr. 2023.

WESTLUND, E.; STUART, E. A. The nonuse, misuse, and proper use of pilot studies in experimental evaluation research. American Journal of Evaluation, [S. l.], v. 38, n. 2, p. 246– 261, 2017. DOI: https://doi.org/10.1177/1098214016651489. Disponível em: https://journals.sagepub.com/doi/10.1177/1098214016651489. Acesso em: 30 abr. 2023.

WOLFENSBERGER, W.; GLENN, L. Pass: program analysis of service systems 3: a method for the quantitative evaluation of human services field manual. 3. ed. Toronto: York University, 1975.

WOLTJER, J.; ALEXANDER, E.; RUTH, M. Place-based evaluation for integrated land-use management. Londres: Routledge, 2016.

XIAO, Y.; WATSON, M. Guidance on conducting a systematic literature review. Journal of Planning Education and Research, Cincinati, v. 39, n. 1, p. 93–112, 2019. DOI: https://doi.org/10.1177/0739456X17723971. Disponível em: https://journals.sagepub.com/doi/10.1177/0739456X17723971. Acesso em: 30 abr. 2023.

YOUNG, T.; PAPPENFORD, D. M. Secure detention of juveniles and alternatives to its use. Washington: National Institute of Law Enforcement and Criminal Justice, 1977. Summary Report.




DOI: http://dx.doi.org/10.22347/2175-2753v17i54.4872

Bookmark and Share


Direitos autorais 2025 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.