Revista Meta: Avaliação

A avaliação de políticas e programas públicos brasileiros tem sido um dispositivo indispensável no aprimoramento da gestão governamental. Este ensaio teórico tem o objetivo de discutir as dimensões conceituais-analíticas para avaliação da implementação de políticas e programas públicos no Brasil. O estudo foi construído a partir de uma pesquisa bibliográfica, que além dos artigos científicos, utilizou-se livros e frameworks para a constituição das dimensões analíticas. Essas dimensões foram concebidas por análise de: conteúdo da formulação, contexto, processo de implementação, recursos, atores sociais envolvidos e alcance. Espera-se que os achados subsidiem pesquisas que busquem avaliar a implementação de diversas políticas e programas públicos brasileiros, de acordo com as especificidades contextuais e limitações.

ALKIN, M. C. (ed.). Evaluation roots: A wider perspective of theorists’ views and influences. 2. ed. Los Angeles, CA: Sage, 2013.

AMARAL; E. F. L.; VIANNA, I. L. Utilização de metodologias de avaliação de políticas públicas no Brasil. In: AMARAL, E. F. L.; GONÇALVES, G. Q.; FAUSTINO; S. H. R. (orgs.). Aplicações de técnicas avançadas de avaliação de políticas públicas. Belo Horizonte: Fino Traço, 2014.

ARRETCHE, M. T. S. Uma contribuição para fazermos avaliações menos ingênuas. In: BARREIRA, M. C. R. N; CARVALHO, M. C. B. (orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001. p. 43-56.

BAPTISTA, T. W. F.; REZENDE, M. A ideia de ciclo na análise de políticas públicas. In: MATTOS, R. A.; BAPTISTA, T. W. F. (orgs.). Caminhos para análise das políticas de saúde. 1. ed. Porto Alegre: Rede UNIDA, 2015.

BARDIN, L. Análise de conteúdo. 1. ed. 3. reimp. São Paulo: Edições 70, 2016.

BOZZI, S. O. Evaluación de la gestión RSP pública: conceptos y aplicaciones en el caso latinoamericano. Revista do Serviço Público, [S. l.], v. 52, n. 1, p. 25-55, fev. 2014. DOI: 10.21874/rsp.v52i1.299. Disponível em: https://revista.enap.gov.br/index.php/RSP/article/view/299. Acesso em: 24 abr. 2021.

BRASIL. Avaliação de políticas públicas: guia prático de análise ex post. Brasília: Casa Civil da Presidência da República, 2018.

BROUSSELLE, A. What Counts is not Falling . . . but Landing Strategic Analysis: An Adapted Model for Implementation Evaluation. Evaluation, London, v. 10, n. 2, p. 155–173, 2004. DOI: https://doi.org/10.1177/1356389004046292. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1356389004046292. Acesso em: 27 jun. 2020.

CASSIOLATO, M.; GUERESI, S. Como elaborar modelo lógico: roteiro para formular programas e organizar avaliação. In: CARDOSO JR., J. C.; CUNHA, A. S. (orgs.) Planejamento e avaliação de políticas públicas. Brasília: Ipea, 2015. p. 297-332.

CENEVIVA, R.; FARAH, M. F. S. Avaliação, informação e responsabilização no setor público. Revista de Administração Pública, Rio de Janeiro, v. 46, n. 4, p. 993-1016, 2012. Disponível em: http://www.spell.org.br/documentos/ver/8323/avaliacao--informacao-e-responsabilizacao-no-setor-publico/i/pt-br. Acesso em: 14 fev. 2020.

CHAMPAGNE, F. et al. A Análise da Implantação. In: BROUSSELLE, A. et al. (orgs.). Avaliação: conceitos e métodos. Rio de Janeiro: Fiocruz, 2011, p. 217-238.

CHRISTIE, C. A. What guides evaluation? A study of how evaluation practice maps onto evaluation theory. New Directions for Evaluation, n. 97, p. 7-36, 2003. DOI: 10.1002/ev.72. Disponível em: https://wmich.edu/sites/default/files/attachments/u58/2015/What_Guides_Evaluation.pdf. Acesso em: 22 jul. 2020.

CHRISTIE, C. A.; LEMIRE, S. T. Why Evaluation Theory Should Be Used to Inform Evaluation Policy. American Journal of Evaluation. [S.l.], v. 40, n. 4, p. 490-508, 2019. DOI: https://doi.org/10.1177/1098214018824045. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1098214018824045. Acesso em: 26 out. 2020.

COHEN, E.; FRANCO, R. Avaliação de Projetos Sociais. 9. ed. Petrópolis/RJ: Editora Vozes, 2013.

CORYN, C. L. S.; NOAKES, L. A.; WESTINE, C. D.; SCHRÖTER, D. C. A Systematic Review of Theory-Driven Evaluation Practice From 1990 to 2009. American Journal of Evaluation, [S.l], v. 32, n. 2, p. 199-226, 2011. DOI: https://doi.org/10.1177/1098214010389321. Disponível em: https://journals.sagepub.com/doi/10.1177/1098214010389321. Acesso em: 19 nov. 2020.

COSTA, F. L.; CASTANHAR, J. C. Avaliação de programas públicos: desafios conceituais e metodológicos. Revista de Administração Pública, Rio de Janeiro, v. 37, n. 5, p. 969-992, 2003. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/6509. Acesso em: 11 dez. 2019.

CRUMPTON, C. D. et al. Evaluation of public policies in Brazil and the United States: a research analysis in the last 10 years. Revista de Administração Pública, Rio de Janeiro, v. 50, n. 6, p. 981-1001, dez. 2016. DOI: https://doi.org/10.1590/0034-7612156363. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122016000600981&lng=en&nrm=iso. Acesso em: 19 jun. 2020.

CULLEN, J.; SULLIVAN, F.; JUNGE, K. Evaluating science and society initiatives: a framework for evaluation. London: The Tavistock Institute, 2007.

DRAIBE, S. M. Avaliação de implementação: esboço de uma metodologia de trabalho em políticas públicas. In: BARREIRA, M. C. R. N; CARVALHO, M. C. B. (orgs.). Tendências e perspectivas na avaliação de políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001. p. 13-42.

ELAHI, S.; KALANTARI, N.; HASSANZADEH, M.; AZAR, A. A new perspective for mixed-methods evaluations. Evaluation Journal of Australasia, [S.l.], v. 15, n. 3, p. 15–29. 2015. DOI: https://doi.org/10.1177/1035719X1501500303. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1035719X1501500303. Acesso em: 19 ago. 2019.

FARIA, C. A. P. A política da avaliação de políticas públicas. Revista Brasileira de Ciências Sociais, São Paulo, v. 20, n. 59, p. 97-109, out. 2005. DOI: https://doi.org/10.1590/S0102-69092005000300007. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0102-69092005000300007&lng=en&nrm=iso. Acesso em: 30 set. 2020.

FARAH, M. F. S. Análise de políticas públicas no Brasil: de uma prática não nomeada à institucionalização do “campo de públicas”. Revista de Administração Pública, Rio de Janeiro, v. 50, n. 6, p. 959-979, nov./dez. 2016. DOI: https://doi.org/10.1590/0034-7612150981. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122016000600959&lng=en&nrm=iso. Acesso em: 21 abr. 2020.

GASPARINI, M. F. V. Bases filosóficas e epistemológicas da avaliação: caminhos a serem trilhados. Revista Aval, Revista Avaliação de Políticas Públicas, Fortaleza, v. 3, n. 17, jan./jun. 2020. Disponível em: http://periodicos.ufc.br/aval/article/view/60287/161879. Acesso em: 12 jan. 2021.

GÓMEZ, R. D. Gestión de políticas públicas: aspectos operativos. Revista Facultad Nacional de Salud Pública, [S.l.], v. 30, n. 2, p. 223-236, 2012. Disponível em: http://www.scielo.org.co/pdf/rfnsp/v30n2/v30n2a11.pdf. Acesso em: 23 nov. 2020.

GUBA, G. E.; LINCOLN, Y. S. Avaliação de quarta geração. Tradução de Beth Honorato. Campinas: Editora da Unicamp, 2011.

HEBERGER, A. E.; CHRISTIE, C. A.; ALKIN, M. C. A bibliometric analysis of the academic influences of and on evaluation theorists’ published works. American Journal of Evaluation, [S.l.], v. 31, n.1, p. 24-44, 2010. DOI: 10.1177/1098214009354120. Disponível: https://www.researchgate.net/publication/228457135_A_Bibliometric_Analysis_of_the_Academic_Influences_of_and_on_Evaluation_Theorists'_Published_Works. Acesso: 11 jan. 2021.

JANNUZZI, P. M. Avaliação de programas sociais no Brasil: repensando práticas e metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas. Brasília, DF, v. 36, p. 251-275, 2011. Disponível em: https://www.ipea.gov.br/ppp/index.php/PPP/article/view/228/212. Acesso em: 5 jul. 2020.

JANNUZZI, P. M. Sistema de monitoramento e avaliação de programas sociais: revisitando mitos e recolocando premissas para sua maior efetividade na gestão. Revista Brasileira de Monitoramento e Avaliação, [S.l.], v. 1, p. 4-27, 2013. DOI: http://dx.doi.org/10.4322/rbma201305002. Disponível em: https://www.rbaval.org.br/article/10.4322/rbma201305002/pdf/1598015026-5-4.pdf. Acesso em: 15 mar. 2020.

JANNUZZI, P. M. Avaliação de programas sociais: conceitos e referenciais de quem a realiza. Est. Aval. Educ., São Paulo, v. 25, n. 58, p. 22-42, maio 2014.DOI: https://doi.org/10.18222/eae255820142916. Disponível em: http://publicacoes.fcc.org.br/index.php/eae/article/view/2916/2768. Acesso: 28 jan. 2020.

JANNUZZI. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas: Alínea, 2016.

LION, C.; MARTINI, P.; VOLPI, S. Evaluating the Implementation Process A Contribution within the Framework of the European Social Fund (ESF) Programme. Evaluation, London, v. 12, n. 3, p. 313–329, 2006. DOI: https://doi.org/10.1177/1356389006069137. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1356389006069137. Acesso em: 30 ago. 2020.

LIMA, L. L.; D’ASCENZI; L. Implementação e avaliação de políticas públicas: intersecções, limites e continuidades. In: LOTTA, G. (org.). Teoria e análises sobre implantação de políticas públicas no Brasil. Brasília: Enap, 2019. p. 127-152.

MENDES, G. S. C. V.; SORDI, M. R. L. Metodologia de avaliação de implementação de programas e políticas públicas. EccoS Revista Científica, São Paulo, n. 30, p. 93-111, jan./abr. 2013. DOI: 10.5585/EccoS.n30.3697. Disponível em: https://www.redalyc.org/pdf/715/71525769006.pdf. Acesso em: 20 mar. 2020.

OLIVEIRA, L. R.; PASSADOR, C. S. Ensaio Teórico sobre as Avaliações de Políticas Públicas. Cadernos EBAPE.BR, Rio de Janeiro, v. 17, n. 2, p. 324-337, 2019. DOI: http://dx.doi.org/10.1590/1679-395169657. Disponível em: http://www.spell.org.br/documentos/ver/53445/ensaio-teorico-sobre-as-avaliacoes-de-politicas-publicas/i/pt-br. Acesso em: 11 out. 2020.

PATTON, M. Q. Qualitative Research and Evaluation Methods: Integrating Theory and Practice. 4. ed. Thousand Oaks, CA: Sage Publications, 2014.

PATTON, M. Q. Evaluation Science. American Journal of Evaluation, [S.l.], v. 39, n.2, p. 183–200, 2018. DOI: https://doi.org/10.1177/1098214018763121. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/1098214018763121. Acesso em: 14 mar. 2020.

PIRES, R. R. C.; GOMIDE, A. Á. Governança e capacidades estatais: uma análise comparativa de programas federais. Rev. Sociol. Polit., Curitiba, v. 24, n. 58, p. 121-143, jun. 2016a. DOI: https://doi.org/10.1590/1678-987316245806. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0104-44782016000200121&lng=en&nrm=is. Acesso em: 28 set. 2020.

PIRES, R. R. C.; GOMIDE, A. Á. Governança, Arranjos institucionais e Capacidades Estatais na implementação de Políticas Federais. In: MENICUCCI, T.; GONTIJO, J. G. (orgs.). Gestão e Políticas Públicas no Cenário Contemporâneo. Rio de Janeiro: Editora Fiocruz, 2016b.

PIRES, V.; MIDLEJ E SILVA, S. A.; FONSECA, S. A.; VENDRAMINI, P.; COELHO, F. S. Dossiê - Campo de Públicas no Brasil: definição, movimento constitutivo e desafios atuais. Administração Pública e Gestão Social, v. 6, n. 3, p. 110-126, jul./ago. 2014. Disponível em: http://www.spell.org.br/documentos/download/31679. Acesso em: 2 jun. 2020.

PRESSMAN, J. L.; WILDAVSKY, A. Implementation: how great expectations in Washington are dashed in Oakland. 3. ed. Berkeley: University of California, 1984.

RAMOS, M. P.; LIMA, L. L. Avaliação de impacto de políticas públicas: desafios e perspectivas a partir do Programa Bolsa Família. In: CONTERATO, M. A.; RADOMSKY, G. F. W.; SCHNEIDER, S. (orgs.). Pesquisa em desenvolvimento rural: aportes teóricos e proposições metodológicas. Porto Alegre: UFRGS, 2014. p.77-91.

RAMOS, M. P.; SCHABBACH, L. M. O estado da arte da avaliação de políticas públicas: conceituação e exemplos de avaliação no Brasil. Revista de Administração Pública, Rio de Janeiro, v. 46, n. 5, p. 1271-1294, 2012. DOI:

https://doi.org/10.1590/S0034-76122012000500005 Disponivel em: https://www.scielo.br/pdf/rap/v46n5/a05v46n5.pdf. Acesso em: 15 fev. 2020.

RODRIGUES, L. C. Propostas para uma avaliação em profundidade de políticas sociais. Aval, Revista Avaliação de Políticas Públicas, Fortaleza, ano I, v. 1, n. 1, jan./ jun., p.7-15, 2008. Disponível em: http://www.repositorio.ufc.br/bitstream/riufc/22510/1/2008_art_lcrodrigues.pdf. Acesso em: 13 jul. 2019.

RODRIGUES, L. C. Avaliação em profundidade e ecologia política: um diálogo possível. Aval, Revista Avaliação de Políticas Públicas, Fortaleza, v. 2, n.16, p.184-207, jul./dez. 2019. Disponível em: http://www.periodicos.ufc.br/aval/article/view/42844/99658. Acesso em: 17 ago. 2020.

ROSSI, P.H.; LIPSEY, M.W.; FREEMAN, H.E. Evaluation: A Systematic Approach. 7. ed. Thousand Oaks, CA: Sage Publications, 2004.

SCRIVEN, M. Evaluation in the new millennium: The transdisciplinary view. In: DONALDSON, S. I.; SCRIVEN, M. (eds.). Evaluating social programs and problems: Visions for the new millennium. Mahwah, NJ: Erlbaum, 2003. p. 19-42.

SECCHI, L. Políticas públicas: conceitos, esquemas de análise, casos práticos. 2. ed. São Paulo: Cengage Learning, 2013.

SEGERHOLM, C. Researching Evaluation in National (State) Politics and Administration: A Critical Approach, American Journal of Evaluation, [S.l.], v. 24, n.3, p. 353-372, 2003.DOI: https://doi.org/10.1177/109821400302400305. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/109821400302400305. Acesso em: 22 dez. 2019.

SERAPIONI, M. Conceitos e métodos para a avaliação de programas sociais e políticas públicas. Sociologia, Revista da Faculdade de Letras da Universidade do Porto, v. 31, [s.n.], p. 59-80, jun. 2016. Disponível em: http://ojs.letras.up.pt/index.php/Sociologia/article/view/1461/1251. Acesso em: 8 fev. 2020.

SHADISH JR., W. R., COOK, T. D., LEVITON, L. C. Foundations of Program Evaluation-Theories of Practice. EUA: Sage Publications, 1991.

SRIHARAN, S.; NAKAIMA, A. Ten steps to making evaluation matter. Evaluation and Program Planning, New York, v. 34, n. 2, p. 135–146, maio 2011. DOI: 10.1016/j.evalprogplan.2010.09.003. Disponível: http://torontoevaluation.ca/solutions/_downloads/pdf/A_epp%20ten%20steps.pdf. Acesso em: 13 jan. 2020.

TREVISAN, A. P.; VAN BELLEN, H. M. Avaliação de políticas públicas: uma revisão teórica de um campo em construção. Revista de Administração Pública, Rio de Janeiro, v. 42, n. 3, p. 529-550, jun. 2008. DOI: https://doi.org/10.1590/S0034-76122008000300005. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122008000300005&lng=en&nrm=iso. Acesso em: 11 ago. 2019.

TROTTMANN, P.; CORRÊA, V.; SOUZA COELHO, F. S.; MORI SARTI, F. A produção científica em Políticas Públicas no Brasil: descrição e análise de alguns resultados de uma investigação sobre a primeira década dos anos 2000. Agenda Política, [S. l.], v. 1, n. 2, p. 223–253, 2017. DOI: 10.31990/10.31990/agenda.ano.volume.numero. Disponível em: https://www.agendapolitica.ufscar.br/index.php/agendapolitica/article/view/140. Acesso em: 23 jun. 2020.

UNITED STATES GOVERNMENT ACCOUNTABILITY OFFICE – GAO. Performance, Measurement and Evaluation. [s.n.]. United States. maio, 2011. Disponível em: http://www.gao.gov/assets/80/77277.pdf. Acesso em: 26 jan. 2020.

VAITSMAN, J.; PAES-SOUSA, R. Avaliação de programas e transparência da gestão pública. In: FRANZESE, C. [et al.] Reflexões para Ibero-américa: Avaliação de Programas Sociais.1 ed. Brasilia: ENAP, 2009. p. 11-23.

VEDUNG, E. Six models of evaluation. In: ARARAL, E. et al. Routledge handbook of public policy. New York: Routledge, 2015. p. 387-400.

VEGA, A.; CHIASSON, M. Towards a comprehensive framework for the evaluation of small and medium enterprise policy. Evaluation, London, v. 21, n. 3, p. 359–375, 2015. DOI: https://doi.org/10.1177/1356389015593357. Disponível em: https://journals.sagepub.com/doi/10.1177/1356389015593357. Acesso em: 11 abr. 2020.

VIANA, A. L. Abordagens metodológicas em políticas públicas. Revista de Administração Pública, Rio de Janeiro, v. 30, n. 2, p. 5-43, 1996. Disponível em: http://bibliotecadigital.fgv.br/ojs/index.php/rap/article/view/8095. Acesso em: 15 mar. 2020.

WEISS, C. H. Evaluation research: methods of assessing program effectiveness. Englewood Cliffs: Prentice-Hall, 1972.

WEISS, C. H. Have we learned anything new about the use of evaluation? American Journal of Evaluation, [S.l.], v. 19, n. 1, p. 21-34, 1998. DOI: https://doi.org/10.1177/109821409801900103. Disponível em: https://journals.sagepub.com/doi/abs/10.1177/109821409801900103. Acesso em: 11 jan. 2021.

WORTHEN, B. R.; SANDERS, J. R.; FITZPATRICK, J. L. Avaliação de Programas: concepções e práticas. São Paulo: Ed. Gente/EDUSP/Instituto Fonte/Instituto Ayrton Senna, 2004.

WU, X.; RAMESH, M.; HOWLETT, M.; FRITZEN, S. Guia de políticas públicas: gerenciando processos. Traduzido por Ricardo Avelar de Souza. Brasília: Enap, 2014.

ZANI, F. B.; COSTA, F. L. Avaliação da implementação do Programa Nacional de Fortalecimento da Agricultura Familiar - novas perspectivas de análise. Revista de Administração Pública, Rio de Janeiro, v. 48, n. 4, p. 889-912, ago. 2014. DOI: https://doi.org/10.1590/003476121555. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-76122014000400005&lng=en&nrm=iso. Acesso em: 23 nov. 2020.