Revista Meta: Avaliação

Em um ambiente em que o orçamento das Instituições de Ensino Superior - IES públicas é cada vez mais escasso, torna-se premente a necessidade de instrumentos de monitoramento gerencial para a adequada alocação de recursos públicos. O objetivo do trabalho baseou-se em construir um conjunto de indicadores capazes de avaliar a gestão orçamentária das IES públicas, no sentido de possibilitar maior transparência e efetivo controle interno. Utilizou-se a metodologia 6Es, que objetiva o desenvolvimento de indicadores alinhados as dimensões de esforço (economicidade, excelência e execução) e resultado (eficácia, eficiência e efetividade), tendo os dados coletados por meio de pesquisa com especialistas e análise baseada na técnica Delphi. Inicialmente foram propostos seis indicadores e identificados outros 20 pelos especialistas. Ao final do procedimento metodológico, identificou-se 12 indicadores para avaliar a gestão orçamentária das IES públicas.

AMARAL, N. C. Com a PEC 241/55 (EC 95) haverá prioridade para cumprir as metas do PNE (2014-2024)?. Revista Brasileira de Educação, Rio de Janeiro, v. 22, n. 71, p. 1-25, 2017. DOI: http://dx.doi.org/10.1590/s1413-24782017227145. Disponível em: https://www.scielo.br/pdf/rbedu/v22n71/1809-449X-rbedu-s1413-24782017227145.pdf. Acesso em: 20 jun. 2019.

ANDRIOLA, W. B.; ARAÚJO, A. C. Uso de indicadores para diagnóstico situacional de instituições de ensino superior. Ensaio: Avaliação de Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 100, p. 645-663, 2018. DOI: https://doi.org/10.1590/s0104-40362018002601062. Disponível em: https://www.scielo.br/pdf/ensaio/v26n100/1809-4465-ensaio-S0104-40362018002601062.pdf. Acesso em: 12 mar. 2019.

ANTERO, S. A. Monitoramento e avaliação do programa de erradicação do trabalho escravo. Revista de Administração Pública, Rio de Janeiro, v. 42, n.5, p. 791-828, 2008. DOI: http://dx.doi.org/10.1590/S0034-76122008000500002. Disponível em: https://www.scielo.br/pdf/rap/v42n5/a02v42n5.pdf. Acesso em: 3 abr. 2019.

BELLEN, H. M. V. Indicadores de sustentabilidade: um levantamento dos principais sistemas de avaliação. Cadernos EBAPE.BR, [Rio de Janeiro], v. 2, n. 1, p. 1-14, 2004. DOI: https://doi.org/10.1590/S1679-39512004000100002. Disponível em: https://www.scielo.br/pdf/cebape/v2n1/v2n1a02.pdf. Acesso em: 15 jun. 2019.

BELLONI, J. A. Uma metodologia de avaliação da eficiência produtiva de universidades federais brasileiras. Orientador: Jair dos Santos Lapa. 2000. 245 f. Tese (Doutorado em Engenharia) - Programa de Pós-Graduação em Engenharia de Produção, Universidade Federal de Santa Catarina, Florianópolis, 2000. Disponível em: https://repositorio.ufsc.br/xmlui/bitstream/handle/123456789/78457/153160.pdf?sequence=1&isAllowed=y. Acesso em: 7 maio 2019.

BEM, A. B. de; LANZER, E. A.; TAMBOSI FILHO, E.; SANCHEZ, O. P.; BERNARDI JUNIOR, P. Validade e confiabilidade de instrumento de avaliação da docência sob a ótica dos modelos de equação estrutural. Revista da Avaliação da Educação Superior, Sorocaba, SP, v. 16, n. 2, p. 375-401, jul. 2011. DOI: https://doi.org/10.1590/S1414-40772011000200008.

BRASIL. [Constituição (1988)]. Constituição da República Federativa do Brasil. [Diário Oficial da República Federativa do Brasil], Brasília, DF, 1988. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao.htm. Acesso em: 20 nov. 2019.

BRASIL. Ministério do Planejamento. Guia referencial para medição de desempenho e manual para criação de indicadores. Brasília, DF: Ministério do Planejamento, 2009.

BRASIL. Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos. Indicadores de programas: guia metodológico. Brasília, DF: Ministério do Planejamento, Orçamento e Gestão, 2010. Disponível em: http://www.seplag.df.gov.br/wp-conteudo/uploads/2017/12/Guia-Metodol%C3%B3gica-Indicadores-de-Programas.pdf. Acesso em: 19 nov. 2019.

BRATTI, M.; MCKNIGHT, A.; NAYLOR, R.; SMITH, J. Higher education outcomes, graduate employment and univerty performance indicators. Statistics in Society, London, v. 167, n. 3, p. 475-496, jul. 2004.

CAETANO, E. F. da S.; CAMPOS, I. M. B. M. A autonomia das universidades federais na execução das receitas próprias. Revista Brasileira de Educação, Rio de Janeiro, v. 24, p. 1-19, 2019. DOI: http://dx.doi.org/10.1590/s1413-24782019240043. Disponível em: https://www.scielo.br/pdf/rbedu/v24/1809-449X-rbedu-24-e240043.pdf. Acesso em: 18 mar. 2019.

CARDOSO JÚNIOR, J. C.; CUNHA, A. dos S. (org.). Planejamento e avaliação de políticas públicas. Brasília, DF: Ipea, 2015. Disponível em: http://www.ipea.gov.br/portal/images/stories/PDFs/livros/livros/livro_ppa_vol_1_web.pdf. Acesso em: 26 fev. 2018.

CAVE, M.; HANNEY, S.; HENKEL, M.; KOGAN, M. The use of performance indicators in higher education: the challenge of the quality movement. 3. ed. London: Jessica Kingsley Publishers, 1997.

CORBUCCI, P. R. As universidades federais: gastos, desempenho, eficiência e produtividade. Texto para Discussão, Brasília, DF, n. 752, p. 2-66, ago. 2000. Disponível em: http://repositorio.ipea.gov.br/handle/11058/2309. Acesso em 12 de janeiro de 2019.

CRUZ, S. R.; MELLO, J. C. C. S. de; RAMA, C. A eficiência do financiamento nas instituições federais de ensino superior brasileiras nos períodos 1995-2009. Meta: Avaliação, Rio de Janeiro, v. 11, n. 33, p. 747-772, 2019. DOI: http://dx.doi.org/10.22347/2175-2753v11i33.1952. Disponível em: http://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/1952/pdf. Acesso em:

CUNHA, M. I. de. A qualidade e ensino de graduação e o complexo exercício de propor indicadores: é possível obter avanços?. Revista da Avaliação da Educação Superior, Sorocaba, SP, v. 19, n. 2, p. 453-462, 2014. DOI: https://doi.org/10.1590/S1414-40772014000200011. Disponível em: https://www.scielo.br/pdf/aval/v19n2/a11v19n2.pdf. Acesso em: 30 mar. 2019.

DUTRA, R. S.; COELHO, A. C. D.; DUTRA, G. B. M. Indicadores educacionais e proficiência no Enem: um estudo nos institutos federais do Brasil. Meta: Avaliação, Rio de Janeiro, v. 11, n. 31, p. 124-153, 2019. Disponível em: http://revistas.cesgranrio.org.br/index.php/metaavaliacao/article/view/1781/pdf. Acesso em: 27 jul. 2019.

EWELL, P. T.; JONES, D. P. Indicators of “good practice” in undergraduate education: a handbook for development and implementation. National Center for Higher Education Management Systems, Boulder, Colorado. 1996.

FERNANDES, D. R. Uma contribuição sobre a construção de indicadores e sua importância para a gestão empresarial. Revista da FAE, Curitiba, v. 7, n. 1, p. 1-18, 2004. Disponível em: https://revistafae.fae.edu/revistafae/article/view/430. Acesso em: 28 jul. 2019.

FERNANDES, J. L. T. Indicadores para a avaliação da gestão das universidades federais brasileiras: um estudo da influência dos gastos sobre a qualidade das atividades acadêmicas do período 1998-2006. Orientador: César Augusto Tibúrcio Silva. 2009. 115 f. Dissertação (Mestrado em Ciências Contábeis) – Programa Multiinstitucional e Inter-Regional de Pós-Graduação em Ciências Contábeis, Universidade de Brasília, Brasília, DF, 2009. Disponível em: http://ppgcont.unb.br/images/PPGCCMULTI/mest_dissert_177.pdf. Acesso em: 14 jul. 2019.

FERREIRA, R. A.; TENÓRIO, R. M. A construção de indicadores de qualidade no campo da avaliação educacional: um enfoque epistemológico. Revista Lusófona de Educação, Lisboa, v. 15, p. 71-97, 2010. Disponível em: http://www.scielo.mec.pt/pdf/rle/n15/n15a06.pdf. Acesso em: 12 set. 2019.

JANNUZZI, P. de M. Indicadores para diagnóstico, monitoramento e avaliação de programas sociais no Brasil. Revista do Serviço Público, Brasília, DF, v. 56, n. 2, p. 137-160, 2005. DOI: https://doi.org/10.21874/rsp.v56i2.222. Disponível em: https://revista.enap.gov.br/index.php/RSP/article/view/222/227. Acesso em: 15 set. 2019.

JANNUZZI, P. de M. Monitoramento e avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas, SP: Ed. Alinea, 2016.

MARQUES, J. B. V.; FREITAS, D. de. Método DELPHI: caracterização e potencialidades na pesquisa em educação. Pro-Posições, São Paulo, v. 29, n. 2, p. 389-415, maio/ago. 2018. DOI: https://doi.org/10.1590/1980-6248-2015-0140. Disponível em: https://www.scielo.br/pdf/pp/v29n2/0103-7307-pp-29-2-0389.pdf. Acesso em: 14 ago. 2019.

MINAYO, M. C. de S. Construção de indicadores qualitativos para avaliação de mudanças. Revista Brasileira de Educação Médica, Rio de Janeiro, v. 33, n. 1, p. 83-91, 2009. Disponível em: https://www.scielo.br/pdf/rbem/v33s1/a09v33s1.pdf. Acesso em: 12 ago. 2019.

MIRANDA, N. de S. Desempenho de universidades públicas: lições da experiência da UnB no uso de indicadores. Orientador: Jorge Madeira Nogueira. 2013. 101 f. Dissertação (Mestrado Profissional em Economia) – Faculdade de Economia, Administração e Contabilidade, Programa de Pós-Graduação em Economia, Universidade de Brasília, Brasília, DF, 2013. Disponível em: https://repositorio.unb.br/bitstream/10482/14576/1/2013_NilzithSouzaMiranda.pdf. Acesso em: 11 ago. 2019.

MORDUCHOWICZ, A. Los indicadores educativos y las dimensiones que los integran. Buenos Aires: UNESCO: IIPE, 2006. Disponível em: https://studylib.es/doc/2575425/los-indicadores-educativos-y-las-dimensiones-que-los-integran. Acesso em: 26 jan. 2019.

OLIVEIRA, J. de P. de; COSTA, M. M.; WILLE, M. F. de C. Introdução ao método Delphi. Curitiba: Mundo Material, 2008. Disponível em: http://eprints.rclis.org/12888/1/cartilha_delphi_digital.pdf. Acesso em: 23 fev. 2018.

PEREIRA, W. O. C. Eficiência analítica baseada em indicadores orçamentários. Orientador: Luiz Carlos de Souza. 2014. 47 f. Trabalho de Conclusão de Curso (Especialização em Gestão de Negócios) - Programa de Pós-Graduação em Contabilidade, Universidade Federal do Paraná, Paraná, 2014. Disponível em: https://acervodigital.ufpr.br/bitstream/handle/1884/42784/R%20-%20E%20-%20WILSON%20OLACIR%20CARVALHO%20PEREIRA.pdf?sequence=1&isAllowed=y. Acesso em: 20 mar. 2019.

PFEIFFER, P. O quadro lógico: um método para planejar e gerenciar mudanças. Revista do Serviço Público, Brasília, DF, v. 51, n. 1, p. 81-122, 2000. DOI: https://doi.org/10.21874/rsp.v51i1.320. Disponível em: https://revista.enap.gov.br/index.php/RSP/article/view/320/326. Acesso em: 12 abr. 2019.

PROPPER, C.; WILSON, D. The use and usefulness of performance measure in the public sector. Oxford Review of Economic Policy, Oxford, v. 19, n. 2, p. 250-267, 2003. Disponível em: https://www.researchgate.net/publication/5216196_The_Use_and_Usefulness_of_Performance_Measures_in_the_Public_Sector. Acesso em: 12 mar. 2018.

REDE INTERAGENCIAL DE INFORMAÇÃO PARA A SAÚDE. Indicadores básicos para a saúde no Brasil: conceitos e aplicações. 2. ed. Brasília, DF: Organização Pan-Americana da Saúde, 2008. Disponível em: http://tabnet.datasus.gov.br/tabdata/livroidb/2ed/indicadores.pdf. Acesso em 5 mar. 2018.

ROLIM, L. F. Análise da eficiência dos gastos das instituições federais de ensino superior no Brasil. Orientador: Aléssio Tony Cavalcanti de Almeida. 2017. 44 f. Monografia (Bacharel em Ciências Econômicas) – Centro de Ciências Sociais Aplicadas, Universidade Federal da Paraíba, 2017. Disponível em: https://repositorio.ufpb.br/jspui/bitstream/123456789/3485/1/LFR27022018.pdf. Acesso em: 15 maio 2019.

RUA, M. das G. Avaliação de políticas, programas e projetos: notas introdutórias. p. 1-24. Disponível em: http://antigo.enap.gov.br/downloads/ec43ea4fUFAM-MariadasGraAvaliaPol.pdf. Acesso em: 11 nov. 2017.

SCARPARO, A. F. et al. Reflexões sobre o uso da técnica Delphi em pesquisas na enfermagem. Revista da Rede de Enfermagem do Nordeste, Fortaleza, v. 13, n. 1, p. 242-251, 2012. Disponível em: http://www.periodicos.ufc.br/rene/article/view/3803/3000. Acesso em: 3 jun. 2019.

SCHMITZ, C. C. Assessing the validity of higher education indicators. Journal of Higher Education, Columbus, Ohio, v. 64, n. 5, p. 503-521, 1993.

SCHWARTZMAN, J. Um sistema de indicadores para universidades brasileiras. Documento de Trabalho do Núcleo de Pesquisas Sobre Ensino Superior, São Paulo, p. 1-25, 1994. Disponível em: http://nupps.usp.br/downloads/docs/dt9405.pdf. Acesso em: 28 jul. 2019:

SOLIGO, V. Indicadores: conceito e complexidade do mensurar em estudos de fenômenos sociais. Estudos em Avaliação Educacional, São Paulo, v. 23, n. 52, p. 12-25, 2012. Disponível em: http://www.fcc.org.br/pesquisa/publicacoes/eae/arquivos/1724/1724.pdf. Acesso em: 15 set. 2019:

SOUZA, M. A. F. de. Indicadores de desempenho para governança de TI: aplicação do 6Es do GesPública aos processos AI2, AI5 e DSB do COBIT 4.1. 2013. Trabalho de Conclusão de Curso (Especialização em Governança de Tecnologia da Informação) – SENAC DF, 2013.

SUDAM. Incentivos fiscais concedidos: relatório de avaliação 2007-2014. Belém: SUDAM, 2016. Disponível em: http://antigo.sudam.gov.br/conteudo/menus/retratil/incentivosfiscais/arquivos/relatorio-de-avalicao-if-25082016.pdf. Acesso em: 12 maio 2019.