Qual é o grau de incerteza do Ideb e por que isso importa?

Rodrigo Travitzki

Resumo


Propõe-se um método para calcular a “margem de erro” (intervalo de confiança) do Indicador de Desenvolvimento da Educação Básica (Ideb), com base nas leis de propagação da incerteza. O método foi aplicado aos microdados de 2015, incluindo 29.313 escolas e 2.381.722 alunos das séries finais do Ensino Fundamental. Comparou-se, também, o Ideb 2015 com a série histórica, levando em conta o intervalo de confiança. Os resultados dependem do nível: no nível dos estados, a incerteza é pequena e pouco relevante; no nível das escolas, a incerteza é alta, mais de 80% das escolas não apresentou mudança significativa de uma edição do Ideb para outra. Os resultados sugerem que o Ideb apresenta confiabilidade estatística nas metas de longo prazo (para 2022) de escolas e estados, e também para monitorar estados mesmo em curto prazo (2 anos). Contudo, o Ideb não se mostrou suficientemente confiável para monitorar escolas nem em médio prazo (6 anos). Nesse sentido, é importante que o Ideb por escola seja acompanhado de um intervalo de confiança.

 

Palavras-chave


IDEB; Qualidade Escolar; Incerteza Estatística; Indicadores Educacionais; Políticas Públicas

Referências


ALMEIDA, L. C.; DALBEN, A.; FREITAS, L. C. O Ideb: limites e ilusões de uma política educacional. Educação & Sociedade, Campinas, v. 34, n. 125, p. 1153-1174, out./dez. 2013. https://doi.org/10.1590/S0101-73302013000400008

BROOKE, N.; CUNHA, M. A.; FALEIROS, M. A avaliação externa como instrumento da gestão educacional nos estados. Belo Horizonte: UFMG, 2011.

CHIRINÉA, A. M.; BRANDÃO, C. F. O Ideb como política de regulação do Estado e legitimação da qualidade: em busca de significados. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 23, n. 87, p. 461-484, abr./jun. 2015. https://doi.org/10.1590/S0104-40362015000100019

FARRANCE, I.; FRENKEL, R. Uncertainty of measurement: a review of the rules for calculating Uncertainty components through functional relationships. Clinical Biochemist Reviews, Aexandria, v. 33, n. 2, p. 49-75, May 2012.

FERNANDES, R. A universalização da avaliação e a criação do Ideb: pressupostos e perspectivas. Em Aberto, Brasília, DF, v. 29, n. 96, p. 99-111, 2016. https://doi.org/10.24109/2176-6673.emaberto.29i96.%25p

FERNANDES, R. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília, DF: Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira, 2007.

FIGUEIREDO, D. et al. Os cavalos também caem: tratado das inconsistências do Ideb. Ensaio: Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 26, n. 100, p. 552-572, jul. 2018. https://doi.org/10.1590/s0104-403620180026001178

GATTI, B. A. Avaliação de sistemas educacionais no Brasil. SISIFO: Revista de Ciências da Educação, Americana, n. 9, p. 7-18, maio/ago. 2009. Disponível em: http://professor.ufop.br/sites/default/files/danielmatos/files/gatti_2009_avaliacao_de_sistemas_educacionais_no_brasil.pdf. Acesso em: 25 jan. 2020.

GORARD, S. Serious doubts about school effectiveness. British Educational Research Journal, [s. l.], v. 36, n. 5, p. 745-766, 2010. https://doi.org/10.1080/01411920903144251

GUPTA, S. V. Measurement uncertainties. Berlin: Springer Berlin Heidelberg, 2012.

INSTITUTO NACIONAL DE ESTUDOS E PESQUISAS EDUCACIONAIS ANÍSIO TEIXEIRA – Inep. Cenário Educacional - Inep. Disponível em: http://portal.inep.gov.br/web/guest/cenario-educacional. Acesso em: 1 maio. 2018.

LECKIE, G.; GOLDSTEIN, H. The limitations of using school league tables to inform school choice. Journal of the Royal Statistical Society: Series A, v. 172, n. 4, p. 835-851, Oct. 2009. Disponível em: https://www.jstor.org/stable/20622553?seq=1. Acesso em: 25 jan. 2020.

LECKIE, G.; GOLDSTEIN, H. Understanding uncertainty in school league tables. Fiscal Studies, London, v. 32, n. 2, p. 207-224, June 2011. Disponível em: https://www.jstor.org/stable/24440202?seq=1. Acesso em: 25 jan. 2020.

MELO, W. C. Erros de medida da Prova Brasil 2013 e sua influência no Ideb das escolas da rede municipal de ensino de São Paulo: um estudo sobre os anos finais do ensino fundamental e seus desdobramentos para as políticas educacionais. 2017. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2017.

PONTES, L. A. F.; SOARES, T. Volatilidade dos resultados de proficiência e seu impacto sobre as metas do Ideb nas escolas públicas de Minas Gerais. Educação em Revista, Belo Horizonte, v. 33, e1532622017, 2017. https://doi.org/10.1590/0102-4698153262

SOARES, J. F.; XAVIER, F. P. F. P. Pressupostos educacionais e estatísticos do Ideb. Educação & Sociedade, Campinas, v. 34, n. 124, p. 903-923, jul./set. 2013. https://doi.org/10.1590/S0101-73302013000300013

TRAVITZKI, R. ENEM: limites e possibilidades do Exame Nacional do Ensino Médio enquanto indicador de qualidade escolar. 2013. Tese (Doutorado em Educação) – Faculdade de Educação, Universidade de São Paulo, São Paulo, 2013.

TRAVITZKI, R.; CALERO, J.; BOTO, C. What does the National High School Exam (ENEM) tell Brazilian society? Cepal Review, [s. l.], n. 113, p. 157-174, 1 ago. 2014.




DOI: http://dx.doi.org/10.1590/s0104-40362020002801770

Apontamentos

  • Não há apontamentos.




Direitos autorais 2020 Revista Ensaio: Avaliação e Politicas Públicas em Educação

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.