Modelagem de valor agregado e o poder do pensamento magico

Henry Braun

Resumo


Esse artigo trata do impeto nos Estados Unidos da America no processo de estender a responsabilização/prestação de contas (accountability) baseada em testes a professores e no crescente interesse em empregar modelos de valor acrescentado para gerar indicadores a serem utilizados na avaliação de professores. A literatura empirica mostra que a qualidade de ensino pelo professor e o fator escolar mais importante para o sucesso do aluno. Porem, em geral, as avaliações de professores sao feitas de modo precario – quando feitas – e beneficios sao prioritariamente determinados por tempo de servico e titulos. Os formuladores de politicas veem o fortalecimento da responsabilização do professor como uma prioridade. Em particular, eles estao procurando aumentar o papel de resultados (outputs) em comparação com dados de entrada (inputs). Mas, devido aos problemas tecnicos associados com indicadores derivados do status (status-based) de professores e da eficácia da escola, o foco foi orientado para indicadores baseados em alguma medida do progresso realizado pelos estudantes durante o ano letivo. Analises de valor acrescentado dependem de modelos estatisticos sofisticados para gerar estimadores da eficácia relativa dos professores, baseados em uma medida relacionada ao progresso dos alunos. Esse artigo fornece uma breve introdução aos modelos de valor acrescentado e faz um resumo dos principais resultados de pesquisas. Embora estimadores de valor acrescentado tenham algumas propriedades desejaveis, eles nao representam uma solução simples e elegante para um problema complexo de avaliação. Nesse espirito, o artigo finaliza descrevendo algumas das muitas preocupacoes relativas ao uso de escores de valor acrescentado para decisoes de grande consequencia (high stakes) e sugere algumas maneiras para aumentar a possibilidade de que a responsabilização de professores ira contribuir construtivamente para a melhoria do ensino.

Palavras-chave


Accountability; Teacher evaluation; Value-added

Referências


AMERICAN EDUCATIONAL RESEARCH ASSOCIATION; AMERICAN PSYCHOLOGICAL ASSOCIATION; NATIONAL COUNCIL ON MEASUREMENT IN EDUCATION. Standards for educational and psychological measurement. Washington, DC: American Educational Research Association, 1999.

BIRD, S. et al. Performance indicators: good, bad and ugly. J. Royal Statistical Society A, London, v. 168, n. 1, p. 1-27, 2005.

BRAUN, H. I. Using student progress to evaluate teachers: a primer on value-added models. Princeton, NJ: Policy Information Center, Educational Testing Service, 2005.

BRIGGS, D.; WEEKS, J.; WILEY, E. The sensitivity of value-added modeling to the creation of a vertical score scale. Education Finance and Policy, Cambridge, v. 4, n. 4, p. 384-414, 2008.

BRIGGS, D. ; DOMINIGUE, B. Due diligence and the evaluation of teachers: a review of the value-added analysis underlying the effectiveness rankings of LAUSD teachers by the Los Angeles Times. Boulder, CO: National Education Policy Center, 2011.

CAMPBELL, D. Assessing the impact of planned social change. [S.l.]: the Public Affairs Center; Hanover, New Hampshire, USA : Dartmouth College, 1976.

CORCORAN, S. Can teachers be evaluated by their students’ test scores? Should they be? The use of value-added measures of teacher effectiveness in policy and practice. Providence, RI: Annenberg Institute for School Reform, 2010.

GOLDHABER, D. Teachers matter, but effective teacher policies are elusive. In: LADD, H.; FISKE, E. (Ed.). Handbook of Research in Education Finance and Policy. New York: Routledge, 2008.

GOLDHABER, D.; HANSEN, M. Is it just a bad class? Assessing the long-term stability of estimated teacher performance. [S.l]: National Center for Analysis of Longitudinal Data in Education Research, 2012. (Working Paper 73).

HARRIS, D. Value-added measures in education. Cambridge, MA: Harvard Education Press, 2011.

HILL, H.; CHARALAMBOUS, Y. ; KRAFT, M. When rater reliability is not enough: teacher observation systems and a case for the generalizability study. Educational Researcher, Thousand Oaks, CA, v. 41, n. 2, p. 56-64, 2012.

KOEDEL, C.; BETTS, J. Does student sorting invalidate VAMs of teacher effectiveness? An extended analysis of the Rothstein critique. Columbia, MO: University of Missouri, 2009. (U. of Missouri Working Paper 09-02).

LADD, H. F. Teacher Effects: what do we know? In: DUNCAN, G.; SPILLANE, J. (Ed.). Teacher quality: broadening and deepening the debate. Evanston, IL: Northwestern University, 2008. Available from: .

LINN, R. Accountability models. In: FUHRMAN, S.; ELMORE, R. (Ed.). Redesigning Accountability Systems for Education. New York: Teachers College Press, 2004.

MADAUS, G.; RUSSELL, M.; HIGGINS, J. The paradoxes of high-stakes testing. Charlotte, NC: Information Age Publishing, 2009.

MCCAFFREY, D. et al. The intertemporal variability of teacher effect estimates. Education Finance and Policy, Cambridge, MA, v. 4, n. 4, p. 572-606, 2009.

MESSICK, S. Validity. In: LINN, R. (Ed.). Educational Measurement. 3rd ed. New York: Macmillan, 1989. p. 13-103.

NATIONAL RESEARCH COUNCIL. Getting value out of value-added. H. I. Braun, N. Chudowsky and J. Koenig (Eds.). Washington, DC: [s.n.] , 2010.

NEWTON, X. A. et al. Value-added modeling of teacher effectiveness: An exploration of stability across models and contexts. Education Policy Analysis Archives, [S.l.], v. 18, n. 23, 2010.

PAPAY, J. P. Different tests, different answers: the stability of teacher value-added estimates across outcome measures. American Educational Research Journal, Thousand Oaks, CA, v. 48, n. 1, p. 163-193, 2011.

REARDON, S. ; RAUDENBUSH, S. Assumptions of value-added models for estimating school effects. Education Finance and Policy, Cambridge, MA, v. 4, n. 4, 2009.

ROTHSTEIN, J. Student sorting and bias in value-added estimation: selection on observables and unobservables. Education Finance and Policy, Cambridge, MA, v.4, n. 3, p. 537-571, 2009.

ROTHSTEIN, J. Teacher quality in educational production: tracking, decay, and student achievement. Quarterly J. of Economics, [S.l.], v. 125, n. 1, p. 175-214, 2010.

ROTHSTEIN, R., JACOBSEN, R.; WILDER, T. Grading education: Getting accountability right. New York: Teachers College Press, 2008.

RUBIN, D. Which ifs have causal answers? J. American Statistical Association, [S.l.], v. 81, p. 961-962, 1986.

SASS, T. R. The stability of value-added measures of teacher quality and implications for teacher compensation policy. Brief 4. [S.l.]: National Center for Analysis of Longitudinal Data in Education Research, 2008.

SCHNEIDER, B. et al. Estimating causal effects: using experimental and observational designs. Washington, DC: American Educational Research Association, 2007.

SUNDERMAN, G. (Ed.). Holding NCLB accountable: achieving accountability, equity & school reform. Thousand Oaks, CA: Corwin Press., 2008.

ZUSNE, L.; JONES, W. Anomalistic Psychology: a Study of Magical Thinking. 2nd ed. Hillsdale, NJ: Lawrence Erlbaum Assoc., 1989. Available from: . Accessed: 4th February, 2012.


Apontamentos

  • Não há apontamentos.




Direitos autorais 2016 Revista Ensaio: Avaliação e Politicas Públicas em Educação

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Apoio:


Programa de Apoio às Publicacoes Cientificas (AED) do Ministério da Ciência, Tecnologia e Inovação (MCTI), Conselho Nacional de Desenvolvimento Cientifico e tecnologico (CNPq), Ministerio da Educação (MEC), Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)  

Revista chancelada pela Unesco. Revista parceira da Associação Brasileira de Avaliação Educacional (ABAVE)

SCImago Journal & Country Rank