Validez y Justicia: hacia una evaluación significativa en pruebas estandarizadas de escritura

Federico Navarro, Natalia Ávila Reyes, Gabriela Gómez Vera

Resumo


Hasta hace poco, la validez de las pruebas estandarizadas de escritura se basaba en la confiabilidad inter-correctores, las tareas no estaban informadas por teoría e investigación, los textos eran evaluados mediante indicadores indirectos o rúbricas analíticas que fragmentaban sus componentes y, sobre todo, la validación contextual, justicia y consecuencias del uso de resultados no eran consideradas. Este artículo presenta un nuevo test de evaluación de escritura desarrollado para mejorar la información disponible al inicio de la Educación Superior en Chile. Incluye tareas para escribir con fines académicos y de participación ciudadana; detalla la situación, los propósitos, las audiencias y las expectativas; habilita la planificación y revisión; y evalúa los textos mediante una rúbrica holística centrada en el cumplimiento de objetivos. Los resultados de su aplicación muestran un alto nivel de interés de los estudiantes y una distribución normal de los desempeños.


Texto completo:

PDF (Español (España))

Referências


ADLER-KASSNER, L.; WARDLE, E. (Eds.). Naming What we Know. Threshold Concepts of Writing Studies. Logan: Utah State University Press, 2015.

AGENCIA DE CALIDAD DE LA EDUCACIÓN. Marco de Evaluación Prueba Simce Lenguaje y Comunicación. Escritura 6° año básico. Santiago: Agencia de Calidad de la Educación, 2018a. Disponível em: . Acceso em: 22 out. 2018.

AGENCIA DE CALIDAD DE LA EDUCACIÓN. Ejemplos de Items Texto Informativo Escritura. 6º básico 2016. Santiago: Agencia de Calidad de la Educación, 2018b. Disponível em: . Acceso em: 22 out. 2018.

AMERICAN EDUCATIONAL RESEARCH ASSOCIATION et al. Standards for Educational and Psychological Testing. Washington, DC: American Educational Research Association, 2014.

APPLEBEE, A. N. Issues in Large-Scale Writing Assessment. Perspectives from the National Assessment of Educational Progress. Journal of Writing Assessment, 3, 2, 81-98, 2007.

AUTORES, 2016, 2018, 2019

BACHMAN, L. F. Fundamental Considerations in Language Testing. Oxford: Oxford University Press, 1990.

BAJTÍN, M. M. El problema de los géneros discursivos. In: Estética de la creación verbal. Buenos Aires: Siglo XXI Editores, 2005. 248-293.

BARTON, D.; HAMILTON, M. Literacy Practices. In: BARTON, D; HAMILTON, M.; IVANIC, R. (Eds.), Situated Literacies- Reading and Writing in Context. London: New York: Routledge, 2000. 7-15.

BAZERMAN, C. Understanding the Lifelong Journey of Writing Development. Infancia y Aprendizaje: Journal for the Study of Education and Development, 36, 4, 421-441, 2013.

BROAD, B. What We Really Value. Beyond Rubrics in Teaching and Assessing Writing. Logan, Utah: Utah State University Press, 2003.

CALSAMIGLIA BLANCAFORT, H.; TUSÓN VALLS, A. Las cosas del decir. Manual de análisis del discurso. Barcelona: Ariel, 1999.

CAMBRIDGE ENGLISH. Cambridge English Proficiency. Handbook for teachers for exams from 2016. Cambridge: Cambridge University Press, 2016. Disponível em: . Acceso em: 22 out. 2018.

CAMP, R. Changing the Model for the Direct Assessment of Writing. In: HUOT, B.; O'NEILL, P. (Eds.), Assessing Writing. A Critical Sourcebook. Boston: Bedford & St. Martin's, 2009 [1993]. 102-129.

CASTELLÓ BADÍA, M. El proceso de composición de textos académicos. In: CASTELLÓ, M. (Ed.), Escribir y comunicarse en contextos científicos y académicos. Barcelona: Graó, 2007. 47-81.

CHENG, L.; FOX, J.; ZHENG, Y. Student Accounts of the Ontario Secondary School Literacy Test: A Case for Validation. The Canadian Modern Language Review/La Revue canadienne des langues vivantes, 64, 1, 69-98, 2007.

CHIROLEU, A.; MARQUINA, M. Democratisation or Credentialism? Public Policies of Expansion of Higher Education in Latin America. Policy Reviews in Higher Education, 1, 2, 139-160, 2017.

CRUCH. Manual para la implementación del Sistema de Créditos Académicos Transferibles SCT-Chile. Santiago: CRUCH, 2013.

CUSHING WEIGLE, S. Assessing Writing. Cambridge: Cambridge University Press, 2002.

DAVIES, A. et al. Dictionary of Language Testing. Cambridge: Cambridge University Press, 1999.

DEPARTAMENTO DE EVALUACIÓN, MEDICIÓN Y REGISTRO EDUCACIONAL. Temario PSU: Lenguaje y Comunicación. Santiago: DEMRE, 2018. Disponível em: . Acceso em: 22 out. 2018.

ELLIOT, N. On a Scale: A Social History of Writing Assessment in America. New York: Peter Lang, 2005.

EODICE, M.; GELLER, A. E.; LERNER, N. The Meaningful Writing Project: Learning, Teaching, and Writing in Higher Education. Boulder, CO: Utah State University Press, 2016.

FLOTTS, M. P. et al. Aportes para la enseñanza de la escritura. Santiago: UNESCO, 2016.

GARDNER, S.; NESI, H. A Classification of Genre Families in University Student Writing. Applied Linguistics, 34, 1, 25-52, 2013.

HUOT, B. Toward a New Theory of Writing Assessment. In: Huot, B.; O'Neill, P. (Eds.), Assessing Writing: A Critical Sourcebook. Boston: Bedford & St. Martin's, 2009 [1996]. 160-175.

KLIEME, E.; HARTIG, J.; RAUCH, D. The Concept of Competence in Educational Contexts. In: J. HARTIG, J.; KLIEME, E.; LEUTNER, D. (Eds.), Assessment of Competencies in Educational Contexts. Ashland, OH, US: Hogrefe & Huber Publishers, 2008. 3-22.

LEMAITRE, M. J. Aseguramiento de la calidad: una política y sus circunstancias. In: Bernasconi, A. (Ed.), La educación superior de Chile: Transformación, desarrollo y crisis. Santiago: Ediciones UC, 2015. 295-344.

LERNER, D. Leer y escribir en la escuela: lo real, lo posible y lo necesario. In: Leer y escribir en la escuela: lo real, lo posible y lo necesario. México: Fondo de Cultura Económica, 2001. 25-37.

LUCE-KAPLER, R.; KLINGER, D. Uneasy Writing: The Defining Moments of High-Stakes Literacy Testing. Assessing Writing, 10, 157-173, 2005.

MATEOS, M.; MARTÍN, E.; VILLALÓN, R. La percepción de profesores y alumnos en la educación secundaria sobre las tareas de lectura y escritura que realizan para aprender. In: J. I. POZO, J. I. et al. (Eds.), Nuevas formas de pensar la enseñanza y el aprendizaje. Barcelona: Graó, 2006. 231-242.

MISLEVY, R. J. Sociocognitive Foundations of Educational Measurement. New York; London: Routledge, 2018.

MURPHY, S.; YANCEY, K. B. Construct and Consequence: Validity in Writing Assessment. In: Bazerman, C. (Ed.), Handbook of Research on Writing: History, Society, School, Individual, Text. New York & London: Taylor & Francis, 2008. 448-473.

OLSON, D. R. El mundo sobre el papel: El impacto de la escritura y la lectura en la estructura del conocimiento. Barcelona: Gedisa, 1998.

O'NEILL, P. How does Writing Assessment Frame College Writing Programs? In: ELLIOT, N.; PERELMAN, L. (Eds.), Writing Assessment in the 21st Century: Essays in Honor of Edward M. White. New York: Hampton Press, 2012. 439-456.

O'NEILL, P.; MOORE, C.; HUOT, B. A Guide to College Writing Assessment. Logan, Utah: Utah State University Press, 2009.

PEARSON. Final Report. Evaluation of the Chile PSU. Santiago: Pearson, 2013. Disponível em: . Acceso em: 22 out. 2018.

PELLEGRINO, J. W.; HILTON, M. L. (Eds.). Education for Life and Work: Developing Transferable Knowledge and Skills in the 21st Century. Washington DC: The National Academies Press, 2012.

PERELMAN, L. Towards a New NAPLAN: Testing to the Teaching. Surry Hills: NSW Teachers Federation, 2018.

POE, M.; INOUE, A.; ELLIOT, N. (Eds.). Writing Assessment, Social Justice, and the Advancement of Opportunity. Fort Collins, Colorado: The WAC Clearinghouse, 2018.

PRIOR, P.; BILBRO, R. Academic Enculturation: Developing Literate Practices and Disciplinary Identities. In: CASTELLÓ, M.; DONAHUE, C. (Eds.), University Writing: Selves and Texts in Academic Societies. London: Emerald, 2011. 19-31.

PRIOR, P.; LUNSFORD, K. History of Reflection and Research on Writing. In: Bazerman, C. (Ed.), Handbook of Research on Writing: History, Society, School, Individual, Text. New York & London: Taylor & Francis, 2008. 81-96.

READ, J. Assessing Vocabulary. Cambridge: Cambridge University Press, 2000.

ROSE, D.; MARTIN, J. R. Learning to Write, Reading to Learn: Genre, Knowledge and Pedagogy in the Sydney School. London: Equinox, 2012.

ROSLI, N.; CARLINO, P.; RONI, C. Retención Escolar y Educación de Calidad: Logros y Desafíos Pendientes en una Escuela Secundaria Argentina. Archivos Analíticos de Políticas Educativas, 23, 102, 2-27, 2015.

SANTELICES, M. V.; GALLEGUILLOS, P.; CATALÁN AVENDAÑO, X. (2015). El acceso y la transición a la universidad en Chile. In: BERNASCONI, A. (Ed.), La educación superior de Chile: Transformación, desarrollo y crisis. Santiago: Ediciones UC, 2015. 581-627.

SCHLEPPEGRELL, M. J. The Language of Schooling. A Functional Linguistics Perspective. Mahwah, NJ: Lawrence Erlbaum, 2004.

SCHMANDT-BESSERAT, D.; ERARD, M. Origins and Forms of Writing. In: BAZERMAN, C. (Ed.), Handbook of Research on Writing: History, Society, School, Individual, Text. New York; London: Taylor & Francis, 2008. 7-26.

SLOMP, D. H. Harming not helping: The impact of a Canadian standardized writing assessment on curriculum and pedagogy. Assessing Writing, 13, 180-200, 2008.

STARKE-MEYERRING, D.; PARÉ, A. The Roles of Writing in Knowledge Societies: Questions, Exigencies, and Implications for the Study and Teaching of Writing. In: STARKE-MEYERRING, D. et al. (Eds.), Writing in Knowledge Societies. Fort Collins, Colorado: The WAC Clearinghouse; Parlor Press, 2011. 3-28

VERA, J. El Sistema de Admisión a la Universidad: Permanencia y Cambio. Santiago: Editorial Universitaria, 2015.

WESTERA, W. Competences in Education: A Confusion of Tongues. Journal of Curriculum Studies, 33, 1, 75-88, 2001.

WHITE, E. M. Holisticism. College Composition and Communication, 35, 4, 400-409, 1984.

WIGGINS, G. The Case for Authentic Assessment. Practical Assessment, Research & Evaluation, 2, 2, 1-3, 1990. Disponível em: . Acceso em: 22 out. 2018.

WILLIAMSON, M. An Introduction to Holistic Scoring. In: WILLIAMSON, M.; HUOT, B. (Eds.), Validating Holistic Scoring for Writing Assessment: Theoretical and Empirical Foundations. Cresskill, NJ: Hampton Press, 1993. 206-232.

ZAVALA, V. La escritura académica y la agencia de los sujetos. Cuadernos Comillas, 1, 52-66, 2011.




DOI: http://dx.doi.org/10.22347/2175-2753v11i31.2045



Direitos autorais 2019 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.