Limitaciones Metodológicas y Soluciones Factibles en la Valoración y Calculo de las Calificaciones obtenidas mediante las Rúbricas como Estrategias de Evaluación de Competencias de los Estudiantes Universitarios y no Universitarios

Clemente Rodriguez-Sabiote, José Alvarez-Rodríguez, Rosa del Pilar Gámez-Durán

Resumo


El diseño y elaboracion de rúbricas como estrategias de evaluacion en enseñanza superior y otros niveles educativos, asi como las numerosas bondades de su utilizacion son tematicas ampliamente tratadas en la literatura cientifica. Sin embargo, los aspectos relativos al calculo de las puntuaciones que se derivan de su uso, asi como la fiabilidad y validez de las rúbricas han tenido una menor atencion. El presente trabajo, por consiguiente, se centra en la exposicion de un conjunto de limitaciones metodologicas relacionadas con las rúbricas y en la propuesta de soluciones factibles para superarlas. Las consideraciones finales del trabajo se centran en propuestas relativas a rúbricas donde las puntuaciones no son equivalentes al sistema de calificacion del pais de referencia, asi como a su ponderacion. Tambien se destacan los sesgos que se derivan del uso de coeficientes de correlacion y fiabilidad en el uso de la fiabilidad intra e inter-observadores y en la validez de contenido y la conveniencia de su sustitucion por coeficientes de concordancia.


Texto completo:

PDF (Español (España))

Referências


ABAD, F. et al. Medicin en ciencias sociales y de la salud. Madrid: Sntesis, 2011.

ARCHMILLER, A., FIEBERG, J., WALKER, J.D., HOLM, N. Group peer assessment for summative evaluation in a graduate-level statistics course for ecologists. Assessment and Evaluation in Higher Education, 42 (8), p. 1208-1220, 2017.

BROWN, G. T. L., GLASSWELL, K., & HARLAND, D. Accuracy in the scoring of writing: Studies of reliability and validity using a New Zealand writing assessment system. Assessing Writing, 9, p. 10512, 2004.

BROWN, G., BULL, J. & PENDLEBURY, M. Assessing student learning in higher education. London: Routledge, 1997.

CANO, E. Las rbricas como instrumento de evaluacin de competencias en Educacin Superior Uso o abuso? Profesorado. Revista de Curriculum y Formacin del Profesorado, Vol.19 (2), p. 266-280, 2015.

CLAEYS, C. et al. Content validity and inter-rater reliability of an instrument to characterize unintentional medication discrepancies, Drugs Aging, 29, p. 577-591,2012.

CORTS-REYES, E. et al. Mtodos estadsticos de evaluacin dela concordancia y la reproducibilidad de pruebas diagnsticas. Revista Colombiana de Obstetricia y Ginecologa, Vol. 61 (3), p. 247-255, 2010.

DAVIDSON, M.; HOWELL, K. W. & HOEKEMA, P. Effects of ethnicity and violent content on rubric scores in writing samples. Journal of Educational Research, 93, p. 367373, 2000.

DICKINSON, P., ADAMS, J. Values in evaluation The use of rubrics. Evaluation and Program Planning, 65, p. 113-116, 2017.

EL TURKEY, H., TANG, G., SAVIC, M., KARAKOK, G., CILLI-TURNER, E., PLAXCO, D. The Creativity-in-Progress Rubric on Proving: Two Teaching Implementations and Students Reported Usage. PRIMUS, p. 1-23. Article in Press. Source: SCOPUS, 2017.

ESQUIVEL-MOLINA, C. et al. Coeficiente de correlacin intraclase vs correlacin de Pearson de langlucemia capilar por reflectometra y glucemia plasmtica. Medicina Interna de Mxico, Vol. 22 (3), mayo-junio, p. 165-170, 2006.

HENDERSON, S.J. et al. Validation of Assessment Vignettes and Scoring Rubric of Multicultural and International Competency in Faculty Teaching. Multicultural Learning and Teaching, v. 11, n. 1, p. 53-81, 03 2016.

IBARRA SIZ, M., RODRGUEZ GMEZ, G., & GMEZ RUIZ, M. A. La evaluacin entre iguales: beneficios y estrategias para su prctica en la universidad. Revista de Educacin, (359), p. 206-231, 2012.

JONSSON, A. & SVINGBY, G. The use of scoring rubrics: Reliability, validity and educational consequences, Educational Research Review, 2, p. 130144, 2007.

KETTLER, T.; BOWER, J. Measuring Creative Capacity in Gifted Students: Comparing Teacher Ratings and Student Products. Gifted Child Quarterly , [S.l.], v. 61, n. 4, p. 290-299, 2017.

KORKUT, P. The construction and pilot application of a scoring rubric for creative drama lesson planning. Research in Drama Education, p. 1-12. Article in Press. Source: SCOPUS, 2017.

MARTNEZ-CURBELO, G.; CORTS-CORTS, M. y PREZ-FERNNDEZ, A. Metodologa para el anlisis de correlacin y concordancia en equipos de mediciones similares. Universidad y Sociedad, Vol. 8 (4). p. 65-70, 2016.

MARTNEZ-FIGUEIRA, M.E.; TELLADO GONZLEZ, F.; RAPOSO RIVAS, M. (2013). La rbrica como instrumento para la autoevaluacin: un estudio piloto. Revista de Docencia Universitaria. REDU, Vol.11 (2), Mayo-Agosto. p. 373-390, 2013.

MARZANO, R. J. A comparison of selected methods of scoring classroom assessments. Applied Measurement in Education, 15, 249267, 2002.

MERMA MOLINA, G.; PEA ALFARO, H.; PEA, A.G. Design and Validation of a Rubric to Assess the Use of American Psychological Association Style in Scientific Articles. Journal of New Approaches in Educational Research,[S.l.],v. 6, n. 1, p. 78-86, 2017.

MESSICK, S. Validity of Performance Assessments. In PHILLIPS, G.W. (Ed.).Technical Issues in Large-Scale Performance Assessment. Washington, DC: NCES -National Center for Education Statistics, 1996.

MOSKAL, B. M. & LEYDENS, J. A. Scoring rubric development: Validity and reliability. Practical Assessment, Research & Evaluation, 7, p. 7181, 2000.

MURILLO-ZAMORANO, L.R., MONTANERO, M. Oral presentations in higher education: a comparison of the impact of peer and teacher feedback Assessment and Evaluation in Higher Education, 43 (1), p. 138-150, 2017.

PARK, Y.S. et al. Inter-Rater Reliability and Generalizability of Patient Note Scores Using a Scoring Rubric Based on the USMLE Step-2 CS Format. Advances in Health Sciences Education, [S.l.], v. 21, n. 4, p. 761-773, 10 2016.

PEDROSA, I; SUREZ-LVAREZ, J. y GARCA-CUETO, E. Evidencias sobre la validez de contenido: avances tericos y mtodos para su estimacin, Accin Psicolgica, Vol.10 (2), p. 78-89, 2013.

RODRGUEZ GMEZ, G., & IBARRA SAIZ, M. S. Reflexiones en torno a la competencia evaluadora del profesorado en la Educacin Superior. REDU: Revista de Docencia Universitaria, 10(2), p.149-161,2017.

ROEGMAN, R. et al. Unpacking the Data: An Analysis of the Use of Danielson's (2007) "Framework for Professional Practice". Teaching Residency Program. Educational Assessment, Evaluation and Accountability, v. 28, n. 2, p. 111-137, 2016.

SHAVELSON, R. J.; GAO, X. & BAXTER, G. On the content validity of performance assessments: Centrality of domain-specifications. In BIRENBAUM, M. & DOCHY, F. (Eds.). Alternatives in assessment of achievements, learning processes and prior knowledge. Boston: Kluwer Academic Publishers, 1996.

SMIT, R. et al. Effects of a Rubric for Mathematical Reasoning on Teaching and Learning in Primary School. Instructional Science: An International Journal of the Learning Sciences, v. 45, n. 5, p. 603-622, 2017.

STEMLER, S. E. (2004). A comparison of consensus, consistency, and measurement approaches to estimating inter-rater reliability. Practical Assessment, Research & Evaluation, 9(4). Disponible en: http://PAREonline.net/getvn.asp?v=9&n=4.

STODDART, T. et al . Concept maps as assessment in science inquiry learningA report of methodology. International Journal of Science Education, 22, p. 12211246, 2000.

VALVERDE-BERROCOSO, J. y CIUDAD-GMEZ, A. El uso de e-rbricas para la evaluacin de competencias en estudiantes universitarios. Estudio sobre fiabilidad del instrumento. REDU: Revista de Docencia Universitaria, Nmero monogrfico dedicado a Evaluacin formativa mediante E-rbricas, 12 (1), p. 49-79, 2014.

WESOLOWSKI, B.C. et al. The Development of a Secondary-Level Solo Wind Instrument Performance Rubric Using the Multifaceted Rasch Partial Credit Measurement Model. Journal of Research in Music Education, v. 65, n. 1, p. 95-119, 2017.

WESSEL, C.C., MCDONALD, A., CEBRIAN, J. An evaluative tool for rapid assessment of derelict vessel effects on coastal resources. Journal of Environmental Management, 207, p. 262-268, 2017.

WINDER, C.B., LEBLANC, S.J., HALEY, D.B., LISSEMORE, K.D., GODKIN, M.A., DUFFIELD, T.F. Comparison of online, hands-on, and a combined approach for teaching cautery disbudding technique to dairy producers. Journal of Dairy Science, Article in Press. Source: Scopus, 2017.

YAMAMOTO, M., UMEMURA, N., KAWANO, H. Automated essay scoring system based on rubric. Studies in Computational Intelligence, 727, p. 177-190, 2017.




DOI: http://dx.doi.org/10.22347/2175-2753v10i30.1598

Bookmark and Share


Direitos autorais 2018 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Diadorim - Diretório de políticas editoriais das revistas científicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex -  Sistema regional de informacion en linea para revistas cientificas de America Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN-Comissao Nacional de Energia Nuclear, do Ministerio de Ciencia, Tecnologia e Inovacao

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.