Construção e validação de instrumento de avaliação para os cursos a distância da Universidade da Força Aérea

Marisa Helena de Oliveira Silva, Ligia Gomes Elliot

Resumo


Este estudo teve por objetivo construir e validar um instrumento de avaliação que julgasse a qualidade dos cursos a distância da Universidade da Força Aérea, tendo em vista a relevância da avaliação para os cursos de pós-formação oferecidos por essa instituição. As abordagens avaliativas utilizadas foram a centrada nos objetivos, uma vez que o estudo trata da criação de uma mensuração; e a centrada em especialistas, tendo em vista que a validação do instrumento deve ser realizada por profissionais com expertise na área. O instrumento foi elaborado com base nos referenciais de qualidade do Institute for Higher Education Policy e adotou as sete categorias avaliativas por ele recomendadas: apoio institucional, desenvolvimento do curso, processo ensino/aprendizagem, estrutura do curso, apoio ao aluno, corpo docente, e avaliação e auditoria. As categorias foram desdobradas em indicadores para nortearem a construção do instrumento. Cinco especialistas, que reúnem larga experiência em EAD e avaliação, ensino e área pedagógica participaram do processo de validação. A partir de critérios específicos, na primeira etapa da validação, as especialistas avaliaram as sete categorias; na segunda, julgaram os indicadores definidos para orientar a elaboração do instrumento; na terceira, validaram os itens do instrumento de avaliação, em sua versão preliminar. Os resultados da validação realizada pelas especialistas indicaram o atendimento pleno das categorias, indicadores e itens aos critérios, em cada etapa. As especialistas também apresentaram observações e sugestões que, consideradas pertinentes, foram agregadas ao instrumento. A versão final do instrumento contém 61 itens e instruções específicas para a sua utilização e pontuação. A principal recomendação do estudo focaliza a aplicação de um pré-teste do instrumento, fundamental para que se conheça sua eficiência e eficácia ao avaliar cursos de EAD da Universidade da Força Aérea.

Texto completo:

PDF

Referências


ALAVI, Maryam. Computer-mediated collaborative learning: an empirical evaluation. MIS Quarterly, [S. l.], v. 18, n. 2, p. 159-175, 1994.

ALAVI, Maryam; LEIDNER, Dorothy E. Research commentary: technology-mediated learning: a call for greater depth and breadth. Information Systems Research, Providence, Rhode Island, v. 12, n. 1, p. 1-10, mar. 2001.

ALVAREZ MÉNDEZ, Juan Manuel. Avaliar para conhecer: examinar para excluir. Porto Alegre: Artmed, 2002.

AQUINO, Mirian de Albuquerque; DANTAS, Geórgia Geogletti Cordeiro; MAIA, Manuela Eugênio. Educação para a autonomia: um diálogo entre Paulo Freire e o discurso das tecnologias da informação e comunicação. Sebrae, [Rio de Janeiro], 2008. Disponível em: https://bibliotecas.sebrae.com.br/chronus/ARQUIVOS_CHRONUS/bds/bds.nsf/4066 990953DD6E4E03256F9C004DBDE8/$File/NT00030606.pdf. Acesso em: 22 maio 2020.

ARCÚRIO, Michelle Salgado Ferreira. Autonomia do aprendiz na educação a distância. Revista Partes, São Paulo, dez. 2008. Disponível em: https://www.partes.com.br/2008/12/23/autonomia-do-aprendiz-na-educacao-adistancia/. Acesso em: 22 maio 2020.

ASSOCIAÇÃO BRASILEIRA DE EDUCAÇÃO A DISTÂNCIA. Censo EAD.BR. Relatório analítico da aprendizagem a distância no Brasil 2016. Curitiba: InterSaberes, 2017. Disponível em: http://abed.org.br/censoead2016/Censo_EAD_2016_portugues.pdf. Acesso em: 12 abr. 2020.

BASSO JÚNIOR, Ademor Fábio et al. Triangulação: uma ferramenta de validade e confiabilidade. Sinergia. Rio Grande do Sul, v. 20, n. 1, p. 19-28, 2016.

BELLONI, Maria Luiza. O que é mídia-educação. Campinas, SP: Autores Associados, 2001.

BELLUCCI JÚNIOR, Aparecido; MATSUDA, Laura Misue. Construção e validação de instrumento para avaliação do acolhimento com classificação de risco. Revista Brasileira de Enfermagem, Brasília, DF, v. 65, n. 5, p. 751-757, set./out. 2012. DOI: https://doi.org/10.1590/S0034-71672012000500006. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0034-71672012000500006. Acesso em: 29 jul. 2020.

BLACKBOARD [S. l.: s. n.], [2020]. Disponível em: https://www.blackboard.com/ Washington DC. Acesso em: 20 jul. 2020.

BRASIL. Decreto nº 5.622, de 19 de dezembro de 2005. Regulamenta o art. 80 da Lei nº 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 20 dez. 2005. Disponível em: http://portal.mec.gov.br/sesu/arquivos/pdf/portarias/dec5.622.pdf. Acesso em: 8 abr. 2020.

BRASIL. Decreto nº 9.057, de 25 de maio de 2017. Regulamenta o art. 80 da Lei nº 9.394, de 20 de dezembro de 1996, que estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 26 maio 2017a. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015-2018/2017/decreto/d9057.htm. Acesso em: 3 ago. 2020.

BRASIL. Decreto nº 9.077, de 8 de junho de 2017. Altera o Decreto nº 6.834, de 30 de abril de 2009, que aprova a Estrutura Regimental e o Quadro Demonstrativo dos Cargos em Comissão do Grupo-Direção e Assessoramento Superiores e das Funções Gratificadas do Comando da Aeronáutica, do Ministério da Defesa, [...], e dispõe sobre a estrutura do Sistema de Defesa Aeroespacial Brasileiro – SISDABRA. Diário Oficial da União, Brasília, DF, 9 jun. 2017b. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2017/Decreto/D9077.htm. Acesso em: 4 mar. 2020.

BRASIL. Decreto nº 9.235, de 15 de dezembro de 2017. Dispõe sobre o exercício das funções de regulação, supervisão e avaliação das instituições de educação superior e dos cursos superiores de graduação e de pós-graduação no sistema federal de ensino. Diário Oficial da União, Brasília, DF, 18 dez. 2017c. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2015-2018/2017/Decreto/D9235.htm. Acesso em: 8 jul. 2020.

BRASIL. Lei nº 9.394, de 20 de dezembro de 1996. Estabelece as diretrizes e bases da educação nacional. Diário Oficial da União, Brasília, DF, 23 dez. 1996. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/L9394.htm. Acesso em: 22 maio 2020.

BRASIL. Lei nº 12.464, de 4 de agosto de 2011. Dispõe sobre o ensino na Aeronáutica; e revoga o Decreto-Lei nº 8.437, de 24 de dezembro de 1945, e as Leis nºs 1.601, de 12 de maio de 1952, e 7.549, de 11 de dezembro de 1986. Diário Oficial da União, Brasília, DF, 5 ago. 2011. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2011-2014/2011/lei/l12464.htm. Acesso em: 30 abr. 2020.

BRASIL. Lei nº 13.709, de 14 de agosto de 2018. Dispõe sobre a proteção de dados pessoais e altera a Lei nº 12.965, de 23 de abril de 2014. Lei Geral de Proteção de Dados Pessoais (LGPD). Diário Oficial da União, Brasília, DF, 15 ago. 2018a. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2015- 2018/2018/lei/L13709.htm. Acesso em: 12 out. 2020.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Plataforma Sucupira. [Brasília, DF: MEC], [2020b]. Disponível em: https://sucupira.capes.gov.br/sucupira/. Acesso em: 23 set. 2020.

BRASIL. Portaria n° 017/CMT, de 23 de junho de 2008. Comando da Aeronáutica., Brasília, 2008. (Documento interno da Aeronáutica).

BRASIL. Comando da Aeronáutica. Portaria nº 94/GC3, de 27 de janeiro de 2016. Aprova a Diretriz do Comando da Aeronáutica (DCA) nº 11-45. COMAER, Brasília, 2017. (Documento interno da Aeronáutica).

BRASIL. Portaria n° 335/GC3, de 27 de abril de 2009. Comando da Aeronáutica. Brasília, 2009. (Documento interno da Aeronáutica).

BRASIL. Ministério da Defesa. Comando da Aeronáutica. Portaria UNIFA nº 83/CEAD, de 17 de julho de 2017. Cria o Centro de Educação a Distância da Universidade da Força Aérea. UNIFA, Rio de Janeiro, 2017. (Documento interno da Aeronáutica).

BRASIL. Ministério da Defesa. Comando da Aeronáutica. DCA 11-45: concepção estratégica força aérea 100. [Brasília, DF: Ministério da Defesa], 2018b. Disponível em: https://www.fab.mil.br/Download/arquivos/prestacaodecontas/DCA_11_45_2018_FA B_100.pdf. Acesso em: 9 out. 2020.

BRASIL. Ministério da Defesa. Comando da Aeronáutica. ICA 37-748: normas reguladoras para os cursos regulamentares de carreira da universidade da força aérea. [Brasília, DF: Ministério da Defesa], 2018c. Disponível em: https://www2.fab.mil.br/ecemar/index.php/coordenadoriaacademica/cursos/category/70-legislacao. Acesso em: 9 out. 2020.

BRASIL. Ministério da Defesa. Comando da Aeronáutica. TCA 37-14 2019/2020. Cursos e Estágios do Comando Geral do Pessoal: documento interno. [Brasília, DF: Ministério da Defesa], 2018d.

BRASIL. Ministério da Defesa. Comando da Aeronáutica. Reestruturação da Força Aérea Brasileira. [Brasília, DF: Ministério da Defesa, 2017.]. Disponível em: http://www.fab.mil.br/reestruturacao/. Acesso em: 3 mar. 2020.

BRASIL. Ministério da Educação. Catálogo nacional de cursos superiores de tecnologia. 3. ed. Brasília, DF: MEC, 2016. Disponível em: http://portal.mec.gov.br/index.php?option=com_docman&view=download&alias=4450 1-cncst-2016-3edc-pdf&category_slug=junho-2016-pdf&Itemid=30192. Acesso em: 21 jun. 2020.

BRASIL. Ministério da Educação. Portaria normativa nº 1, de 10 de janeiro de 2007. Calendário do ciclo avaliativo do SINAES, triênio 2007/2009. [Brasília], 2007a. Disponível em: http://portal.mec.gov.br/setec/arquivos/pdf_legislacao/superior/legisla_superior_port1 .pdf. Acesso em: 13 jul. 2020.

BRASIL. Ministério de Educação. Portaria normativa nº 2, de 10 de janeiro de 2007. Dispõe sobre os procedimentos de regulação e avaliação da educação superior na modalidade a distância. Diário Oficial da União, Brasília, DF, 11 jan. 2007c. Disponível em: http://portal.mec.gov.br/sesu/arquivos/pdf/pdi/port%20normativa%20n2%20de%2010 %20de%20janeiro%20de%202007.pdf. Acesso em: 13 jul. 2020.

BRASIL. Ministério da Educação. Portaria normativa interministerial nº 18, de 13 de novembro de 2008. Dispõe sobre a equivalência de cursos nas instituições militares de ensino em nível de pós-graduação lato sensu. Diário Oficial da União, Brasília, DF, 14 nov. 2008a. Disponível em: http://portal.mec.gov.br/cne/arquivos/pdf/2008/port018_08.pdf. Acesso em: 13 jul. 2020.

BRASIL. Ministério da Educação. Portaria normativa interministerial nº 830/MD/MEC, de 23 de maio de 2008. Dispõe sobre a equivalência dos cursos de formação de oficiais das Forças Armadas. Diário Oficial da União, Brasília, DF, 26 maio 2008b. Disponível em: http://portal.mec.gov.br/cne/arquivos/pdf/2008/port830_08.pdf. Acesso em: 13 jul. 2020.

BRASIL. Ministério da Educação. O que é educação a distância?. In: BRASIL. Ministério da Educação. Orgãos vinculados, Brasília, DF, [2020a]. Disponível em: http://portal.mec.gov.br/escola-de-gestores-da-educacao-basica/355-perguntasfrequentes-911936531/educacao-a-distancia-1651636927/12823-o-que-e-educacaoa-distancia. Acesso em: 24 maio 2020.

BRASIL. Ministério da Educação. Plataforma Sucupira. Brasília, DF, 2020. Disponível em: https://www.gov.br/capes/pt-br. Acesso em: 23 set. 2020.

BRASIL. Ministério da Educação. Resolução CNECES Nº 1, de 3 de abril de 2001. Estabelece normas para o funcionamento de cursos de pós-graduação. Diário Oficial da União, Brasília, DF, 9 abr. 2001. Seção 1. Disponível em: http://portal.mec.gov.br/seed/arquivos/pdf/tvescola/leis/CES0101.pdf. Acesso em: 4 fev. 2020.

BRASIL. Ministério da Educação. Referenciais de qualidade para EAD. Portal MEC, Brasília, DF, [2007b]. Disponível em: http://portal.mec.gov.br/par/193-secretarias112877938/seed-educacao-a-distancia-96734370/12777-referenciais-de-qualidadepara-ead. Acesso em: 4 abr. 2020.

CASTRO NEVES, Carlos M. de. Critérios de Qualidade para a Educação a Distância. Tecnologia Educacional – ABT. Rio de Janeiro, v. 26, n. 141, abr./jun. 1998.

COSTA, Inês Teresa Lyra Gaspar da. Metodologia do ensino a distância. Salvador: UFBA, 2016. Disponível em: https://educapes.capes.gov.br/bitstream/capes/174984/2/eBook_Metodologia_do_En sino_a_Distancia-Ci%C3%AAncias_Contabeis_UFBA.pdf. Acesso em: 12 abr. 2020.

DAVIDSON, E. Jane. Evaluation methodology basics: the nuts and bolts of sound evaluation. Thousands Oaks, California: Sage, 2005.

ELLIOT, Ligia Gomes (org.). Instrumentos de avaliação e pesquisa: caminhos para construção e validação. Rio de Janeiro: Wak, 2012.

FERREIRA, Aurélio Buarque de Holanda. Mini-Aurélio: o dicionário da língua portuguesa. 8. ed. Curitiba: Positivo, 2010.

GADOTTI, Moacir. Qualidade na educação: uma nova abordagem. São Paulo: Editora e Livraria Instituto Paulo Freire, 2010.

GIL, Antonio Carlos. Pesquisa Social. 5. ed. São Paulo: Atlas, 1999.

GOMES, Débora Dias. MBA educação: escola que aprende. Rio de Janeiro: QR Produtor Editorial Independente, 2003.

GRESSLER, Lori Alice. Pesquisa Educacional. São Paulo: Loyola, 1989.

HACK, Josias Ricardo. Introdução à educação à distância. Florianópolis: UFSC, 2011.

HÄMÄLÄINEN, Matti S.; WHISNSTON, Andrew Bl.; VISHIK, Svetlana. Electronic markets for learning: education brokerages on the Internet. Communications of the ACM, New York, v. 39, n. 6, jun. 1996.

INSTITUTE FOR HIGHER EDUCATION POLICY. Quality on the line: benchmarks for success in Internet-based distance education. Washington, DC: IHEP, 2000. Disponível em: http://www.ihep.org/sites/default/files/uploads/docs/pubs/qualityontheline.pdf. Acesso em: 13 ago. 2020.

JOINT COMMITTEE ON STANDARDS FOR EDUCATIONAL EVALUATION. The program evaluation standards: how to assess evaluations of educational programs. 2. ed. Thousand Oaks, CA: Sage, 1994.

KAPLAN, Abraham. A conduta na pesquisa. São Paulo: EDUSP, 1975.

MARTINS, Gilberto de Andrade. Sobre confiabilidade e validade. Revista Brasileira de Gestão de Negócios, São Paulo, v. 8, n. 20, p. 1-12, jan./abr. 2006. Disponível em: https://rbgn.fecap.br/RBGN/article/view/51/44. Acesso em: 9 set. 2020.

MORON, Marie Anne Macadar. Concepção, desenvolvimento e validação de instrumentos de coletas de dados para estudar a percepção do processo decisório e as diferenças culturais. Orientador: Henrique M. R. de Freitas. 1998. 253 f. Dissertação (Mestrado em Administração de Empresas) – Universidade Federal do Rio Grande do Sul, Porto Alegre, 1998. Disponível em: https://lume.ufrgs.br/handle/10183/2070. Acesso em: 24 maio 2020.

NEDER, Maria Lúcia C. A Orientação acadêmica na EAD: a perspectiva de (re) significação do processo educacional. PETRI, Oreste (org.). Educação a distância: construindo significados. Cuiabá: NEAD/UFMT, 2000.

QUIVY, Raymond; CAMPENHOUDT, Luc Van. Manual de investigação em ciências sociais. 2. ed. Lisboa: Gradiva Publicações, 1998.

RAPOSO, Alexandre Tinel. Construção de instrumento de avaliação do assessoramento a franqueados. Orientador: Artur Marecos Parreira e Moreira Gonçalves. 2014. 86 f. Dissertação (Mestrado Profissional em Avaliação) – Faculdade Cesgranrio, Fundação Cesgranrio, Rio de Janeiro, 2014.

RESENDE, Flávia. Docência do ensino superior: tecnologia e educação. Rio de Janeiro: CEP/NuCEAD, 2001.

RICARDO, Eleonora Jorge. Educação corporativa e educação a distância. Rio de Janeiro: Qualitymark, 2005.

RODRIGUEZ BILELLA, Pablo D.; MARTINIC VALENCIA, Sergio; SOBERÓN ALVAREZ, Luis; KLIER, Sarah Desirée; GUZMÁN HERNANDÉZ, Ana Luisa; TAPELLA, Esteban. Diretrizes para avaliação para a América Latina e o Caribe. Ciudad Autónoma de Buenos Aires: [s. n.], 2016. Disponível em: https://www.deval.org/files/content/Dateien/Evaluierung/Berichte/2016_FINAL%20ES TANDARES%20DIGITAL%20PORTUGUES.pdf. Acesso em: 4 fev. 2020.

ROSENBERG, Marc J. E-learning: estratégia para a transmissão do conhecimento na era digital. São Paulo: Makron Books, 2002.

SAMPIERI, Roberto Hernandez; COLLADO, Carlos Fernandez; LUCIO, Pilar Baptista. Metodologia de la investigacion. McGraw Hill. Mexico, 1996.

SCRIVEN, Michael. Evaluation thesaurus. Thousand Oaks, CA: Sage Publications, 1991.

SILVA, Luciane Pires da. Instrumento de avaliação de projetos sociais. In: ELLIOT, Ligia. Construção e validação de instrumentos de avaliação: da teoria à exemplificação prática. São Paulo: Pimenta Cultural, 2018.

SOUTO, Paulo Ganem; AVENA, Armando; DEUS, Pedro Barbosa; PIAZA S. J., Pe Clodovedo. Monitoramento e avaliação em programas e projetos governamentais. Salvador: SEPLAN/SGA, 2006. Disponível em: http://www.pea.ufba.br/eventos/gestores/biblioteca/docs/SEPLAN_Sistematica_monit oramento.pdf. Acesso em: 26 ago. 2020.

VIEIRA, Sonia. Como elaborar questionários. São Paulo: Atlas, 2009.

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Gente, 2004.

YARBROUGH, Donald B.; SHULHA, Lyn M.; HOPSON, Rodney K.; CARUTHERS, Flora A. The program evaluation standards: a guide for evaluators and evaluation users. 3. ed. Thousand Oaks, CA: Sage Publications, 2010.




DOI: http://dx.doi.org/10.22347/2175-2753v0i0.4632

Bookmark and Share


Direitos autorais 2023 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.