Experiência do usuário em Sistema de Avaliação de Desempenho Profissional da UFRJ: adaptação de instrumento avaliativo

Renato Miguel de Moraes, Lucí Mary Araújo Hildenbrand, Ligia Gomes Elliot

Resumo


Este estudo objetivou adaptar um instrumento de avaliação (Ux Tips - Versão 2) e validá-lo para julgar a Experiência do Usuário (UX) do Sistema de Avaliação de Desempenho da Universidade Federal do Rio de Janeiro - AVADES. Foram adotadas duas abordagens avaliativas. A primeira, de cunho metodológico, tratou das questões relacionadas ao desenvolvimento e à validação de versão adaptada do instrumento; e, a segunda, centrada em especialistas, sustentou as validações de conteúdo e técnica realizadas por profissionais de Tecnologia de Informação e Comunicação e das áreas de Avaliação, Educação, Ciências Sociais e Letras. Procedeu-se a adaptação do instrumento, após estudarem-se os Fatores associados, as suas partes constituintes e forma de uso. Dos 13 fatores originais, 10 deles foram considerados pertinentes ao novo contexto avaliativo. Estudados por fator, os itens foram apreciados quanto aos atributos da pertinência, adequação redacional e suficiência. Para abordar a disponibilidade e a latência dos serviços prestados pelo Sistema AVADES, construíram-se dois novos itens. Outras adaptações incidiram sobre a apresentação, as instruções gerais, os blocos do instrumento e a forma de uso. Os resultados das validações indicaram o atendimento dos fatores e dos itens aos critérios considerados em cada etapa. As observações e sugestões, julgadas pertinentes, foram agregadas à versão do instrumento em adaptação, que, ao final, nomeado Instrumento de Avaliação da Experiência do Usuário do Sistema AVADES - (Adaptação do UX-Tips Versão 2), constou de 30 itens e de recomendações para a sua utilização. Produto secundário da dissertação foi a construção da planilha para cálculo do resultado percentual por Fator que, associando os itens pertinentes aos fatores, instrumentaliza os avaliadores a identificar os julgamentos favoráveis ou desfavoráveis aos itens. As principais recomendações do estudo incluem a realização de pré-teste da versão adaptada do instrumento, para conhecer sua eficiência e eficácia, e a sua incorporação ao Sistema AVADES, em formato digital, para acompanhar a qualidade percebida dos serviços prestados pela aplicação e apoiar as tomadas de decisões por parte da Autarquia.

Texto completo:

PDF

Referências


AGRADÁVEL. In: MICHAELIS: moderno dicionário da língua portuguesa. São Paulo: Melhoramentos, 2009. Disponível em: https://michaelis.uol.com.br/modernoportugues/busca/portugues-brasileiro/agradável/. Acesso em: 22 abr. 2022.

ALBEN, Lauralee. Defining the criteria for effective interaction design. Quality of Experience. California, p. 4, 1996. Disponível em: https://www.academia.edu/10605014/Quality_of_experience_defining_the_criteria_fo r_effective_interaction_design. Acesso em: 26 dez. 2021.

AKAMAI Faster Forward. The state of online retail performance. California: Spring, 2017. Disponível em: https://s3.amazonaws.com/sofistmarketing/State+of+Online+Retail+Performance+Spring+2017+- +Akamai+and+SOASTA+2017.pdf. Acesso em: 31 maio 2022.

ALMEIDA, Clayton Silva de. Competências e desempenho docente: validando escalas de autoavaliação e heteroavaliação, explorando fatores pessoais e ocupacionais associados. Orientador: Antônio Virgílio Bittencourt Bastos, 2017. 131 f. Dissertação (Mestrado em Psicologia) - Programa de Pós-Graduação em Psicologia Stricto Sensu, Universidade Federal da Bahia, Salvador, 2017. Disponível em: https://repositorio.ufba.br/ri/bitstream/ri/23890/3/Disserta%C3%A7%C3%A3o%20Me strado%20Clayton%20Almeida%2009012019.pdf. Acesso em: 23 dez. 2021.

AN, Daniel. Como acompanhar os novos benchmarks da sua indústria para velocidade de páginas mobile. Think with Google, [São Paulo], 2017. Disponível em: https://www.thinkwithgoogle.com/intl/pt-br/estrategias-de-marketing/apps-emobile/como-acompanhar-os-novos-benchmarks-da-sua-ind%C3%BAstria-paravelocidade-de-p%C3%A1ginas-mobile/. Acesso em: 31 maio 2022.

ASSOCIAÇÃO BRASILEIRA DAS ENTIDADES FECHADAS DE PREVIDÊNCIA COMPLEMENTAR. Guia para modelo de avaliação de desempenho. São Paulo: ABEFPC, 2013. Disponível em: http://www.funprespjud.com.br/wpcontent/uploads/2018/05/Guia-para-modelo-de-Avaliacao-de-Desempenho.pdf. Acesso em: 24 dez. 2021.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. ISO 9241-210: ergonomics of human-system interaction - Part 210: human centred design for interactive systems. Rio de Janeiro: ABNT, 2019. Disponível em: https://www.iso.org/obp/ui/#iso:std:iso:9241:-210:ed-2:v1:en. Acesso em: 22 dez. 2021.

ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. ISO 25000: 8000. The ISO/IEC 25000 series of standards. ISO 25000 Portal. Home. Rio de Janeiro: ABNT c2021. Disponível em: https://iso25000.com/index.php/en/iso-25000-standards. Acesso em: 26 dez. 2021.

BARBOSA, Lívia. Meritocracia à brasileira: o que é desempenho no Brasil?. Revista do Serviço Público, Brasília. a. 47, v. 120, n. 3, p. 58–102, set./dez. 1996. Disponível em: https://revista.enap.gov.br/index.php/RSP/article/view/396/402. Acesso em: 11 jan. 2021.

BARGAS-AVILA, Javier A.; HORNBÆK, Kasper. Old wine in new bottles or novel challenges: a critical analysis of empirical studies of user experience. In: Proceedings of the SIGCHI conference on human factors in computing systems. Vancouver BC Canada: ACM, 2011, p. 2689–2698. DOI: https://doi.org/10.1145/1978942.1979336. Disponível em: https://www.researchgate.net/publication/221515404_Old_wine_in_new_bottles_or_n ovel_challenges_A_critical_analysis_of_empirical_studies_of_User_Experience. Acesso em: 26 dez. 2021.

BARROS, Flávio Margarito Martins de; OLIVEIRA, Stanley Robson de Medeiros; OLIVEIRA, Leandro Henrique Mendonça de. Desenvolvimento e validação de um sistema de recomendação de informações tecnológicas sobre cana-de-açúcar. Bragantia, Campinas, SP. v. 72, n. 4, p. 287–395, 2013. DOI: https://doi.org/10.1590/brag.2013.049. Disponível em: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S0006- 87052013000400010&lng=pt&tlng=pt. Acesso em: 31 maio 2022.

BELFORT, Salonice Fontes. Estudo de validade do instrumento de avaliação de desempenho por competências: mérito. Orientador: José Humberto da Silva Filho. 2018. 171 f. Dissertação (Mestrado em Psicologia) - Programa de Pós-Graduação em Psicologia, Universidade Federal do Amazonas, Manaus, 2018. Disponível em: https://tede.ufam.edu.br/bitstream/tede/6650/5/Disserta%C3%A7%C3%A3o_Salonic e%20Belfort%20PPGPSI. Acesso em: 23 dez. 2021.

BOHLANDER, George W.; SNELL, Scott. Managing human resources. 16. ed. Mason: Cengage Learning, c2013.

BRANDÃO, Hugo Pena; ZIMMER, Marco Vinício; PEREIRA, Carolina Guarçoni; MARQUES, Fernanda; COSTA, Helder Viana; CARBONE, Pedro Paulo; ALMADA, Valéria Ferreira de. Gestão de desempenho por competências: integrando a gestão por competências, o balanced scorecard e a avaliação 360 graus. Revista de Administração Pública (RAP), Rio de Janeiro, v. 42, n. 5, p. 875-898, 2008. DOI: https://doi.org/10.1590/S0034-76122008000500004. Disponível em: https://www.scielo.br/j/rap/a/SXR5B4nBMv4zL6XBxmcTZpK/?format=pdf〈=pt. Acesso em: 23 dez. 2021.

BRASIL. [Constituição (1988)]. Constituição da República Federativa do Brasil. [Diário Oficial da República Federativa do Brasil], Brasília, DF, 1988. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/constituicao. htm. Acesso em: 5 jan. 2021.

BRASIL. Decreto nº 80.602, de 24 de outubro de 1977. Regulamenta a aplicação dos institutos da Progressão Funcional e do Aumento por Mérito, a que se referem a Lei nº 5.645, de 10 de dezembro de 1970, e o Decreto-Lei nº 1.445, de 24 de fevereiro de 1976, e dá outras providências. Diário Oficial da União, Brasília, DF, 24 out. 1977. Disponível em: https://www2.camara.leg.br/legin/fed/decret/1970- 1979/decreto-80602-24-outubro-1977-429793-publicacaooriginal-1-pe.html. Acesso em: 9 nov. 2021.

BRASIL. Emenda Constitucional nº 19, de 4 de junho de 1998. Modifica o regime e dispõe sobre princípios e normas da Administração Pública, servidores e agentes políticos, controle de despesas e finanças públicas e custeio de atividades a cargo do Distrito Federal, e dá outras providências. Casa Civil, Brasília, DF, 4 jun. 1998a. Disponível em: http://www.planalto.gov.br/ccivil_03/constituicao/emendas/emc/emc19.htm. Acesso em: 22 dez. 2021.

BRASIL. Decreto nº 5.707, de 23 de fevereiro de 2006. Institui a Política e as Diretrizes para o Desenvolvimento de Pessoal da administração pública federal direta, autárquica e fundacional, e regulamenta dispositivos da Lei no 8.112, de 11 de dezembro de 1990. Diário Oficial da União, Brasília, DF, 24 fev. 2006a. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/l9625.htm. Acesso em: 9 nov. 2021.

BRASIL. Decreto nº 5.825, de 29 de junho de 2006. Estabelece as diretrizes para elaboração do Plano de Desenvolvimento dos Integrantes do Plano de Carreira dos Cargos Técnico-Administrativos em Educação, instituído pela Lei no 11.091, de 12 de janeiro de 2005. Diário Oficial da União, Brasília, DF, 30 jun. 2006b. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2006/decreto/d5825.htm. Acesso em: 11 jan. 2021.

BRASIL. Decreto nº 7.133, de 19 de março de 2010. Regulamenta os critérios e procedimentos gerais a serem observados para a realização das avaliações de desempenho individual e institucional e o pagamento das gratificações de desempenho [...]. Diário Oficial da União, Brasília, DF, 20 mar. 2010. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2007-2010/2010/Decreto/D7133.htm. Acesso em: 11 jan. 2021.

BRASIL. Decreto nº 9.991, de 28 de agosto de 2019. Dispõe sobre a Política Nacional de Desenvolvimento de Pessoas da administração pública federal direta, autárquica e fundacional, e regulamenta dispositivos da Lei nº 8.112, de 11 de dezembro de 1990, quanto a licenças e afastamentos para ações de desenvolvimento. Diário Oficial da União, Brasília, DF, 29 ago. 2019. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2019-2022/2019/decreto/d9991.htm. Acesso em: 9 nov. 2021.

BRASIL. Decreto nº 10.506, de 2 de outubro de 2020. Altera o Decreto nº 9.991, de 28 de agosto de 2019, que dispõe sobre a Política Nacional de Desenvolvimento de Pessoas da administração pública federal direta, autárquica e fundacional, e regulamenta dispositivos da Lei nº 8.112, de 11 de dezembro de 1990, quanto a licenças e afastamentos para ações de desenvolvimento. Diário Oficial da União, Brasília, DF, 2 out. 2020. Disponível em: https://www.planalto.gov.br/ccivil_03/_ato2019-2022/2020/decreto/d10506.htm. Acesso em: 9 nov. 2021.

BRASIL. Lei nº 3.780, de 12 de julho de 1960. Dispõe sôbre a Classificação de Cargos do Serviço Civil do Poder Executivo, estabelece os vencimentos correspondentes e dá outras providências. Diário Oficial da União, Brasília, DF, 6 set. 2019. Disponível em: http://www.planalto.gov.br/ccivil_03/leis/1950- 1969/l3780.htm. Acesso em: 8 nov. 2021.

BRASIL. Lei nº 8.112, de 11 de dezembro de 1990. Dispõe sobre o regime jurídico dos servidores públicos civis da União, das autarquias e das fundações públicas federais. Diário Oficial da União, Brasília, DF, 11 dez. 1990. Disponível em: https://www2.camara.leg.br/legin/fed/lei/1990/lei-8112-11-dezembro-1990-322161- publicacaooriginal-1-pl.html. Acesso em: 9 nov. 2021.

BRASIL. Lei nº 9.625, de 7 de abril de 1998. Cria a Gratificação de Desempenho e Produtividade - GDP das atividades de finanças, controle, orçamento e planejamento, de Desempenho Diplomático - GDD, de Desempenho de Atividade de Chancelaria - GDC e de Desempenho de Atividade de Ciência e Tecnologia - GDCT, e dá outras providências. Diário Oficial da União, Brasília, DF, 7 abr. 1998b. Disponível em: https://www.planalto.gov.br/ccivil_03/leis/l9625.htm. Acesso em: 9 nov. 2021.

BRASIL. Lei nº 11.091, de 12 de janeiro de 2005. Dispõe sobre a estruturação do Plano de Carreira dos Cargos Técnico-Administrativos em Educação, no âmbito das Instituições Federais de Ensino vinculadas ao Ministério da Educação, e dá outras providências. Diário Oficial da União, Brasília, DF, 12 jan. 2005. Disponível em: http://www.planalto.gov.br/ccivil_03/_ato2004-2006/2005/lei/l11091.htm. Acesso em: 11 jan. 2021.

BRASIL. Lei nº 11.784, de 22 de setembro de 2008. Dispõe sobre a reestruturação do Plano Geral de Cargos do Poder Executivo - PGPE, de que trata a Lei no 11.357, de 19 de outubro de 2006, do Plano Especial de Cargos da Cultura, de que trata a Lei no 11.233, de 22 de dezembro de 2005, do Plano de Carreira dos Cargos Técnico-Administrativos em Educação[...]. Diário Oficial da União, Brasília, DF, 23 set. 2008. Disponível em: http://www.planalto.gov.br/ccivil_03/_Ato2007- 2010/2008/Lei/L11784.htm. Acesso em: 11 jan. 2021.

BRASIL. Medida Provisória nº 1.548, de 18 de dezembro de 1996. Cria a Gratificação de Desempenho e Produtividade - GDP das atividades de finanças, controle, orçamento e planejamento, e dá outras providências. Diário Oficial da União, Brasília, DF, 18 dez. 1996. Disponível em: https://www.planalto.gov.br/ccivil_03/mpv/antigas/1548.htm. Acesso em: 9 nov. 2021.

BRASIL. Secretaria de Gestão Pública. Manual de orientação para a gestão do desempenho. Brasília, DF: Ministério do Planejamento, Orçamento e Gestão, 2013. Disponível em: https://www.gov.br/economia/pt-br/assuntos/gestao/outros/gestaopublica/arquivos-epublicacoes/manual_orientacao_para_gestao_desempenho.pdf/@@download/file/m anual_orientacao_para_gestao_desempenho.pdf&sa=D&source=docs&ust=1636390 260119000&usg=AOvVaw2QtC1uJHnMPZVjF2zukTEJ. Acesso em: 9 nov. 2021.

CAVALCANTE, Emanuele; RIVERO, Luis.; CONTE, Tayana. Max: a method for evaluating the post-use user experience through cards and a board. In: INTERNATIONAL CONFERENCE ON SOFTWARE ENGINEERING AND KNOWLEDGE ENGINEERING, 27, 2015, Pittsburgh. Anais [...]. Pittsburgh: Wyndham Pittsburgh University Center, 2015, p. 495-500. Disponível em: http://projetos.icomp.ufam.edu.br/uses/wpcontent/uploads/2016/02/2015_SEKE_Cavalcante_et_al.pdf. Acesso em: 17 set. 2021.

CHIANCA, Thomaz; MARINO, Eduardo; SCHIESARI, Laura. Desenvolvendo a cultura da avaliação em organizações da sociedade civil. São Paulo: Global, 2001.

CHIAVENATO, Idalberto. Gestão de pessoas: o novo papel dos recursos humanos nas organizações. 3. ed. Rio de Janeiro: Elsevier, 2010.

COLTON, David; COVERT, Robert W. Designing and constructing instruments for social research and evaluation. São Francisco, CA: John Willey & Sons, 2007.

CONFORTÁVEL. In: MICHAELIS: moderno dicionário da língua portuguesa. São Paulo: Melhoramentos, 2009. Disponível em: https://michaelis.uol.com.br/modernoportugues/busca/portugues-brasileiro/confortavel/. Acesso em: 2 set. 2022.

DANIELSON, Charlotte.; MCGREAL, Thomas L. Teacher evaluation to enhance professional practice. Alexandria: ASCD, 2000.

DAVIS, Fred D.; BAGOZZI, Richard P.; WARSHAW, Paul R. User acceptance of computer technology: a comparison of two theoretical models. Management Science, New York, v. 35, n. 8, p. 982-1003, 1989. DOI: https://doi.org/10.1287/mnsc.35.8.982. Disponível em: https://www.jstor.org/stable/2632151. Acesso em: 26 dez. 2021.

DESMET, Pieter M. A.; OVERBEEKE, Kees J.; TAX, Stefan. Designing products with added emotional value: development and application of an approach for research through design. In: The Design Journal. n. 4, p. 32-47. 2001. Disponível em: https://www.academia.edu/3117698/Designing_Products_with_Added_EmotionaI_Va lue_Development_and_AppIlcation_of_an_Approach_for_Research_Through_Desig n. Acesso em: 9 fev. 2022.

DESSLER, Gary. Human resource management. 16. ed. New York: Pearson, 2020. ELLIOT, Ligia Gomes; HILDENBRAND, Lucí; BERENGER, Mercedes Moreira. Questionário. In: ELLIOT, Ligia Gomes. (org.). Instrumentos de avaliação e pesquisa: caminhos para construção e validação. Rio de Janeiro: Wak Editora, 2012.

ELVIRA, Enrique J. Sánchez. Análise da efetividade da política de avaliação de desempenho individual na administração federal brasileira. Rio de Janeiro: Universidade Federal do Rio de Janeiro, 2018. Disponível em: https://docplayer.com.br/109308515-Universidade-federal-do-rio-de-janeiro-institutode-economia-programa-de-pos-graduacao-em-politicas-publicas-estrategias-edesenvolvimento.html. Acesso em: 11 jan. 2021.

EINAV, Yoav. Amazon found every 100ms of latency cost them 1% in sales. Blog Gigaspaces. [S. l.], 20 jan. 2019. Disponível em: https://www.gigaspaces.com/blog/amazon-found-every-100ms-of-latency-cost-them1-in-sales. Acesso em: 31 maio 2022.

FERREIRA, Osmar Carmo Arouck. Atributos da qualidade da informação. 2011. 117 f. Dissertação (Mestrado em Ciência da Informação) - Universidade de Brasília, Brasília, 2011.

GOMES, Ana Clotildes Colares. Programa de avaliação de desempenho (UFPA): elementos constitutivos e pressupostos na prática avaliativa. Orientador: Mauro Lemuel Alexandre. 2010. 188 f. Dissertação (Mestrado em Administração) - Programa de Pós-Graduação em Administração, Universidade Federal do Rio Grande do Norte, Natal, 2010. Disponível em: https://repositorio.ufrn.br/jspui/bitstream/123456789/18286/1/ProgramaAvaliacaoDes empenho_Gomes_2010.pdf. Acesso em: 8 set. 2021.

GOMES, Leonardo Pessoa Rodrigues. Avaliação de desempenho funcional aplicada à diretoria de educação a distância do Instituto Federal de Educação, Ciência e Tecnologia de Brasília no contexto da educação profissional e tecnológica. Orientadora: Sonia Maria Gomes Alexandre Galinha. 2020. 153 f. Dissertação (Mestrado em Ciências da Educação e Administração Educacional) - Escola Superior de Educação, Instituto Politécnico de Santarém, Santarém, 2020. Disponível em: https://repositorio.ipsantarem.pt/bitstream/10400.15/3342/1/Trabalho%20de%20proje to%20-%20Leonardo%20Pessoa%20Rodrigues%20Gomes%20-%20MAE%20- %20IPS.pdf. Acesso em: 23 dez. 2021.

HADJI, Charles. Avaliação desmistificada. Porto Alegre: Artmed, 2001.

HASSENZAHL, Marc; BURMESTER, Michael; KOLLER, Franz. Attrak Diff: ein fragebogen zur messung wahrgenommener hedonischer und pragmatischer qualitat. In: ZIEGLER, J.; SZWILLUS, G. (ed.). Mensch & Computer 2003: interaktion in bewegung, Wiesbaden, p. 187-196, 2003. DOI: https://doi.org/10.1007/978-3-322- 80058-9. Disponível em: https://www.academia.edu/1975964/AttrakDiff_Ein_Fragebogen_zur_Messung_wahr genommener_hedonischer_und_pragmatischer_Qualit%C3%A4t. Acesso em: 22 out. 2022.

HASSENZAHL, Marc. The thing and I: understanding the relationship between user and product. In: BLYTHE, Mark A.; OVERBEEKE, Kees; MONK, Andrew F. (org.). Funology Dordrecht. Springer Netherlands, v. 3, p. 31–42, 2003. (Human-Computer Interaction Series). Disponível em: http://disi.unitn.it/~deangeli/homepage/lib/exe/fetch.php?media=teaching:ucd:hassen zahl_-_2003_- _the_thing_and_i_understanding_the_relationship_between_user_and_product.pdf. Acesso em: 9 fev. 2022.

HASSENZAHL, Marc; LAW, Effie Lai-Chong; HVANNBERG, Ebba Thora. User experience: towards a unified view: ux ws nord. In: User experience: towards a unified view: second International.. 2. ed. Oslo: COST294-MAUSE Open Workshop, 2006. p. 1-3. Disponível em: https://www.academia.edu/2880260/User_ExperienceTowards_a_unified_view. Acesso em: 26 dez. 2021.

JOSÉ, Hércules Sant'Ana da Silva. [Informações sobre o AVADES]. Destinatário: [Renato Miguel de Moraes]. 2 set. 2021. 9:20. 22 mensagens Telegram.

KUJALA, Sari; ROTO, Virpi; VÄÄNÄNEN-VAINIO-MATTILA, Kaisa; KARAPANOS, Evangelos; SINNELÄ, Arto. UX Curve: a method for evaluating long-term user experience. Interacting with Computers, Leibniz, v. 23, n. 5, p. 473-483, jun./jul. 2011. DOI: https://doi.org/10.1016/j.intcom.2011.06.005. Disponível em: https://academic.oup.com/iwc/article/23/5/473/660020?login=false. Acesso em: 14 maio 2022.

LAKATOS, Eva Maria; MARCONI, Maria de Andrade. Fundamentos de metodologia científica. 5. ed. São Paulo: Atlas, 2003.

LIMA, Dalmo Valério Machado De. Research design: a contribution to the author. Online Brazilian Journal of Nursing, [S. l.], v. 10, n. 2, 2011. Disponível em: http://www.gnresearch.org/doi/10.5935/1676-4285.20113648. Acesso em: 25 maio 2022.

LYNN, Mary R. Determination and quantification of content validity. Nursing Research, [S. l.], v. 35, n. 6, p. 382-386, nov. 1986. DOI: https://doi.org/10.1097/00006199-198611000-00017. Disponível em: https://journals.lww.com/nursingresearchonline/Citation/1986/11000/Determination_a nd_Quantification_Of_Content.17.aspx. Acesso em: 16 jun. 2022.

MARQUES, Leonardo Carneiro. UX-Tips: uma técnica de avaliação de user experience para aplicações de software. Orientadora: Tayana Uchôa Conte. 2019. 165 f. Dissertação (Mestrado em Informática) - Programa de Pós-Graduação em Informática, Universidade Federal do Amazonas, Manaus, 2019. Disponível em: https://tede.ufam.edu.br/bitstream/tede/6984/5/Disserta%c3%a7%c3%a3o_Leonardo Marques_PPGI.pdf. Acesso em: 8 set. 2021.

MODESTO, Paulo. Estágio probatório: questões controversas. Revista Diálogo Jurídico, Salvador, n. 12, mar. 2002. Disponível em: https://web.archive.org/web/20040723095915fw_/http://www.direitopublico.com.br/pd f_12/DIALOGO-JURIDICO-12-MARCO-2002-PAULO-MODESTO.pdf. Acesso em: 11 jan. 2021.

MOTA, Kercia Lidia Vasconcellos. Sistema de avaliação de desempenho de uma universidade federal na percepção de avaliados e avaliadores: um estudo avaliativo. Orientadora: Maria Beatriz Gomes Bettencourt. 2019. 104 f. Dissertação (Mestrado Profissional em Avaliação) - Faculdade Cesgranrio, Fundação Cesgranrio, Rio de Janeiro, 2019. Disponível em: http://mestrado.cesgranrio.org.br/pdf/dissertacoes2019/17%20Dez%202019_Dissert acao%20Kercia%20Lidia%20T2018.pdf. Acesso em: 8 set. 2021.

NANCE, Richard E.; ARTHUR, James D. Managing software quality. London: Springer, 2002. (Practitioner Series). Disponível em: http://link.springer.com/10.1007/978-1-4471-0117-8. Acesso em: 24 dez. 2021.

NEHMY, Rosa Maria Quadro. Leitura epistemológico-social da qualidade da informação. 1996. 118 f. Dissertação (Mestrado em Ciência da Informação) – Programa de Pós-Graduação em Ciência da Informação, UFMG, Belo Horizonte, 1996. Disponível em: https://repositorio.ufmg.br/bitstream/1843/BUOS934M2P/1/nehmy__rosa_maria_quadros.pdf. Acesso em: 24 dez. 2021.

NEHMY, Rosa Maria Quadro; PAIM, Isis. A desconstrução do conceito de qualidade da informação. Ciência da Informação, Brasília, DF, v. 27, n. 1, jan./abr. 1998.

NEVES, Elisabete Ferreira das. Estudo de uma escala de autoavaliação da prática docente: contributos para o desenvolvimento profissional. Orientador: Carlos Manuel Folgado Barreira. 2010. 136 f. Dissertação (Mestrado em Ciências da Educação) - Faculdade de Psicologia e Ciências da Educação, Universidade de Coimbra, 2010. Disponível em: https://estudogeral.sib.uc.pt/bitstream/10316/15594/1/Tese.pdf. Acesso em: 23 dez. 2021.

NIELSEN, Jukob; MOLICH, Rolf. Heuristic evaluation of user interfaces. In: Proceedings of the SIGCHI conference on Human factors in computing systems. Seattle: ACM Press, 1990, p. 249–256. DOI: https://dl.acm.org/doi/10.1145/97243.97281. Disponível em: https://concreta.com.uy/wp-content/uploads/nielsenheuristicsCHI.pdf. Acesso em: 9 fev. 2022.

O’ BRIEN, James A. Sistemas de informação e as decisões gerenciais na era da Internet. 2. ed. São Paulo: Saraiva, 2004.

O'BRIEN, Heather L.; TOMS, Elaine G. The development and evaluation of a survey to measure user engagement. Journal of the Association for Information Science and Technology, Leeds, v. 61, n. 1, p. 50-69, dez., 2010. DOI: https://doi.org/10.1002/asi.21229. Disponível em: https://eprints.whiterose.ac.uk/78831/7/WRRO_78831.pdf. Acesso em: 4 jun. 2021. 75

OLETO, Ronaldo Ronan. Percepção da qualidade da informação. Ciência da Informação, Brasília, DF, v. 35, n. 1, jan./abr. 2006. Disponível em: http://www.scielo.br/pdf/ci/v35n1/v35n1a07. Acesso em: 21 set. 2021.

PAZ, Freddy; POW-SANG, Jose Antonio. A systematic mapping review of usability evaluation methods for software development process. International Journal of Software Engineering and Its Applications, [S. l.], v. 10, n. 1, p. 165-178, jan. 2016. DOI: http://dx.doi.org/10.14257/ijseia.2016.10.1.16. Disponível em: https://www.researchgate.net/publication/297764945_A_systematic_mapping_review _of_usability_evaluation_methods_for_software_development_process. Acesso em: 26 dez. 2021.

PANTOJA, Maria Júlia; CAMÕES, Marizaura R. de Souza; BERGUE, Sandro Trescastro. (org). Gestão de pessoas: bases teóricas e experiências no setor público. Brasília: ENAP Fundação Escola Nacional de Administração Pública. Disponível em: https://repositorio.enap.gov.br/bitstream/1/514/1/Livro.pdf. Acesso em: 22 dez. 2021.

POLIT, Denise F; BECK, Cheryl Tatano; HUNGLER, Bernadette P. Fundamentos de pesquisa em enfermagem: métodos, avaliação e utilização. 5. ed. São Paulo: Artmed; 2004.

PRESSMAN, Roger S. Engenharia de software: uma abordagem profissional. Porto Alegre: AMGH, 2011.

PROVOST, Gabrielle; ROBERT, Jean-Marc, The dimensions of positive and negative user experiences with interactive products. In: MARCUS, Aaron (org.), design, user experience, and usability. Design Philosophy, Methods, and Tools, Berlin, Heidelberg, v. 8012, p. 399–408, 2013. DOI: https://doi.org/10.1007/978-3- 642-39229-0_43. Disponível em: https://link.springer.com/content/pdf/10.1007/978-3- 642-39229-0_43.pdf. Acesso em: 13 out. 2022.

RABAGLIO, Maria Odete. Ferramentas de avaliação de performance com foco em competências. Rio de Janeiro: Qualitymark. 2015.

REIS, Glufke. Avaliação 360 Graus: um instrumento de desenvolvimento gerencial. 2. ed. São Paulo: Atlas, 2003.

RIBAS, Andréia Lima; SALIM, Cassiano Ramalho. Gestão de pessoas para concursos. 4. ed. Brasília: Alumnus, 2016.

RIBEIRO, Luciana Snaider. [Informações sobre o AVADES]. Destinatário: [Renato Miguel de Moraes]. 24 dez. 2021. 11:43. 25 mensagens Whatsapp.

ROBERT, Jean-Marc, Defining and structuring the dimensions of user experience with Interactive products. In: HARRIS, Don (org.), Engineering psychology and cognitive ergonomics. Cham: Springer International Publishing, 2014, p. 272–283. DOI: https://doi.org/10.1007/978-3-319-07515-0_28. Disponível em: https://link.springer.com/content/pdf/10.1007/978-3-319-07515-0_28.pdf. Acesso em: 13 out. 2022.

ROCHA, Eduardo. Feedback 360º: uma ferramenta para o desenvolvimento pessoal e profissional. Campinas: Editora Alínea, 2001.

SAMPIERI, Roberto; COLLADO, Carlos Fernández; LUCIO, Maria Del Pilar. Metodologia de pesquisa. 5. ed. Porto Alegre: Penso, 2013.

SEVERINO, Antônio Joaquim. Metodologia do trabalho científico. 24. ed. São Paulo: Cortez Editora, 2017. Disponível em: https://search.ebscohost.com/login.aspx?direct=true&scope=site&db=nlebk&db=nlab k&AN=2244715. Acesso em: 29 nov. 2022.

SILVA, Mônica Ferreira da. Fatores humanos e sua influência na intenção de uso de sistemas de informação. Orientador: Donaldo de Souza Dias. 2006. 143 f. Tese (Doutorado em Administração) - Programa de Pós-Graduação em Administração, Instituto COPPEAD de Administração, Universidade Federal do Rio de Janeiro, Rio de Janeiro, 2006. Disponível em: https://livros01.livrosgratis.com.br/cp054261.pdf. Acesso em: 13 out. 2022.

SOMMERVILLE, Ian. Engenharia de software. 6. ed. São Paulo: Addison Wesley, 2003.

STORINO, Ricardo. Portal aluno da Universidade Federal do Rio de Janeiro: um estudo avaliativo na perspectiva de graduandos. Orientadora: Lucí Mary Araújo Hildenbrand. 2017. 78 f. Dissertação (Mestrado em Profissional em Avaliação) - Faculdade Cesgranrio, Fundação Cesgranrio, Rio de Janeiro, 2017. Disponível em: http://mestrado.cesgranrio.org.br/pdf/dissertacoes2017/13%20de%20Dezembro%20 2017_Dissertacao%20Ricardo%20Storino_Turma%202016_Final.pdf. Acesso em: 2 jun. 2021.

STAIR, Ralph M.; REYNOLDS, George W. Princípios dos sistemas de informação. 9 ed. São Paulo: Cengage Learning, 2011.

SUBJETIVO. In: MICHAELIS moderno dicionário da língua portuguesa. São Paulo, 2007. Disponível em: https://michaelis.uol.com.br/modernoportugues/busca/portuguesbrasileiro/subjetivo/&sa=D&source=docs&ust=1640343047187215&usg=AOvVaw0zh 1DpXaXskomhgK0M9VpY. Acesso em: 13 dez. 2021.

THATCHER, Jim; BURKS, Michael R.; HEILMANN, Christian; KIRKPATRICK, Andrew. Web accessibility : web standards and regulatory compliance. Berkeley: Friends Of Ed, 2006.

TONOLE, Renato. Elaboração e validação de instrumento para avaliação dos recursos humanos e materiais na perspectiva da prevenção de lesão por pressão: estudo metodológico. Orientadora: Euzeli da Silva Brandão. 2019. 95 f. Dissertação (Mestrado Profissional em Enfermagem Assistencial) - Programa De Pós-graduação Mestrado Profissional em Enfermagem Assistencial, Escola de Enfermagem Aurora De Afonso Costa, Universidade Federal Fluminense, Niterói, 2019. Disponível em: https://app.uff.br/riuff/bitstream/handle/1/10384/Renato%20Tonole.pdf?sequence=1& isAllowed=y. Acesso em: 12 jul. 2021.

UBEDA, Cristina Lourenço; SANTOS, Fernando César Almada. Gestão de desempenho por competências como elemento viabilizador das estratégias de recursos humanos e de produção. In: ENCONTRO NACIONAL DE ENGENHARIA DE PRODUÇÃO, 22., 2002, Curitiba. Anais [...]. Porto Alegre, ABEPRO, 2002. Disponível em: http://www.abepro.org.br/biblioteca/enegep2002_tr74_0093.pdf. Acesso em: 23 dez. 2021.

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO. Boletim. n. 19, 4 parte. Rio de Janeiro, 29 set. 2006. Disponível em: http://siarq.ufrj.br/images/bufrj/2006/19- 2006_extraordinario_parte_4.pdf. Acesso em: 11 jan. 2021.

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO. Portaria no 6.074, de 24 de junho de 2019. Institui o Programa de Avaliação de Desempenho Funcional dos servidores Técnico-administrativos em Educação da UFRJ, de acordo com a Lei no 11.091, de 12 de janeiro de 2005, em especial seu Art. 24, o Decreto no 5.825, de 29 de junho de 2006 e a Lei no 11.784, de 22 de setembro de 2008. Rio de Janeiro, 24 jun. 2019. Disponível em: https://pessoal.ufrj.br/images/Portaria_AVADES_.pdf. Acesso em: 11 jan. 2021.

UNIVERSIDADE FEDERAL DO RIO DE JANEIRO. Portaria no 4.955, de 21 de junho de 2021. Institui o Programa de Avaliação de Desempenho Funcional dos servidores Técnico-administrativos em Educação da UFRJ, de acordo com a Lei no 11.091, de 12 de janeiro de 2005, em especial seu Art. 24, o Decreto no 5.825, de 29 de junho de 2006 e a Lei no 11.784, de 22 de setembro de 2008. Rio de Janeiro, 22 jun. 2021. Disponível em: https://pessoal.ufrj.br/images/24-2021-extraordinrio-3aparte1.PDF. Acesso em: 23 dez. 2021.

VALLS, Valéria Martin, VERGUEIRO, Waldomiro C. S. A gestão da qualidade em serviços de informação no Brasil: uma revisão da literatura. Perspectivas em Ciência da Informação, Belo Horizonte, v. 3, n. 1, jan./jun. 1998.

VATANKHAH, N.; WEI, K. T.; LETCHMUNAN, S. Usability measurement of malaysian online tourism websites. International Journal of Software Engineering and its Applications, [S. l.], v. 8, n. 12, p. 1-18, 2014. DOI: http://dx.doi.org/10.14257/ijseia.2014.8.12.01. Disponível em: https://web.archive.org/web/20150427000153/http://www.sersc.org/journals/IJSEIA/v ol8_no12_2014/1.pdf. Acesso em: 26 dez. 2021.

VERGARA, Sylvia Constant. Projetos e relatórios de pesquisa em administração. 10. ed. São Paulo: Atlas, 2009.

VERMEEREN, Arnold P. O. S.; LAW, Effie Lai-Chong; ROTO, Virpi. User experience evaluation methods: current state and development needs. In: Proceedings of the 6 th Nordic Conference on Human Computer Interaction Extending Boundaries - NordiCHI ’10. Reykjavik, Iceland: ACM Press, 2010, p. 521. DOI: https://dl.acm.org/doi/10.1145/1868914.1868973. Disponível em: http://portal.acm.org/citation.cfm?doid=1868914.1868973. Acesso em: 26 dez. 2021.

VIEIRA, Leonardo. Texto institucional da UFRJ chama universidade de ‘cartorial’ e ‘elitista’. Globo.com, Rio de Janeiro, 25 set. 2013. Educação. Disponível em: https://oglobo.globo.com/brasil/educacao/texto-institucional-da-ufrj-chamauniversidade-de-cartorial-elitista10148729#:~:text=%E2%80%9CFragmentada%2C%20do%20ponto%20de%20vista, dedica%C3%A7%C3%A3o%20exclusiva%20e%20a%20pesquisa.%E2%80%9D. Acesso em: 24 dez. 2021.

WORTHEN, Blaine R.; SANDERS, James R.; FITZPATRICK, Jody L. Avaliação de programas: concepções e práticas. São Paulo: Edusp, Gente, 2004.




DOI: http://dx.doi.org/10.22347/2175-2753v0i0.4644

Bookmark and Share


Direitos autorais 2023 Fundação Cesgranrio

Licença Creative Commons
Este obra está licenciado com uma Licença Creative Commons Atribuição-NãoComercial 4.0 Internacional.

Principios Norteadores para o Avaliador

Guiding Principles for Evaluators American Evaluation Association (AEA)

Com o proposito de guiar o trabalho dos profissionais de avaliação e assegurar a etica de sua atuacao, a American Evaluation Association (AEA) - Associacao Profissional de Avaliadores - estabeleceu cinco principios norteadores aqui resumidos:

1.  Indagacao Sistematica, no que se refere à capacidade de coletar dados utilizando tecnicas apropriadas e comunicando metodos e abordagens com a devida transparencia para permitir acesso e critica.

2.  Competencia, no que se refere a demonstrar atuacao competente perante os envolvidos no processo avaliativo e desenvolver continuamente sua capacidade para alcancar o mais alto nivel de desempenho possivel.

3.  Integridade/Honestidade, no que se refere a assegurar honestidade e integridade ao longo de todo o processo avaliativo, negociando com os envolvidos e interessados na avaliação e buscando esclarecer e orientar procedimentos que venham provocar distorcoes ou indevidas utilizacoes.

4.  Respeito pelas pessoas, no que se refere ao respeito pela seguranca, dignidade e auto-valorizacao dos envolvidos no processo avaliativo, atuando sempre com etica profissional, evitando riscos e prejuizos que possam afetar os participantes para assegurar, o melhor possivel, o respeito às diferencas e o direito social de retorno dos resultados, aos envolvidos.

5.  Responsabilidade pelo bem estar geral e público, no que se refere a levar em consideracao a diversidade de interesses e valores que possam estar relacionados ao público em geral,buscando responder nao somente às expectativas mais imediatas, mas tambem às implicacoes e repercussoes mais amplas e, nesse sentido, disseminar a informacao sempre que necessario.

Indexado em:

  1. Miguilim - Diretório das revistas científicas eletrônicas brasileiras

  2. DOAJ - Directory of Open Access Journals

  3. EBSCO - Information Services

  4. Edubase

  5. Google Scholar

  6. Latindex - Sistema regional de información en línea para revistas científicas de América Latina, el Caribe, España y Portugal

  7. LivRe! - Portal do CNEN - Comissão Nacional de Energia Nuclear do Ministério de Ciência, Tecnologia e Inovação

  8. OEI - Organizacion de Estados Iberoamericanos (Madri, Espanha, CREDI)

  9. RCAAP - Repositorio Cientifico de Acesso Aberto de Portugal

  10. REDIB - Red Iberoamericana de Innovación y Conocimiento Científico

  11. Scopus - A maior base de dados de abstracts e citacao de literatura revisada por pares:periodicos cientificos, livros e anais

 

Scimago

SJR : Scientific Journal Rankings

SCImago Journal & Country Rank
  
  

Meta: Aval., Rio de Janeiro, ISSN 2175-2753.