Fonte: https://sfdora.org/2023/01/24/projeto-metricas-brazil/

A cada trimestre, a DORA realiza uma reunião da Comunidade de Prática (CoP) para Iniciativas Nacionais e Internacionais que trabalham para abordar a reforma da avaliação de pesquisa responsável. Esta CoP é um espaço para que as iniciativas aprendam umas com as outras, façam conexões com organizações afins e colaborem em projetos ou temas de interesse comum. As agendas das reuniões são moldadas pelos participantes. Se você lidera uma iniciativa, coalizão ou organização que trabalha para melhorar a avaliação de pesquisa e está interessado em ingressar no grupo, encontre mais informações aqui . 

Esta é uma tradução livre da matéria disponível no website da Declaração de São Francisco sobre Avaliação de Pesquisa (DORA), da qual a Universidade de São Paulo é signatária, referente à matéria intitulada Projeto Métricas/Fapesp: A Collaborative Roadmap for DORA Implementation in Brazil, que descreve a iniciativa desta Comunidade de Prática no Estado de São Paulo, Brasil [1].

O espaço para mudanças nos sistemas de avaliação no Brasil

A fim de fazer a ciência trabalhar para a melhoria nacional, as instituições de pesquisa de um país precisam se alinhar com o impacto social, a responsabilidade ambiental , a ciência aberta e as práticas de pesquisa responsáveis . Muitas vezes, esses são os valores que as instituições acadêmicas defendem. No entanto, uma confiança excessiva em métricas inadequadas como medidas substitutas de qualidade pode deixar de reconhecer e recompensar práticas abertas, rigor, reprodutibilidade, pesquisa localmente relevante e muito mais. Com o objetivo de criar e apoiar sistemas de avaliação mais responsáveis ​​no Brasil, a Fundação de Amparo à Pesquisa do Estado de São Paulo (FAPESP) fundou e financiou o Projeto Métricas, um projeto multi-institucional envolvendo as seis principais universidades públicas de São Paulo. O objetivo do Projeto Métricas é aumentar a conscientização sobre o uso adequado da bibliometria e melhorar a governança universitária e a divulgação científica. O projeto oferece diversos programas de conscientização, oficinas e cursos para profissionais e pesquisadores em todo o Brasil.

Em 8 de novembro de 2022, Justin Axel-Berg e Jacques Marcovitch apresentaram o trabalho do Projeto Métricas na reunião da Comunidade de Prática de Iniciativas Nacionais e Internacionais da DORA para Avaliação de Pesquisa. Na teleconferência, Justin Axel-Berg destacou que, embora alguns departamentos e instituições estejam aprimorando suas práticas de avaliação de forma responsável, a maioria dos métodos de avaliação no Brasil ainda é altamente ortodoxa. Em termos gerais, são quantitativos e restritivos, tanto no nível do Conselho (ou seja, o órgão regulador nacional da pesquisa e das agências de fomento à pesquisa) para avaliação em nível institucional e/ou pelas instituições em suas políticas de contratação e promoção. Diante disso, o Projeto Métricas trabalha atualmente no monitoramento e identificação de lacunas nas práticas de avaliação de pesquisa em universidades públicas, e também mapear os impactos dos esforços de reforma em andamento. Como parte de seu projeto para o programa DORA Community Engagement Grant, o Projeto Métricas realizou um workshop e uma pesquisa para ajudar no desenvolvimento de um roteiro para apoiar a implementação dos princípios de avaliação de pesquisa responsável da DORA em instituições brasileiras. Axel-Berg destacou durante a discussão que, embora o número de signatários DORA individuais e organizacionais no Brasil seja comparável ao da Europa e do Reino Unido, apenas duas organizações brasileiras com foco em pesquisa assinaram até agora: a Universidade de São Paulo (USP ) e a Universidade Estadual de Campinas (UNICAMP). Na tentativa de obter uma compreensão mais ampla dos obstáculos ao compromisso com práticas de avaliação de pesquisa responsável e identificar áreas de intervenção, O Projeto Métricas adotou uma abordagem de 3 etapas. Os detalhes de seu trabalho podem ser encontrados online .

Direcionamento da ação

Em seu primeiro Workshop de Engajamento Comunitário DORA, eles realizaram uma pesquisa exploratória quantitativa e qualitativa com base nos cinco pilares da rubrica SCOPE. Os entrevistados incluíram signatários individuais do DORA da USP e da UNICAMP e eram de diversos estágios da carreira acadêmica. Por causa disso, o Projeto Métricas conseguiu obter uma compreensão holística das razões por trás dos desafios para a implementação de práticas de avaliação responsáveis. Os resultados da pesquisa sugeriram que as principais barreiras eram: i) resistência institucional à mudança, ii) falta de treinamento dos avaliadores, iii) escassez de engajamento da sociedade e consultas para avaliações e iv) colegas mais antigos desconhecem os avanços para uma pesquisa responsável. O workshop foi seguido por um evento público aberto à comunidade de pesquisa brasileira em geral. Durante o evento, foram discutidos os pontos-chave do levantamento preliminar para identificar as principais áreas de atuação e as possíveis formas de resolução dos problemas. Por último,

1. Conscientização sobre práticas de avaliação responsável: A comunidade precisa estar mais ciente das práticas e iniciativas de avaliação responsável (por exemplo, DORA, Leiden, etc.) que estão trabalhando para a reforma. Informar e empoderar a comunidade por meio de discussões sobre avaliação de impacto e responsável seria o primeiro passo para entender, interpretar e refletir sobre quais indicadores de desempenho são úteis e quais indicadores estão sendo mal utilizados no Brasil. A reforma dos modelos de avaliação tradicionais, fixos e limitados atualmente em uso exigirá uma ampliação coletiva de mentalidades. Portanto, os programas de conscientização devem envolver ativamente os membros da comunidade em vários estágios de carreira. Também é importante que as universidades e os institutos de pesquisa incorporem as ideias da comunidade no desenvolvimento de estruturas que sejam adequadas para uma ampla variedade de avaliações, incluindo progressão na carreira,
2. Treinamento e capacitação de avaliadores e participantes de processos: Oficinas, treinamentos, debates e discussões a serem realizadas sobre ferramentas de avaliação significativas e conscientes dos avaliadores para os avaliados.
3. Planejamento e execução de novas práticas de avaliação: Os métodos de avaliação também devem ser flexíveis e acomodados às evoluções dinâmicas do sistema acadêmico. Desenvolver um plano de ação bem estruturado, com metas de curto, médio e longo prazos, com monitoramento consistente, é essencial para o sucesso na implementação de novas práticas. Isso permitiria às universidades e instituições agilidade no futuro.

Desafios e possibilidades subjacentes no contexto brasileiro

Axel-Berg elaborou algumas das características subjacentes que são exclusivas do Brasil e impedem seu progresso em direção a uma reforma de avaliação de pesquisa responsável. O sistema de ensino superior brasileiro é altamente heterogêneo quanto à natureza das instituições, campos de estudo etc., o que dificulta o processo de desenvolvimento de políticas de avaliação uniformes. Além disso, os fatores culturais contribuem para a resistência na mudança de mentalidades e a falta de participação de órgãos governamentais e docentes e funcionários acadêmicos. Como as universidades e instituições acadêmicas estão sujeitas a leis federais rígidas, não há muito espaço para mudanças além de individualmente. Outro desafio único que Axel-Berg destacou foram as lacunas de linguagem e digitalização na disseminação do conhecimento acadêmico de pesquisadores brasileiros. Estratégias para superar algumas dessas questões foram discutidas durante a reunião e várias sugestões foram feitas, incluindo: envolver as sociedades científicas no processo de reforma para facilitar comunicações mais abrangentes de maneira específica ao contexto e à disciplina; aprimorar os treinamentos de estruturação; substanciar e popularizar currículos narrativos; retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças. retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças. retenção de pessoal para apoiar uma forte memória institucional; e promover a autonomia institucional para facilitar mudanças.

O Projeto Métricas está enfrentando esses desafios um passo de cada vez, e seu objetivo imediato é fornecer orientação e assistência em nível individual. Axel-Berg concluiu sua apresentação reiterando seus objetivos de longo prazo para trazer uma mudança mais holística, incorporando não apenas Ciência Aberta e integridade de pesquisa, mas também métricas centradas na sociedade e responsabilidade ambiental como parâmetros nas avaliações.

Sudeepa Nandi é Associada à DORA.

== REFERÊNCIA ==

NANDI, Sudeepa. Projeto Métricas/Fapesp: A Collaborative Roadmap for DORA Implementation in Brazil. DORA, 24 Jan. 2023. Disponível em: https://sfdora.org/2023/01/24/projeto-metricas-brazil/ Acesso em: 03 fev. 2023