Você conhece o “Guia Prático para Implementar uma Avaliação Responsável da Pesquisa em Organizações Realizadoras de Pesquisa”?

O Guia oferece orientações práticas, recursos e exemplos ilustrativos para instituições de pesquisa que buscam moldar e implementar práticas de avaliação responsável da pesquisa (ARP).

Isso inclui instituições que desejam criar uma estratégia de ARP, organizações que querem reformular práticas existentes e organizações que simplesmente desejam adotar abordagens mais holísticas e inclusivas para a avaliação da pesquisa.

Esta é uma reprodução da matéria publicada pelo Projeto Métricas [1] com base na DORA.

 

 

Uma única abordagem para a avaliação da pesquisa certamente não serve para todos, portanto, o Guia foi concebido como uma ferramenta inspiradora. Ele é agnóstico em relação à disciplina, flexível e adaptável a diversos contextos organizacionais e disciplinares.

Prevemos que o Guia Prático será modificado e atualizado ao longo do tempo, e especialmente enriquecido com exemplos reais e por meio do feedback de instituições de pesquisa à medida que começarem a utilizá-lo.

O Guia Prático foi desenvolvido em conjunto com as partes interessadas que se reuniram em 31 de janeiro de 2025 em Maryland, EUA, cujas valiosas contribuições reconhecemos com gratidão.

Agradecemos também o valioso feedback dos membros do Comitê Diretivo do DORA, Sean Sapcariu e Bernd Pulverer. Somos gratos a Janet Catterall por sua ajuda na compilação e organização das referências e recursos de apoio mencionados no Guia.

” Este Guia tem como objetivo aproveitar esse aprendizado e fornecer orientações
práticas e dicas para organizações que realizam pesquisas e desejam tomar medidas para revisar
ou reformar a maneira como avaliam pesquisas e pesquisadores. “

A tradução deste Guia para o Português contou com a ajuda do Instituto de Ciências Biomédicas da USP, do Projeto Métricas e da Rede Brasileira de Reprodutibilidade. Muito obrigada a Patrícia Gama, Justin Axel-Berg, Eduarda Centeno, Olavo Amaral, Ricardo Ceneviva, Isis Trajano e Juliana Fernandes.

O Guia Prático foi criado como parte do Projeto TARA e, juntamente com o Reformscape, os Building Blocks for Impact e a Debiasing Committee Composition, forma um conjunto de ferramentas desenvolvido para auxiliar organizações que buscam reformar as práticas de avaliação de pesquisa.

O Projeto TARA é apoiado pela Arcadia, uma fundação familiar beneficente que ajuda pessoas a registrar o patrimônio cultural, conservar e restaurar a natureza e promover o acesso aberto ao conhecimento, a quem agradecemos. Desde 2002, a Arcadia concedeu mais de US$ 1,2 bilhão a organizações em todo o mundo.

A USP e a DORA

A Universidade de São Paulo USP é signatária da Declaração de São Francisco sobre Avaliação da Pesquisa (DORA).

Além da USP, diversas Revistas editadas pela USP também assinam a Declaração.

Quando a Declaração de São Francisco sobre Avaliação de Pesquisa (DORA – San Francisco Declaration on Research Assessment) foi anunciada em 2013, seu objetivo era aumentar a conscientização sobre as métricas problemáticas utilizadas para avaliar pesquisas e pesquisadores e anunciar uma nova era na avaliação de pesquisa – uma era em que os pesquisadores são avaliados com base em uma ampla gama de contribuições para o conhecimento, a pesquisa e sociedade, com foco na qualidade e no impacto.

A Declaração fornece 18 recomendações para os diferentes atores do sistema de pesquisa considerarem ao realizar processos e práticas de avaliação de pesquisa. Convidamos a ler a Declaração e verificar como a USP está aplicando na prática estes princípios.

Declaração de São Francisco sobre Avaliação de Pesquisa
(DORA – San Francisco Declaration on Research Assessment)

Há uma necessidade urgente de aprimorar as formas como os resultados da pesquisa científica são avaliados por agências de fomento, instituições acadêmicas e outras partes interessadas. Para abordar essa questão, um grupo de editores e publicadores de periódicos científicos se reuniu durante o Encontro Anual da Sociedade Americana de Biologia Celular (ASCB), em São Francisco, Califórnia, em 16 de dezembro de 2012. O grupo elaborou um conjunto de recomendações, denominado Declaração de São Francisco sobre Avaliação da Pesquisa. Convidamos as partes interessadas de todas as disciplinas científicas a manifestarem seu apoio, adicionando seus nomes a esta Declaração.

Os resultados da pesquisa científica são muitos e variados, incluindo: artigos científicos que relatam novos conhecimentos, dados, reagentes e softwares; propriedade intelectual; e jovens cientistas altamente qualificados. Agências de fomento, instituições que empregam cientistas e os próprios cientistas têm o desejo e a necessidade de avaliar a qualidade e o impacto dos resultados científicos. Portanto, é imprescindível que a produção científica seja mensurada com precisão e avaliada criteriosamente.

O Fator de Impacto de Periódicos é frequentemente usado como o principal parâmetro para comparar a produção científica de indivíduos e instituições. O Fator de Impacto de Periódicos, calculado pela Thomson Reuters*, foi originalmente criado como uma ferramenta para auxiliar bibliotecários na identificação de periódicos para aquisição, e não como uma medida da qualidade científica da pesquisa em um artigo.

Considerando isso, é fundamental compreender que o Fator de Impacto de Periódicos apresenta diversas deficiências bem documentadas como ferramenta de avaliação da pesquisa. Essas limitações incluem: A) a distribuição de citações dentro dos periódicos é altamente assimétrica [1–3]; B) as propriedades do Fator de Impacto de Periódicos são específicas de cada área: trata-se de uma composição de múltiplos tipos de artigos, altamente diversos, incluindo artigos de pesquisa originais e revisões [1, 4]; C) os Fatores de Impacto de Periódicos podem ser manipulados (ou “adulterados”) por políticas editoriais [5]; e D) os dados utilizados para calcular os Fatores de Impacto de Periódicos não são transparentes nem estão disponíveis publicamente [4, 6, 7].

A seguir, apresentamos algumas recomendações para aprimorar a forma como a qualidade da produção científica é avaliada. Outros resultados além de artigos científicos ganharão importância na avaliação da eficácia da pesquisa no futuro, mas o artigo científico revisado por pares continuará sendo um resultado central que fundamenta a avaliação da pesquisa. Nossas recomendações, portanto, concentram-se principalmente em práticas relacionadas a artigos científicos publicados em periódicos revisados ​​por pares, mas podem e devem ser ampliadas, reconhecendo outros produtos, como conjuntos de dados, como resultados importantes da pesquisa. Essas recomendações são direcionadas a agências de fomento, instituições acadêmicas, periódicos, organizações que fornecem métricas e pesquisadores individuais.

Diversos temas permeiam essas recomendações:

• a necessidade de eliminar o uso de métricas baseadas em periódicos, como o Fator de Impacto de Periódicos, em considerações de financiamento, nomeação e promoção;
• a necessidade de avaliar a pesquisa pelos seus próprios méritos, e não com base na revista em que foi publicada; e
• a necessidade de aproveitar as oportunidades oferecidas pela publicação online (como flexibilizar limites desnecessários quanto ao número de palavras, figuras e referências em artigos, e explorar novos indicadores de relevância e impacto).

 

Reconhecemos que muitas agências de financiamento, instituições, editoras e pesquisadores já estão incentivando práticas aprimoradas na avaliação da pesquisa. Essas medidas estão começando a impulsionar abordagens mais sofisticadas e significativas para a avaliação da pesquisa, que agora podem ser aprimoradas e adotadas por todos os principais atores envolvidos.

Os signatários da Declaração de São Francisco sobre Avaliação da Pesquisa apoiam a adoção das seguintes práticas na avaliação da pesquisa.

Recomendação geral

1. Não utilize métricas baseadas em periódicos, como o Fator de Impacto, como medida substituta da qualidade de artigos de pesquisa individuais, para avaliar as contribuições de um cientista individual ou em decisões de contratação, promoção ou financiamento.

Para agências de financiamento

2. Seja explícito quanto aos critérios utilizados na avaliação da produtividade científica dos candidatos a bolsas de pesquisa e destaque claramente, especialmente para pesquisadores em início de carreira, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade do periódico em que foi publicado.

3. Para fins de avaliação da pesquisa, considere o valor e o impacto de todos os resultados da pesquisa (incluindo conjuntos de dados e software), além das publicações científicas, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos de impacto da pesquisa, como a influência nas políticas e práticas.

Para instituições

4. Seja explícito quanto aos critérios utilizados para as decisões de contratação, titularidade e promoção, destacando claramente, especialmente para pesquisadores em início de carreira, que o conteúdo científico de um artigo é muito mais importante do que as métricas de publicação ou a identidade do periódico em que foi publicado.

5. Para fins de avaliação da pesquisa, considere o valor e o impacto de todos
os resultados da pesquisa (incluindo conjuntos de dados e software), além das publicações científicas, e considere uma ampla gama de medidas de impacto, incluindo indicadores qualitativos de impacto da pesquisa, como a influência nas políticas e práticas.

Para editoras

6. Reduzir significativamente a ênfase no fator de impacto da revista como ferramenta promocional, idealmente deixando de promover o fator de impacto ou apresentando a métrica no contexto de uma variedade de métricas baseadas na revista (por exemplo, fator de impacto de 5 anos, EigenFactor [8], SCImago [9], índice h, tempos editoriais e de publicação, etc.) que fornecem uma visão mais rica do desempenho da revista.

7. Disponibilizar uma gama de métricas ao nível do artigo para incentivar uma mudança para uma avaliação baseada no conteúdo científico do artigo, em vez de métricas de publicação da revista em que foi publicado.

8. Incentivar práticas de autoria responsável e o fornecimento de informações sobre as contribuições específicas de cada autor.

9. Independentemente de uma revista ser de acesso aberto ou baseada em assinatura, remova todas as limitações de reutilização nas listas de referências em artigos de pesquisa e disponibilize-as sob a Dedicação ao Domínio Público Creative Commons [10].

10. Remover ou reduzir as restrições ao número de referências em artigos de pesquisa e, quando apropriado, exigir a citação da literatura primária em detrimento das revisões, a fim de dar crédito ao(s) grupo(s) que primeiro relataram uma descoberta.

Para organizações que fornecem métricas

11. Seja aberto e transparente, fornecendo os dados e os métodos utilizados para calcular todas as métricas.

12. Forneça os dados sob uma licença que permita a reutilização irrestrita e, sempre que possível, forneça acesso computacional aos dados.

13. Deixe claro que a manipulação inadequada de métricas não será tolerada; seja explícito sobre o que constitui manipulação inadequada e quais medidas serão tomadas para combatê-la.

14. Leve em consideração a variação nos tipos de artigos (por exemplo, revisões versus artigos de pesquisa) e nas diferentes áreas temáticas quando as métricas são usadas, agregadas ou comparadas.

Para pesquisadores

15. Ao participar de comitês que tomam decisões sobre financiamento, contratação, estabilidade ou promoção, faça avaliações com base no conteúdo científico, e não em métricas de publicação.

16. Sempre que apropriado, cite a literatura primária na qual as observações são relatadas pela primeira vez, em vez de revisões, a fim de dar o devido crédito.

17. Utilize uma variedade de métricas e indicadores de artigos sobre declarações pessoais/de apoio, como evidência do impacto de artigos individuais publicados e outros resultados de pesquisa [11].

18. Questionar as práticas de avaliação da pesquisa que se baseiam indevidamente nos Fatores de Impacto das Revistas e promover e ensinar as melhores práticas que se concentram no valor e na influência de resultados de pesquisa específicos.

Referências

1. Adler, R., Ewing, J., and Taylor, P. (2008) Citation statistics. A report from the International Mathematical Union.
2. Seglen, P.O. (1997) Why the impact factor of journals should not be used for evaluating research. The BMJ 314: 498–502. DOI:10.1136/bmj.314.7079.497
3. Editorial. (2005). Not so deep impact. Nature 435(7045): 1003–1004. DOI: 10.1038/4351003b
4. Vanclay, J.K. (2012) Impact Factor: Outdated artefact or stepping-stone to journal certification. Scientometrics 92(2): 211–238. DOI: 10.1007/s11192-011-0561-0.
5. The PLoS Medicine Editors (2006). The impact factor game. PLoS Medicine 3(6): e291. DOI: 10.1371/journal.pmed.0030291
6. Rossner, M., Van Epps, H., Hill, E. (2007). Show me the data. Journal of Cell Biology 179(6): 1091–1092.
7. Rossner M., Van Epps H., and Hill E. (2008). Irreproducible results: A response to Thomson Scientific. Journal of Cell Biology 180(2): 254–255. DOI: 10.1083/jcb.200711140
8. http://www.eigenfactor.org/
9. http://www.scimagojr.com/
10. http://opencitations.wordpress.com/2013/01/03/open-letter-to-publishers
11. http://altmetrics.org/tools/ (Link to archived site)

*The Journal Impact Factor is now published by Clarivate Analytics.

_________________________________________________

[1] METRICAS. Guia Prático para Avaliação Responsável da Pesquisa – DORA – Metricas.edu. 16 dez. 2025. Disponível em: https://metricas.usp.br/guia-pratico-para-avaliacao-responsavel-da-pesquisa-dora/ Acesso em: 19 dez. 2025.