Esta é uma tradução livre do artigo intitulado Qualitative Analysis of Faculty Opinions on and Perceptions of Research Impact Metrics publicado na revista College and Research Libraries em setembro de 2020, de autoria de Caitlin Bakker, Kristen Cooper, Allison Langham-Putrow e Jenny McBurney *

Apresentamos uma análise qualitativa dos resultados de uma pesquisa com professores e pesquisadores em uma grande universidade R1 do meio-oeste americano em torno de sua compreensão e atitude em relação às métricas acadêmicas. A pesquisa incluiu oportunidades para os participantes fornecerem respostas em texto livre sobre o uso de métricas e preocupações que eles têm sobre o uso de métricas para avaliação. Os participantes indicaram que entendem as métricas e as usam de várias maneiras, mas se preocupam com o uso potencialmente inadequado dos administradores das métricas na avaliação. Os participantes expressaram o desejo de se envolver na tomada de decisões sobre o uso de métricas nos processos de avaliação. Com o objetivo final de melhorar os serviços relacionados ao impacto de pesquisa de nossa biblioteca para melhor apoiar professores e pesquisadores em todo o campus, esta análise qualitativa exploratória oferece uma compreensão mais matizada do panorama atual de opinião em torno das métricas de impacto da pesquisa. Para desenvolver ferramentas e serviços que realmente atendam às necessidades do corpo docente e do pesquisador, os bibliotecários devem desenvolver uma compreensão abrangente de seus interesses e preocupações em torno das métricas.

Introdução

Pesquisadores e suas instituições são cada vez mais solicitados por financiadores, legisladores e outras partes interessadas para demonstrar sua produtividade e o subsequente impacto de suas pesquisas, tanto na comunidade científica quanto na sociedade. As métricas de impacto da pesquisa, incluindo a bibliometria tradicional, têm sido um mecanismo para avaliar a qualidade da pesquisa por mais de 60 anos. [1] A bibliometria é “um conjunto de métodos quantitativos usados ​​para medir, rastrear e analisar publicações” e é usada por estudiosos individuais, instituições e agências de financiamento para medir o impacto da pesquisa e bolsa de estudos.[2] As métricas tradicionais se concentram principalmente na frequência com que um artigo é citado por outros artigos acadêmicos; os exemplos incluem o índice h, uma medida da quantidade de publicações de um autor e quantas vezes eles foram citados, e o fator de impacto do periódico, uma medida de quantas vezes os artigos de um periódico são citados.[3]

Com a disseminação do trabalho acadêmico mudando de formatos exclusivamente impressos para formatos eletrônicos que podem ser compartilhados e acessados ​​online, uma nova forma de métrica, “altmetria”, tem sido um tópico crescente de conversa. Altmetrics são “novas métricas baseadas na web social para analisar e informar a bolsa de estudos”. [4] Exemplos de altmetria incluem o número de vezes que um link para um trabalho foi clicado ou o número de curtidas, compartilhamentos e menções em plataformas como Twitter ou Facebook. [5]

Apesar da crescente conversa em torno da altmetria, o uso desses recursos pelos pesquisadores ainda não foi comprovado, e as métricas tradicionais começaram a desempenhar um papel cada vez maior na tomada de decisões em pesquisas, especialmente fora da América do Norte. As razões para isso incluem a avaliação do dinheiro federal ou público gasto no ensino superior e na pesquisa com base em sua qualidade e impacto, bem como as medidas que as instituições tomaram para desenvolver estratégias de pesquisa em face da competição com instituições semelhantes por alunos, funcionários e Recursos.[6] Exemplos do uso de métricas em processos de tomada de decisão podem ser encontrados em todo o mundo. Smith, Crookes e Crookes observam que, na Austrália, métricas tradicionais, incluindo Fatores de impacto de periódicos, taxas de citação e o índice h, são frequentemente usadas para medir o impacto da pesquisa.[7] Wilsdon et al. fornecer exemplos de vários outros países que incorporam métricas em seus programas nacionais de avaliação de pesquisa, como Dinamarca, Itália e Holanda; [8] entretanto, tem havido sinais recentes de movimento para diminuir a ênfase no papel das métricas na avaliação da pesquisa. [9] Os Estados Unidos diferem porque não há um sistema ou programa de avaliação de pesquisa em todo o país, [10] nem um único órgão de financiamento que exige o uso de uma determinada métrica ou métrica. Como Graham et al. observe que “interesses conflitantes entre as partes interessadas afetadas podem resultar em uma falta de consenso sobre o que constitui valor e o que deve ser medido para demonstrar o impacto”. [11] Apesar da falta de uma estratégia nacional, a avaliação do impacto da pesquisa é uma área emergente de interesse entre as instituições e agências de financiamento americanas. [12]

Revisão da literatura

O papel das métricas na tomada de decisão é objeto de debate, e as percepções da importância e do valor das métricas diferem entre instituições, disciplinas, departamentos e indivíduos. Em entrevistas por Abbott et al., Alguns administradores afirmaram que não consideram métricas nas decisões de contratação ou promoção e estabilidade (P&T), optando por confiar nas cartas de recomendação fornecidas por especialistas na área do candidato, com um entrevistado Afirmando que não depende de fatores de impacto, que “costumam destacar jornais da moda, campos de expansão e temas recentemente destacados. Nós … não queremos seguir o boom. ” [13] Outro entrevistado observou que, embora seu departamento colete dados sobre cargas de ensino, produção de artigos e índices h, os dados são usados ​​para orientar os pesquisadores e “não é um obstáculo que precisa ser superado para obter uma promoção”. No entanto, os autores reconhecem que a coleta dessas medidas “pode dar a impressão de que elas estão sendo fortemente utilizadas”. [14] Apoiando este comentário de Abbott et al., DeSanto e Nichols também descobriram que “[a] um total de 68 por cento dos entrevistados [em uma pesquisa do corpo docente] expressou preocupação com os administradores universitários rastreando os dados métricos acadêmicos de seu corpo docente” [15] e que apenas 5,4 por cento dos entrevistados acham que “um grande peso” deve ser colocado nas métricas como parte do processo de P&T. [16]

Em contraste com as respostas dos administradores, os professores pesquisam as respostas do artigo de Abbott et al. [17] mostram que os pesquisadores acreditam que as métricas têm um grande impacto nas decisões de contratação e P&T. Mais de 70% dos 150 entrevistados acreditavam que as métricas eram usadas nas decisões de contratação e promoção e quase 70% também acreditavam que eram usadas nas decisões de mandato. [18] Além disso, 63% dos entrevistados disseram que, no geral, estavam “[não] satisfeitos” ou “não muito satisfeitos” com a forma como as métricas são usadas em geral, enquanto apenas um quarto disse que estava satisfeito. [19]  Outras preocupações identificadas em Abbott et al. incluía a capacidade dos pesquisadores de manipular as métricas para seu próprio ganho, uma preocupação compartilhada por 71% dos entrevistados, e a preocupação de que as métricas moldariam os comportamentos de pesquisa do corpo docente, e não o contrário. Na verdade, metade dos entrevistados afirmou que eles próprios mudaram seus comportamentos, embora muitas vezes apenas de pequenas maneiras, para melhorar as métricas que sabiam que eram usadas para se avaliar. [20] Alinhando-se com as descobertas de Abbott et al., Thuna e King descobriram que as métricas influenciaram o corpo docente em todas as disciplinas em suas escolhas de pesquisa, como onde publicar, quem contratar ou quando solicitar ou revisar bolsas. [21]

Mais recentemente, tem havido um interesse crescente em considerar as diferenças disciplinares no uso e nas atitudes do corpo docente em relação às métricas de impacto da pesquisa. Os professores de ciências e ciências sociais geralmente expressaram maior consciência e interesse em métricas e sentiram que as métricas desempenhavam um papel mais significativo nos processos de P&T do que seus colegas nas artes e humanidades. [22] Pesquisadores de várias disciplinas também expressaram uma consciência crescente da altmetria. [23] No entanto, ao considerar a consciência do corpo docente ou familiaridade com métricas, como Thuna e King observaram, “consciência não significa necessariamente compreensão.” [24]

Os bibliotecários estão familiarizados há muito tempo com o Fator de Impacto do Periódico e os vários índices de citação por meio dos quais as métricas estão disponíveis. Serviços adicionais relacionados a métricas são uma área emergente em biblioteconomia, como evidenciado na recente pesquisa de Gutzman et al. de sete bibliotecas de ciências da saúde, [25] o que reforça as conclusões do 2015 ACRL SPEC Kit sobre atividades de avaliação de resultados acadêmicos. [26] No entanto, uma Pesquisa do Corpo Docente da Ithaka S + R 2015 revelou que menos de 20 por cento dos entrevistados têm a biblioteca para ajudá-los a avaliar o impacto de suas publicações, [27] portanto, ainda há espaço para crescimento nesta área. O desenvolvimento e o refinamento dos serviços de biblioteca requerem um entendimento profundo das necessidades do usuário.

Bakker et al. comparou quantitativamente os respondentes em três amplas áreas disciplinares. [28] Eles descobriram que os entrevistados em Artes e Humanidades estavam menos familiarizados com métricas e percebiam que as métricas eram menos precisas do que os entrevistados em Ciências Sociais e em Ciências e Ciências da Saúde. Pesquisadores em Artes e Humanidades também sentiram que as métricas eram menos importantes em seus processos de promoção, estabilidade e revisão anual, e desejavam que as métricas tivessem menos peso nesses processos do que os pesquisadores em outras áreas disciplinares. Embora esses dados quantitativos forneçam uma ampla visão geral das atitudes e percepções do corpo docente sobre a importância das métricas, eles não fornecem insights sobre por que os entrevistados podem ter se sentido assim, ou quais preocupações ou oportunidades relacionadas eles viram nesta área. Embora avaliações quantitativas das atitudes do corpo docente tenham sido realizadas, a avaliação qualitativa tem sido menos prevalente nesta área. Neste artigo, fornecemos uma análise qualitativa dos dados de pesquisa coletados para descrever o uso e as atitudes de professores e pesquisadores em relação às métricas de impacto da pesquisa e suas preocupações com o uso dessas medidas. Optamos por focar nossa análise qualitativa em nossa instituição para desenvolver uma compreensão mais aprofundada das atitudes dos pesquisadores em nosso contexto e, posteriormente, obter os insights necessários para começar a desenvolver serviços que atendam às suas necessidades.

Deve-se notar que a natureza da pesquisa qualitativa reflete um enquadramento diferente da questão de pesquisa, e essas questões costumam ser mais exploratórias do que baseadas em hipóteses. [29] Como Corbin e Strauss observam, “subjacente ao uso de métodos qualitativos está a suposição de que todos os conceitos pertencentes a um determinado fenômeno não foram identificados, ou não estão totalmente desenvolvidos, ou são mal compreendidos e a exploração posterior de um tópico é necessária para aumentar a compreensão. ” [30] Isso é particularmente verdadeiro quando os pesquisadores adotam uma abordagem de teoria fundamentada (grounded theory approach), como temos aqui, “Não se começa com uma teoria e depois a prova. Em vez disso, começa-se com uma área de estudo e o que é relevante para essa área pode emergir.” [31]. Nosso objetivo nesta pesquisa não é conduzir análises alinhadas com abordagens quantitativas, mas em vez disso, iniciar uma exploração da interpretação e percepção diferenciada da avaliação do impacto da pesquisa a partir da perspectiva do pesquisador.

Metodologia

Com o objetivo final de melhorar os serviços relacionados ao impacto da pesquisa de nossa biblioteca para melhor apoiar professores e pesquisadores em todo o campus, analisamos os dados coletados em uma pesquisa com professores, instrutores e pesquisadores da Minnesota University para obter insights sobre como eles entendem e veem métricas de impacto de pesquisa, como aquelas baseadas na contagem de citações de artigos. A pesquisa incluiu respostas abertas e de texto livre nas quais os participantes descreveram quando e como usam as métricas e suas preocupações com o uso dessas métricas. Embora pesquisas anteriores tenham fornecido análises quantitativas com foco na conscientização do pesquisador sobre esses tópicos, [32] esta abordagem de teoria fundamentada para análise qualitativa fornece uma visão mais profunda das percepções e opiniões do pesquisador em torno desses tópicos e oferece uma compreensão mais diferenciada do panorama atual de opinião em torno das métricas de impacto da pesquisa.

O estudo qualitativo descrito neste artigo foi parte de um projeto de pesquisa multisite maior, de autoria de Bakker et al. que envolveu a administração de uma pesquisa sobre atitudes e uso de métricas de impacto de pesquisa em quatro instituições. [33] O estudo mais amplo, multisite, com foco na análise de dados quantitativos de todas as quatro instituições, enquanto este artigo aborda aspectos qualitativos derivados das perguntas de pesquisa aberta anteriormente não examinadas sobre crenças, preocupações, percepções e uso de métricas de pesquisa, com foco no dados de nossa instituição.

As perguntas da pesquisa foram baseadas nas primeiras desenvolvidas por pesquisadores da Universidade de Vermont, com pequenas modificações em cada instituição para refletir o contexto local. [34] Duas versões da pesquisa foram usadas localmente, uma para docentes efetivos que se referiam ao processo de estabilidade e promoção e outra para docentes e pesquisadores não efetivos que se referiam ao processo de revisão anual. O Apêndice A contém a versão da pesquisa para o corpo docente da estabilidade. As modificações foram pré-testadas para validade de face por bibliotecários nas quatro instituições envolvidas no projeto multisite. As respostas da pesquisa de nossa instituição foram coletadas via Qualtrics entre 7 de novembro e 8 de dezembro de 2017.

Os participantes da pesquisa foram selecionados por meio de amostragem de conveniência. Uma lista de todos os pesquisadores atuais, incluindo administradores, docentes titulares, titulares e não titulares, instrutores, conferencistas e bolsistas de pesquisa foi gerada a partir de dados de recursos humanos. Os participantes foram convidados por e-mail e um lembrete foi distribuído por e-mail duas semanas antes do encerramento da pesquisa. Foram convidados a participar 4.855 indivíduos, dos quais 435 responderam a pelo menos uma questão aberta. Apesar do que pode parecer uma baixa taxa de resposta quando vista através das lentes da pesquisa quantitativa, é importante reconhecer que, nesta metodologia qualitativa, “a adequação da amostra, a qualidade dos dados e a variabilidade de eventos relevantes são frequentemente mais importantes do que o número de participantes. ” [35] Assim, o tamanho da amostra obtido foi considerado aceitável. A pesquisa começou com uma página de informações descrevendo o propósito do projeto e o caráter voluntário da participação. O projeto foi submetido à aprovação do IRB e não foi considerado pesquisa com seres humanos.

Os dados brutos foram exportados do Qualtrics, os identificadores diretos foram removidos e os dados foram armazenados na instância do Box da universidade. O acesso aos dados brutos foi limitado a um pesquisador. Os dados desidentificados foram disponibilizados aos membros da equipe de pesquisa por meio de uma pasta Box separada. Para proteger a privacidade dos participantes, departamentos e classificações de cargos com um pequeno número de participantes foram agrupados em categorias mais amplas, e as respostas às perguntas abertas foram extraídas como documentos do Microsoft Word e disponibilizados para a equipe de pesquisa.

O NVivo 12 foi usado para analisar esses dados e a análise foi baseada nos princípios da teoria fundamentada. [36] Três pesquisadores codificaram 10 respostas independentemente usando codificação aberta linha por linha. Isso levou ao desenvolvimento de um esquema de codificação (consulte o apêndice B). Os pesquisadores codificaram todas as respostas independentemente e os bancos de dados do NVivo foram mesclados. Esta triangulação de investigadores e fontes forneceu múltiplas perspectivas sobre os dados, criando uma interpretação mais rica dos dados que refletem uma gama mais ampla de experiências, fortalecendo assim a confiança nas conclusões derivadas desta pesquisa. [37] A função de comparação de codificação do NVivo foi usada para determinar a confiabilidade entre avaliadores e, onde o coeficiente kappa era inferior a 0,4, os códigos foram revisados ​​até que o consenso fosse alcançado. Os pesquisadores, então, se reuniram para identificar os temas emergentes dos dados por meio da identificação de conceitos recorrentes e das relações entre os códigos, o que resultou no referencial teórico descrito neste artigo.

Resultados

Os participantes descreveram relacionamentos complexos com as métricas de impacto da pesquisa, ao mesmo tempo engajando-se com eles em práticas de avaliação enquanto expressavam preocupações significativas sobre seu uso e significado. Foram identificados sete temas que descrevem as atitudes dos participantes, o uso e as preocupações com relação a essas medidas: (1) Consciência disciplinar é fundamental ao se considerar as métricas de impacto da pesquisa; (2) As métricas são usadas em atividades de busca de informações e como um meio de autoavaliação; (3) As métricas são usadas ao avaliar o trabalho de terceiros; (4) As métricas não devem ser consideradas um proxy para toda a gama de impacto do pesquisador; (5) O uso de métricas pelo administrador na avaliação do pesquisador é uma preocupação; (6) O uso inadequado de métricas pode resultar em consequências negativas; (7) A tomada de decisão compartilhada com relação às métricas é necessária.

Consciência disciplinar é fundamental ao considerar as métricas de impacto da pesquisa

Os participantes articularam fortemente a necessidade de administradores e tomadores de decisão terem uma compreensão profunda da disciplina para contextualizar e interpretar as métricas de forma adequada. Por exemplo, os padrões de citação variam amplamente entre as disciplinas e podem variar dramaticamente mesmo entre as subdisciplinas. Como um participante afirmou, “[l] ike a maioria dos aspectos das revisões e avaliações, o contexto é muito importante ao determinar o valor geral.” Os participantes sentiram que, sem ter o contexto em torno de um número, é possível subestimar certas áreas de pesquisa. Como observou um entrevistado, “[um] artigo de alta qualidade, mas especializado, pode ser menos citado do que um de qualidade inferior, porém mais geral (ou controverso)”.

Vários participantes relataram que não têm preocupações com as métricas em si, mas colocaram advertências sobre quando e como elas deveriam ser usadas, como não usar uma única métrica ou depender apenas de métricas sem realizar uma avaliação qualitativa do trabalho de alguém. Como um participante observou, “… meu trabalho é interdisciplinar (nas fronteiras das ciências humanas e sociais), mas só é ‘rastreado’ dessa forma em revistas médicas e científicas. Isso … é completamente distorcido e enganoso. ”

As métricas são usadas em atividades de busca de informações e como meio de autoavaliação

As métricas servem como um ponto de dados para os participantes em seus próprios processos de tomada de decisão relacionados ao seu trabalho. Decidir sobre um periódico para o envio do manuscrito foi um caso de uso frequentemente observado para métricas. No entanto, os participantes também monitoraram as citações de seus trabalhos como forma de determinar o interesse: “Eu olho minhas métricas toda vez que publico algo novo, para ver o que está ganhando força”. Um participante descreveu isso como sendo “particularmente útil porque estou trabalhando em um tópico que não se enquadra perfeitamente em nenhuma disciplina específica, de outra forma seria difícil ver como meu trabalho está caminhando e descobrir conexões que estimulam minha própria pesquisa e permitir que ele viaje ainda mais longe. ”

Os participantes expressaram o desejo de entender melhor quem está interessado em sua área de pesquisa, em vez do impacto direto da citação em métricas específicas, observando que “as métricas simplesmente vêm junto”. Os participantes observaram que consultariam fontes de métricas quando solicitado por uma fonte externa, como uma notificação por e-mail, por curiosidade ou quando necessário para fins de P&T.

As métricas são usadas ao avaliar o trabalho de outros

Os participantes relataram o uso de métricas de impacto de pesquisa por vários motivos na avaliação de outros indivíduos, incluindo ao tomar decisões de contratação, servir em comitês de P&T e escrever cartas de apoio para colegas. Além de fatorar no processo de contratação, as métricas foram descritas como um elemento de recrutamento, com um estudioso observando que “Eu verifico [os] resultados acadêmicos de pessoas que podemos pensar em incentivar a se candidatar a um emprego em nosso departamento”. Embora a avaliação de potenciais contratações tenha sido um motivo frequentemente mencionado para consultar métricas, alguns participantes descreveram hesitação, indicando que “[e] métricas científicas são uma ferramenta útil em um sentido casual, não me sinto muito confortável com as decisões de contratação e promoção feitas com base neles. ”

Os participantes se engajaram com métricas para examinar a pesquisa de outros, particularmente “[quando] uando estou lendo um artigo fora da minha área e não sei a qualidade do periódico em que o trabalho aparece, e não estou necessariamente qualificado para ver o potencial falhas no trabalho. ” No entanto, eles também tiveram o cuidado de observar que usavam essas métricas no contexto; como disse um participante, as métricas devem ser usadas “[é] um dos muitos filtros para avaliar a importância do trabalho de um pesquisador …”

As métricas não devem ser consideradas um proxy para toda a gama de impacto do pesquisador

Muitos participantes indicaram que usam métricas para auto-defesa, incluindo promoção, estabilidade, avaliações de desempenho e negociação salarial. Apesar do uso de métricas para esses fins, os participantes sentiram que essas não eram representações robustas de seu impacto. Um observou que “somos um centro de pesquisa altamente produtivo, e nosso trabalho é usado todos os dias em todo o país, e a razão para isso [é que] ele não ficou escondido em periódicos revisados ​​por pares – nós o entregamos para treinamento, divulgação e habilidades práticas que podem ser usadas para ajudar as pessoas. ” Outro participante ecoou esse sentimento, descrevendo outros trabalhos valiosos que eles produzem, como “peças de divulgação amigáveis ​​à comunidade (relatórios técnicos,

Além da necessidade de ter uma visão ampla do impacto, os participantes enfatizaram as diversas funções que professores e pesquisadores desempenham dentro da universidade, refletindo sobre suas responsabilidades de ensino e serviço e a importância de equilibrar essas responsabilidades: “Incentivar-me a transferir a publicação para minha função principal é também exigindo que eu coloque a educação como meu papel secundário. ” Um participante encorajou os administradores a “manter uma visão ‘completa’ do corpo docente, da mesma forma que usamos uma visão ‘completa’ ao considerar as inscrições dos alunos para a universidade.”

O uso de métricas pelo administrador na avaliação do pesquisador é uma preocupação

Os participantes expressaram preocupação em relação à profundidade de entendimento que outras pessoas, especialmente administradores, possuem em sua compreensão das diferenças disciplinares e como isso pode influenciar sua capacidade de usar as métricas de forma adequada. Como um participante disse, “na medida em que os administradores universitários carecem de uma compreensão suficientemente diferenciada de cada campo e subcampo no campus, eu desconfiaria que sua avaliação de tais dados seria insuficientemente matizada.” Os participantes também se preocuparam com o que isso significa para a avaliação, observando “[i] f métricas estão sendo utilizadas para rastrear o trabalho acadêmico, isso significa que as pessoas que fazem o rastreamento não entendem o trabalho o suficiente para julgá-lo e, portanto, não deveriam estar. Esse é o problema fundamental. ”

Havia preocupação com o peso das métricas nos processos de tomada de decisão. Um participante descreveu o potencial para “uma dependência excessiva de tais métricas sem consideração cuidadosa e ponderada das diferenças entre as disciplinas e os detalhes da carreira de um acadêmico específico”. Os participantes observaram que as métricas podem oferecer “uma falsa sensação de objetividade” e que “as pessoas podem ser seduzidas pela forma como os [números] são limpos e fáceis de usar e esquecer a complexidade desordenada que está subjacente a eles e o que deveriam transmitir”. Os participantes expressaram o desejo de que os administradores se envolvam em um nível mais profundo com os resultados acadêmicos, dizendo “administradores devem ler os artigos ou discutir a importância e o contexto dos artigos com os próprios pesquisadores.”

O uso inadequado de métricas pode resultar em consequências negativas

Os participantes descreveram as possíveis consequências negativas que podem estar associadas à aplicação incorreta de métricas, tanto intencionais como não intencionais. Por exemplo, um pesquisador preocupou-se com o fato de os administradores poderem aplicar métricas de forma a justificar não dar aumentos, fazer cortes nos benefícios ou “livrar-se do corpo docente de que não gostam”. Outro descreveu o potencial para consequências de maior alcance: “[p] decisões unitivas podem ser tomadas não apenas sobre minha própria carreira, mas sobre minha unidade acadêmica, programa, faculdade, centros de pesquisa e institutos relevantes para o meu trabalho, etc.”

Os participantes observaram os efeitos potenciais sobre a direção e o foco da pesquisa de maneira mais ampla, especialmente se as métricas fossem pesadas. Um participante comparou isso a consequências não intencionais de um maior foco nas pontuações de testes na educação, afirmando que:

“Devemos estar motivados para fazer o que pensamos ser boa ciência, não o que pensamos que vai receber muitas citações muito rapidamente ou, Deus nos livre, muitas menções no Twitter. Não devemos ignorar as métricas, mas dar-lhes muito poder nos colocaria em risco de nos tornarmos como os professores do ensino fundamental que sentem que só podem se concentrar em ajudar seus alunos a ter um desempenho em testes padronizados, ou o editor do periódico que evita a importante (se não emocionante) notícia a favor da ‘isca de clique’. ”

Outros falaram sobre a possibilidade de “manipular o sistema”, para que os pesquisadores mudem ou sintam pressão para mudar a direção de suas pesquisas para melhorar suas métricas. Como um participante afirmou, qualquer medida de sucesso “se tornará o alvo da habilidade de jogo e as práticas serão alteradas para criar uma pontuação melhor.” Os participantes sentiram que o foco nas métricas como base para a avaliação pode fazer com que os pesquisadores se sintam desencorajados a seguir determinadas linhas de investigação que podem ter maior impacto no campo ou impactos mais amplos na sociedade, mas podem não resultar em publicações altamente citadas.

A tomada de decisão compartilhada em relação às métricas é necessária

Os participantes expressaram o desejo de se envolver nos processos de tomada de decisão em torno do uso de métricas. Em vez de uma abordagem de cima para baixo para determinar quais métricas aplicar e em quais situações, os participantes defenderam um modelo mais colaborativo, já que “gostariam de garantir que os administradores tivessem assistência / suporte técnico [e] compartilharam [as métricas] com o corpo docente para avaliar a veracidade. ”

Os participantes reconheceram que as métricas são cada vez mais comuns e potencialmente benéficas. Um comentou:

“Embora eu queira que as métricas acadêmicas sejam usadas pelos administradores para rastrear a produtividade da pesquisa, eu só quero que isso seja feito após um exame minucioso dos problemas pelo corpo docente. O corpo docente que será julgado deve estar envolvido na concepção do sistema e métricas pelos quais eles serão julgados. Mas eles precisam definir algumas métricas. Dizer ‘não podemos ser julgados objetivamente’ carece de credibilidade no que me diz respeito. ”

Os participantes também observaram que, por meio de seu envolvimento no processo de tomada de decisão, eles seriam capazes de identificar as métricas mais adequadas para uso em seu campo ou subcampo: “[Eu] espero que os professores tenham a chance de propor e justificar [ o] uso das métricas mais alinhadas com seu trabalho, ao invés de ter uma ou duas impostas a todos os tipos de pesquisa. ”

Discussão

Este estudo foi conduzido para explorar as visões de professores e pesquisadores sobre o uso de métricas acadêmicas para informar os bibliotecários de nossa instituição sobre como fornecer melhor suporte. No geral, os participantes expressaram a convicção de que são capazes de usar métricas de maneira apropriada para avaliar o trabalho dos outros e de outros, para tomar decisões sobre onde compartilhar seu trabalho e defender a si mesmos; e que o uso adequado de métricas requer uma compreensão das diferenças disciplinares que aqueles fora de uma área de assunto (como administradores) podem não ter.

As preocupações do pesquisador com relação ao uso de métricas de impacto de pesquisa pelos administradores se concentraram amplamente na necessidade de uma compreensão diferenciada dos pontos de dados, incluindo a seleção apropriada de medidas e as consequências negativas potenciais da aplicação sem esse entendimento. O desejo dos pesquisadores de se envolver na conversa em torno do uso de métricas reflete a importância de usar medidas sensíveis à disciplina como um componente de uma avaliação holística de produtividade e impacto. Ecoando sentimentos encontrados em pesquisas anteriores, 38o desejo dos pesquisadores de estar ativamente envolvidos na tomada de decisões, de posicionar as métricas como um dos muitos pontos de dados e de considerar a natureza robusta do papel de um membro do corpo docente reflete a necessidade de evitar avaliações redutivas do corpo docente ou da pesquisa. Os pesquisadores estavam corretamente preocupados com o fato de que uma única medida, amplamente implementada e sem contexto, não refletisse com precisão suas diversas áreas de pesquisa e resultados. Dado o papel dos administradores em influenciar as trajetórias de carreira e alocar recursos, não é de surpreender que a perspectiva de métodos de avaliação inadequados seja motivo de grande preocupação. Os administradores que podem estar usando métricas em processos de tomada de decisão devem ser transparentes sobre quais medidas estão sendo usadas e o peso dessas medidas dentro do processo.

A potencial simplificação do impacto e a possibilidade de uso impróprio pelos administradores estava ligada a questões maiores em torno da direção e do valor da pesquisa. Semelhante ao que foi encontrado por Abbott et al., Os pesquisadores expressaram preocupação de que tal sistema de incentivos possa influenciar os pesquisadores a redirecionar seus esforços para áreas de estudo que seriam mais bem atendidas por tais medidas. [39] Embora houvesse alguma especulação sobre o potencial de “jogar o sistema” ou outros tipos de manipulação métrica, os pesquisadores também refletiram que isso poderia ser um problema maior, pois tal sistema de incentivos poderia mudar as motivações para fazer pesquisas e, ao fazê-lo, pode ter o potencial de ramificações negativas de longo prazo, à medida que os indivíduos buscam recompensas em vez de descobertas. É imperativo reconhecer que os sistemas de incentivos universitários têm o potencial de influenciar as práticas de pesquisa e publicação de indivíduos e, por sua vez, influenciar a cultura e o foco departamental e disciplinar. A interconexão entre sistemas de incentivos, escolhas de publicação e métricas deve ser colocada em primeiro plano nas conversas sobre se, como ou quando as métricas estão sendo empregadas por administradores, agências de financiamento e outras partes interessadas.

Embora os participantes tenham descrito suas dúvidas quanto ao uso de métricas na avaliação de professores e pesquisadores, eles empregaram essas medidas em suas avaliações de periódicos e trabalhos de terceiros. Isso ecoa as descobertas de Thuna e King, que descobriram que pesquisadores em uma variedade de disciplinas consideram o impacto do periódico ao selecionar locais de publicação e métricas de impacto de pesquisa ao servir em comitês de contratação e P&T. [40] Entre nossos participantes, o impacto do periódico em particular foi frequentemente considerado um substituto para a qualidade do periódico e um componente-chave na avaliação da qualidade do artigo, particularmente em áreas de estudo novas ou desconhecidas. Isso pode indicar que, embora os pesquisadores reconheçam a necessidade de nuances na interpretação das métricas no nível do autor, tal reconhecimento não foi totalmente transferido para a avaliação do periódico, apesar das preocupações bem estabelecidas em relação ao Fator de Impacto do Periódico. [41] Isso cria uma oportunidade para as bibliotecas fornecerem educação e divulgação sobre estratégias de avaliação de periódicos, tanto para o próprio trabalho quanto para a pesquisa de outros. Os bibliotecários de ligação, como especialistas no assunto, têm uma combinação apropriada de conhecimento disciplinar e compreensão das práticas de publicação para fornecer esse suporte e visão a seus departamentos.

Ao considerar suas próprias pesquisas e áreas de pesquisa, os participantes utilizaram as métricas como meio de descoberta, no rastreamento de trabalhos semelhantes aos seus por meio de alertas de citações e no acompanhamento dos pesquisadores em suas disciplinas. Isso reflete os sentimentos encontrados em Thuna e King e em DeSanto e Nichols. [42] As métricas em si não são o ponto final primário dessas atividades; em vez disso, são um mecanismo pelo qual os pesquisadores melhor entendem e conceituam suas redes de pesquisa.

Os participantes questionaram o quão perto de uma métrica proxy estão para o verdadeiro impacto do trabalho de um pesquisador. Na verdade, quando o objetivo principal de um pesquisador é influenciar os comportamentos da comunidade, melhorar a prática ou ensinar de forma mais eficaz, o sucesso nesses esforços não é amplamente indicado por meio de métricas baseadas em citações, pois estão produzindo conteúdo como peças de divulgação amigáveis ​​à comunidade ou ensino e divulgação materiais em vez de artigos científicos. Apesar dessas preocupações, os resultados dos dados quantitativos do estudo multisite maior feito por Bakker et al. mostrou que uma minoria de participantes conhecia altmetria. [43] Isso está de acordo com as descobertas de DeSanto e Nichols e também de Thuna e King sobre os baixos níveis de familiaridade ou adoção de altmetria pelo corpo docente. [44] Essa desconexão entre a necessidade de uma representação mais ampla do impacto e a baixa consciência dos mecanismos para descrever um impacto mais amplo pode ser uma área para futuras atividades de extensão e expansão dos serviços. As instituições e os administradores podem desejar considerar como os resultados da pesquisa não relacionados ao artigo são reconhecidos e incentivados no processo de avaliação e garantir que todo o escopo das atividades de um membro do corpo docente seja representado nesses processos.

As preocupações expressas geralmente se concentravam no uso potencial de medidas únicas entre as disciplinas, embora esse cenário não fosse referenciado diretamente ou aludido nas perguntas da pesquisa. A associação imediata de métricas de impacto de pesquisa com o uso de uma única métrica parece causar medo significativo entre os pesquisadores. A recontextualização de métricas como um conjunto de pontos de dados, cada um dos quais pode ser considerado apropriado ou inapropriado em certos contextos, é necessária quando se considera o desenvolvimento de um diálogo produtivo sobre esses tópicos. As bibliotecas estão bem posicionadas para informar pesquisadores e administradores sobre o uso apropriado de métricas. A aquisição e o uso dessas medidas são uma questão de alfabetização informacional.

Limitações do estudo

Este estudo é limitado devido ao número de respondentes e ao ambiente de estudo de uma única universidade. Aproximadamente 9 por cento dos 4.855 indivíduos para os quais a pesquisa foi enviada responderam a pelo menos uma pergunta aberta, e os indivíduos que optaram por responder à pesquisa e fornecer respostas de texto podem ter características diferentes de indivíduos que não responder. No entanto, os tamanhos das amostras na pesquisa qualitativa são julgados de forma diferente da análise quantitativa. 45 Os 435 participantes, embora representem apenas uma porção limitada do total de respondentes possíveis, forneceram dados robustos de profundidade suficiente para atingir a saturação.

Da mesma forma, reconhecemos que pesquisadores baseados em uma instituição de concessão de terras R1 nos Estados Unidos podem ter perspectivas, contextos e experiências diferentes dos pesquisadores baseados em outros tipos de instituições ou em outras áreas geográficas. A questão da generalização na pesquisa qualitativa permanece controversa e tem sido discutida em vários locais. 46 Embora nosso estudo possa não ser generalizável para uma ampla população, nossa intenção é fornecer uma análise aprofundada dos pensamentos e percepções dos participantes em torno desse fenômeno, que pode ser expandida no desenvolvimento, implementação e avaliação de serviços de biblioteca.

Conclusão

Ao considerar o uso de métricas por outros (como administradores) para avaliar sua pesquisa, os participantes da pesquisa expressaram que é necessário conhecimento disciplinar e subdisciplinar suficiente, combinado com uma abordagem colaborativa e transparente para a seleção de medidas. Encontramos uma preocupação significativa entre os participantes de que o uso inadequado de métricas, ou o uso de uma única métrica, na avaliação de pesquisadores individuais, não apenas colocaria em desvantagem os indivíduos, mas também teria consequências negativas para departamentos e disciplinas.

Os pesquisadores descreveram uma relação complicada com as métricas de impacto da pesquisa. Embora expressem a necessidade de profundo conhecimento disciplinar ao aplicar métricas, os pesquisadores relataram sentir-se confiantes em seu próprio uso de métricas para avaliar o trabalho de outros e a qualidade dos periódicos, tanto em suas próprias disciplinas como em outras disciplinas.

Dada a paisagem complexa de fontes de dados múltiplas e freqüentemente conflitantes, medidas emergentes e riscos potencialmente elevados, não é surpreendente que os pesquisadores enfrentem desafios com as métricas. As bibliotecas estão bem posicionadas para apoiar pesquisadores e administradores na compreensão das nuances das métricas de impacto da pesquisa. No entanto, para fornecer esse suporte de forma eficaz, as bibliotecas devem ter uma compreensão robusta do conhecimento, práticas e cultura dos pesquisadores em torno das métricas de impacto da pesquisa. Este estudo fornece uma visão geral que pode ser usada para adaptar serviços para atender às preocupações do corpo docente e do pesquisador.

APÊNDICE A. Pesquisa

Este apêndice contém o texto completo da pesquisa. Este artigo analisa as respostas às questões 14–16. Veja Bakker et al. para análise das questões quantitativas (questões 1–13):

Bakker, C. et al. 2019. “How Faculty Demonstrate Impact: A Multi-Institutional Study of Faculty Entendimento, Percepções e Estratégias Com Relação às Métricas de Impacto.” Em ACRL 2019 Proceedings: Association of College and Research Libraries, Cleveland, Ohio, 10-13 de abril de 2019.

Disponível em: https://alair.ala.org/handle/11213/17653 .

1. Em que disciplina você colocaria sua pesquisa?
   • □ Ciências e Ciências da Saúde
   • □ Artes e Humanidades
   • □ Ciências Sociais, Negócios e Serviços Sociais
2. Você está familiarizado com as métricas acadêmicas (fator de impacto do periódico, índice h e outras métricas)?
   • □ Nada familiarizado (métricas acadêmicas são completamente novas para mim)
   • □ Marginalmente familiarizado (já ouvi falar de métricas acadêmicas)
   • □ Um pouco familiarizado (conheço métricas acadêmicas, mas não as usei pessoalmente)
   • □ Familiar (eu sei sobre métricas acadêmicas e tenho explorado como usá-las)
   • □ Extremamente familiar (eu acompanho minhas próprias métricas acadêmicas e as uso regularmente para demonstrar o impacto acadêmico)
3. Você está familiarizado com “altmetria” ou meios não tradicionais de demonstrar impacto acadêmico (downloads, visualizações de página, leitores de Mendeley, seguidores de mídia social e assim por diante)?
   • □ Nada familiarizado (este termo é completamente novo para mim)
   • □ Marginalmente familiar (já ouvi o termo altmetria)
   • □ Um pouco familiarizado (já ouvi falar de altmetria, mas não a usei pessoalmente)
   • □ Familiar (eu sei sobre altmetria e explorei a coleta de altmetria com minha própria bolsa de estudos)
   • □ Extremamente familiar (eu monito minha própria altmetria e as uso regularmente para demonstrar impacto acadêmico)
   • □ Seu departamento incentiva a inclusão de métricas acadêmicas em seu dossiê de promoção e mandato?
   • □ Sim
   • □ Não
   • □ Não sei
4. Seu departamento exige a inclusão de métricas acadêmicas em seu dossiê de promoção e mandato? *
   • □ Sim
   • □ Não
   • □ Não sei
5. Qual a importância das métricas acadêmicas para o processo de promoção e estabilidade do seu departamento? *
   • □ Nada importante
   • □ Não muito importante
   • □ Algo importante
   • □ Bastante importante
   • □ Extremamente importante
   • □ Não sei
6. Que outras medidas de impacto da pesquisa são avaliadas no processo de promoção e estabilidade do seu departamento? *
7. Que recursos você usa para encontrar informações métricas acadêmicas?
   • □ Nenhum
   • □ Relatórios de citações do periódico
   • □ Web of Science
   • □ Scimago Journal e Country Rank
   • □ Scopus
   • □ Google Scholar
   • □ InCites
   • □ Impact Story
   • □ ResearchGate
   • □ Mendeley
   • □ PlumX
   • □ Publicar ou perecer
   • □ Academic Analytics
   • □ Experts @ Minnesota
   • □ SciVal
   • □ Digital Commons Dashboard
   • □ Outro:
8. Onde no campus você pediria ajuda com métricas acadêmicas?
9. Com que precisão as métricas acadêmicas refletem a importância do trabalho acadêmico de um pesquisador?
   • □ Nem um pouco preciso
   • □ Não muito preciso
   • □ Com alguma precisão
   • □ Com bastante precisão
   • □ Extremamente preciso
10. Por que você se sente assim?
11. Quanto peso você acha que seu departamento deve colocar nas métricas acadêmicas em seus processos de promoção e estabilidade? *
    • □ Sem peso
    • □ Muito pouco peso
    • □ Algum peso
    • □ Muito peso
12. Por que você se sente assim?
13. Além de reunir seus dossiês de promoção e estabilidade, * quando você analisa as métricas acadêmicas?
14. Quais informações sobre métricas acadêmicas ou rastreamento de impacto seriam mais úteis para você?
15. Descreva quaisquer preocupações que você possa ter sobre os administradores da universidade rastreando os dados de métrica acadêmica de seu corpo docente.

* Observação: havia duas versões desta pesquisa: uma emitida para professores e pesquisadores com estabilidade / regime de posse e outra para professores e pesquisadores não titulares / sem estabilidade. A pesquisa emitida para o corpo docente e pesquisador do Non-Tenure-Track substituiu as referências a dossiês de promoção e estabilidade por referências a análises anuais de desempenho.

APÊNDICE B. Codebook

Código	Descrição
Preocupações
Precisão de dados	Preocupações sobre se os pontos de dados específicos (como contagens incorretas de citações) são precisos ou completos.
Uso administrativo: falta de transparência	Expressão de falta de compreensão de como os administradores estão usando as métricas de impacto da pesquisa. Inclui preocupações com relação à falta de clareza sobre expectativas e normas.
Uso administrativo: levando a resultados negativos	Expressão de preocupação de que o uso impróprio ou aplicação de métricas de impacto de pesquisa por parte dos administradores pode levar a desafios em relação à alocação de recursos, prestígio, progressão na carreira e assim por diante.
Uso administrativo: nuance de mal-entendido e diferença disciplinar	Expressão de preocupação de que os administradores apliquem as métricas de impacto da pesquisa de maneira generalizada, sem reconhecer diferenças disciplinares ou outras nuances. Inclua preocupações de que os administradores não devem usar uma única medida de impacto. Incluir “métricas são uma simplificação exagerada” aqui.
Uso administrativo: ênfase indevida	Menções de ênfase exagerada ou excesso de confiança por parte dos administradores.
Quantificação	Inclui declarações de que as métricas estão “ok”, mas apenas se as informações qualitativas forem usadas com as quantitativas. Também inclua declarações sobre como enfatizar a quantidade em vez da qualidade.
Interdisciplinaridade ou diferenças disciplinares	Expressão de preocupações em relação às diferenças disciplinares e sua representação nas métricas de pesquisa, separadas dos usos administrativos.
Questões de autoria ou crédito	Incluindo a ordem do autor e responsabilidades.
Nenhum	Declaração explícita de não ter quaisquer preocupações.
Potencial para manipulação	Expressão de preocupações quanto ao potencial de manipulação das métricas.
Cauda abanando o cão	A influência potencial das métricas em pesquisadores líderes na escolha de tópicos de pesquisa “da moda”. Inclua qualquer coisa sobre tendência ou “tópicos quentes” nesta categoria. Captura a sensação de que as métricas estão influenciando o que as pessoas pesquisam e como / onde publicam. Inclua também o conceito de “números em busca”.
Oportunidade	Impacto do ciclo de vida da citação no impacto da publicação (como o tempo necessário para o acúmulo de citações).
Desejos
Em formação	Um desejo expresso de ter mais informações ou saber mais sobre o uso, histórico ou outros aspectos das métricas e dados associados. Inclui respostas que simplesmente indicam o desejo de recuperar uma métrica específica (como “Fator de impacto do diário”).
Suporte interpessoal	Um desejo expresso de maior apoio individual, como a criação ou coleta de métricas em nome do pesquisador.
Nenhum	Declaração explícita de não querer nenhuma informação.
Recursos (ou ferramentas)	Um desejo expresso por ferramentas e recursos por meio dos quais o pesquisador pode acessar informações relacionadas a métricas.
Não especificado	Um desejo expresso por algo, sem especificação adicional de quê.
Falta de conhecimento
Negativo	A falta de conhecimento das métricas de impacto da pesquisa, juntamente com a falta de desejo de aprender mais e uma sensação de negatividade em relação ao uso de métricas.
Neutro	Falta de conhecimento das métricas de impacto da pesquisa sem opinião ou atitude perceptível. Inclui “inseguro” ou “Não sei o suficiente para saber”.
Positivo	Falta de conhecimento das métricas de impacto da pesquisa, mas associada ao desejo de maior compreensão ou sentimento geral positivo.
Motivação
Avaliação de outros	Inclui o uso declarado de métricas por pesquisadores (não administradores) para avaliar outros (exemplo: explorar métricas de candidatos a empregos do corpo docente).
Curiosidade	Inclui declarações que expressam a curiosidade das próprias métricas.
Emprego e compensação	Inclui promoção e estabilidade, avaliações de desempenho, procura de emprego e outros incentivos. Avaliação de si mesmo (não dos outros).
Avaliação Externa	Avaliação de si mesmo pelos outros.
Prompt externo	Após o recebimento de uma notificação de um serviço como o ResearchGate. Separado da avaliação externa.
Busca de informação e colaboração	Buscar informações sobre outras pessoas ou suas obras. Inclui declarações sobre o uso de métricas ao realizar revisões de literatura.
Avaliação do periódico	Decidir onde publicar ou avaliação de periódicos. Não inclua declarações relacionadas à publicação, mas que não sejam claras (devem ser não codificadas).
Autoavaliação ou benchmarking	Uso de informações de métricas para fins de avaliação da própria produtividade, impacto ou trajetória de carreira
Utilidade percebida
Sentimentos negativos	A validade e a utilidade das métricas de impacto da pesquisa são questionadas ou menosprezadas.
Sentimentos positivos	As métricas de impacto da pesquisa são descritas como úteis ou um uso positivo delas é descrito.
Períodos de tempo
Ambíguo (frequente)	Inclui referências à verificação regular, rotineira, o tempo todo, frequentemente (em outras palavras, advérbios).
Ambíguo (raro)	Inclui quase nunca, ocasionalmente (ou seja, advérbios).
Anualmente	Referências à verificação de métricas anualmente.
Pelo menos mensalmente	Referências para verificar as métricas pelo menos uma vez por mês.
Pelo menos duas vezes por ano	Especifica algum tipo de unidade de tempo (em outras palavras, sem advérbios).
Nunca	Declarações de que o entrevistado nunca olha para as métricas.
De outros
Ferramentas e recursos	Referência a plataformas específicas por meio das quais as informações do impacto da pesquisa podem ser coletadas, mas não expressando o desejo por ferramentas ou recursos.
Impactos alternativos	Inclui impacto internacional, impacto de livros, “impacto no mundo real”, necessidade de análise de sentimento, uso de altmetria e assim por diante.

Notas

BAKKER, Caitlin; COOPER, Kristen; LANGHAM-PUTROW, Alisson; McBURNEY, Jenny. Qualitative Analysis of Faculty Opinions on and Perceptions of Research Impact Metrics. College and Research Libraries, v.81, n.6, 2020.  Disponível em: https://crl.acrl.org/index.php/crl/article/view/24614/32434Vol 81, No 6 (2020) Acesso em: 07 nov. 2020.