Não sabe como demonstrar o impacto? Laura Meagher e David Edwards descrevem uma compreensão dinâmica da avaliação de impacto composta de ‘blocos de construção’. Esses blocos de construção são cinco tipos de impactos; cinco categorias amplas de partes interessadas; e oito fatores causais, juntamente com um conjunto de questões reflexivas abrangentes. Esta é uma tradução livre da matéria original em inglês: How to tell an impact story? The building blocks you need [1]

A pressão crescente colocada sobre organizações de pesquisa de todos os tipos (não apenas universidades) para demonstrar impacto é freqüentemente repassada para pesquisadores e gerentes de pesquisa sem o apoio de uma mudança cultural dentro da instituição.

Com isso em mente, a Forest Research, agência de pesquisa do governo que apoia o setor florestal do Reino Unido, se comprometeu a promover uma cultura de troca de conhecimento e interdisciplinaridade em suas pesquisas. Essa missão resultou de uma avaliação de impacto externo de 2012 que recomendou direcionar a atenção para ajudar os pesquisadores a gerar e registrar os impactos. Além das atividades do programa, como oficinas de treinamento e conversas em pequenos grupos, a iniciativa identificou um desafio adicional: o de desmistificar e operacionalizar a avaliação de impacto de forma coerente e acessível que, no entanto, permite diversidade, sutileza e incerteza.

A iniciativa identificou um desafio adicional: desmistificar e operacionalizar a avaliação de impacto de uma forma coerente e acessível que, no entanto, permita a diversidade, a sutileza e a incerteza.

Uma nova estrutura de avaliação: blocos de construção

Para enfrentar esse desafio quase contraditório, desenvolvemos uma nova estrutura de avaliação que testamos em vários projetos em um exercício piloto. Trabalhar com o esboço da estrutura tornou possível produzir uma dúzia de estudos de caso de impacto completos a partir de observações iniciais. A análise deste exercício indicou que os componentes da estrutura eram suficientemente claros e abrangentes para que os pesquisadores e as partes interessadas entendessem e usassem na construção de uma série de narrativas muito diferentes.

Imaginamos a estrutura como um conjunto de blocos de construção que poderiam ser combinados de várias maneiras para contar quase qualquer história de impacto, cada um lançando luz sobre as complexas interações entre pesquisa, política e prática. Na verdade, quando demos uma demonstração no Fórum de Mobilização de Conhecimento do Reino Unido de 2019, representamos cada componente com diferentes blocos de madeira (adequados para o trabalho com uma agência de pesquisa florestal!) E os usamos para contar duas narrativas de estudo de caso de impacto contrastantes, mostrando como poderíamos manipular as telhas em diferentes configurações para revelar as relações entre elas. O público pareceu apreciar nossas principais mensagens de dinâmica – em termos de interações multidirecionais que se desdobram em sequências variadas – e heterogeneidade – em termos de tipos de impacto,

Quais são os blocos de construção?

São: cinco tipos de impactos; cinco categorias amplas de partes interessadas; e oito fatores causais, juntamente com um conjunto de questões abrangentes.

Cinco tipos de impacto

A partir de avaliações de impacto anteriores e outras pesquisas, descobrimos que fornecer uma variedade de tipos de impacto a serem considerados frequentemente faz com que as pessoas se sintam ‘liberadas’ e ‘autorizadas’ a ir além das mudanças instrumentais convencionalmente buscadas na busca de seus impactos. Os cinco tipos de impacto são:

1) Instrumental: mudanças nos planos, decisões, comportamentos, práticas, ações, políticas

2) Conceitual: mudanças no conhecimento, consciência, atitudes, emoções

3) Capacitação: mudanças nas habilidades e conhecimentos

4) Conectividade duradoura: mudanças na qualidade dos relacionamentos e confiança

5) Cultura / atitudes em relação à troca de conhecimento e impacto da própria pesquisa

Não existe uma hierarquia fixa ou sequência linear inerente a esta tipologia, e todos têm valor por si próprios, embora os dois últimos, impactos baseados em processos, possam tornar outros tipos de impactos mais prováveis.

Perguntar ‘ Como sabemos?’ leva à coleta de evidências, incluindo o reconhecimento de indicadores reveladores de mudança.

Nós imaginamos a estrutura como um conjunto de blocos de construção que poderiam ser combinados de várias maneiras para contar quase qualquer história de impacto, cada um lançando luz sobre as complexas interações entre pesquisa, política e prática

Cinco categorias de partes interessadas

Para estimular uma definição (ou mapeamento) adicional para uma situação particular, a estrutura oferece cinco categorias amplas de partes interessadas, as quais, é claro, podem ser subdivididas ainda mais e podem influenciar, bem como serem influenciadas pelo processo de pesquisa e seus resultados.

1) Formuladores de políticas: agências governamentais e órgãos reguladores, locais, nacionais e internacionais

2) Profissionais: públicos, privados, ONGs

3) Comunidades: de lugares ou interesses, público em geral

4) Pesquisadores: dentro e fora do projeto e da instituição

5) Outro

Oito fatores causais

Como a geração de impacto é um processo dinâmico, é importante perguntar: ‘ Por que / como as mudanças ocorreram ?‘ A estrutura oferece oito fatores causais:

1) Enquadramento do problema: Nível de importância; tratamento do problema; negociação ativa de questões de pesquisa; adequação do projeto de pesquisa.

2) Gestão da pesquisa: cultura da pesquisa; integração entre disciplinas e equipes; promoção de serviços de pesquisa; planejamento; estratégia.

3) Entradas: Financiamento; capacidade e rotatividade de pessoal; legado de trabalhos anteriores; acesso a equipamentos e recursos.

4) Produtos: Qualidade e utilidade do conteúdo; formato apropriado.

5) Disseminação: entrega direcionada e eficiente de resultados aos usuários e outros públicos.

6) Engajamento: Nível e qualidade da interação com os usuários e demais stakeholders; coprodução de conhecimento; colaboração durante a concepção, disseminação e aceitação dos resultados.

7) Usuários: Influência de intermediários de conhecimento, por exemplo, ‘líderes” e grupos de usuários; incentivos e reforço para encorajar a aceitação.

8) Contexto: Fatores sociais, políticos, econômicos, biofísicos, climáticos e geográficos.

Questões reflexivas

As questões subjacentes à estrutura são: ‘Quem ou o que mudou? (E como sabemos?); Por que ou como as mudanças ocorreram? E que lições podem ser aprendidas? ‘ 

Estas são centradas em torno de duas questões que incentivam os usuários do framework a recuar e pensar sobre quais lições foram aprendidas com relação à identificação e geração de impacto, para planejar ações e melhorar esforços futuros:

1) O que funcionou? O que poderia (ou deveria) ter sido feito de forma diferente?

2) O que poderia (ou deveria) ser feito no futuro?

A estrutura pode ser usada para estimular a reflexão crítica por pesquisadores individuais ou equipes, idealmente envolvendo usuários finais e outras partes interessadas, ao longo do ciclo do projeto, nas fases de planejamento, meio e final.

Tentamos encorajar os pesquisadores a ver o impacto como algo complexo, desenvolvendo-se frequentemente ao longo de longos períodos de tempo, em um contexto dinâmico no qual diferentes fatores causais, partes interessadas e os próprios impactos interagem.

Da simplicidade à complexidade

Ao avaliar os impactos, pode haver a tentação de empacotar noções de impacto em unidades prontamente contáveis ​​e comparáveis ​​que surgem como resultado de uma sequência linear simples de eventos. Em vez disso, tentamos encorajar os pesquisadores a ver o impacto como algo complexo, desenvolvendo-se frequentemente ao longo de longos períodos de tempo, em um contexto dinâmico no qual diferentes fatores causais, partes interessadas e os próprios impactos interagem. Em última análise, os impactos são altamente heterogêneos e percorrem diferentes caminhos de desenvolvimento. Suas histórias são multidimensionais e baseadas em interações complexas.

A silvicultura foi um campo ideal para desenvolver uma estrutura desse tipo, pois reúne uma orientação de “mundo real” com uma abordagem interdisciplinar que abrange as ciências naturais e sociais. No entanto, vemos a estrutura como tendo uma aplicação mais ampla e sendo flexível o suficiente para atender às necessidades de outras disciplinas e organizações de pesquisa.

Os ‘blocos de construção’ (tipos de impacto, partes interessadas e fatores causais) que identificamos podem ser reunidos em várias combinações para construir narrativas de impacto diferenciadas de uma forma que seja útil para a responsabilidade (por exemplo, para financiadores), comunicação (por exemplo, para as partes interessadas) e aprendizagem ( por exemplo, para pesquisadores / gestores).

Seja qual for sua organização, setor ou país, encorajamos os leitores a experimentarem e julgarem por si próprios!

Esta postagem baseia-se no artigo de coautoria dos autores:

David M. Edwards e Laura R. Meagher. A framework to evaluate the impacts of research on policy and practice: a forestry pilot study. Forest Policy and Economics, v.114, May 2020. https://doi.org/10.1016/j.forpol.2019.101975

Nota: Este artigo apresenta a opinião do autor, e não a posição do LSE Impact Blog, nem da London School of Economics. Por favor, reveja nossa  política de comentários  se você tiver alguma dúvida em postar um comentário abaixo.

Crédito da imagem: do próprio autor