Diagnóstico da maturidade de pesquisa: uma ferramenta poderosa para construir ResearchOps

Recentemente, saíram os primeiros resultados de uma pesquisa conduzida pelo Pedro Vargas sobre as práticas ligadas a área de Operações de Pesquisa no nosso país.

O primeiro resultado liberado foi sobre a formação dos times, situação de trabalho, atuações, funções e outros temas relacionados a esse universo. Vale a pena conferir! Mas o que mais me chamou atenção foi a seguinte informação:

Cerca de 50% dos respondentes disseram ter ingressado na função assinalada na pergunta anterior em 2021, seguido de 2020 e 2019. Isso mostra que as respostas viram de profissionais ainda recentes no mercado, mas que não significa que têm uma senioridade baixa. Escrito por Pedro Vargas em Mapeamento de ResearchOps 2022: visão geral

Nesse contexto, podemos imaginar que a área de Research Ops no brasil é extremamente recente e por isso decidi contar um pouco de como foi a jornada de construção da área de UX Research OPS na RD Station. Meu objetivo é compartilhar uma ferramenta poderosa que utilizamos para guiar nossas ações. Acredito que compartilhando esse conhecimento, vamos ajudar outros times que estão com o desafio de estruturar uma operação de pesquisa em suas empresas.

Minha jornada na RD Station começou em outubro de 2021. Anteriormente, havia uma User Experience Researcher, com foco em OPS, mas também em executar pesquisas. Então aconteciam pesquisas realizadas pelos Product Designers, pela UX Researcher e também haviam algumas coisas de operações já construídas e consolidadas pela researcher do time.

Na minha chegada, também chegou a 

Maria Luisa Fernandes(Malu), que também se juntou ao time para atuar como UX Researcher. No início confesso que acreditava que o nosso trabalho seria 70% pesquisa e 30% operações, entretanto, nas primeiras semanas já identifiquei que havia muito "mato alto" para ser cortado em relação à estrutura de operações de pesquisa.

Com essa oportunidade, junto com a Malu, iniciamos o primeiro trabalho que todo ReOps deveria fazer em algum momento (minha opinião), diagnosticar o cenário/maturidade do time em relação à pesquisa e propor um plano de ação com foco em entregas com maior impacto para o time (designers e product managers) e que ajudassem escalar com qualidade a prática de pesquisa na empresa.

A ferramenta que vou compartilhar, aprendi com minha queridíssima e antiga líder 

Thais Falabella, para aplicar na RD Station fizemos algumas melhorias e evolução do modelo criado pela Thaís.

Esse material auxiliou a definir quais seriam os primeiros passos da área de UX Researcher da RD Station, agora em 2023 também vamos transbordar essa ferramenta para as especialidades de UX Writer e Design System.

Mas afinal, o que é essa ferramenta?

É um diagnóstico das principais frentes nas quais uma área de Research precisa atuar: relevância da pesquisa, métodos e qualidade de pesquisa, processo de pesquisa, recrutamento, documentação e LGPD. Para cada uma dessas frentes temos subtópicos que as sustentam e uma escala de pontuação de 1 a 3, que avalia o quão maduro aquele aspecto está dentro do time.

Frentes que são avaliadas e critérios de análise

O primeiro passo para fazer o diagnóstico, é entender quais frentes ou pilares de Research fazem sentido para o contexto de cada organização. A pergunta que nos ajudou a entender melhor as frentes e critérios foi:

O que um time de design e research precisa fazer/conter para conseguir escalar pesquisa com qualidade na empresa e então construir produtos e experiência centrados no usuário?

Abaixo, vou listar todos as frentes e seus subtópicos que fizeram mais sentido para a RD Station.

01. Relevância de pesquisa.

O primeiro Ponto Macro de Avaliação é Relevância, quanto pesquisa é relevante dentro da organização. Para entender a relevância é analisado os subtópicos abaixo:

• Impacto: As pesquisas realizadas no time são um orientador para tomada de decisão e são relevantes para o resultado final do produto. Os insights de pesquisa geram acionáveis e as pesquisas são utilizadas para direcionar backlog e priorização.
• Inserção: As pesquisas são realizadas durante diferentes etapas do processo de design.
• Frequência: Em relação as entregas de design, todas em algum momento do processo ocorre algum tipo de pesquisa para envolver o cliente.

02. Métodos e Qualidade de pesquisa

O time tem capacidade, habilidade e experiência para aplicar diferentes métodos de pesquisa? E assim, conseguirem ser mais assertivos nas suas descobertas?

Para entender a maturidade em relação aos métodos, definimos os seguintes subtópicos:

• Diversidade: Possuem variedade nos métodos de pesquisas, realizam pesquisas de discovery, validação, benchs, testes de usabilidade, grupos focais, dados de CSAT, NPS, Questionários, Experimentos.
• Qualidade: Os times conhecem e aplicam as etapas básicas para realizar uma pesquisa, conhecem e aplicam de diferentes métodos e sabem quando, como e porque usar cada método. Os times executam com excelência as diferentes etapas de de pesquisa, planejamento, execução e análise

03. Processo de Pesquisa

O time executa as etapas macros de pesquisa? Existe um guia que facilite o processo de execução das pesquisas? O time independente do método sabe quais são os passos para conseguir executar a pesquisa?

Subtópicos:

• Passo a Passo: Existe um passo a passo organizado de como realizar pesquisa, independente do método. Os times utilizam deste material.
• Análise de Dados: Utilizam de diferentes fontes de dados para tomarem suas decisões. Recorrem a dados de diferentes fontes antes de realizar uma pesquisa.

04. Recrutamento

Existe uma estrutura, ferramentas e boas práticas que facilitem a execução da etapa de recrutamento?

Subtópicos:

• Seleção e Diversidade: O time define critérios, busca diversidade dos perfis para execução da pesquisa e tem clareza de quantos clientes precisam recrutar independente do método de pesquisa.
• Recrutamento: Existe processos e ferramentas (bases de clientes, celular, e-mail, etc) de recrutamento de usuários que apoie na realização de pesquisas com diferentes perfis de usuários. O time respeita os processos de recrutamento estabelecidos pela empresa.

05. Documentação de pesquisa

Documentação é uma parte importante do processo quando falamos de escala! Existem modelos padrões de pesquisa que ensinam melhores práticas e fornecem mais agilidade para o time ao executar pesquisas? Existe um repositório de insights? Os achados de pesquisa são compartilhados?

Subtópicos:

• Modelos padrões: O time possui templates e guias padrões como referência para as principais etapas de uma pesquisa (planejamento, execução, sistematização/análise e divulgação)
• Organização dos insights e arquivos de pesquisa: O time possui e consulta um repositório de pesquisa antes da realização de novas pesquisas. Os arquivos de pesquisas estão centralizados, compartilhados com o time e segue boas práticas de armazenamento das informações.
• Compartilhamento de resultados: O time elabora material com resultado como fechamento da pesquisa e compartilha com o chapter/área os resultados da pesquisa. Além disso, disponibiliza de forma pública (internamente) os resultados da pesquisa.

06. LGPD

A prática de pesquisa está adequada à LGPD?

Subtópicos:

• Processo que adeque a prática de pesquisa em relação à LGPD: O time segue um processo de recrutamento e execução das pesquisas de acordo com a LGPD
• Armazenamento de dados de entrevista: O time possui uma organização e centralização das gravações de pesquisas com clientes e faz a exclusão periódica desses materiais

Agora que já compartilhamos todas às frentes que consideramos e seus critérios de análise, é importante compartilhar como avaliamos a maturidade do time a partir das frentes acima.

Escala de pontuação e nível de maturidade

Para cada subtópico, avaliamos o time com notas de 1 a 3, e cada pontuação significava:

• 1 ponto = Iniciante: Não atende/não executa nenhum dos critérios definidos
• 2 pontos = Intermediário: Atende parcialmente os critérios
• 3 pontos = Avançado: Atende todos os critérios

Após dar notas para cada subtópico, definimos o resultado final do time que determinaria a maturidade de todo o chapter de design. A conclusão se o time é Iniciante, Intermediário ou Avançado, é definida pela régua abaixo:

• Iniciante: A porcentagem de squads que foram avaliados como Iniciante é maioria
• Intermediário: A porcentagem de squads que foram avaliados como Intermediário é maioria
• Avançado: A porcentagem de squads que foram avaliados como Avançado é maioria

Como aplicamos o diagnóstico

Para conseguir dar notas condizentes com a realidade, nós conversamos com as lideranças, fizemos pesquisas com os designers e product managers de cada squad e a partir das conversas também fizemos nossa avaliação como especialistas.

Conversar com as pessoas foi extremamente importante para entendermos os porquês, quais foram as tentativas que o time já havia feito, o que deu certo, o que deu errado e também ter visibilidade de qual era o cenário de cada squad e os desafios que estavam enfrentando em relação à pesquisa.

Visão que o diagnóstico proporciona

Saber qual o nível de maturidade que o time se encontra, pra mim é a informação menos relevante no início. O principal valor ao fazer um trabalho desse é entender quais são os maiores desafios e gargalos que precisam ser resolvidos para o time conseguir escalar pesquisa com qualidade na organização. Além disso, o diagnóstico ajuda a definir principais iniciativas do time de research e fornece um acompanhamento da evolução do time.

Usando essa ferramenta, você consegue visualmente a partir do sistema de pontos, identificar os principais gargalos ou onde o time está mais "fraco". Como mostra a imagem abaixo

Acreditamos que a medida que evoluirmos para os níveis intermediário/ avançado, teremos escala e qualidade na execução das pesquisas e vamos facilitar que o produto realmente coloque o usuário no centro a partir das investigações de pesquisa.

Vale reforçar, as frentes e os critérios de análise do diagnóstico precisam estar de acordo com o "nível" da operação de pesquisa que sua empresa precisa.

Conclusão

O diagnóstico realizado na RD Station, orientou boa parte do nosso trabalho desenvolvido em 2022. Conseguimos manter o foco no que precisava ser construído ou melhorado e com isso, construímos com muita rapidez e qualidade uma área de Operações que consegue hoje dar escala e qualidade para a prática de pesquisa.

Ainda temos muito a melhorar, nosso objetivo é levar o time para o nível avançado. Tivemos algumas métricas e retros que nos mostraram como nosso trabalho foi essencial em 2022, agora em janeiro vamos refazer o diagnóstico para identificar quais ações vão mover o ponteiro do time para 2023.

Trabalha em uma área de UX Research? Conta pra gente os desafios de estruturar uma área de operações de pesquisa?