Como os testes beta moldam o SearchSense: o feedback dos usuários impulsiona o desenvolvimento da busca científica aprimorada por IA

Uma lâmpada acesa entre bolas de papel colorido amassadas em uma mesa verde.

Introdução

Como discutimos em artigos anteriores, estamos embarcando em uma abordagem sofisticada para a descoberta de informações científicas com o SearchSense. Mudar paradigmas de busca causa impacto nos usuários, e obter feedback e validação ao longo de todo o processo é fundamental.

No início da nossa jornada para reinventar a busca científica, levantamos a hipótese de que os usuários desejam maior flexibilidade, entrada de busca em linguagem natural e uma "inteligência" aprimorada no sistema de busca. Para validar essa hipótese, convidamos os usuários a se juntarem a nós nessa jornada de desenvolvimento.

Processo atual

Temos diversos canais para coletar feedback e orientar nosso roteiro de produto, incluindo:

  • Conversas diretas com usuários por meio de vendas, suporte ao cliente e sessões de pesquisa com usuários.
  • Mecanismos de feedback no aplicativo (e-mails e pesquisas).
  • Análise de comportamento e uso do produto.

Nossas equipes de sucesso do cliente, vendas e central de atendimento são fundamentais para ouvir a voz dos usuários — esses colegas dedicados estão em comunicação constante com nossos usuários, transmitindo os destaques, pontos problemáticos e ideias de melhoria para a equipe de produto. Também entramos em contato com clientes individualmente para sessões de pesquisa. Ambos os caminhos fornecem feedback qualitativo rico e de alta qualidade sobre recursos que lançamos ou novas ideias que estamos considerando. A voz direta do cliente nos permite aprofundar em um tópico, fazer perguntas de acompanhamento e entender como podemos melhorar sua experiência.

Outra forma de nossos usuários interagirem diretamente conosco é por meio de pesquisas de produto no aplicativo ou e-mail. Isso permite que eles compartilhem feedback por meio de um canal oportuno e não invasivo.

Também realizamos análises comportamentais na própria plataforma para entender melhor a interação com recursos e conteúdo, como esses padrões mudam ao longo do tempo e quais são as áreas de atrito. Isso nos ajuda a validar se os usuários percebem valor no que construímos e nos resultados que entregamos.

Por que testes beta?

O SearchSense evoluiu a partir de um feedback significativo dos usuários, sessões de pesquisa e da necessidade crescente de fornecer soluções intuitivas que economizem o tempo dos usuários. Essa evolução parecia ser melhor suportada por atualizações sistêmicas do que pela entrega incremental de recursos. No entanto, construir uma nova infraestrutura de busca leva tempo para ser desenvolvida, e queríamos uma maneira de validar se o que construímos estava correto. Para isso, convidamos os usuários a "entrar na fábrica" e demos a eles acesso antecipado para experimentar esses recursos enquanto eram desenvolvidos. Isso nos permitiu obter feedback direcionado rapidamente para validar se os casos de uso dos clientes eram suportados pelos novos recursos, se os clientes estavam obtendo benefícios com eles e receber sugestões de melhorias ou aprimoramentos.

Como isso ajuda

O que aprendemos? Desde ajustes simples na interface do usuário até o retreinamento de nossos modelos, os testes beta nos forneceram insights importantes e resultados acionáveis. Os principais temas de feedback incluem:

  • Os usuários desejam dados confiáveis e de qualidade em seus resultados.
  • Os usuários desejam transparência nas interpretações de busca.
  • Os usuários desejam caminhos alternativos para diferentes cenários de busca.

Aprendemos que os usuários adotam o uso de IA para melhorar a eficiência, mas têm preocupações com alucinações e modificações opacas de consultas. Para aliviar essas preocupações, a equipe do CAS SciFinder indica claramente quando a IA é utilizada, mostrando como a consulta foi interpretada ou modificada e oferecendo uma opção para executar a consulta novamente sem as modificações da IA. Notamos que a interface do usuário para o CASDraw seria aprimorada com uma seleção de tipo de busca padrão, em vez de os usuários terem que selecioná-la toda vez que iniciassem uma nova busca de estrutura. Em geral, os usuários se adaptaram perfeitamente à nova barra de busca e acharam eficiente usar as novas abas de tipo de resultado após realizar uma pesquisa. Mais importante ainda, ficamos tranquilos ao saber que a familiaridade e a confiança no conteúdo do CAS foram compreendidas e apenas aprimoradas pela IA para tornar as descobertas mais fáceis e rápidas. Adotamos intencionalmente uma abordagem que combina o melhor dos dois mundos ao criar SearchSense – garantindo uma experiência de busca intuitiva e sofisticada usando conteúdo CAS confiável e autorizado.  

‍