ベータテストがSearchSenseを形作る:ユーザーフィードバックが導くAI強化型科学検索の開発

緑色のデスクの上に置かれた、丸められた色紙の山の中にある点灯した電球。

はじめに

以前の記事でも触れた通り、私たちはSearchSenseを通じて、科学情報検索における高度なアプローチに取り組んでいます。検索パラダイムの変革はユーザーに大きな影響を与えるため、プロセス全体を通じてフィードバックを得て検証を行うことが不可欠です。

科学検索を再構築する旅の始まりにおいて、私たちはユーザーがより高い柔軟性、自然言語による検索入力、そして検索システムの「知能」向上を求めていると仮説を立てました。この仮説を検証するため、私たちはユーザーを開発の旅へと招待しました。

現在のプロセス

私たちは、製品ロードマップを策定するために、以下のような多様なチャネルを通じてフィードバックを収集しています。

  • 営業、カスタマーサポート、ユーザーリサーチセッションを通じたユーザーとの直接対話。
  • アプリ内フィードバック機能(メールおよびアンケート)。
  • 製品利用状況および行動分析。

カスタマーサクセス、営業、カスタマーセンターの各チームは、ユーザーの声を拾い上げる重要な役割を担っています。これらの献身的なチームはユーザーと常にコミュニケーションを取り、ハイライトや課題、改善案を製品チームに伝えています。また、ユーザーリサーチセッションのために、個別の顧客へのヒアリングも行っています。これらのアプローチは、リリース済みの機能や検討中の新しいアイデアに対して、質が高く有益な定性的フィードバックをもたらします。顧客の生の声を直接聞くことで、トピックを深掘りし、追加の質問を行い、ユーザー体験をどのように向上させるべきかを深く理解することができます。

ユーザーが直接関与するもう一つの方法は、アプリ内の製品アンケートやメールです。これにより、ユーザーは作業を中断することなく、適切なタイミングでフィードバックを共有できます。

また、プラットフォーム自体で行動分析を行い、機能やコンテンツとのインタラクション、それらのパターンの経時的変化、および摩擦が生じている領域を把握しています。これは、私たちが構築しているものや提供する結果が、ユーザーにとって価値あるものかどうかを検証するのに役立ちます。

なぜベータテストを行うのか

SearchSenseは、膨大なユーザーフィードバックやリサーチセッション、そして直感的で時間を節約できるソリューションへの絶え間ないニーズから進化しました。この進化は、段階的な機能追加よりも、体系的なアップグレードによって支えるのが最善であると考えられました。しかし、新しい検索インフラの構築には時間がかかるため、構築したものが正しいことを検証する方法が必要でした。そこで私たちは、ユーザーを「開発の現場」に招き、開発中の機能に早期アクセスしてもらうことにしました。これにより、ターゲットを絞ったフィードバックを迅速に得ることができ、新しい機能が顧客のユースケースをサポートしているか、顧客がその恩恵を受けているかを検証し、改善や機能強化のための提案を受け取ることが可能になりました。

この取り組みの意義

私たちは何を学んだのでしょうか。単純なユーザーインターフェースの調整からモデルの再学習に至るまで、ベータテストは重要な洞察と実行可能な成果をもたらしてくれました。主なフィードバックのテーマは以下の通りです。

  • ユーザーは、検索結果において信頼性の高い高品質なデータを求めています。
  • ユーザーは、検索の解釈における透明性を求めています。
  • ユーザーは、さまざまな検索シナリオに応じた代替の検索経路を求めています。

ユーザーはAIの活用による効率化を歓迎する一方で、ハルシネーションや不透明なクエリ修正に懸念を抱いていることが分かりました。こうした懸念を払拭するため、CAS SciFinderチームはAIが活用されていることを明示し、クエリがどのように解釈・修正されたかを表示するとともに、AIによる修正を行わずに再検索するオプションを提供しています。また、CASDrawのユーザーインターフェースについては、構造検索を開始するたびに検索タイプを選択する手間を省くため、デフォルトの検索タイプを選択できるように改善しました。全体として、ユーザーは新しい検索バーにスムーズに適応し、検索後の結果タイプタブの使い勝手が向上したと評価しています。何より、CASコンテンツに対する信頼と親しみやすさはそのままに、AIによって発見のスピードと効率が高まったという確信を得ることができました。私たちはSearchSense – を構築するにあたり、信頼できるCASの権威あるコンテンツを活用し、直感的かつ洗練された検索体験を実現するという「両者の長所を活かす」アプローチを意図的に採用しました。

‍