소개
앞선 기사들에서 살펴본 것처럼, CAS는 SearchSense를 통해 과학 정보 탐색에 대한 정교한 접근 방식을 추진하고 있습니다. 검색 패러다임을 바꾸는 것은 사용자에게 큰 영향을 미치며, 그 과정 전반에 걸쳐 피드백을 수집하고 검증하는 것이 매우 중요합니다.
과학 검색을 새롭게 정의하는 여정을 시작하면서, CAS는 사용자가 검색 시스템에 대해 더 높은 유연성, 자연어 기반 검색 입력, 그리고 향상된 ‘지능’을 기대할 것이라는 가설을 세웠습니다. 이 가설을 검증하기 위해, CAS는 사용자들을 개발 여정에 직접 초대했습니다.
현재 프로세스
CAS는 다양한 채널을 통해 사용자 피드백을 수집하고 이를 제품 로드맵에 반영하고 있으며, 주요 방법은 다음과 같습니다.
- 영업, 고객 지원, 사용자 조사 세션을 통한 사용자와의 직접적인 대화
- 인앱 피드백 메커니즘(이메일 및 설문조사)
- 제품 사용 및 행동 분석
고객 성공, 영업, 고객 센터 팀은 사용자들의 목소리를 가장 가까이에서 듣는 핵심 조직입니다. 이들 팀은 사용자와 지속적으로 소통하며 주요 의견, 불편 사항, 개선 아이디어를 제품 팀에 전달합니다. 또한 CAS는 개별 고객을 대상으로 한 사용자 조사 세션도 진행하고 있습니다. 이 두 가지 방식을 통해 출시된 기능이나 검토 중인 새로운 아이디어에 대해 풍부하고 질 높은 정성적 피드백을 확보할 수 있습니다. 고객의 직접적인 목소리는 특정 주제를 더 깊이 파고들고, 후속 질문을 던지며, 사용자 경험을 어떻게 개선할 수 있을지 이해하는 데 큰 도움이 됩니다.
사용자들과 직접 소통하는 또 다른 방법은 인앱 제품 설문조사나 이메일을 이용하는 것입니다. 이를 통해 사용자는 적시에, 그리고 사용 흐름을 방해하지 않는 방식으로 의견을 공유할 수 있습니다.
이와 함께 CAS는 플랫폼 자체에 대한 행동 분석도 수행하여 기능과 컨텐츠에 대한 사용자 상호작용 방식, 이러한 패턴이 시간에 따라 변화하는 방식, 그리고 마찰이 발생하는 지점을 파악합니다, 이를 통해 CAS가 구축한 기능과 제공하는 결과가 사용자에게 실제로 가치를 전달하고 있는지 확인할 수 있습니다.
왜 베타 테스트일까요?
SearchSense는 방대한 사용자 피드백, 연구 세션, 사용자의 시간을 절약하고 직관적인 솔루션을 제공해야 한다는 지속적으로 증가하는 요구를 바탕으로 발전해 왔습니다. 이러한 진화는 개별 기능을 점진적으로 추가하는 방식보다는 보다 구조적인 시스템 전반의 개선을 통해 가장 효과적으로 지원될 수 있다고 판단했습니다. 다만 새로운 검색 인프라를 구축하는 데에는 시간이 필요했고, CAS는 개발 중인 기능이 올바른 방향으로 작동하고 있는지를 검증할 방법이 필요했습니다. 이에 따라 CAS는 사용자를 ‘공장 안으로’ 초대해, 개발이 진행 중인 기능을 조기에 직접 사용해 볼 수 있도록 했습니다. 이를 통해 새로운 기능이 실제 고객 사용 사례를 제대로 지원하는지, 고객이 해당 기능에서 가치를 체감하고 있는지, 그리고 개선이나 보완이 필요한 부분이 무엇인지에 대한 신속하고 구체적인 피드백을 받을 수 있었습니다.
이것이 가져온 변화
그렇다면 CAS는 무엇을 배웠을까요? 베타 테스트를 통해 단순한 사용자 인터페이스 조정부터 모델 재학습에 이르기까지, 다양한 인사이트와 실행 가능한 결과를 얻을 수 있었습니다. 주요 피드백 주제는 다음과 같습니다.
- 사용자는 신뢰할 수 있고 품질이 높은 데이터를 원합니다.
- 사용자는 검색 해석 과정의 투명성을 원합니다.
- 사용자는 다양한 검색 상황에 대응할 수 있는 대체 경로를 원합니다.
또한 사용자는 효율성을 높이기 위한 AI 활용에는 긍정적이지만, 환각 현상과 불투명한 쿼리 수정에 대해서는 우려를 갖고 있다는 점을 확인했습니다. 이러한 우려를 해소하기 위해 CAS SciFinder 팀은 AI가 적용된 경우 이를 명확히 표시하고, 쿼리가 어떻게 해석되거나 수정되었는지를 보여주며, AI 수정 없이 쿼리를 다시 실행할 수 있는 옵션을 제공합니다. 아울러 구조 검색을 시작할 때마다 검색 유형을 선택해야 했던 기존 방식 대신, CASDraw 인터페이스에 기본 검색 유형을 설정하는 것이 사용자 경험을 개선할 수 있다는 점도 확인했습니다. 전반적으로 사용자는 새로운 검색 바에 자연스럽게 적응했으며 검색 이후 제공되는 새로운 결과 유형 탭 역시 효율적으로 활용하고 있었습니다. 무엇보다도 중요한 점은 CAS 컨텐츠에 대한 친숙함과 신뢰가 유지될 뿐 아니라 AI를 통해 발견을 보다 쉽고 빠르게 만드는 방향으로 강화되고 있다는 점이었습니다. CAS는 SearchSense를 설계하면서 신뢰할 수 있는 권위 있는 CAS 컨텐츠를 기반으로 직관적이면서도 정교한 검색 경험을 제공하는 ‘두 가지 장점을 모두 살리는’ 접근 방식을 의도적으로 선택했습니다.