인공지능(AI)은 10년 전에는 상상할 수 없었던 속도로 혁신을 주도하고 있습니다. AI는 효율성을 개선하고 데이터 기반 의사결정을 촉진하며 보안을 강화함으로써 거의 모든 산업과 비즈니스에 영향을 미치고 있습니다. 또한 화학 및 생명 과학을 포함한 많은 과학 연구 분야를 혁신하고 있습니다. 이 두 산업에서 AI의 발전은 새로운 물질 발견 방식, 가속화된 신약 개발, 그리고 실험실에 들어가기 전에 수백만 번의 실험을 수행할 수 있는 예측 모델을 탄생시켰습니다.
AI가 일상생활의 모든 측면에 영향을 미치면서, 무엇이 AI를 그토록 강력하게 만드는지, 그리고 기술이 어디에서 어려움을 겪는지 간과하기 쉽습니다. 한 가지 핵심 요소는 모든 AI 애플리케이션에 있어 데이터 품질이 중요하다는 점입니다.
데이터 품질 정의하기
데이터 품질은 사람마다 다르게 정의될 수 있지만, 일반적으로 정확성, 일관성, 완전성, 관련성이라는 네 가지 주요 요소의 조합으로 구성됩니다.
- 정확성은 데이터에 오류나 실수가 없음을 보장합니다.
- 일관성은 데이터가 균일하게 표현됨을 의미합니다.
- 완전성은 필요한 모든 데이터가 누락 없이 존재함을 보장합니다.
- 관련성은 데이터가 당면한 작업에 적합한지 검증합니다.
이러한 요소를 충족하는 데이터셋은 AI 알고리즘 학습에 필수적입니다. 하지만 이러한 요구 사항을 충족하지 못했을 때 발생하는 결과도 고려해야 합니다.
정확성
부정확한 데이터셋으로 모델을 학습시키면 부정확한 모델이 만들어집니다. 데이터셋의 정확도가 낮으면 일반화 성능이 떨어질 가능성이 커집니다. 모델이 제대로 일반화되지 않으면 학습 데이터에 포함되지 않은 새로운 데이터에 대해 제대로 작동하지 않습니다. 정확도가 낮을 때 발생하는 궁극적인 결과는 모델의 신뢰성이 떨어져 배포 후 극복하기 어려운 신뢰 문제로 이어진다는 점입니다.
일관성
데이터가 일관되지 않으면 학습 데이터셋에 새로운 데이터를 추가할 때 더 많은 노력이 필요합니다. 누락된 필드, 단위 변경, 중복 및 기타 유형의 불일치를 식별하는 과정은 시간이 많이 소요됩니다. 대부분의 데이터 과학자는 데이터셋의 일관성을 개선하는 데 상당한 시간을 할애합니다. 데이터 파이프라인 초기 단계에서 데이터 일관성을 우선시한다면, 이 시간을 AI 알고리즘 개발에 더 효율적으로 사용할 수 있을 것입니다.
완전성
모델의 목적에 필요한 모든 관련 정보를 포함하는 완전한 데이터셋에 접근할 수 없다면, 모델의 이해도에 공백이 생기게 됩니다. 이러한 공백은 모델의 편향으로 나타날 수 있습니다. 편향된 모델은 학습 데이터와 유사하지 않은 데이터를 접할 때 부적절한 예측을 내리기 쉽습니다. 편향된 모델은 유해한 고정관념을 강화하거나 사용자에게 부정적인 사회적 영향을 미칠 수 있어 많은 윤리적, 법적 문제를 야기합니다.
관련성
데이터셋이 당면한 작업과 관련이 없다면 유용한 모델을 학습시키는 데 더 많은 시간이 소요될 수 있습니다. 학습에 관련 없는 데이터를 사용하면 모델은 최종 결정에 영향을 주지 않는 데이터까지 고려하려 하기 때문에 혼란을 겪게 됩니다. 이러한 관련 없는 데이터로 인해 모델의 학습 단계가 길어지면, 유용한 모델을 학습시키기 위해 더 많은 시간과 컴퓨팅 자원, 비용을 지출하게 될 것입니다.
CAS는 인간의 손길을 더해 데이터 품질을 보장합니다
데이터 품질 문제는 어디에나 존재하지만, CAS는 과학 데이터와 관련된 이러한 요소의 중요성을 인식하고 우선순위를 둡니다. 화학 및 생명 과학 데이터는 출처에 따라 매우 다양할 수 있습니다. 화학에서 분자 구조를 표현하는 방법은 여러 가지가 있으며, 여기에는 MDL Molfile(MOL), Structure-Data Format(SDF), SMILES(Simplified Molecular Input Line Entry System), InChI(International Chemical Identifier) 등이 포함됩니다. 이러한 각 분자 표현 방식에는 장단점이 있습니다. CAS는 모든 분자 형식을 CAS REGISTRY®에 매핑하는 기술을 활용합니다. 기술만으로 정확한 일치를 판단할 수 없는 경우, 전문가의 식별 과정을 거칩니다. 이러한 전문가 큐레이션을 통해 CAS 내부 및 파트너사의 다양한 AI 애플리케이션에 사용되는 고품질의 화학 구조 및 화학 반응 데이터베이스를 유지하고 있습니다.
마찬가지로 CAS는 최근 생명 과학 데이터 분야로 확장하면서 전문가 큐레이션에 의존해 왔습니다. CAS의 전 세계 과학자 및 기술자 팀은 약리학, 바이오마커, 신호 전달 경로와 같은 생명 과학 데이터를 검토합니다. 이러한 노력은 데이터의 정확성과 일관성을 보장하며, 이는 고품질 데이터셋의 핵심 요소입니다. 약리학 데이터셋을 사용하여 단백질 표적에 대한 분자 활성을 예측하는 기존 모델을 학습시켰을 때, 기준 모델 대비 실험값과 예측값의 차이가 56% 감소했고 표준 편차는 23% 감소했습니다. 이러한 성과는 모든 CAS 데이터셋에서 확인할 수 있는 데이터 품질의 중요성을 입증합니다.
CAS는 AI 애플리케이션에서 데이터 품질이 매우 중요하다고 믿습니다. 전문가의 참여를 통해 정확도가 높고 일관된 데이터셋을 생성합니다. 100년이 넘는 기간 동안 콘텐츠 및 지식 관리 전문성을 개발해 왔으며, 과학자들은 이 전문성을 바탕으로 특정 AI 애플리케이션에 필요한 데이터셋의 완전성과 관련성을 판단합니다. 이러한 전문성을 활용하여 데이터셋의 완전성 및 관련성 문제를 식별하고 이를 해결하기 위한 계획을 수립합니다.