과학적 데이터를 위한 인공지능 성숙도를 달성하기 위한 구조화된 프레임워크

인공지능 은 과학 R&D 전반에서 계속해서 주목받고 있습니다. 그러나 많은 조직이 초기 단계의 모델이 실제 연구에 적용될 때 다르게 작동한다는 사실을 발견하고 있습니다. 통제된 평가에서는 신뢰할 수 있어 보이는 알고리즘도 활발한 연구 환경의 가변성, 문서화 관행, 실험적 다양성과 마주하면 일관되지 않은 동작을 보이는 경우가 많습니다. 이러한 불일치는 R&D 분야에서 더 높은 수준의 인공지능 성숙도가 필요함을 시사합니다. 이러한 동작 차이의 주요 원인은 기반 데이터 구조에 있습니다. 실험 결과는 측정값이 생성된 방식과 그 결과가 문서화된 방식에 따라 달라집니다. 이러한 세부 사항은 장비 및 프로토콜의 차이부터 단위, 명명 규칙, 심지어 실험 노트에 기록된 세부 정보 수준에 이르기까지 팀마다 크게 다릅니다. 또한 제한적이고 좁은 데이터 범위로 학습된 많은 인공지능 시스템은 초기 정적 범위를 벗어난 예상치 못한 변형을 해석하지 못합니다.

적절한 준비가 없으면 , 예측은 불안정해지고 실험실 검증 과정에서 실패하게 됩니다. 이러한 불일치가 누적되면 프로토타입 성능과 실제 배포 사이의 격차가 발생하여 초기 인공지능 노력의 효과가 제한되고 더 심각한 조직적 문제의 발단이 됩니다.과학 R&D에서 인공지능 발전이 정체되는 이유  

"Garbage In, Garbage Out(쓰레기를 넣으면 쓰레기가 나온다)"는 익숙한 표현이지만, 과학 R&D 분야에서는 더 깊은 구조적 문제를 반영합니다. 실험 결과는 형식, 용어, 메타데이터 캡처에 대해 서로 다른 관례를 따르는 기기, 실험실 팀, 문서화 시스템에서 비롯됩니다. 두 그룹이 동일한 분석을 수행하더라도 출력 파일의 구조, 단위, 맥락적 세부 정보, 심지어 명명 방식까지 크게 다를 수 있습니다. 그러나 구조적 불일치는 더 중대한 문제에 비하면 부차적인 경우가 많습니다. 즉, 실험 조건 자체(온도, 기기 보정, 타이밍 등)가 결과를 극적으로 변화시킬 수 있는데, 이러한 변수들은 팀 간에 제대로 문서화되지 않거나 일관성 없이 기록되는 경우가 빈번합니다. 수치상으로는 비슷해 보여도 이를 생성한 조건은 다를 수 있습니다. 학습 데이터에 이러한 불일치가 포함되어 있으면, 모델은 의미 있는 과학적 변동과 보고상의 오류를 안정적으로 구분할 수 없습니다. 정렬되지 않은 식별자, 누락된 메타데이터, 불완전한 기록은 모델이 근본적인 과학적 사실에 대한 안정적인 표현을 형성하는 것을 방해하며, 결과적으로 학습된 패턴이 부정확하고 신뢰할 수 없는 출력을 생성하는 모델을 만들게 됩니다.    

두 번째로 심각한 문제는 학습된 모델을 실제로 사용할 때 발생합니다. 잘 구축된 모델이라 하더라도 실제 적용 과정에서 유입되는 데이터가 원래의 학습 데이터와 다른 가정하에 준비되었다면 모델은 제대로 작동하지 않습니다. 학습 파이프라인과 추론 파이프라인 간의 단위, 식별자, 실험적 맥락 또는 파일 구조의 차이는 모델이 입력을 잘못 해석하게 하여 신뢰할 수 없거나 사용할 수 없는 예측을 생성하게 합니다. 따라서 학습 데이터의 가정과 실제 데이터 파이프라인 간의 일관성을 유지하는 것은 활발한 R&D 환경에 배포되는 모든 인공지능 솔루션에 있어 지속적인 요구 사항입니다.  

불분명한 추론은 인공지능 출력에 대한 신뢰도를 떨어뜨립니다

설명 가능성은 인공지능 기술 도입에 중요한 또 다른 요소입니다. 모델의 동작이 확립된 실험 결과에 근거하여 연구자나 리더가 기대하는 바와 일치하지 않을 때 인공지능 모델의 사용은 감소합니다. 과학자들은 실험을 통해 검증할 수 있는 예측과 출력에 의존합니다. 예측의 근거를 구조화된 데이터(일반적으로)나 명확한 추론 경로를 통해 추적할 수 없을 때 시스템에 대한 신뢰는 무너집니다. 예측이 이루어진 이유가 명확하지 않으면 연구자들은 이를 진행 중인 실험에 통합하기를 주저하게 됩니다.

시스템이 어떤 입력값이 예측/결과에 영향을 미쳤는지 나타내지 않으면 불확실성은 더욱 커집니다. 분석 설정, 샘플 속성 또는 분자 기술자의 미세한 차이가 결과에 영향을 줄 수 있습니다. 모델의 결론에 무엇이 기여했는지 파악할 수 없다면 팀은 해당 출력이 과학적으로 적절한지 평가할 수 없습니다. 시간이 지남에 따라 이러한 설명 가능성의 격차는 도입을 제한하고, 문제 해결을 방해하며, 인공지능이 활발한 연구 프로그램을 안정적으로 지원하거나 가속화하는 능력을 저하시킵니다.  

파편화된 인프라는 데이터 연속성을 방해합니다

예측을 입력값과 연결하는 견고한 추론 경로를 형성하는 것 외에도, 또 다른 문제는 파편화된 디지털 인프라에서 발생합니다. 많은 연구 그룹이 디지털 전환의 각기 다른 단계에서 도입된 소프트웨어에 의존하고 있으며, 이로 인해 데이터와 알고리즘이 분리된 플랫폼에 흩어져 있습니다. 실험 기록은 한 환경에 있고, 분석 결과나 독점 참조문헌은 다른 위치에 저장될 수 있습니다.

이러한 분절은 데이터 연속성을 방해하여 모델이 어떻게 결과를 생성했는지, 또는 해당 결과가 특정 실험 조건과 어떻게 관련되는지 추적하기 어렵게 만듭니다. 시스템 간에 데이터를 안정적으로 교환할 수 없으면 팀은 파일을 복사하거나, 결과를 내보내거나, 플랫폼 전반에 걸쳐 기록을 재구성하는 방식으로 정보를 수동으로 전송해야 합니다. 이러한 수동 전송은 오류 위험을 증가시키고 파편화된 워크플로를 통해 이동하는 정보에 의존하는 예측에 대한 신뢰도를 약화시킵니다. 시간이 지남에 따라 엔드투엔드 통합의 부족은 재현성을 제한하고, 반복 속도를 늦추며, 활발한 연구 프로그램 내에서 인공지능의 효율성을 제약합니다.

과학 R&D를 위한 성공의 삼각형(Triangle of Success) 프레임워크

이러한 문제를 해결하기 위해 CAS는 과학 R&D에 최적화된 구조적 파트너십 프레임워크인 성공의 삼각형(Triangle of Success)을 활용합니다. 이 모델은 조정된 과학적 검토, 의도적인 기술 설계, 구조화된 지식 관리가 어떻게 안정적인 모델 동작에 필요한 조건을 만드는지 설명합니다. 이 세 가지 기둥 전반에 걸쳐 전문성을 조정함으로써 조직은 데이터, 인프라 및 과학적 기반을 체계적으로 강화하여 더 높은 인공지능 성숙도를 향한 발전을 가속화할 수 있습니다.

성공의 삼각형(Triangle of Success)은 인공지능 수명 주기의 두 가지 중요한 단계에 적용됩니다. 첫 번째는 모델 생성 단계로, 예측 문제를 과학적으로 올바르게 설정하고, 학습 데이터가 적절한 맥락과 품질을 갖추도록 하며, 인공지능 접근 방식이 사용 사례에 잘 부합하도록 보장합니다. 두 번째는 모델 적용 단계로, 모델이 학습 및 검증된 후에는 원래의 가정이 여전히 유효한지, 유입되는 데이터가 모델 구축 당시의 조건을 계속 충족하는지, 연구 환경이 변화함에 따라 출력이 신뢰할 수 있는 상태로 유지되는지 확인하여 실제 연구 워크플로에 배포되는 방식을 안내합니다. 이 프레임워크의 두 가지 적용 방식을 통해 인공지능 역량이 목적에 맞게 구축되고 사용되도록 보장합니다.  

이 프레임워크는 각 그룹의 독특하면서도 상호 의존적인 기여를 강조합니다. 도메인 전문가는 실험적 변동성을 해석하고, 컨텐츠 전문가는 데이터를 표준화 및 안정화하며, 기술 전문가는 디지털 인프라 생태계를 통합합니다. 이들은 함께 인공지능이 R&D 결정에 안정적으로 영향을 미치는 데 필요한 안정성과 과학적 기반을 제공합니다.

도메인 전문가

조직 내 도메인 전문가들은 과학적 지식과 실제 연구 경험을 적용하여 인공지능 모델이 정확하게 작동하는지 평가합니다. 주요 책임은 다음과 같습니다.

• 어떤 실험적 요인이 결과에 영향을 미치는지, 그리고 이를 데이터에 어떻게 반영해야 하는지 명확히 합니다.

• 모델이 무엇을 학습해야 하는지, 그리고 과학적 제약 조건이 어디에 적용되는지에 대한 기대치를 설정합니다.

• 출력값이 데이터의 인위적인 오류가 아닌, 확립된 과학적 이해와 일치하는지 확인합니다.

컨텐츠 전문가

컨텐츠 전문가들(CAS 전문가 등)은 인공지능 시스템에 입력되는 과학 정보가 정확하고 검증되었는지, 그리고 각 입력값이 불일치하거나 불완전한 기록이 아닌 확립된 관계를 반영하는지 보장합니다. 이들은 다음과 같은 방식으로 지침을 제공합니다.

• 화학, 생물학, 재료 과학 전반에 걸쳐 검증된 관계를 반영하는 데이터셋을 준비합니다.

• 모델의 안정성을 저해하는 식별자 충돌, 누락된 메타데이터, 일관되지 않은 용어 또는 기타 문제를 해결합니다.

• 검증된 과학적 출처로부터 맥락을 추가하여 입력 데이터가 실제 R&D 환경에서 관찰되는 내용을 나타내도록 합니다.

• 출처를 보존하고 해당 분야가 발전함에 따라 데이터셋을 최신 과학 지식과 일치시키는 컨텐츠 시스템을 유지 관리합니다.

기술 및 알고리즘 전문가

기술 및 알고리즘 전문가들은 인공지능 시스템이 연구 프로그램 전반에서 안정적으로 기능할 수 있도록 인프라를 구축합니다. 이들은 다음과 같은 방식으로 인공지능 개발을 지원합니다.

• 파이프라인을 통한 데이터 이동을 자동화하는 시스템을 구축하여 수작업의 필요성을 없애고 오류율을 줄입니다.

• 새로운 데이터가 시스템을 업데이트할 때 모델이 어떻게 작동하는지 모니터링하고, 성능 변화에 따라 워크플로를 조정합니다.

• 예측 결과를 기존 연구 도구에 통합하여 팀이 일상적인 의사 결정 과정에서 이를 활용할 수 있도록 합니다.  

더 나은 데이터가 더 나은 예측 모델로 이어지는 이유

과학 R&D 분야의 인공지능 성숙도는 각 모델을 학습시키는 데 사용되는 데이터의 품질과 일관성에 달려 있습니다. 성공의 삼각형(Triangle of Success)을 실제로 적용하면, 학습 데이터의 품질과 그에 따른 성능에서 가장 큰 효과를 확인할 수 있습니다. 엄선된 입력 데이터는 모델이 학습해야 할 관계를 더 명확하게 파악하도록 하여, 실제 연구 환경에서 신뢰성을 저해할 수 있는 노이즈를 줄여줍니다. CAS의 연구 결과에 따르면, 더 탄탄한 데이터 기반이 더 안정적이고 정확한 모델 성능을 이끌어냅니다.

한 약물-단백질 결합 예측 연구에서, 과학자가 엄선한 CAS 데이터로 학습된 모델은 50% 더 적은 데이터 포인트를 사용하면서도 두 배의 예측 정확도를 보였습니다. 이러한 개선을 통해 불필요한 후속 실험을 줄이고, 팀이 워크플로 초기 단계에서 가장 가능성 높은 결합 후보를 우선순위에 둘 수 있도록 지원했습니다.*

합성 경로 예측에 대한 별도의 평가에서도 유사한 성과가 나타났습니다. 과학자가 검증한 원자 매핑을 학습 데이터에 추가했을 때, 경로 정확도가 30% 이상 향상되었습니다. 검증된 매핑은 이전에 모델을 잘못된 방향으로 이끌었던 구조적 모호성을 해결하여, 실험실 관찰 결과와 더 밀접하게 일치하고 수정 반복 횟수를 줄이는 예측을 가능하게 했습니다.**

이러한 결과는 인공지능 모델이 전문가의 검토를 거친 조화로운 과학 데이터로 학습될 때 더 효과적으로 작동함을 보여줍니다. 이러한 성과를 지속적으로 달성하려면 일회성 개선 이상의 노력이 필요합니다. 이는 시간이 지남에 따라 성숙도를 강화하는 운영 관행에 달려 있습니다.    

인공지능 성숙도를 강화하는 운영 단계

조직의 인공지능 및 데이터 전략이 팀의 데이터 준비 방식부터 프로젝트 내 모델 예측 활용 방식에 이르기까지 일상적인 R&D 의사 결정에 반영되기 시작할 때 인공지능 성숙도가 높아집니다. 발전은 연구 요구 사항에 적응하고 워크플로에 입력되는 데이터와 그로부터 도출되는 예측 결과 간의 명확한 연결 고리를 유지하는 시스템을 구축하는 데 달려 있습니다.  

세 가지 운영 관행은 팀이 초기 파일럿 단계에서 더 성숙하고 신뢰할 수 있는 인공지능 기반 워크플로로 전환하도록 돕습니다.

데이터 거버넌스    

• 워크플로에 데이터를 입력하기 전 준비 방법에 대한 규칙을 설정합니다

• 입력값과 예측값이 과학적 기대치에 부합하는지 확인하는 검사 절차를 정의합니다

• 데이터셋 변경, 모델 업데이트 및 평가 단계에 대한 문서를 유지 관리합니다

• 데이터 검토 및 워크플로 업데이트 승인에 대한 책임을 할당합니다

워크플로 검증

• 전처리 및 모델 설정을 포함하여 예측 생성에 사용된 모든 단계를 저장함으로써 결과를 추적하고 재현할 수 있도록 합니다

• 다른 팀이 수행하거나 다른 시점에 수행된 반복 실행을 통해 안정성을 확인합니다

• 과학 및 기술 담당 직원을 소집하여 불일치 사항을 검토하고 해결합니다

• 워크플로가 추가 프로젝트를 지원할 만큼 충분히 안정적인 시점에 대한 명확한 기준을 설정합니다

데이터 지속가능성

• 통제된 수집 프로세스를 통해 엄선된 새로운 데이터를 추가하여 모델이 최신 과학 지식과 일치하도록 유지합니다

• 모든 새로운 데이터셋이 워크플로에 입력되기 전에 표준화된 형식, 메타데이터 및 컨텍스트 규칙을 적용합니다

• 검색 증강 방식을 사용하여 모델이 추론 과정에서 최신 과학적 출처를 참조할 수 있도록 합니다

• 데이터 패턴이나 가정의 변화를 모니터링하고 데이터셋이나 모델을 업데이트하여 예측 품질 저하를 방지합니다

데이터 거버넌스, 워크플로 검증 및 데이터 지속가능성이 워크플로 전반에 걸쳐 유지될 때, 인공지능은 더욱 신뢰할 수 있게 되며 더 높은 성숙도를 향한 발전을 지원합니다.

인공지능 성숙도가 과학적 워크플로와 성과를 강화하는 방법

인공지능 성숙도는 과학 조직이 실험을 설계하고 프로그램 방향에 영향을 미치는 의사결정을 내릴 때 모델의 결과값을 신뢰할 수 있는지 여부를 결정합니다. 많은 팀이 통제된 평가에서는 우수한 성능을 보이지만, 측정 변동성과 워크플로 차이가 모델의 동작에 영향을 미치는 실제 R&D 환경에서는 신뢰도가 떨어집니다.

더 높은 성숙도를 향한 발전은 각 모델의 기반이 되는 과학적 토대를 강화하는 데 달려 있습니다. 도메인 전문가는 시스템이 따라야 할 연구 가정과 과학적 제약 조건을 명확히 하여 모델의 추론이 확립된 지식과 일치하도록 보장합니다. 기술 리드는 재현성을 유지하고, 데이터 계보를 추적하며, 데이터가 진화함에 따라 결과값을 추적 가능하게 관리하는 디지털 환경을 유지합니다. 컨텐츠 전문가는 실제 동작을 반영하고 학습을 불안정하게 만드는 불일치를 제거하는 조화롭고 검증된 입력 데이터를 제공합니다.  

이러한 역량이 조화를 이룰 때, 인공지능 시스템은 과학적 검증 하에서 더욱 일관되게 작동하며 더 큰 확신을 가지고 일상적인 의사결정을 지원할 수 있습니다.

귀하의 인공지능 여정에서 다음 단계를 지원할 수 있는 CAS의 역할에 대해 알아보려면 다음을 살펴보십시오. 과학적 인공지능 리소스.  

- - -

* 단백질 표적에 대한 리간드의 생물학적 활성 예측 정확도에 있어 과학자가 엄선한 고품질 컨텐츠가 미치는 영향을 보여주는 CAS 사례 연구. 노이즈가 많은 공개 데이터 대신 CAS가 엄선한 컨텐츠를 사용함으로써, 모델은 기존 데이터셋의 절반 크기만으로도 예측 정확도를 2배 향상시켰습니다.

** Molecule.One과 협력하여 개발된 사례 연구. 공개 반응 데이터로 학습된 역합성 모델을 CAS 데이터를 사용하여 재학습시켰으며, 정확한 화학적 예측에 필수적인 반응물과 생성물 원자 간의 과학자 검수 매핑을 활용했습니다. CAS 데이터를 사용한 결과, 전문 합성 화학자의 평가에 따라 유효한 합성 경로의 정확한 예측이 30% 증가했습니다.

‍