과학 AI의 핵심에 놓인 평가 과제

누군가에게 AI 시스템을 건네주고 "이게 좋은 시스템인가요?"라는 단순해 보이는 질문을 던져보십시오. 과학 및 산업 전반에 도입되는 LLM 기반 시스템은 개방형 질문에 답하고, 증거를 검토하며, 결론에 도달하기 위한 단계를 수행하도록 설계되었습니다. 유창하고 자신감 있는 답변을 생성하는 것은 쉽지만, 그 답변이 정확한지, 그리고 다음에 같은 질문을 했을 때도 동일한 결과가 나올지 확인하는 것은 전혀 다른 문제입니다.

머신러닝 모델은 수년간 사용되고 테스트되어 왔습니다. 무엇이 달라졌을까요? 전통적인 머신러닝 모델은 이메일 스팸 분류, 대출 신청자의 채무 불이행 예측, 방사선 영상에서의 종양 식별과 같은 작업을 수행하는 데 사용됩니다. 각 문제는 구체적이며 결과는 결정론적입니다. 즉, 주어진 입력에 대해 하나의 출력이 존재합니다. 이러한 모델의 성능을 확인하는 방법은 수십 년간 확립되어 왔습니다. 간단히 말해, 모델이 학습 중에 보지 못한 예시를 따로 떼어두고, 학습된 모델에 적용하여 정답을 얼마나 자주 맞히는지 측정하면 됩니다.

이러한 프레임워크는 엄격하고 해석 가능하며 신뢰할 수 있습니다. 그러나 오늘날 조직이 배포하는 AI 시스템에는 충분하지 않습니다. 이러한 변화는 AI가 수행해야 할 역할의 근본적인 변화를 반영합니다. 오늘날의 언어 모델과 그 추론을 바탕으로 행동하는 에이전트 시스템은 입력을 고정된 레이블 세트에 매핑하지 않습니다. 대신, 개방형 언어를 생성하고 행동을 취하며, 이 과정에서 고전적인 접근 방식이 사용하는 많은 가정을 무너뜨립니다. 같은 질문을 두 번 해도 다른 답변이 나올 수 있습니다. 답변은 유창하고 자신감 넘치지만 틀릴 수도 있습니다. 우리가 AI 시스템을 통해 답을 얻고자 하는 가장 어렵고 가치 있는 질문들에 대해서는 대조해 볼 수 있는 확정된 답 자체가 없을 수도 있습니다.

이러한 격차는 과학 분야에서 가장 중요하게 다뤄집니다. 과학에서 가치 있는 질문이란 아직 아무도 답하지 못한 질문이기 때문입니다. 더 나아가, 잘못된 답변은 단순한 예측 오류가 아니라 수개월에 걸친 연구를 막다른 길로 몰아넣을 수도 있습니다.

이어지는 내용은 이러한 변화를 추적합니다. 고전적 프레임워크가 왜 그렇게 잘 작동했는지, 왜 현대 AI에는 부족한지, 그리고 그 간극을 메우기 위해 어떤 새로운 접근법들이 등장하고 있는지 살펴봅니다.

고전적 머신러닝 평가의 안락한 세계

이러한 새로운 시스템들이 깨뜨리는 가정들은 거의 언급되지 않습니다. 고전적 머신러닝에서는 그럴 필요가 거의 없었기 때문입니다. 전통적인 평가는 보통 쉽게 충족되는 세 가지 가정에 기반합니다.

• 첫째, 모델의 출력을 비교할 수 있는 결정적인 정답(ground truth)이 존재한다는 가정입니다.

• 둘째, 작업이 제한되어 있어 가능한 출력의 공간이 유한하고 명확하게 정의된다는 가정입니다.

• 셋째, 정확성은 모호하지 않으며, 예측은 옳거나 틀린 것이고 인간(또는 레이블이 지정된 데이터셋)이 그 차이를 구분할 수 있다는 가정입니다.

이러한 가정들은 머신러닝을 처음으로 유명하게 만든 문제들에 잘 들어맞습니다.

• 스팸 탐지는 이진 분류 문제입니다.

• 이미지 인식은 입력을 고정된 레이블 집합에 매핑합니다.

• 사기 탐지는 학습된 임계값을 기준으로 거래를 평가합니다.

각 경우의 평가 방식은 동일합니다. 모델의 출력값을 정답이 이미 알려진 예시와 비교하여 정답률을 측정하는 것입니다.

이러한 프레임워크에서 도출되는 표준 지표는 다음과 같습니다.

• 정확도(Accuracy).모델이 예측한 전체 결과 중 정답을 맞힌 비율입니다. 직관적이지만, 특정 결과가 다른 결과보다 훨씬 빈번하게 나타날 경우 오해의 소지가 있습니다.

• 정밀도(Precision).모델이 긍정으로 분류한 것 중 실제 긍정인 비율입니다. 알림의 신뢰도를 측정하는 지표입니다.

• 재현율(Recall).실제 존재하는 긍정 사례 중 모델이 찾아낸 비율입니다. 놓치는 사례가 얼마나 적은지를 측정하는 지표입니다.

• F1 점수(F1 score).정밀도와 재현율의 조화 평균입니다. 한쪽을 희생하여 다른 쪽을 높이는 모델에 불이익을 주면서 단일 수치로 평가해야 할 때 유용합니다.

• ROC 곡선 아래 면적(AUC-ROC).모델의 신뢰도 점수는 실제 긍정 사례를 더 많이 포착하는 것과 오탐을 줄이는 것 사이에서 조정할 수 있습니다. ROC 곡선은 모든 가능한 임계값에 걸쳐 이러한 상충 관계를 나타내며, 그 아래 면적은 모델의 전반적인 판별력을 단일 수치로 요약합니다. 1.0은 모델이 두 클래스를 완벽하게 구분함을 의미하고, 0.5는 동전 던지기와 다를 바 없음을 의미합니다.

각 지표는 모델의 동작에 대한 실질적인 정보를 담고 있으며, 이러한 측정 방식은 매우 근본적인 것으로 자리 잡아 대부분의 실무자가 문제의 성격과 관계없이 가장 먼저 활용하는 도구가 되었습니다. 문제는 해당 문제가 더 이상 기존의 기본 가정을 충족하지 않을 때 발생합니다.

언어 모델이 기존 프레임워크를 무너뜨리는 이유

언어 모델의 경우, 앞서 언급한 가정들이 모두 무너집니다. 언어 모델은 미리 정의된 답변 집합에서 선택하지 않습니다. 대신 자유로운 형식의 텍스트를 생성하므로 가능한 출력의 범위가 무한합니다. 질문할 가치가 있는 대부분의 문제에는 비교할 단일 정답이 존재하지 않으며, 한 문장이 어떤 면에서는 정확하고 다른 면에서는 틀릴 수 있고, 관련성은 있지만 모호하거나, 논리적이지만 피상적일 수 있으며, 때로는 이 모든 특성을 동시에 가질 수도 있습니다. 출력값이 '정확한지' 여부는 고정된 정답과의 단순 비교가 아닌 판단의 영역이 됩니다.

에이전트 시스템이 단순히 응답하는 것을 넘어 직접 행동한다는 점을 고려하면 이러한 도전 과제는 더욱 명확해집니다. 연구 에이전트는 정보를 검색하고, 여러 출처에서 종합하며, 중간 단계를 추론하고, 인간의 검토를 거치지 않은 결론을 도출할 수 있습니다. 이러한 시스템을 평가한다는 것은 최종 출력물뿐만 아니라 그 결과를 도출하기까지의 의사결정 과정을 평가하는 것을 의미합니다. 결함 있는 추론을 통해 도출된 올바른 결론은 건전한 추론을 통해 도출된 올바른 결론과 같지 않습니다. 특히 추론 자체가 후속 행동에 영향을 미치는 환경에서는 더욱 그렇습니다.

이러한 변화의 이면에는 평가를 어렵게 만드는 언어 모델 출력의 몇 가지 특성이 있습니다.

• 재현성이 더 이상 보장되지 않습니다.동일한 프롬프트가 실행할 때마다 다른 답변을 반환할 수 있기 때문에, 고정된 입력이 더 이상 고정되고 검증 가능한 결과를 산출하지 않습니다. 이는 과학적 관행과 고전적인 머신러닝 평가가 공유하는 근간을 흔드는 요소입니다.

• 실패해도 신호가 남지 않습니다.언어 모델은 유창하고 일관된 텍스트를 생성하도록 훈련되지만, 유창함이 곧 정확함을 의미하지는 않습니다. 모델은 사실과 다른 내용을 자신감 있는 어조로 내부적으로 일관되게 생성할 수 있으며, 종종 문제가 발생했다는 어떠한 신호도 없이 이러한 결과를 내놓습니다.

• 정확성은 맥락에 따라 달라집니다.모델의 응답이 좋은지 여부는 종종 누가, 왜 질문하는지, 그리고 그 답변으로 무엇을 하려는지에 따라 결정됩니다. 일반 독자를 만족시키는 요약이 전문가에게는 잘못된 정보를 줄 수 있습니다. 기술적으로 정확한 답변이라도 적절한 주의 사항이 누락되었다면 쓸모없을 수 있습니다.

과학 분야에서는 더욱 어려워집니다

이러한 일반적인 과제들은 과학 분야에서 더욱 증폭되는데, 과학 분야에서는 정밀함이 선택 사항이 아니라 전문적이고 실질적인 필수 요건이기 때문입니다.

과학적 질문은 완전히 제한적인 경우가 드뭅니다. AI 시스템에 유망한 약물 후보를 식별하거나, 합성 경로를 제안하거나, 문헌에서 도메인 간 연결 고리를 찾아내라고 요청하는 것은 이미지를 분류하라고 요청하는 것과는 다릅니다. 답변의 범위는 방대하고, 만족스러운 답변에 대한 기준은 다차원적이며, 오류가 발생하면 잘못된 실험으로 이어지거나, 수개월의 시간을 낭비하게 하거나, 결과를 재현할 수 없게 만들 수 있습니다.

이는 더 심각한 문제로 이어집니다. AI가 가장 큰 가치를 더할 수 있는 영역에서 결정적인 근거(ground truth)가 아직 존재하지 않는 경우가 많기 때문입니다. 이전에 관련이 없던 두 문헌을 연결하는 새로운 가설을 제시하는 시스템은 알려진 정답과 비교하여 벤치마킹할 수 없습니다. 만약 정답이 이미 알려져 있다면 그 가설은 새로운 것이 아닐 것입니다. 내부 벤치마크에서는 좋은 점수를 받지만 실제 실험 조건에서 실패하는 모델은 자원을 잘못 배분하고, 프로그램을 지연시키며, AI가 과학적 실무에서 지속적인 자리를 차지할지 여부를 결정하는 연구자들의 신뢰를 떨어뜨릴 수 있습니다.

기존 텍스트 지표

기계가 생성한 텍스트는 대규모 언어 모델과 함께 등장한 것이 아니며, 이를 평가하는 문제 또한 마찬가지입니다. 기계 번역 및 요약 시스템은 오늘날의 모델이 나오기 훨씬 전부터 대규모 평가가 필요한 텍스트를 생성해 왔으며, 이 분야에서는 이를 수행하기 위해 특별히 자동화된 지표군을 구축했습니다. 그중 세 가지가 여전히 널리 사용되고 있습니다.

• BLEU.기계 번역을 위해 설계되었으며, 모델의 출력이 하나 이상의 참조 텍스트와 짧은 단어 시퀀스 수준에서 얼마나 겹치는지를 측정하고, 너무 짧은 답변에 대해서는 페널티를 부여합니다(Papineni et al., 2002).

• ROUGE.요약을 위해 개발되었으며, 모델의 출력에 참조 텍스트가 얼마나 포함되어 있는지를 측정하는 상호 보완적인 관점을 취합니다(Lin, 2004).

• METEOR.표면적인 형태보다는 의미를 평가하려는 개선된 지표로, 동일한 단어뿐만 아니라 어근과 동의어를 일치시키고 정밀도와 재현율의 균형을 맞춥니다(Banerjee and Lavie, 2005).

이러한 지표들은 작업이 허용 가능한 답변의 범위가 좁을 때 정확도를 측정하는 수단입니다. 그러나 이 지표들은 해당 시스템에서 문제가 되는 가정을 그대로 답습합니다. 즉, 비교할 참조 텍스트가 필요하며, 출력이 올바르고 논리적이며 유용한지가 아니라 참조 텍스트와 얼마나 일치하는지를 측정합니다. 참조 텍스트와 다르게 표현된 올바른 답변은 낮은 점수를 받을 수 있는 반면, 참조 텍스트의 문구를 그대로 사용한 유창한 답변은 틀린 내용이라도 높은 점수를 받을 수 있습니다. 많은 표현이 유효하고 가장 가치 있는 답변에는 참조 대상이 아예 없을 수도 있는 개방형 합성 작업에서, 고정된 목표와의 유사성은 품질을 판단하는 데 있어 미흡한 지표입니다.

새로운 평가 접근 방식

이러한 과제에 대응하여 몇 가지 평가 접근 방식이 등장했습니다. 이는 기존 지표를 대체하는 것이 아니라 필요한 보완책입니다. 함께 사용할 경우, 단일 방법으로는 놓칠 수 있는 다양한 실패 유형을 해결할 수 있습니다.

LLM-as-a-judge(판사로서의 LLM)은 별도의 언어 모델을 사용하여 평가 대상 모델의 출력을 평가합니다. 이 접근 방식은 인간의 검토로는 불가능한 수준의 확장성을 제공합니다. 잘 설계된 판사 모델은 도메인 전문가가 수십 개의 출력을 검토할 시간에 수천 개의 출력을 평가할 수 있습니다. 언어 모델이 인간만큼 정확하게 수행할 수 있을까요? 그렇습니다. 이를 성공시키는 핵심은 구체성입니다.

예를 들어, 도메인 전문가 패널이 동일한 텍스트를 독립적으로 검토한다고 가정해 보겠습니다. 각 검토자가 품질에 대해 서로 다른 결론을 내릴 수 있는데, 이는 한 명이 틀려서가 아니라 각자가 암묵적으로 서로 다른 기준을 적용하고 있기 때문입니다. 한 명은 사실적 정확성을 우선시하는 반면, 다른 한 명은 완전성이나 불확실성에 대한 적절한 표현을 중요하게 생각할 수 있습니다. 명시적이고 공유된 지표가 없다면 "좋음"은 검토자가 개인적으로 결정하는 의미가 되어 버립니다.

이러한 인간 판단의 변동성은 잘 기록되어 있습니다.Zheng et al. (2023)은 개방형 LLM 응답을 평가하는 인간 전문가 주석자들이 원시 쌍별 비교 기준으로 서로 동의한 비율이 80%에 불과하다는 사실을 발견했습니다. 이 수치조차 주석자들이 동일한 작업에 대해 동일한 명시적 루브릭을 기반으로 작업했기 때문에 나온 긍정적인 결과입니다. 평가를 기술 유형별로 세분화하면 상황은 더욱 복잡해집니다.Ye et al. (2024)는 Krippendorff's alpha를 사용하여 12개의 서로 다른 평가 차원에 걸쳐 인간 주석자 간의 일치도를 측정한 결과, 전체 인간 간 일치도(alpha)가 0.488에 불과하여 중간 정도의 일치도만을 보인다는 사실을 확인했습니다.

잘 설계된 평가 프롬프트는 판사 모델에게 단일한 전체적 판결을 내리게 하는 대신, 구체적이고 분리 가능한 차원(사실적 일관성, 관련성, 완전성, 불확실성의 적절한 표현)을 평가하도록 요청함으로써 암묵적인 추론을 명시적으로 드러나게 합니다(Liu et al., 2023; Ye et al., 2024). 이를 통해 판사가 언어 모델이든 인간 전문가든 상관없이 더 일관되고, 감사 가능하며, 실행 가능한 평가 결과를 얻을 수 있습니다.

Human-in-the-loop(인간 개입) 평가는 자동화된 방법이 가장 취약한 경우에 여전히 필수적이며, 이를 언제 배치할지에 대한 논리는 대규모 제조 분야에서 잘 확립된 원칙을 따릅니다. 생산 환경에서 모든 단위가 동일한 수준의 정밀 조사를 받는 것은 아닙니다. 의료 기기나 안전이 중요한 시스템에 사용되는 부품은 인간이 직접 개별적으로 검사합니다. 표준 출력물은 자동화된 테스트로 처리하되, 실패 사례를 조사하거나, 예외 사례를 검증하거나, 정기적인 배치 감사를 수행할 때 인간 검토자가 투입됩니다. 이러한 원칙은 미국 식품의약국(FDA)의 품질 관리 시스템 규정(21 CFR Part 820)과 AS9100D 및 ISO 13485:2016과 같은 수많은 품질 표준에 반영되어 있습니다.

과학적 AI 평가도 동일한 논리를 따릅니다. 새로운 출력물, 중대한 결론, 자동화된 평가 시스템의 보정 작업은 전문가의 직접적인 검토가 필요합니다. 일상적인 대규모 출력물은 체계적으로 처리되며, 인간의 판단은 병목 현상이 아닌 에스컬레이션 경로로 활용됩니다. 도메인 전문가는 자동화된 시스템이 할 수 없는 능력을 발휘합니다. 즉, 내부적으로는 일관성이 있지만 미묘하게 잘못된 답변을 인식하거나, 모델이 해당 분야의 구식 지식을 바탕으로 추론하고 있는지 식별하거나, 결과가 기술적으로는 맞더라도 맥락 없이 해석하는 실무자에게 오해를 불러일으킬 수 있는 경우를 포착하는 능력입니다. 목표는 인간의 개입을 극대화하는 것이 아니라, 가장 큰 영향력을 발휘할 수 있는 곳에 인간의 역량을 집중시키는 것입니다.

소급적 벤치마킹은 과학적 AI 평가의 가장 근본적인 긴장 관계 중 하나인 "정답을 알 수 없는 질문에 대해 어떻게 시스템을 평가할 것인가?"라는 문제를 다룹니다.

두 가지 서로 다른 사용 사례를 고려해 보겠습니다. 첫 번째는 연구자가 AI 시스템에 녹는점, 규제 분류, 문서화된 반응 수율과 같은 특정 정보를 찾아달라고 요청하는 경우입니다. 이는 평가하기가 간단합니다. 시스템이 정답을 가져왔거나 그렇지 않았거나 둘 중 하나이기 때문입니다. 두 번째 사용 사례는 더 어렵습니다. 연구자가 시스템에 여러 소스의 정보를 종합하여 단일 문서에는 포함되지 않은 통찰력을 도출해 달라고 요청하는 경우입니다. 이는 연구자들이 가장 중요하게 생각하는 부분이지만, AI 시스템이 결과를 검증하는 데 사용할 수 있는 기존 정답이 없기 때문에 평가하기가 훨씬 어렵습니다. 이러한 개방형 작업은 데이터 드리프트(drift)가 발생하기 가장 쉬운 작업이기도 합니다. 예상되는 추론 방식과 허용 가능한 답변 모두 과학적 이해가 발전함에 따라 변할 수 있으므로, 평가는 일회성 작업이 아니라 지속적으로 재검토되어야 합니다.

검증 가능한 것만 테스트하고 싶은 유혹이 들 수 있습니다. 하지만 이는 시스템이 가장 설계되지 않은 작업에 대해서만 평가하는 결과를 초래할 것입니다. 더 나은 접근 방식은 검색만으로 해결되는 질문이 아니라 이미 합성을 통해 답변이 도출된 질문을 시스템에 던지는 것입니다. 한때는 새로웠고, 서로 다른 문헌들을 연결해야 했으며, 이제는 확립된 과학적 기록의 일부가 된 발견들은 이상적인 테스트 케이스가 됩니다. 발견 당시 정보가 이용 가능했다면, 유능한 시스템은 그 추론 과정을 재구성할 수 있어야 합니다.

이는 소급적 벤치마킹으로, 직접적인 테스트가 불가능한 개방형 합성 능력을 평가하기 위해 과학적 발견의 역사를 대리 평가 세트로 활용하는 방식입니다. 이러한 접근법은 문헌 기반 발견이라는 성장하는 분야에서 선례를 찾아볼 수 있습니다.Swanson(1986)은논리적으로는 연결되어 있으나 상호작용하지 않는 두 문헌 집단을 확인하고, 그 사이의 연결 고리가 명시적으로 발표된 적 없는 가설(식이 어유가 레이노 증후군 환자에게 도움이 될 수 있다는 가설)을 내포하고 있음을 보여주었습니다.Spangler 등(2014)은이 논리를 전산적으로 확장하여 과학 문헌을 마이닝함으로써 종양 억제 인자인 p53을 인산화하는 키나아제에 대한 가설을 생성했고, 새로운 실험을 수행하기 전에 소급적 분석을 통해 해당 접근법의 정확성을 검증했습니다. 두 경우 모두 소급적 프레임워크의 가치는 동일합니다. 입력값이 특정 시점에 고정되어 있어 개방형 세계 벤치마크처럼 평가 결과가 진부해지지 않는다는 점입니다.

이 접근법은 이미 이루어진 연결을 테스트할 뿐 미래의 모든 역량을 포괄하지는 못하며, 평가 시점에 시스템이 접근할 수 있는 정보를 제한하기 위해 정교한 엔지니어링이 필요하다는 한계가 있습니다. 그러나 시스템이 단순히 정보를 검색하는 것을 넘어 소스 전반을 진정으로 합성할 수 있는지 확인하는 유효성 검사 도구로서, 이는 현재 가용한 몇 안 되는 엄격한 도구 중 하나입니다.

의미론적 안정성테스트는 정적 테스트에서 흔히 놓치는 실패 모드를 다룹니다. 언어 모델은 질문 구성 방식에 민감할 수 있는데, 의미를 바꾸지 않고 쿼리를 재구성하는 것만으로도 다른 답변이 생성될 수 있습니다. 과학 보조 도구의 경우 이는 심각한 신뢰성 문제입니다. 연구자는 시스템의 응답이 질문의 본질을 반영해야 하며, 우연히 사용한 특정 단어에 좌우되어서는 안 된다고 믿을 수 있어야 합니다. 몇 가지 시나리오가 이 문제를 잘 보여줍니다.

첫 번째는 동의어 대체입니다. 의미는 유지하면서 표면적인 형태만 바꾸는 섭동(perturbation)을 사용하는 불변성 테스트를 통해Ribeiro 등(2020)은광범위하게 테스트된 상용 감성 분석 모델에서 감지되지 않았던 치명적인 오류를 발견했습니다. 'film'을 'movie'로, 'determine'을 'find out'으로 바꾸는 것과 같은 근사 동의어 교체는 과학 보조 도구가 제공하는 답변을 바꾸어서는 안 되지만, 실제로는 빈번하게 답변이 달라집니다.

두 번째는 부정문입니다. 여러 부정문 벤치마크를 통해 모델을 체계적으로 평가한 결과, 부정문의 존재에 대한 둔감함, 부정문의 어휘 의미론을 포착하지 못하는 능력, 부정문 하에서 올바르게 추론하지 못하는 실패 등 일관된 한계가 발견되었습니다(Truong 등, 2023). 이는 'A가 B를 유발한다', 'A가 B를 유발할 수 있다', 'A가 B를 유발함을 시사한다', 'A가 B를 유발한다는 주장을 뒷받침하지 않는다'와 같이 몇 단어만으로 진술의 사실 여부가 뒤바뀔 수 있는 과학적 맥락에서 매우 중요합니다.

세 번째는 격식입니다. 문법, 어조, 격식의 변화가 모델 출력의 품질과 방향을 크게 바꿀 수 있다는 연구 결과가 있습니다. 일부 모델은 덜 격식 있는 쿼리를 사용하는 사용자에게 더 낮은 품질의 답변을 제공하기도 합니다(예: "메커니즘이 뭐야?" vs "메커니즘적 근거를 설명해 줄 수 있나요?"). 기술적인 산문이 아닌 평이한 언어로 글을 쓰는 연구자도 그렇지 않은 연구자와 동일한 본질적인 응답을 받아야 합니다. 최근 연구는 이러한 우려를 공식화했습니다.Lior 등(2025)은의미를 보존하는 프롬프트 섭동 공간 전반에 걸친 확률적 평가를 주장하며, GPT-4o 및 Claude 3.7 Sonnet과 같은 최고 성능의 모델조차 상당한 프롬프트 민감도를 보인다는 점을 밝혀냈습니다.

다양한 연구의 증거를 고려할 때, 질문당 하나의 문구만 평가하는 방식으로는 이 문제를 발견할 수 없습니다. 따라서 동일한 의미를 가진 쿼리 전반에 걸쳐 언어를 다양화하고 응답이 일관되게 유지되는지 확인하는 것은 모든 엄격한 평가 규율의 일부가 되어야 합니다.

추론 평가는 에이전트 시스템과 과학적 응용 분야에서 중요합니다. 연구 보조 도구가 문제를 추론하고, 소스를 검색하고, 결론을 도출할 때, 과학자들은 결론이 옳은지 여부뿐만 아니라 그 결론에 어떻게 도달했는지 이해할 필요가 있습니다. 이는 결과가 재현 가능해야 하고 방법론이 투명해야 한다는 과학의 근본적인 기대를 반영합니다.

모델이 최종 답변을 내놓기 전에 중간 추론 단계를 생성하도록 유도하는 사고의 연쇄(Chain-of-thought) 프롬프팅은 복잡한 추론 작업에서 성능을 크게 향상시키는 것으로 나타났습니다. 이 방식의 도입은 추론 과정을 읽기 쉽게 만든다는 해석 가능성 측면의 이점 때문이기도 했습니다(Wei 등, 2022). 그러나 추론 단계가 보인다고 해서 신뢰성이 보장되는 것은 아닙니다.Turpin 등(2023)은이러한 가독성이 환상일 수 있음을 보여주었습니다. 사고의 연쇄 설명은 모델 예측의 진정한 근거를 체계적으로 왜곡할 수 있습니다. 핵심 실험에서 연구진은 객관식 선택지의 순서를 조정하여 정답이 항상 "A"가 되도록 모델 입력에 미묘한 편향을 추가했습니다. 이는 모델 출력을 확실하게 변화시켰지만, 모델은 자신의 추론 과정에서 이러한 영향력을 전혀 언급하지 못했습니다. 결함이 있거나 불투명한 추론 과정을 통해 정답을 도출하는 시스템은 잠재적인 위험 요소입니다. 다음에 답할 질문이 틀릴 수 있는데도 이를 확인할 방법이 없기 때문입니다.

단순히 정답을 내놓는 것이 아니라 올바르게 추론하도록 모델을 훈련하는 방법에 대한 질문이 직접적인 관심을 받기 시작했습니다.Lightman 등(2023)은최종 답변이 맞았는지 여부에 따라 모델에 보상을 주는 결과 감독(outcome supervision)과 각 개별 추론 단계에 점수를 부여하는 과정 감독(process supervision)을 비교하여 그 중요성을 설명했습니다. 연구 결과, 결과 감독으로 훈련된 모델은 정답을 도출하기 위해 잘못된 추론을 사용하는 경우가 많았으며, 과정 감독이 훨씬 더 신뢰할 수 있는 시스템을 생성한다는 사실을 발견했습니다. 이러한 훈련의 통찰은 평가 원칙으로 이어집니다. 즉, 훈련에 사용할 만큼 정답 단계를 정확하게 정의할 수 있다면, 이를 감사할 만큼 정확하게 정의하는 것 또한 가능하다는 것입니다.

따라서 출력물뿐만 아니라 추론 과정을 평가하려면 "이 답변이 맞는가?"가 아니라 "시스템이 답변에 도달하기 위해 적절한 단계를 거쳤는가?"라는 다른 종류의 테스트가 필요합니다. 이는 그 자체로 루브릭 기반의 작업이지만, 결과물이 아닌 과정에 적용되는 방식입니다. 올바른 단계가 무엇인지 정의하기 위해 전문가의 의견이 필요하고 설계하기가 더 까다롭지만, 이는 과학자들이 AI 시스템의 결론을 신뢰하고 행동에 옮기기 위해 필요한 정당한 신뢰를 구축하는 데 필수적인 평가 방식입니다.

에이전트 평가의 새로운 방향은 관찰 가능한 행동(시스템이 호출하는 도구, 실행하는 검색, 정보를 검색하는 순서 등)이 명시된 근거보다 추론 품질에 대한 더 신뢰할 수 있는 신호를 제공할 수 있음을 시사합니다. 다른 모델 출력과 동일한 과정으로 생성되어 환각 위험이 있는 사고의 연쇄 텍스트와 달리, 도구 호출과 검색 단계는 감사 추적을 남기며 후속 행동을 제약하는 결과를 초래합니다. 다단계 도구 사용을 평가하기 위해 설계된 벤치마크에서 에이전트 궤적을 평가하는 초기 연구들은 작업 결과뿐만 아니라 이러한 중간 행동에 점수를 매기기 시작했습니다. 이 접근법이 성숙해진다면 과학적 사용자들에게 진정한 방법론 감사에 가까운 도구를 제공할 수 있을 것입니다.

Blending systematic and human-mediated approaches 

단일 평가 방법만으로는 충분하지 않습니다. 과학적 AI 평가에서 가장 큰 진전을 이루고 있는 조직들은 이를 포트폴리오 문제로 다루고 있습니다. 즉, 자동화된 기술을 대규모로 배포하여 커버리지와 일관성을 확보하고, 인간 전문가의 검토는 보정, 엣지 케이스 검증, 그리고 진정한 과학적 이해가 필요한 판단을 위해 남겨두는 방식입니다. 최고의 평가 프레임워크는 어느 한쪽을 다른 쪽에 종속시키지 않고 각자의 상호 보완적인 강점을 활용합니다.

과학 연구를 위한 AI 솔루션을 구축함에 있어 CAS는 이러한 계층적 접근 방식을 적용합니다. 자동화된 평가는 대규모 출력 세트 전반의 규모와 일관성을 처리하고, 구조화된 루브릭은 평가가 단일 숫자로 축소되지 않고 다차원적으로 이루어지도록 보장합니다. 또한 CAS Content Collection™의 기반이 되는 큐레이션 작업을 수행하는 도메인 과학자들이 시스템이 기술적으로 성능이 우수하고 과학적으로 타당한지 결정하는 인간의 판단을 제공합니다. 여기에는 CAS Newton℠이 도출한 결론뿐만 아니라 그 추론 방식까지 평가하는 것이 포함됩니다. 즉, 답변에 도달하기 위해 취한 단계가 과학자가 보기에 적절하고, 추적 가능하며, 재현 가능한지 확인하는 것입니다. 목표는 효율성을 위해 인간의 개입을 최소화하는 것이 아닙니다. 인간의 판단이 가장 큰 영향력을 발휘할 수 있는 곳에 집중시키는 것입니다.

What good evaluation looks like 

평가는 AI 시스템이 구축된 후에 수행되는 단계가 아닙니다. 이는 시스템 설계 초기부터 고려되어야 할 설계 제약 조건입니다. 초기에 던져야 할 질문은 다음과 같습니다.

• “성공이란 무엇인가?”

• “시스템이 틀렸다는 것을 어떻게 알 수 있는가?”

• “누가 그 판단을 내릴 전문성을 가지고 있는가?”

이는 단순한 평가 질문이 아닙니다. AI 시스템의 결과물을 바탕으로 의사결정을 내려야 하는 과학자와 연구자들로부터 신뢰를 얻을 수 있을지를 결정짓는 핵심 질문입니다.

기존의 머신러닝 도구들이 사라지는 것은 아닙니다. 정밀도, 재현율, 벤치마크 성능은 여전히 중요하며, 복잡한 AI 시스템의 많은 구성 요소에 있어 적절한 측정 지표로 남아 있습니다. 하지만 과학 문헌을 추론하고, 잠재적 연결 고리를 찾아내며, 정답이 불확실한 분야에서 가설을 제안하는 등 AI의 최전선에서 작동하는 시스템의 경우, 기존 방식만으로는 엄격한 평가가 어렵습니다. 이러한 엄격함을 갖추는 것 자체가 하나의 지속적인 과학적 과제이며, 평가 대상인 AI 시스템만큼이나 세심한 주의가 필요합니다.