AI 도구와 전문 애플리케이션에서 무조건 규모가 큰 것이 능사는 아닌 이유
2022년 출시 이후, ChatGPT는 AI에 대한 논의의 판도를 바꾸어 놓았다. 업무 혁신과 도시 활성화와 같은 긍정적인 전망부터 일자리 대체와 같은 부정적인 영향에 이르기까지, 이 거대 언어 모델(LLM)은 거의 모든 것을 할 수 있다고 평가받는다.
ChatGPT와 GPT-3/GPT-4의 차이점은 무엇일까?
ChatGPT와 GPT-3 또는 GPT-4와 같은 LLM 자체 사이에는 중요한 차이가 있다. 흔히 혼용되거나 같은 것으로 오해받기도 하지만, ChatGPT는 더 복잡한 LLM(GPT-3 또는 GPT-4)을 기반으로 작동하는 '사용하기 쉬운' 인터페이스의 챗봇 앱이다.
GPT-3와 GPT-4는 생성형 사전 학습 트랜스포머(Generative Pre-Trained Transformer) 모델 시리즈의 서로 다른 버전이다. 트랜스포머는 언어 모델로 알려진 신경망의 일종으로, 문장 속 단어와 같이 느슨하게 구조화된 데이터에서 패턴과 맥락을 인식하는 법을 학습할 수 있다. 트랜스포머는 특히 이 분야에 탁월하다. 생성형 모델은 맥락이 주어지면 프롬프트로부터 임의의 긴 출력을 생성할 수 있다. GPT 모델은 이 두 가지 모델 유형을 결합한 것이다.
반면, ChatGPT는 GPT-3나 GPT-4와 같은 LLM을 기반으로 하는 앱이다. 이전 대화를 이어갈 수 있는 메모리 모듈이 있으며, 유해하거나 부적절한 답변을 최소화하기 위한 필터와 분류기 등이 내장되어 있다.
LLM을 구축하려면 무엇이 필요할까?
LLM은 놀라운 성능을 보여준다. GPT-3는 1,750억 개의 매개변수, 즉 모델이 학습하면서 독립적으로 변경할 수 있는 값을 가지고 있다. 2023년에 출시된 GPT 시리즈의 최신 버전인 GPT-4는 1조 개의 매개변수로 규모가 훨씬 더 크다. 사용해 본 사람이라면 누구나 알 수 있듯이, 이 모델들은 매우 방대한 지식과 일관된 정보를 생성하는 놀라운 능력을 갖추고 있다.
하지만 이러한 능력에는 말 그대로 비용이 따른다. 점점 더 커지는 GPT 모델을 학습시키고 ChatGPT와 같은 앱을 배포하는 것은 엄청난 엔지니어링 작업이다. GPT-3를 구축하는 데 460만 달러, 클라우드 운영에 연간 최소 8만 7천 달러가 소요된 것으로 추정된다. GPT-4의 개발 비용은 무려 1억 달러 이상이었을 것으로 보인다.
이러한 수치 외에도 하드웨어 비용과 데이터 센터의 냉각을 유지하기 위한 자원 비용이 상당하다. 데이터 센터는 수십억 갤런의 물을 사용할 수 있으며, 냉방 장치는 에너지를 소비하고 탄소 배출의 원인이 되므로 조직은 이러한 강력한 도구의 비용과 이점을 평가해야 한다. 이러한 초기 비용과 지속적인 운영 비용 때문에 LLM은 이미 대부분의 민간 기업, 학계, 공공 부문 조직이 감당하기에는 너무 비싸며, 모델이 커지고 강력해질수록 이러한 현상은 계속될 것이다.
LLM의 한계
트랜스포머 모델은 특정 구조적 구성 요소 덕분에 서로 다른 입력 간의 관계를 포착하며, 방대한 양의 샘플 텍스트 덕분에 현대의 LLM은 텍스트의 광범위한 의미를 추출하고 텍스트 요소 간의 관계를 추적하는 데 매우 능숙해졌다. GPT-3와 같은 생성형 모델은 한 걸음 더 나아가 질문과 답변 전반에 걸쳐 이러한 관계를 추적하는 법을 학습했다. 그 결과는 종종 매우 설득력 있게 나타난다. ChatGPT에게 0에서 100 사이의 숫자를 묻거나 콜레스테롤이 스테로이드인지 물어보면 정확한 답변을 얻을 가능성이 높다.
그러나 과학 연구와 같은 전문적인 응용 분야에서 거대 언어 모델은 광범위한 의미를 넘어 미묘하고 구체적인 정보를 이해하는 데 어려움을 겪을 수 있다. 왜 그럴까? 첫째, LLM도 '쓰레기를 넣으면 쓰레기가 나온다(garbage-in/garbage-out)'는 문제에서 자유롭지 않다. 둘째, 고품질의 학습 데이터를 사용하더라도 관련 학습 정보가 과소 대표될 수 있다.
광범위하고 자주 설명되는 주제는 LLM이 잘 포착하지만, 좁고 전문적인 주제는 거의 항상 과소 대표되며 제대로 다루지 못할 가능성이 크다. 예를 들어, 거대 언어 모델은 적절한 추상화 수준에 도달하여 어떤 것이 스테로이드 분자인지 판단할 수 있다. 심지어 같은 계열의 두 스테로이드 분자를 인식할 수도 있지만, 하나는 매우 독성이 강하고 다른 하나는 그렇지 않다는 사실을 일관되게 구분하지는 못할 수 있다. 거대 언어 모델이 이러한 차이를 구분하는 능력은 학습에 사용된 데이터와 올바른 정보가 인식되고 '기억'되었는지 여부에 달려 있다. 만약 올바른 정보가 잘못되거나 상충하는 정보의 바다 속에 숨겨져 있다면, 모델이 올바른 답을 내놓을 방법은 없다.
더 많은 데이터, 더 깨끗한 데이터, 더 큰 모델이 그 문제를 해결할 것이라고 반박하는 사람들도 있을 것입니다. 그들의 말이 맞을 수도 있지만, 생성형 LLM에게 0에서 100 사이의 난수를 생성해 달라고 요청한다면 어떨까요? 그 숫자가 정말 무작위라는 것을 확신할 수 있을까요? 이 질문에 답하려면 어휘적 의미론과 암기된 사실을 넘어, LLM을 넘어, AI 에이전트로 나아가야 합니다. 에이전트는 검증된 절차를 사용하여 실행 가능한 코드를 구성하고, 이를 다른 프로세스에 전달하여 실행한 뒤, 결과를 처리하여 사용자에게 다시 제시할 것입니다.
과학 데이터와 관련된 구체적인 과제
CAS의 동료들이 잘 알고 있듯이, 과학 데이터는 텍스트보다 훨씬 복잡할 수 있으며 대부분의 문제는 한두 가지 질문으로 표현할 수 없습니다.
과학 연구에 AI 기반 도구를 사용할 때는 우리가 해결하려는 문제가 무엇인지 스스로 물어야 합니다. 많은 문제가 언어나 느슨하게 구조화된 시퀀스를 포함하므로 언어 모델이 적합합니다. 하지만 표 데이터, 범주형 데이터, 지식 그래프, 시계열 데이터는 어떨까요? 이러한 데이터 형식은 과학 연구에 필수적이지만 LLM이 항상 이를 활용할 수 있는 것은 아닙니다. 즉, LLM만으로는 분자 연구와 같은 애플리케이션에 필요한 수준의 구체성을 제공할 수 없습니다. 오케스트라가 조화로운 소리를 내기 위해 수많은 악기가 필요하듯, 과학 분야도 일관된 결과를 얻기 위해 AI 도구 상자에 여러 도구가 필요합니다.
깊이와 폭을 모두 아우르는 시스템적 접근 방식
LLM만으로 과학 연구에 적합하지 않다면 무엇이 적합할까요? 정답은 여러 유형의 모델을 사용하여 전문화된 출력을 생성하는 시스템적 접근 방식입니다. 언어 모델과 신경망을 기존 머신러닝 도구, 지식 그래프, 화학 정보학, 생물 정보학 및 TF-IDF와 같은 통계적 방법과 결합함으로써 연구자들은 AI 기반 프로그램에 깊이 있고 미묘한 정보를 포함할 수 있습니다.
이러한 도구는 새로운 약물 분자 개발이나 새로운 화합물 발명과 같은 작업에 필요한 구체적인 결과를 제공할 수 있습니다. 지식 그래프는 분자, 반응, 출판된 논문, 통제된 개념 등 알려진 개체를 안정적으로 연결하는 '근거(ground truth)' 역할을 하기 때문에 특히 가치가 있습니다. 이상적인 사용 사례는 "이것은 특정 유형의 물질이다"라고 말할 수 있는 심층 신경망과 정확성을 검증하는 지식 그래프를 활용하는 것입니다. 이것이 바로 과학 연구에 필요한 신뢰할 수 있는 사실에 도달하는 방법입니다.
이러한 유형의 시스템적 접근 방식은 본질적으로 데이터 신뢰성을 향상하기 위한 사실 확인 또는 검증 기능이며, 전문화된 애플리케이션에서 그 효과를 입증하고 있습니다. 예를 들어, Nvidia는 최근 이미지에 대한 질문에 답하거나 캡션을 제공하도록 설계된 비전-언어 모델인 Prismer를 출시했습니다. 이 모델은 여러 개의 작은 하위 모델을 학습시키는 '전문가 혼합(mixture of experts)' 방식을 사용합니다. 이 모델의 지식 깊이는 방대한 학습 없이도 고품질의 결과를 제공했으며, 10~20배 더 많은 데이터로 학습된 모델과 대등한 성능을 보였습니다.
Google 또한 범용 '교사' 언어 모델에서 지식을 추출하여 더 작은 '학생' 모델로 옮기는 유사한 접근 방식을 연구하고 있습니다. 학생 모델은 더 깊은 지식 덕분에 더 큰 모델보다 더 나은 정보를 제공합니다. 예를 들어, 7억 7천만 개의 파라미터로 학습된 한 학생 모델은 전문적인 추론 작업에서 5,400억 개의 파라미터를 가진 교사 모델을 능가했습니다. 작은 모델은 학습 시간이 더 오래 걸리지만, 실행 비용이 저렴하고 속도가 빨라 지속적인 효율성 측면에서 가치가 있습니다.
과학 연구 개선
성공적인 시스템적 접근 방식의 또 다른 예는 저와 CAS 동료들이 개발한 특허 유사성 엔진(PaSE)으로, 이는 CAS STNext 및 CAS SciFinder의 고유한 기능을 구동합니다. 우리는 이 모델을 브라질 국립산업재산권연구소(INPI)와의 협업의 일환으로 구축했습니다. 이 모델은 연구자들이 지속적인 특허 적체 문제를 해결할 수 있도록 방대한 양의 정보를 단 몇 분 만에 처리하도록 설계되었습니다.
이 솔루션에는 GPT 제품군과 동일한 핵심 머신러닝 기술을 사용하는 언어 모델이 포함되어 있지만, 지식 그래프, 화학 정보학, 기존 정보 검색 통계 방법 등 추가적인 학습 유형을 계층화했습니다. CAS Content CollectionTM 내의 전문 특허 및 저널과 같은 전 세계 과학 데이터를 모델에 학습시킴으로써, PaSE는 수동 검색보다 50% 더 빠르게 '선행 기술'을 찾는 데 필요한 깊이와 폭을 확보했습니다.
특허청의 경우, 무언가가 존재하지 않는다는 것을 증명하는 것은 매우 어렵습니다. "증거의 부재가 부재의 증거는 아니다"라는 격언을 생각해 보십시오. 우리의 데이터 과학자들은 전문 특허 검색원, 브라질 INPI 팀, 그리고 수동 검색을 40% 줄이면서 선행 기술을 식별하는 독특한 AI 도구 조합과 함께 모델을 학습하고 최적화했습니다. 이러한 성능과 특허 적체 감소 덕분에 이 모델은 2021년 특허 정보 사용자 그룹(Patent Information Users Group)으로부터 Stu Kaback 비즈니스 임팩트 상을 수상했습니다.
과학 분야에서 대규모 언어 모델이 나아갈 길
이러한 경험은 LLM이 향후 과학 연구에서 계속해서 중요한 역할을 할 것임을 보여주지만, 일반적인 믿음과 달리 이 하나의 도구가 모든 문제나 질문에 대한 만병통치약은 아닙니다.
저는 이러한 모델을 집 안의 어질러진 방, 예를 들어 옷장이나 다락방을 정리하는 것에 비유하고 싶습니다. 사람마다 방 안의 물건을 정리하는 방식이 다를 수 있습니다. 어떤 사람은 색깔별로 정리하고, 어떤 사람은 귀중품을 한데 모으며, 또 다른 사람은 기능별로 정리합니다. 이러한 방식 중 틀린 것은 없지만, 당신이 원하거나 필요로 하는 정리 방식이 아닐 수도 있습니다. 이것이 본질적으로 LLM의 문제입니다. LLM은 정보를 특정 방식으로 정리할 수 있지만, 그것이 과학자나 연구자가 필요로 하는 방식은 아닐 수 있습니다.
단백질 서열, 특허 정보, 화학 구조와 같이 사용자가 특정 결과를 요구하는 전문화된 애플리케이션의 경우, AI 기반 모델은 정보를 특정 방식으로 정리하고 처리하도록 학습되어야 합니다. 최적의 학습과 예측을 위해 사용자가 원하는 방식으로 데이터, 결과, 변수를 정리해야 합니다.
데이터의 영향, 데이터 표현, 그리고 과학 분야의 예측을 개선하는 모델에 대해 자세히 알아보려면 CAS Custom Services의 사례 연구를 확인해 보십시오. AI와 화학의 새로운 지형에 대해 더 알고 싶으신가요? AI가 화학 분야에 가져올 기회에 관한 최신 백서를 읽어보거나 AI가 전 세계 특허청의 생산성을 어떻게 향상시킬 수 있는지에 대한 리소스를 살펴보십시오.
