AIツールや専門的アプリケーションにおいて「規模が大きければ良い」とは限らない理由
2022年の公開以来、ChatGPTはAIをめぐる議論を一変させました。仕事の革命や都市の活性化といった期待から、人間の仕事を奪うといった懸念まで、この大規模言語モデル（LLM）は、あらゆることを実現できる可能性があると言われています。
ChatGPTとGPT-3/GPT-4の違いとは？
ChatGPTと、GPT-3やGPT-4といったLLMそのものには重要な違いがあります。これらは混同されたり同じ意味で使われたりすることが多いのですが、ChatGPTは、より複雑なLLM（GPT-3やGPT-4）を基盤として動作する「使いやすい」インターフェースを備えたチャットボットアプリです。
GPT-3やGPT-4は、Generative Pre-Trained Transformer（生成的な事前学習済みトランスフォーマー）モデルシリーズの異なるバージョンです。トランスフォーマーとは、言語モデルとして知られるニューラルネットワークの一種です。これらのモデルは、文章中の単語のような緩やかに構造化されたデータからパターンや文脈を認識することを学習できます。トランスフォーマーは特にこの能力に長けています。生成モデルは、文脈を与えられると、プロンプトから任意の長さの出力を生成できます。GPTモデルは、これら2つのモデルを組み合わせたものです。
一方、ChatGPTはGPT-3やGPT-4といったLLMを基盤とするアプリケーションです。過去の会話を継続するためのメモリ機能や、有害または不適切な回答を最小限に抑えるためのフィルターや分類機能などが組み込まれています。
LLMを構築するには何が必要か？
LLMは非常に強力です。GPT-3には1750億個のパラメータ（学習を通じてモデルが独立して変更できる値）があります。2023年にリリースされたGPTシリーズの最新版であるGPT-4は、さらに巨大な1兆個のパラメータを誇ります。利用したことのある方ならお分かりいただける通り、これらのモデルは非常に広範な知識を持ち、一貫性のある情報を生成する驚くべき能力を備えています。
しかし、こうした能力には文字通りコストが伴います。ますます巨大化するGPTモデルのトレーニングや、ChatGPTのようなアプリの展開は、膨大なエンジニアリングの成果です。GPT-3の構築には460万ドル、クラウドでの運用には年間少なくとも8万7000ドルの費用がかかったと推定されています。GPT-4の開発には、1億ドル以上という驚異的な費用がかかったと見られています。
これらの数値に加え、ハードウェアの多額のコストや、データセンターの冷却を維持するためのリソースコストもかかります。データセンターは数十億ガロンもの水を使用し、空調はエネルギーを消費して排出ガスの一因となります。そのため、組織はこれらの強力なツールのコストとメリットを評価せざるを得ません。こうした初期費用と継続的な運用コストのため、LLMはすでに多くの民間企業、学術機関、公共部門にとって導入が困難なほど高額となっており、モデルがより大きく強力になるにつれて、この傾向は続くでしょう。
LLMの限界
トランスフォーマーモデルは、特定の構造的コンポーネントのおかげで異なる入力間の関係を捉えることができ、膨大なサンプルテキストのおかげで、現代のLLMはテキストの広範な意味を抽出し、テキスト要素間の関係を追跡することに非常に長けています。GPT-3のような生成モデルはさらに一歩進んで、質問と回答の両方にわたってこれらの関係を追跡することを学習しました。その結果は多くの場合、説得力のあるものとなります。ChatGPTに0から100までの数字を尋ねたり、コレステロールがステロイドかどうかを尋ねたりすれば、おそらく正しい答えが得られるでしょう。
しかし、科学研究のような専門的な用途では、大規模言語モデルは広範な意味を超えて、微妙で具体的な情報を理解するのに苦労することがあります。なぜでしょうか。第一に、LLMも「ゴミを入れればゴミが出てくる（Garbage-in/Garbage-out）」という問題から逃れられないからです。第二に、質の高いトレーニングデータを使用しても、関連するトレーニング情報が十分に網羅されていない可能性があるからです。
広く語られるトピックはLLMによって十分に捉えられますが、狭く専門的なトピックはほとんどの場合、情報が不足しており、適切に処理されない傾向があります。例えば、大規模言語モデルは適切な抽象化レベルに到達し、何かがステロイド分子であるかどうかを判断することはできます。同じファミリーの2つのステロイド分子を認識することさえできるかもしれませんが、一方が極めて毒性が高く、もう一方がそうではないという違いを一貫して認識することはできません。大規模言語モデルがその違いを識別できるかどうかは、トレーニングに使用されたデータと、正しい情報が認識され「記憶」されたかどうかに依存します。もしその情報が誤った情報や矛盾する情報の海に埋もれていれば、モデルが正しい答えを導き出すことは不可能です。
データ量を増やし、精度を高め、モデルを巨大化すれば解決するという意見もあるかもしれません。それは一理ありますが、生成AIに0から100までの乱数を生成するよう求めた場合、その数字が本当にランダムであると断言できるでしょうか。この問いに答えるには、語彙的な意味や記憶された事実、そしてLLMの枠組みを超え、AIエージェントへと目を向ける必要があります。エージェントは、検証済みの手順を用いて実行可能なコードを構築し、それを別のプロセスに渡して実行させ、結果を処理した上でユーザーに回答を提示します。
科学データ特有の課題
CASの同僚たちが知っているように、科学データはテキストよりもはるかに複雑であり、ほとんどの問題は1つや2つの質問で表現できるものではありません。
科学研究にAIツールを活用する際、私たちは「何を解決しようとしているのか」を自問しなければなりません。言語や緩やかに構造化されたシーケンスを扱う問題であれば、言語モデルは最適です。しかし、表形式データ、カテゴリデータ、ナレッジグラフ、時系列データについてはどうでしょうか。これらは科学研究に不可欠ですが、LLMが常に活用できるとは限りません。つまり、LLM単体では分子研究のような用途に必要なレベルの具体性を提供できないのです。オーケストラが調和のとれた音を奏でるために多くの楽器を必要とするのと同様に、科学研究においても、一貫した成果を生み出すためにはAIツールボックス内の複数のツールを組み合わせる必要があります。
深さと広さを両立させるシステムアプローチ
LLM単体が科学研究に適していないのであれば、何が適しているのでしょうか。その答えは、複数のモデルを組み合わせて専門的な出力を生成するシステムアプローチです。言語モデルやニューラルネットワークを、従来の機械学習ツール、ナレッジグラフ、ケモインフォマティクス、バイオインフォマティクス、そしてTF-IDFのような統計的手法と組み合わせることで、研究者はAI主導のプログラムに深く、ニュアンスに富んだ情報を取り入れることができます。
これらのツールは、新しい医薬品分子の開発や新化合物の発明といったタスクに必要な具体的な結果を提供できます。特にナレッジグラフは、分子、反応、公開論文、管理された概念といった既知のエンティティを確実に結びつける「グラウンドトゥルース（信頼できる根拠）」として機能するため、非常に価値があります。理想的なユースケースは、深層ニューラルネットワークが「これは特定の種類の物質である」と判断し、ナレッジグラフがその正確性を検証するという仕組みです。これこそが、科学研究に必要な信頼できる事実に到達する方法です。
このようなシステムアプローチは、本質的にデータ信頼性を向上させるためのファクトチェックや検証機能であり、専門的なアプリケーションでその有効性が証明されています。例えば、NVIDIAが最近発表したPrismerは、画像に関する質問への回答やキャプション生成を行うために設計された視覚言語モデルです。このモデルは、複数の小さなサブモデルを学習させる「混合エキスパート」アプローチを採用しています。このモデルの知識の深さは、膨大な学習を行わなくても高品質な結果をもたらしており、10倍から20倍のデータで学習されたモデルと同等の性能を達成しました。
Googleも同様のアプローチに取り組んでおり、汎用的な「教師」言語モデルから知識を抽出し、より小さな「生徒」モデルに移行させています。生徒モデルは、より深い知識を持つため、より優れた情報を提供します。実際、7億7000万パラメータで学習したある生徒モデルは、専門的な推論タスクにおいて、5400億パラメータの教師モデルを上回りました。小さなモデルは学習に時間がかかるものの、実行コストが安く高速であるため、継続的な効率化のメリットは非常に大きいのです。
科学研究の向上
システムアプローチの成功例としてもう一つ挙げられるのが、私とCASの同僚が開発した特許類似性エンジン「PaSE」です。これはCAS STNextおよびCAS SciFinderの独自の機能を支えています。私たちは、ブラジル国立産業財産権庁（INPI）との共同研究の一環としてこのモデルを構築しました。これは、研究者が抱える膨大な特許の未処理案件を解消できるよう、大量の情報をわずか数分で処理するために設計されました。
このソリューションには、GPTファミリーと同じ重要な機械学習技術を使用する言語モデルが含まれていますが、さらにナレッジグラフ、ケモインフォマティクス、従来の統計的情報検索手法といった学習タイプを重ね合わせています。CAS Content CollectionTMに含まれる特許やジャーナルの全文など、世界の科学データでモデルを学習させることで、PaSEは手動検索よりも50%速く「先行技術」を見つけるために必要な深さと広さを実現しました。
特許庁にとって、「何かが存在しないこと」を証明するのは非常に困難です。「証拠がないことは、存在しないことの証拠ではない」という格言がある通りです。私たちのデータサイエンティストは、専門の特許調査員やブラジルINPIのチームと協力してモデルを学習・最適化し、AIツールの独自の組み合わせによって、手動検索を40%削減しながら先行技術を特定することに成功しました。この性能と特許未処理案件の削減が評価され、2021年にPatent Information Users GroupよりStu Kaback Business Impact Awardを授与されました。
科学における大規模言語モデルの今後の展望
この経験から、LLMが今後の科学研究において重要な役割を果たし続けることは明らかですが、一般に信じられていることとは裏腹に、このツール一つですべての問題や疑問が解決するわけではありません。
私はこれらのモデルを、家の中の散らかった部屋（クローゼットや屋根裏部屋など）を整理することに例えるのが好きです。整理の仕方は人によって異なります。色で分ける人もいれば、貴重品をまとめる人、機能別に整理する人もいるでしょう。どの方法も間違いではありませんが、あなたが必要とする整理の仕方とは異なるかもしれません。LLMも同様で、情報を特定のやり方で整理することはできますが、それが科学者や研究者が求める方法であるとは限らないのです。
タンパク質配列、特許情報、化学構造など、ユーザーが特定の成果を求める専門的なアプリケーションでは、AIモデルは特定のやり方で情報を整理・処理するように学習させる必要があります。最適な学習と予測を行うためには、データ、結果、変数をユーザーが望む形で整理しなければなりません。
データの影響、その表現、そして科学における予測を向上させるモデルの詳細については、CASカスタムサービスのケーススタディをご覧ください。AIと化学の新たな展望についてさらに知りたい方は、AIが化学にもたらす機会に関する最新のホワイトペーパーをお読みいただくか、AIが世界中の特許庁の生産性をいかに向上させるかについての資料をご覧ください。
