科学的AIの核心にある評価の課題

AIシステムを誰かに渡し、「これは使い物になるか？」という一見単純な問いを投げかけてみてください。科学や産業の現場で活用されているLLMベースのシステムは、オープンエンドな問いに答え、証拠を比較検討し、結論に至るまでのプロセスを導き出すことを目的としています。流暢で自信に満ちた回答を生成することは容易ですが、それが正しいのか、そして次に同じ問いを投げかけたときにも同じ結果が得られるのかは、また別の問題です。

機械学習モデルは長年にわたり使用され、検証されてきました。では、何が変わったのでしょうか。従来の機械学習モデルは、メールのスパム判定、融資申込者の債務不履行予測、放射線画像からの腫瘍特定といったタスクを実行してきました。それぞれの問題は具体的であり、結果は決定的です。つまり、特定の入力に対して出力は一つです。その精度を検証するための確立された手法が何十年にもわたって存在します。単純に、学習時にモデルが見ていないデータをテスト用として確保し、学習済みモデルに入力して、正解率を測定するだけです。

その枠組みは厳密で解釈しやすく、信頼できるものです。しかし、現在組織が導入しているAIシステムに対しては不十分です。この変化は、AIに求められる役割の根本的な転換を反映しています。今日の言語モデルや、その推論に基づいて行動するエージェンティックシステムは、入力を固定されたラベルセットにマッピングするわけではありません。その代わりに、オープンエンドな言語を生成し、行動を起こします。その過程で、従来の評価手法が用いてきた前提の多くを覆してしまうのです。同じ問いを二度投げれば、異なる回答が返ってくることもあります。回答は流暢で自信に満ちていながら、間違っている可能性もあります。AIシステムに答えを求めるような、最も困難で価値のある問いに対しては、照らし合わせるべき定まった答えが存在しない場合さえあるのです。

このギャップが最も大きな意味を持つのは科学の分野です。問う価値のある問いとは、まさにまだ誰も答えを出していない問いだからです。さらに、誤った回答は単なる予測ミスにとどまらず、研究プログラムを数ヶ月にわたる行き止まりへと追い込む可能性さえあります。

本稿では、この変化の経緯を辿ります。なぜ従来の枠組みがこれほど有効だったのか、なぜ現代のAIには不十分なのか、そしてその距離を埋めるためにどのような新しいアプローチが登場しているのかを解説します。

従来の機械学習評価という心地よい世界

これらの新しいシステムが覆している前提は、ほとんど明文化されてきませんでした。なぜなら、従来の機械学習においては、それを意識する必要がほとんどなかったからです。従来の評価は、通常満たされているために見過ごされがちな、以下の3つの前提に基づいています。

• 第一に、グラウンドトゥルース（正解）が存在すること。つまり、モデルの出力を比較するための決定的な正解があるという前提です。

• 第二に、タスクが限定的であり、可能な出力の範囲が有限かつ明確に定義されていること。

• 第三に、正誤が明確であること。つまり、予測は正しいか間違っているかのどちらかであり、人間（またはラベル付けされたデータセット）がその違いを判別できるという前提です。

こうした前提は、機械学習が最初に注目を集めた問題において非常に有効でした：  

• スパム検出は、二値分類問題です。  

• 画像認識は、入力を固定されたラベルの集合にマッピングします。  

• 不正検知は、学習済みのしきい値に基づいてトランザクションをスコアリングします。  

いずれの場合も、評価の手法は同じです。モデルの出力を正解が判明している例と比較し、正解率を測定します。 

このフレームワークから導き出される標準的な指標には、以下のようなものがあります：  

• 正解率（Accuracy）。 モデルの予測全体のうち、正解した割合。直感的ですが、特定の事象が他よりも圧倒的に多い場合には誤解を招く可能性があります。 

• 適合率（Precision）。 モデルが陽性と判定したもののうち、実際に陽性であった割合。アラートの信頼性を示す指標です。 

• 再現率（Recall）。 実際に存在する陽性のうち、モデルが正しく捉えられた割合。見落としの少なさを示す指標です。 

• F1スコア。 適合率と再現率の調和平均。一方を犠牲にして他方を高めるモデルを抑制し、単一の数値で評価したい場合に有用です。 

• ROC曲線下面積（AUC）。 モデルの信頼度スコアは、真陽性を増やすことと誤報を減らすことのトレードオフを調整可能です。ROC曲線はこのトレードオフをあらゆるしきい値でプロットしたもので、その下の面積は全体的な識別能力を単一の数値で要約します。1.0はモデルが2つのクラスを完全に分離していることを意味し、0.5はコイン投げと同等の性能であることを意味します。 

これらはそれぞれモデルの挙動の重要な側面を捉えており、非常に基本的な指標として定着しているため、多くの実務者が問題の種類を問わず最初に参照するものとなっています。しかし、問題がこうした前提を満たさなくなると、困難が生じます。 

言語モデルが従来のフレームワークを覆す理由 

言語モデルにおいては、これまでの前提がすべて崩れます。モデルは定義済みの回答から選択するのではなく、自由記述のテキストを生成するため、出力の可能性は無限に広がります。価値ある問いの多くには比較対象となる唯一の正解が存在せず、ある文章が特定の点では正確でも別の点では誤っていたり、関連性はあっても曖昧であったり、論理的であっても表面的なだけであったりと、それらが同時に混在することさえあります。出力が「正しい」かどうかは、固定された回答との単純な比較ではなく、判断の対象となります。 

エージェント型システムが単に応答するだけでなく「行動」を起こすようになると、この課題はさらに深刻になります。リサーチエージェントは情報を検索し、複数のソースから統合し、中間ステップを論理的に推論し、人間が途中で確認することのない結論を導き出す可能性があります。このようなシステムを評価することは、最終的な出力だけでなく、それを生み出した一連の意思決定プロセスを評価することを意味します。欠陥のある推論から導かれた正しい結論は、健全な推論から導かれた正しい結論とは異なります。特に、その推論自体が後続の行動に影響を与える環境下では、この違いは決定的です。 

こうした変化の背景には、言語モデルの出力が持つ、評価を困難にするいくつかの特性があります： 

• 再現性が保証されない。 同じプロンプトでも実行ごとに異なる回答が返される可能性があるため、固定された入力から固定された検証可能な結果を得ることができません。これは、科学的実践と従来の機械学習評価の双方に共通する基盤を揺るがすものです。 

• 失敗がシグナルとして現れない。 言語モデルは流暢で一貫性のあるテキストを生成するように訓練されていますが、流暢さは「正確さ」とは異なります。モデルは自信に満ちた口調で内部的に整合性の取れた回答を生成しながら、事実としては誤っていることがあり、しかも多くの場合、何かが間違っているという兆候は一切示されません。 

• 正確さは文脈に依存する。 モデルの回答が適切かどうかは、誰が、なぜ、どのような目的でその回答を求めているかによって決まります。一般読者を満足させる要約が、専門家にとっては誤解を招くものになることもあります。技術的に「正確」な回答であっても、必要な注意書きが欠けていれば役に立たないこともあります。 

科学分野ではさらに困難が増す 

こうした一般的な課題は、科学分野のアプリケーションにおいてさらに顕著になります。科学の現場では、精度は単なる好みの問題ではなく、専門的かつ実務上の必須要件だからです。

科学的な問いには、完全に境界が定められているものはほとんどありません。AIシステムに対して、有望な創薬候補の特定や合成ルートの提案、あるいは文献間の分野横断的なつながりの抽出を求めることは、画像を分類させることとはわけが違います。回答の範囲は膨大であり、満足のいく回答であるための基準は多次元的です。誤りがあれば、実験の方向性を誤らせたり、数ヶ月の時間を無駄にしたり、結果の再現性を損なう事態を招きかねません。

さらに深刻な問題として、AIが最も価値を発揮できる領域において、決定的な「正解（グラウンドトゥルース）」がまだ存在しないことが多いという点が挙げられます。これまで関連性のなかった二つの文献を結びつけるような新しい仮説を提示するシステムを、既知の答えと照らし合わせて評価することは不可能です。答えが既知であれば、その仮説は「新しい」とは言えないからです。内部ベンチマークでは高スコアでも、実際の実験条件下で機能しないモデルは、リソースの誤配分や計画の遅延を招き、AIが科学的実践の場に定着するかどうかを左右する研究者からの信頼を損なうことになります。

既存のテキスト評価指標

機械生成テキストは大規模言語モデルの登場とともに生まれたわけではなく、そのスコアリングの問題も同様です。機械翻訳や要約システムは、今日のモデルが登場するずっと前から評価が必要なテキストを生成しており、この分野ではそれを実行するための自動評価指標群が構築されてきました。現在も広く使われているのは、以下の3つです。

• BLEU。機械翻訳用に設計された指標で、モデルの出力が一つ以上の参照テキストと短い単語シーケンスのレベルでどの程度重複しているかを測定します。短すぎる回答にはペナルティが課されます（Papineni et al., 2002）。

• ROUGE。要約用に開発された指標で、BLEUとは補完的な視点を持ち、参照テキストのうちどの程度がモデルの出力に含まれているかを測定します（Lin, 2004）。

• METEOR。表面的な形式ではなく「意味」を評価しようとする改良版です。同一の単語だけでなく、語幹や同義語も照合し、適合率と再現率のバランスをとります（Banerjee and Lavie, 2005）。

これらの指標は、許容される回答の範囲が狭いタスクにおいては精度の尺度となります。しかし、これらは評価対象のシステムにとって致命的となる前提を継承しています。すなわち、比較対象となる参照テキストを必要とし、出力がその参照とどれだけ一致しているかを測定するだけであり、それが正しいか、論理的か、あるいは有用かまでは判断できないのです。参照テキストと異なる言い回しをした正しい回答は低スコアになる一方、参照テキストの文言をなぞった流暢な回答は、内容が間違っていても高スコアになる可能性があります。多くの言い回しが有効であり、最も価値のある回答には参照先が存在しないこともあるオープンエンドな合成タスクにおいて、固定されたターゲットへの類似性は、品質を測る指標としては不十分です。

新たな評価アプローチ

こうした課題に対応するため、いくつかの評価アプローチが登場しています。これらは従来の指標に取って代わるものではなく、補完するために不可欠なものです。これらを組み合わせて使用することで、単一の手法では見落とされてしまう様々な失敗モードに対処できます。

LLM-as-a-judge（LLMによる評価）は、評価対象のモデルの出力を、別の言語モデルを使って評価する手法です。このアプローチは、人間によるレビューでは不可能な規模での評価を可能にします。適切に設計されたジャッジモデルであれば、専門家が数十件のレビューを行う時間で、数千件の出力を評価できます。言語モデルは人間と同等以上の精度で評価できるのでしょうか？答えはイエスであり、それを成功させる鍵は「具体性」にあります。

例として、複数の専門家が同じテキストを個別にレビューする場面を想像してください。各レビューアが品質について異なる結論に達したとしても、それは誰かが間違っているからではなく、それぞれが暗黙のうちに異なる基準を重視しているからです。ある者は事実の正確さを優先し、別の者は網羅性や不確実性に対する適切な表現を重視するかもしれません。明示的で共有された指標がなければ、「良い」という評価はレビューアが個人的に決めた基準に過ぎなくなります。

このような人間による判断のばらつきは、よく知られた事実です。Zheng et al. (2023)は、オープンエンドなLLMの回答を評価する専門家が、単純なペア比較において合意できたのはわずか80%であったと報告しています。しかもこれは、評価者が同じタスクに対して同じ明示的なルーブリックに基づいて作業するという、好条件での結果です。スキルタイプ別に評価を分解すると、状況はさらに複雑になります。Ye et al. (2024)は、12の異なる評価次元にわたる人間同士の合意度をクリッペンドルフのアルファを用いて測定し、全体的な合意度がわずか0.488であり、中程度の合意しか得られていないことを明らかにしました。

適切に設計された評価プロンプトは、こうした暗黙の推論を明示化させます。単一の全体的な判定を下すのではなく、特定の分離可能な次元（事実の一貫性、関連性、網羅性、不確実性の適切な表現など）を評価するようジャッジモデルに求めるのです（Liu et al., 2023；Ye et al., 2024）。これにより、ジャッジが言語モデルであれ人間の専門家であれ、より一貫性があり、監査可能で、実用的な評価が可能になります。

Human-in-the-loop（人間が介在する）評価は、自動化手法が最も弱いケースにおいて依然として不可欠です。これを導入する論理は、大規模製造業で確立された原則を反映しています。製造現場では、すべての製品が同じレベルの精査を受けるわけではありません。医療機器や安全性が重要なシステム向けの部品は、人間による直接的かつ個別の検査を受けます。標準的な出力は自動テストでカバーされ、失敗の調査やエッジケースの検証、あるいは定期的なバッチ監査が必要な場合にのみ人間が介入します。これらの原則は、米国食品医薬品局（FDA）の品質システム規制（21 CFR Part 820）や、AS9100D、ISO 13485:2016といった数多くの品質基準に反映されています。

科学的AIの評価も同じ論理に従います。新規性の高い出力、重大な結論、そして自動評価システムのキャリブレーションには、専門家による直接的なレビューが必要です。日常的な大量の出力はシステム的に処理し、人間の判断はボトルネックとしてではなく、エスカレーションパスとして活用します。専門家は、自動システムにはない能力を発揮します。それは、内部的には一貫しているものの微妙に間違っている回答を見抜く力や、モデルが分野の古い知識に基づいて推論していることを特定する力、あるいは技術的には正しくても文脈なしで解釈すると実務者を誤導する結果を指摘する力です。目標は人間の関与を最大化することではなく、最も効果的な場所に人間の力を集中させることです。

遡及的ベンチマークは、科学的AI評価における最も根本的な緊張関係の一つ、すなわち「答えがまだ分からない問いに対して、どうやってシステムを評価するか」という問題に対処するものです。

二つの異なるユースケースを考えてみましょう。一つ目は、研究者がAIシステムに対して、融点、規制上の分類、文書化された反応収率といった特定の情報を検索させる場合です。これは評価が容易です。システムが正しい答えを取得できたか、できなかったかのどちらかだからです。二つ目のユースケースはより困難です。研究者がシステムに対し、複数のソースから情報を統合し、どの単一の文書にも含まれていない洞察を導き出すよう求める場合です。これこそ研究者が最も重視することですが、AIシステムが結果を検証するための既存の答えが存在しないため、評価ははるかに困難になります。こうしたオープンワールドのタスクは、ドリフト（性能劣化）も起こりやすいものです。期待される推論アプローチも許容される回答も、科学的理解の進化とともに変化する可能性があるため、評価は一度きりの作業ではなく、繰り返し行う必要があります。

検証可能なものだけをテストしたくなるかもしれません。しかし、それはシステムが最も苦手とするタスクだけで評価することになってしまいます。より良いアプローチは、検索だけでなく、すでに合成によって答えが出ている問いをシステムに解かせることです。かつては新規であり、異なる文献群を結びつける必要があったものの、現在では確立された科学的記録の一部となっている知見は、理想的なテストケースとなります。発見当時に情報が存在していたのであれば、有能なシステムは同様の推論を再構築できるはずです。

これは回顧的ベンチマークと呼ばれる手法です。科学的発見の歴史をプロキシ（代替）評価セットとして利用し、直接的なテストが困難なオープンエンド型の合成能力を評価します。このアプローチは、文献ベースの発見という成長分野において先例があります。Swanson (1986)は、論理的には関連しているものの相互作用のない2つの文献群を特定し、それらの関連性から、当時明示的に発表されていなかった仮説（食事による魚油がレイノー症候群の患者に有益である可能性）を導き出しました。その後、Spanglerら (2014)はこの論理を計算機的に拡張しました。科学文献をマイニングして、どのキナーゼが腫瘍抑制因子p53をリン酸化するかという仮説を生成し、新たな実験を行う前に回顧的分析を用いてその手法の正確性を検証しました。どちらのケースにおいても、回顧的フレームワークの価値は共通しています。入力が特定の時点に固定されているため、オープンワールドのベンチマークのように評価が陳腐化することがないのです。

このアプローチには、将来のあらゆる可能性を網羅するものではなく、すでに確立された関連性をテストするという限界があります。また、評価時にシステムが利用できる情報を制限するには、慎重なエンジニアリングが必要です。しかし、システムが単に情報を検索するだけでなく、複数のソースを真に統合できるかを検証する手段として、これは数少ない厳密なツールのひとつです。

意味的安定性のテストは、静的なテストでは見落とされがちな障害モードに対処するものです。言語モデルは質問の構成に敏感であり、意味を変えずにクエリを言い換えるだけで異なる回答が生成されることがあります。科学的アシスタントにとって、これは信頼性に関わる重大な懸念です。研究者は、システムが回答する内容が、たまたま使用した特定の単語ではなく、質問の本質を反映していると確信できる必要があります。この問題を説明するシナリオをいくつか挙げます。

1つ目は同義語の置き換えです。意味を維持しつつ表面的な形式を変化させる摂動を用いた不変性テストにより、Ribeiroら (2020)は、広範にテストされた商用感情分析モデルにおいて見過ごされていた重大な欠陥を特定しました。「film」を「movie」に、「determine」を「find out」に置き換えるといった同義語への変更は、科学的アシスタントの回答を変えるべきではありませんが、実際には頻繁に回答が変わってしまいます。

2つ目は否定表現です。多くの否定ベンチマークを用いてモデルを体系的に評価した結果、一貫した限界が見つかりました。否定の存在に対する鈍感さ、否定の語彙的意味を捉えられないこと、そして否定の下で正しく推論できないという失敗です（Truongら, 2023）。これは、わずかな単語で記述の事実性が変わってしまう科学的な文脈において重要です。「AはBを引き起こす」「AはBを引き起こす可能性がある」「AがBを引き起こすことを示唆している」「AがBを引き起こすという主張を支持しない」といった違いがその例です。

3つ目は形式性です。文法、トーン、形式の変化がモデルの出力の質や方向に大きな影響を与えることが研究で示されています。例えば、「メカニズムは何ですか？」と「メカニズムの基礎を説明していただけますか…」のように、クエリの形式がカジュアルな場合に回答の質が低下するモデルが存在します。技術的な文章ではなく平易な言葉で書く研究者も、そうでない研究者と同じ本質的な回答を受け取るべきです。この懸念を定式化した最近の研究では、Liorら (2025)が、意味を保持したプロンプトの摂動空間全体における確率的評価を提唱しており、GPT-4oやClaude 3.7 Sonnetのような高性能モデルでさえ、プロンプトに対してかなりの敏感さを示すことを明らかにしています。

様々な研究から得られた証拠を鑑みると、質問ごとに1つの言い回しのみを評価する方法では、この問題は表面化しません。したがって、同等のクエリであっても言語表現を変化させ、回答が一貫しているかを確認することは、厳格な評価プロセスの一部であるべきです。

推論の評価は、エージェントシステムや科学的アプリケーションにおいて重要です。研究アシスタントが問題を推論し、ソースを検索し、結論を導き出す際、科学者は結論が正しいかどうかだけでなく、どのようにしてその結論に至ったのかを理解する必要があります。これは、結果は再現可能であり、手法は透明であるべきだという科学の根本的な期待を反映しています。

モデルに最終的な回答の前に中間的な推論ステップを出力させる「思考の連鎖（Chain-of-thought）」プロンプトは、複雑な推論タスクのパフォーマンスを大幅に向上させることが示されています。その採用は、推論を可読化するという解釈可能性の利点に一部動機づけられていました（Weiら, 2022）。しかし、推論ステップが見えることは信頼性の保証にはなりません。Turpinら (2023)は、この可読性が幻想である可能性を示しました。思考の連鎖による説明は、モデルの予測の真の根拠を体系的に誤って提示することがあるのです。彼らの重要な実験では、選択肢の順序を入れ替えて正解が常に「A」になるようにモデルの入力に微妙なバイアスを加えました。これによりモデルの出力は確実に変化しましたが、モデルは提示された推論の中でこの影響について一貫して言及しませんでした。欠陥のある、あるいは不透明な推論プロセスを経て正解を導き出すシステムは潜在的なリスクです。次に回答する質問が正しいとは限らず、それを判断する方法がないからです。

単に正しい回答を生成するのではなく、正しく推論するようにモデルを訓練する方法について、直接的な注目が集まり始めています。Lightmanら (2023)は、最終的な回答が正しいかどうかに基づいてモデルに報酬を与える「結果監督（outcome supervision）」と、個々の推論ステップごとに評価を行う「プロセス監督（process supervision）」を比較することで、その重要性を示しました。彼らは、結果監督で訓練されたモデルは正しい最終回答に到達するために誤った推論を頻繁に使用する一方、プロセス監督は大幅に信頼性の高いシステムを生み出すことを発見しました。この訓練の知見は、評価の原則にも変換されます。つまり、訓練に使えるほど正確に正しいステップを定義できるのであれば、監査に使えるほど正確に定義することも可能だということです。

したがって、出力だけでなく推論プロセスを評価するには、「この回答は正しいか？」ではなく「システムは回答に至るために適切なステップを踏んだか？」という異なる種類のテストが必要です。これはルーブリックに基づく演習ですが、製品ではなくプロセスに適用されるものです。設計には専門家の知見が必要であり、何が正しいステップかを定義するのはより困難ですが、これこそが科学者がAIシステムの結論に基づいて行動する前に必要とする、正当な信頼を築くための評価なのです。

エージェント評価における新たな方向性として、システムが呼び出すツール、実行する検索、情報を取得する順序といった「観察可能なアクション」が、提示された論理的根拠よりも推論の質をより確実に示す可能性があるという考えがあります。他のモデル出力と同じプロセスで生成され、同様のハルシネーション（幻覚）リスクを伴う思考の連鎖テキストとは異なり、ツール呼び出しや検索ステップは監査証跡を残し、その後の行動を制約する結果をもたらします。マルチステップのツール使用を評価するために設計されたベンチマークにおけるエージェント軌跡評価の初期の研究では、タスクの結果だけでなく、これらの中間的なアクションをスコアリングし始めています。このアプローチが成熟すれば、科学的ユーザーに対して、より真の「手法監査」に近いものを提供できるかもしれません。

体系的なアプローチと人間によるアプローチの融合

単一の評価手法では不十分です。科学的AI評価において最も進歩している組織は、それをポートフォリオ問題として扱っています。網羅性と一貫性のために自動化技術を大規模に展開し、キャリブレーション、エッジケースの検証、そして真の科学的理解を必要とする判断については人間の専門家によるレビューを確保しています。優れた評価フレームワークは、どちらかを従属させるのではなく、それぞれの補完的な強みを活用します。

科学研究のためのAIソリューションを構築するにあたり、CASはこの階層的なアプローチを適用しています。自動評価は大規模な出力セット全体にわたる規模と一貫性を処理し、構造化されたルーブリックは評価が単一の数値に集約されるのではなく多次元であることを保証します。そして、CAS Content Collection™のキュレーションを支える専門家であるドメイン科学者が、システムが技術的に高性能であり、科学的に健全であるかを判断する人間の知見を提供します。これには、CAS Newton℠が何を結論づけたかだけでなく、どのように推論したか、つまり回答に至るまでのステップが科学者にとって適切で、追跡可能で、再現可能であると認識できるかどうかの評価も含まれます。目標は、効率化の名の下に人間の関与を最小限に抑えることではありません。人間の知見が最もレバレッジを発揮できる場所に、それを向けることなのです。

優れた評価とはどのようなものか

評価はAIシステムが構築された後に行うステップではありません。設計の初期段階からシステムをどのように構築するかを決定づける設計上の制約です。早い段階で問いかけるべき質問は以下の通りです。

• 「成功とはどのような状態か？」

• 「システムが間違っていることをどのようにして知るか？」

• 「その判断を下す専門知識を持っているのは誰か？」

これらは単なる評価のための問いではありません。AIシステムの出力に基づいて行動を求められる科学者や研究者から、そのシステムが信頼を得られるかどうかを決定づける重要な問いなのです。

従来の機械学習ツールキットが不要になるわけではありません。適合率、再現率、ベンチマーク性能は依然として重要であり、複雑なAIシステムの多くのコンポーネントにおいて、これらは適切な指標であり続けます。しかし、AIの能力の限界に挑むシステム、すなわち科学文献を横断的に推論し、潜在的な関連性を浮き彫りにし、正解が不確かな領域で仮説を提案するようなシステムにおいては、従来の評価手法だけでは不十分です。その厳密さを構築すること自体が現在進行形の科学的課題であり、評価対象となるAIシステムと同等の配慮が求められます。