科学分野の人工知能の核心にある評価の課題

AIシステムを誰かに渡し、一見単純な「これは役に立つか？」という問いを投げかけてみてください。科学や産業の現場で活用されているLLMベースのシステムは、オープンエンドな問いに答え、証拠を比較検討し、結論に至るまでのステップを処理することを目的としています。流暢で自信に満ちた回答を生成することは容易ですが、それが正しいのか、そして次に同じ問いをしたときにも通用するのかは別の問題です。 

機械学習モデルは長年にわたり使用され、テストされてきました。何が変わったのでしょうか。従来の機械学習モデルは、メールのスパム分類、融資申請者の債務不履行予測、放射線画像における腫瘍の特定といったタスクを実行するために使われてきました。それぞれの問題は具体的であり、結果は決定的です。つまり、特定の入力に対して単一の出力が存在します。その作業をチェックする方法については、数十年にわたる確立された慣行があります。簡単に言えば、トレーニング中にモデルが見たことのない例を確保しておき、それをトレーニング済みのモデルで実行し、どれくらいの頻度で正解が得られるかを測定するのです。 

そのフレームワークは厳密で解釈可能であり、信頼されています。しかし、現在組織が導入しているようなAIシステムにとっては不十分です。この変化は、AIに求められる役割の根本的な変化を反映しています。今日の言語モデルやその推論に基づいて行動するエージェンシーシステムは、入力を固定されたラベルセットにマッピングするわけではありません。その代わりに、オープンエンドな言語を生成し、行動を起こします。そうすることで、従来の評価手法が用いる前提の多くを覆してしまうのです。同じ問いを2回投げかけても、異なる回答が生成されることがあります。回答は流暢で自信に満ちていても、間違っている可能性があります。私たちがAIシステムに答えを求めるような、最も困難で価値のある問いに対しては、照らし合わせるべき定まった答えが存在しない場合さえあります。 

このギャップが科学ほど重要な意味を持つ分野はありません。科学において問う価値のある問いとは、まさに誰もまだ答えを出していない問いだからです。さらに、誤った回答は単なる予測ミスにとどまらず、研究プログラムを数ヶ月にわたる行き止まりに追い込む可能性さえあります。  

以下では、この変化を追跡します。なぜ従来のフレームワークがこれほど有効だったのか、なぜ現代のAIには不十分なのか、そしてその距離を縮めるためにどのような新しいアプローチが登場しているのかを解説します。 

従来の機械学習評価の快適な世界 

これらの新しいシステムが覆す前提が明文化されることはほとんどありません。なぜなら、従来の機械学習においては、それらを明文化する必要がほとんどなかったからです。従来の評価は3つの前提に基づいています。これらは通常満たされているため、見過ごされがちです。  

• 第一に、グラウンドトゥルース（正解）が存在すること。つまり、モデルの出力を比較するための決定的な正解があるという前提です。  

• 第二に、タスクが限定されており、可能な出力の空間が有限かつ明確に定義されているという前提です。  

• 第三に、正しさは曖昧ではなく、予測は正しいか間違っているかのどちらかであり、人間（またはラベル付けされたデータセット）がその違いを判別できるという前提です。 

これらの前提は、機械学習が最初に有名になった問題に対しては十分に当てはまります。  

• スパム検出は、二値分類問題です。  

• 画像認識は、入力を固定されたラベルのセットにマッピングします。  

• 不正検出は、学習済みのしきい値に基づいてトランザクションをスコアリングします。  

いずれの場合も、評価の仕組みは同じです。モデルの出力を正解が既知の例と比較し、正解率を測定します。 

このフレームワークから導き出される標準的な指標があります。  

• 精度（Accuracy）。 モデルが正しく予測した割合。直感的ですが、一方の結果が他方より圧倒的に多い場合には誤解を招く可能性があります。 

• 適合率（Precision）。 モデルがポジティブと判定したもののうち、実際にポジティブであった割合。アラートの信頼性を示す尺度です。 

• 再現率（Recall）。 実際に存在するすべてのポジティブなケースのうち、モデルが捕捉できた割合。見落としの少なさを示す尺度です。 

• F1スコア。 適合率と再現率の調和平均。一方を犠牲にするモデルをペナルティ対象とする、単一の数値が必要な場合に有用です。 

• ROC曲線下面積（AUC）。 モデルの信頼度スコアは、真陽性の捕捉と誤報の発生のバランスを取るために調整可能です。ROC曲線はそのトレードオフをあらゆるしきい値でプロットしたもので、その下の面積は全体的な識別能力を単一の数値で要約します。1.0はモデルが2つのクラスを完全に分離していることを意味し、0.5はコイン投げと同程度の性能であることを意味します。 

それぞれがモデルの挙動に関する実態を捉えており、これらの尺度は非常に基礎的なものとなっているため、ほとんどの専門家が直面する問題に関わらず、まず最初に参照するものとなっています。問題が生じるのは、その問題が前提条件を満たさなくなったときです。 

言語モデルが従来のフレームワークを打破する理由 

言語モデルの場合、それらの前提はすべて崩れます。モデルは定義済みの回答セットから選択するわけではありません。代わりに、オープンエンドなテキストを生成するため、可能な出力の範囲は無限です。問う価値のあるほとんどの質問に対して、比較すべき単一の正解（グラウンドトゥルース）は存在しません。ある一節が、ある点では正確でも別の点では誤っていたり、関連性はあっても曖昧であったり、論理的であっても表面的なだけであったり、時にはそれらすべてが同時に起こり得ます。出力が「正しい」かどうかは、固定された回答との単純な比較ではなく、判断の問題となります。 

エージェント型システムは単に応答するだけでなく、自ら行動を起こすという点を考慮すると、この課題はより深刻になります。リサーチエージェントは情報を検索し、複数のソースを統合し、中間ステップを論理的に推論し、人間が途中で確認することのない結論を導き出す可能性があります。このようなシステムを評価することは、最終的な出力だけでなく、それを生み出した一連の意思決定プロセスを評価することを意味します。特に、その推論自体が後続の行動に影響を与える環境においては、誤った推論を経て導き出された正しい結論は、健全な推論を経て導き出された正しい結論とは同等ではありません。 

こうした変化の背景には、言語モデルの出力が持ついくつかの特性があり、それが評価を困難にしています。 

• 再現性が保証されなくなりました。 同じプロンプトでも実行のたびに異なる回答が返される可能性があるため、固定された入力から固定された検証可能な結果を得ることができなくなりました。これは、科学的実践と従来の機械学習評価が共有してきた基盤を揺るがすものです。 

• 失敗してもシグナルが残りません。 言語モデルは流暢で一貫性のあるテキストを生成するように訓練されていますが、流暢さは正確さとは異なります。モデルは、自信に満ちた言葉遣いで内部的に整合性の取れた回答を生成しながらも、事実としては誤っていることがあり、しかも多くの場合、何かがうまくいっていないというシグナルを一切発しません。  

• 正確さはコンテキストに依存します。 モデルの回答が適切かどうかは、誰が、なぜ尋ねているのか、そしてその回答をどう活用するつもりなのかに依存することがよくあります。一般読者を満足させる要約が、専門家を誤解させることもあります。技術的に正確な回答であっても、適切な注意書きが欠けていれば役に立たないこともあります。 

科学分野では、この問題はさらに深刻になります。 

これらの一般的な課題は、科学的応用においてさらに増幅されます。科学的応用では、正確さは単なる好みではなく、専門的かつ実務的な要件だからです。 

科学的な問いは、完全に境界が定められていることは稀です。AIシステムに対して、有望な候補薬の特定、合成ルートの提案、あるいは文献における分野横断的なつながりの提示を求めることは、画像を分類させることとは異なります。回答の範囲は膨大であり、満足のいく回答のための基準は多次元的です。誤りがあれば、実験の方向性を誤らせたり、数ヶ月の時間を無駄にしたり、結果の再現性を損なったりする可能性があります。 

さらに深刻な問題として、AIが最も価値を発揮できる領域では、決定的な正解（グラウンドトゥルース）がまだ存在しないことが多いという点があります。これまで関連性のなかった二つの文献を結びつける新しい仮説を提示するシステムは、既知の回答と照らし合わせてベンチマークを行うことはできません。もし回答が既知であれば、その仮説は新しいものではないからです。内部ベンチマークでは高いスコアを出しても、実際の実験条件下で機能しないモデルは、リソースの誤配分や計画の遅延を招き、AIが科学的実践において永続的な地位を築けるかどうかを左右する研究者たちの信頼を損なうことになります。  

既存のテキスト指標 

機械生成テキストは大規模言語モデルの登場とともに始まったわけではなく、それをスコアリングする問題も同様です。機械翻訳や要約システムは、今日のモデルが登場するずっと前から評価が必要なテキストを大規模に生成しており、この分野ではそれを評価するための自動指標群が構築されてきました。現在も広く使用されているものが3つあります。 

• BLEU。 機械翻訳用に設計されたこの指標は、モデルの出力が1つ以上のリフェレンス、基準、参考文献と、短い単語シーケンスのレベルでどの程度重複しているかを測定し、回答が短すぎる場合にはペナルティを課します（Papineni et al., 2002）。 

• ROUGE 要約のために開発された指標であり、モデルの出力にリフェレンス、基準、参考文献のテキストがどの程度含まれているかを測定する補完的な視点を持つ（Lin, 2004） 

• METEOR 表面的な形式ではなく意味を評価しようとする改良版であり、同一の単語だけでなく語幹や同義語も照合し、精度と再現率のバランスをとる（Banerjee and Lavie, 2005） 

これらの指標は、許容される回答の範囲が狭いタスクにおける正確性を測定するものです。しかし、これらは対象となるシステムにおいて破綻する前提を引き継いでいます。つまり、比較対象となるリフェレンス、基準、参考文献のテキストを必要とし、出力がそのリフェレンス、基準、参考文献とどの程度一致しているかを測定するものであり、それが正しいか、論理的か、あるいは有用であるかを測定するものではありません。リフェレンス、基準、参考文献とは異なる表現の正しい回答は低いスコアになる可能性があり、一方で、リフェレンス、基準、参考文献の文言をなぞった流暢な回答は、たとえ内容が間違っていても高いスコアになる可能性があります。多くの表現が有効であり、最も価値のある回答にはリフェレンス、基準、参考文献が全く存在しない可能性があるオープンエンド型の合成において、固定されたターゲットとの類似性は、品質を測る指標としては不十分です。 

新たな評価アプローチ 

こうした課題に対応するため、いくつかの評価アプローチが登場しています。これらは従来の指標に取って代わるものではなく、必要な補完手段です。これらを組み合わせて使用することで、単一の手法では見落とされてしまうような、さまざまな失敗モードに対処できます。 

LLM-as-a-judge（判定者としてのLLM） は、評価対象のモデルの出力を評価するために別の言語モデルを使用します。このアプローチは、人間のレビューでは不可能な規模での拡張性を備えています。適切に設計された判定モデルであれば、専門家が数十件のレビューを行う時間で、数千件の出力を評価できます。言語モデルは少なくとも人間と同等の正確さで実行できるのでしょうか。答えはイエスであり、それを機能させる鍵は具体性にあります。  

例として、同じテキストを独立してレビューする専門家パネルを想定してみましょう。各レビューアが品質について異なる結論に達するのは、どちらかが間違っているからではなく、それぞれが暗黙のうちに異なる基準を重視しているためです。ある者は事実の正確さを優先し、別の者は網羅性や不確実性に対する適切なヘッジ（予防措置）を重視するかもしれません。明確で共有された指標がなければ、「良い」という言葉は、レビューアが個人的に決めた意味になってしまいます。  

このような人間による判断のばらつきは、十分に文書化されています。 Zhengら（2023） は、オープンエンド型のLLMの回答を評価する人間の専門アノテーターが、単純なペア比較において互いに合意したのはわずか80%であったことを明らかにしました。この数値は、アノテーターが同じタスクに対して同じ明確な評価基準に基づいて作業していたという好条件での結果です。評価をスキルタイプ別に分解すると、状況はより複雑になります。 Yeら（2024） は、クリッペンドルフのアルファを用いて12の異なる評価次元にわたる人間同士のアノテーションの一致度を測定し、人間同士の全体的なアルファ値がわずか0.488であることを発見しました。これは、中程度の合意しか得られていないことを示しています。 

適切に設計された評価プロンプトは、暗黙的な推論を明示させます。モデルに対し、単一の全体的な判定を下させるのではなく、事実との整合性、関連性、完全性、不確実性の適切な表現といった、具体的かつ分離可能な次元で評価するよう求めるのです（Liu et al., 2023; Ye et al., 2024）。これにより、評価者が言語モデルであれ人間の専門家であれ、より一貫性があり、監査可能で、実行可能な評価結果が得られます。 

人間が介在する評価（Human-in-the-loop evaluation） は、自動化された手法が最も苦手とするケースにおいて依然として不可欠であり、その導入の論理は大規模製造において確立された原則を反映しています。製造環境において、すべてのユニットが同じレベルの精査を受けるわけではありません。医療機器や安全性が重要なシステム向けのコンポーネントは、人間による直接的かつ個別の検査を受けます。標準的な出力は自動テストでカバーされ、障害の調査、エッジケースの検証、または定期的なバッチ監査が必要な場合に人間のレビュー担当者が介入します。これらの原則は、米国食品医薬品局（FDA）の品質管理システム規制（21 CFR Part 820）や、以下のような数多くの品質基準に反映されています。 AS9100D および ISO 13485:2016。 

科学的AI評価も同様の論理に従います。新規の出力、重大な結果、および自動評価システムのキャリブレーションには、専門家による直接的なレビューが必要です。大規模なルーチン出力は体系的に処理され、人間の判断はボトルネックとしてではなく、エスカレーションパスとして利用されます。ドメインの専門家は、自動システムにはない能力をもたらします。それは、内部的には一貫しているものの微妙に間違った回答を認識する能力、モデルが分野の古い理解に基づいて推論していることを特定する能力、あるいは技術的には正しいものの文脈なしで解釈する実務者を誤解させるような結果にフラグを立てる能力です。目標は人間の関与を最大化することではなく、最も効果的な場所にそれを向けることです。 

遡及的ベンチマーク（Retrospective benchmarking） は、科学的AI評価における最も根本的な緊張関係の一つ、すなわち「答えがまだわかっていない問いに対して、どのようにシステムを測定するか」という問題に対処します。  

2つの異なるユースケースを考えてみましょう。1つ目は、研究者がAIシステムに対し、融点、規制上の分類、文書化された反応収率といった特定の情報を検索するよう求める場合です。これは評価が容易です。システムが正しい答えを取得できたか、できなかったかのどちらかだからです。2つ目のユースケースはより困難です。研究者がシステムに対し、複数のソースにわたる情報を統合し、どの単一の文書にも含まれていない洞察を生み出すよう求める場合です。これこそ研究者が最も重視することですが、AIシステムが結果を検証するために使用できる既存の答えが存在しないため、評価ははるかに困難です。こうしたオープンワールドのタスクは、ドリフト（性能劣化）が最も起こりやすいものでもあります。期待される推論アプローチも許容される回答も科学的理解の進化とともに変化する可能性があるため、評価は一度限りの演習としてではなく、繰り返し行われる必要があります。 

検証可能なものだけをテストしたくなるかもしれません。しかし、それはシステムが最も設計されていないタスクのみで評価することになってしまいます。より良いアプローチは、検索だけでなく統合を通じてすでに答えが出ている問いにシステムを回答させることです。かつては斬新であり、異なる文献群を結びつける必要があったものの、現在では確立された科学的記録の一部となっている知見は、理想的なテストケースとなります。発見当時に情報が利用可能であったならば、有能なシステムはその推論を再構築できるはずです。  

これが遡及的ベンチマークです。科学的発見の歴史を、直接テストできないオープンエンドな統合のための代理評価セットとして使用するのです。このアプローチには、文献ベースの発見という成長分野において先例があります。 Swanson, (1986) 論理的には関連しているものの相互作用のない2つの文献群を特定し、それらの関連性から、当時明示的に発表されていなかった仮説（魚油の摂取がレイノー症候群の患者に有益である可能性）が導き出されることを示しました。その後、 Spanglerら (2014) は、この論理を計算的に拡張しました。科学文献をマイニングして、どのキナーゼが腫瘍抑制因子p53をリン酸化するかという仮説を生成し、新しい実験を行う前に遡及的分析を用いてその手法の正確性を検証しました。いずれのケースにおいても、遡及的フレーミングの価値は共通しています。入力データが特定の時点に固定されているため、オープンワールドのベンチマークのように評価が陳腐化することがありません。  

このアプローチには、将来の能力の全範囲ではなく、すでに確立された関連性をテストするという限界があり、評価時にシステムが利用できる情報を制限するために慎重なエンジニアリングが必要です。しかし、システムが単に情報を検索するだけでなく、複数のソースを真に統合できるかどうかを検証する手段として、これは数少ない厳密なツールの1つです。 

意味的安定性 のテストは、静的なテストでは見落とされがちな障害モードに対処するものです。言語モデルは質問の構成方法に敏感な場合があり、意味を変えずにクエリを言い換えるだけで異なる回答が生成されることがあります。科学的アシスタントにとって、これは信頼性に関わる重大な懸念事項です。研究者は、システムが回答する際、たまたま使用した特定の単語ではなく、質問の本質を反映していると信頼できる必要があります。この問題を説明するシナリオがいくつかあります。 

1つ目は同義語の置き換えです。意味を維持しながら表面的な形式を変化させる不変性テストを用いることで、 Ribeiroら (2020) は、広範にテストされた商用の感情分析モデルにおいて、これまで検出されていなかった重大な欠陥を特定しました。「film」を「movie」に、「determine」を「find out」に置き換えるといった、ほぼ同義の単語への変更は、科学的アシスタントの回答を変えるべきではありませんが、実際には頻繁に変更されてしまいます。 

2つ目は否定表現です。多くの否定ベンチマーク全体でモデルを体系的に評価した結果、一貫した制限が見つかりました。否定の存在に対する鈍感さ、否定の語彙的意味を捉える能力の欠如、そして否定の下で正しく推論できないという失敗です（Truongら、2023）。これは、わずかな単語で記述の事実性が変わってしまう科学的な文脈において重要です。「AはBを引き起こす」、「AはBを引き起こす可能性がある」、「AがBを引き起こすことを示唆している」、「AがBを引き起こすという主張を支持しない」など、その例は多岐にわたります。   

3つ目は形式です。文法、トーン、形式の変化がモデルの出力の質や方向に大きな影響を与えることが研究で示されています。一部のモデルでは、クエリの表現がカジュアルなユーザーに対して回答の質が低下する傾向があります（例：「メカニズムは何ですか？」対「メカニズムの基礎を説明していただけますか...」）。専門的な文章ではなく平易な言葉で書く研究者であっても、そうでない研究者と同じ本質的な回答を受け取るべきです。最近の研究では、この懸念が形式化されています。 Liorら (2025) は、意味を保持するプロンプトの摂動空間全体に対する確率的評価を主張しており、GPT-4oやClaude 3.7 Sonnetのような最高性能のモデルでさえ、プロンプトの感度に大きな影響を受けることを明らかにしました。 

さまざまな研究からの証拠を考慮すると、質問ごとに1つの言い回しのみを評価する手法では、この問題は表面化しません。したがって、同等のクエリ間で言語を変化させ、回答が一貫しているかどうかを確認することは、厳格な評価プロセスの一部であるべきです。 

推論の評価 は、エージェントシステムや科学的アプリケーションにおいて重要です。研究アシスタントが問題を推論し、ソースを検索し、結論を導き出す際、科学者は結論が正しいかどうかだけでなく、どのようにしてその結論に達したのかを理解する必要があります。これは、結果は再現可能であり、手法は透明であるべきだという科学の基本的な期待を反映しています。  

モデルに対して最終的な回答の前に中間的な推論ステップを生成させる「Chain-of-thought（思考の連鎖）」プロンプトは、複雑な推論タスクにおけるパフォーマンスを大幅に向上させることが示されました。その採用は、推論を可読にするという解釈可能性の利点によって部分的に動機付けられています（Weiら、2022しかし、推論の過程が可視化されているからといって、それが信頼性の保証になるわけではありません。 Turpinら (2023) は、この可読性が幻想である可能性を示しました。思考の連鎖（Chain-of-Thought）による説明は、モデルの予測の真の根拠を体系的に誤って提示する可能性があるのです。彼らの重要な実験では、選択肢の順序を入れ替えて正解が常に「A」になるようにすることで、モデルの入力に微妙なバイアスを加えました。これによりモデルの出力は確実に変化しましたが、モデルは自身の推論において、この影響について一貫して言及しませんでした。欠陥のある、あるいは不透明な推論プロセスを通じて正解を導き出すシステムは潜在的なリスクとなります。次に回答する質問が正解であるとは限らず、その誤りを見抜く術がないからです。 

単に正しい回答を生成するだけでなく、モデルにいかに正しく推論させるかという課題は、直接的な注目を集め始めています。 Lightmanら (2023) は、最終的な回答が正しいかどうかに基づいてモデルを評価する「アウトカム・スーパービジョン（結果の監督）」と、個々の推論ステップごとに評価を行う「プロセス・スーパービジョン（過程の監督）」を比較することで、その重要性を明らかにしました。彼らは、アウトカム・スーパービジョンで訓練されたモデルは、正しい最終回答に到達するために誤った推論を頻繁に使用する一方、プロセス・スーパービジョンは大幅に信頼性の高いシステムを生み出すことを発見しました。この訓練に関する洞察は、評価の原則にもつながります。つまり、訓練の基準として正確に定義できるステップであれば、監査の基準としても正確に定義できるということです。 

したがって、単なる出力ではなく推論プロセスを評価するには、「この回答は正しいか？」ではなく、「システムは回答に至るまで適切な手順を踏んだか？」という異なる種類のテストが必要となります。これはそれ自体がルーブリック（評価基準）に基づく演習ですが、製品ではなくプロセスに適用されるものです。設計にはより高い要求が伴い、何が正しい手順であるかを定義するために専門家の知見が必要となりますが、これこそが科学者がAIシステムの結論に基づいて行動する前に必要とする、正当な信頼を築くための評価なのです。 

エージェント評価における新たな潮流として、観察可能なアクション（システムが呼び出すツール、実行する検索、情報を取得する順序など）が、提示された根拠（ラショナル）のみよりも信頼性の高い推論品質のシグナルを提供する可能性が示唆されています。他のモデル出力と同じプロセスで生成され、同様のハルシネーション（幻覚）リスクを伴う思考の連鎖テキストとは異なり、ツール呼び出しや取得ステップは監査証跡を残し、その後の挙動を制約する結果をもたらします。マルチステップのツール使用を評価するために設計されたベンチマークにおけるエージェント軌跡評価の初期の研究では、タスクの結果だけでなく、これらの中間的なアクションをスコアリングし始めています。このアプローチが成熟すれば、科学的ユーザーに対して、より真のメソッド監査に近いものを提供できる可能性があります。 

体系的なアプローチと人間によるアプローチの融合 

単一の評価方法で十分なものはありません。科学的AI評価において最も進歩している組織は、それをポートフォリオの問題として扱っています。すなわち、網羅性と一貫性を確保するために自動化技術を大規模に展開し、キャリブレーションやエッジケースの検証、そして真の科学的理解を必要とする判断については、人間の専門家によるレビューを確保しています。優れた評価フレームワークは、どちらかを従属させるのではなく、それぞれの補完的な強みを活用するものです。 

科学研究のためのAIソリューションを構築するにあたり、CASはこの階層的なアプローチを適用しています。自動評価は大規模な出力セット全体にわたる規模と一貫性を処理し、構造化されたルーブリックは評価が単一の数値に集約されるのではなく多次元であることを保証します。そして、CAS Content Collection™の基盤となるキュレーション作業を担う専門家であるドメイン科学者が、システムが技術的に高性能であり、科学的に妥当であるかを判断する人間の知見を提供します。これには、CAS Newton℠が何を結論付けるかだけでなく、どのように推論するか、つまり回答に至るまでのステップが科学者にとって適切で、追跡可能で、再現性のあるものとして認識されるかどうかの評価も含まれます。目標は、効率化の名の下に人間の関与を最小限に抑えることではありません。人間の判断が最も大きな影響力を発揮できる場所に、その判断を向けることなのです。 

優れた評価とはどのようなものか 

評価はAIシステムが構築された後に行うステップではありません。それは、システムの設計当初からどのように設計すべきかを形作るべき設計上の制約です。早い段階で問うべき価値のある質問は以下の通りです。 

•  「成功とはどのような状態か？」 

• 「システムが間違っている場合、どのようにしてそれを知ることができるか？」 

• 「誰がその判断を下す専門知識を持っているか？」 

これらは単なる評価のための質問ではありません。AIシステムの出力に基づいて行動を求められる科学者や研究者から、そのシステムが信頼を得られるかどうかを決定づける質問なのです。 

従来の機械学習ツールキットが引退することはありません。精度、再現率、ベンチマーク性能は依然として重要であり、複雑なAIシステムの多くのコンポーネントにとって、それらは依然として適切な尺度です。しかし、科学文献全体を推論し、潜在的なつながりを浮き彫りにし、正解が不確かな領域で仮説を提案するなど、AIができることの最前線で動作するシステムには、従来のやり方で提供される以上の厳密な評価が求められます。その厳密さを開発すること自体が継続的な科学的課題であり、評価されるAIシステムと同じくらいの注意を払うに値するものです。