科学人工智能核心的评估挑战

给某人一个 AI 系统并问一个看似简单的问题：“它好用吗？”目前应用于科学和工业领域的基于大模型的系统，旨在回答开放性问题、权衡证据并逐步得出结论。生成流畅且自信的回答很容易，但要判断其是否正确，以及下次提问时是否依然可靠，则是另一回事。

机器学习模型已经过多年的使用和测试。那么，发生了什么变化？传统的机器学习模型通常用于执行特定任务，例如将电子邮件分类为垃圾邮件、预测贷款申请人是否会违约，或识别放射影像中的肿瘤。每个问题都是具体的，结果也是确定性的：对于给定的输入，只有一个输出。几十年来，人们已经建立了一套成熟的验证方法。简单来说，就是预留出一部分模型在训练期间从未见过的数据，用训练好的模型进行测试，并衡量其回答的正确率。

这一框架严谨、可解释且值得信赖。但对于组织目前部署的各类 AI 系统而言，它已不再适用。这种转变反映了 AI 任务性质的根本性变化。当今的大语言模型及其基于推理的智能体系统，不再是将输入映射到固定的标签集。相反，它们生成开放式的语言并采取行动，在此过程中打破了传统评估方法所依赖的许多假设。同一个问题问两次，可能会产生不同的答案。回答可能流畅、自信，但却是错误的。对于我们希望 AI 系统回答的最困难、最有价值的问题，可能根本没有定论可供核对。

这种差距在科学领域尤为突出，因为最值得探讨的问题往往是尚未有人解答的问题。此外，错误的答案不仅仅是预测失误，它还可能导致研究项目陷入长达数月的死胡同。

下文将梳理这一变化：为何传统框架曾经行之有效，为何它在现代 AI 面前显得力不从心，以及为缩小这一差距而涌现出的新方法。

传统机器学习评估的舒适区

这些较新系统所打破的假设很少被明确列出，因为在传统机器学习中，它们几乎从未受到质疑。传统评估基于三个假设，由于它们通常都能得到满足，因此很容易被忽视：

• 首先，存在基准真值：即可以用来对比模型输出的明确正确答案。

• 其次，任务是有边界的：即可能的输出空间是有限且定义明确的。

• 第三，正确性是明确的：即预测要么对，要么错，且人类（或标注数据集）可以分辨出其中的区别。

这些假设对于机器学习最初成名的那些问题非常适用：

• 垃圾邮件检测是一个二元分类问题。

• 图像识别将输入映射到一组固定的标签。

• 欺诈检测根据学习到的阈值对交易进行评分。

在每种情况下，评估方式都是一样的：将模型的输出与已知正确答案的示例进行比较，并衡量其正确率。

由此框架衍生出了一些标准指标：

• 准确率。 模型预测正确的比例；虽然直观，但在某一结果远比其他结果常见时，该指标具有误导性。

• 精确率。 模型标记为正向的结果中，实际为正向的比例；用于衡量警报的可信度。

• 召回率。 所有实际正向结果中，被模型捕捉到的比例；用于衡量漏报程度。

• F1 分数。 精确率和召回率的调和平均数；当您需要一个单一数值来惩罚那些牺牲其中一项指标以换取另一项指标的模型时，该指标非常有用。

• ROC 曲线下面积（AUC）。 可以通过调高或调低模型的置信度分数，在捕捉更多真正例与触发更多误报之间进行权衡。ROC 曲线绘制了在所有可能阈值下的这种权衡，而曲线下的面积则以单一数值概括了整体的判别能力——1.0 表示模型能完美区分两类，0.5 表示其表现不优于随机猜测。

每一个指标都捕捉到了模型行为的某些真实特征，这些衡量标准已成为基础，以至于无论面对什么问题，大多数从业者首先想到的都是它们。当问题不再满足这些底层假设时，麻烦便随之而来。

为什么语言模型打破了旧框架

对于语言模型而言，上述每一项假设都已失效。它不再是从预定义的答案集中进行选择，而是生成开放式文本，因此可能的输出空间是无限的。对于大多数值得探讨的问题，不存在单一的“基准真理”可供比对；一段内容可能在某方面准确而在另一方面错误，可能相关但模糊，可能逻辑通顺但流于表面，有时甚至同时具备这些特征。输出是否“正确”已成为一种判断，而非简单的固定答案比对。

当考虑到智能体系统不仅是响应，还会采取行动时，这一挑战变得更加严峻。研究型智能体可能会检索信息、跨来源综合信息、通过中间步骤进行推理，并得出未经人类审核的结论。评估此类系统意味着不仅要评估最终输出，还要评估产生该输出的决策链。通过错误推理得出的正确结论，与通过严谨推理得出的正确结论并不等同，尤其是在推理过程本身会影响后续行动的环境中。

在这些转变之下，语言模型输出的几个特性使得评估变得困难：

• 可复现性不再得到保证。 由于相同的提示词在不同运行中可能返回不同答案，固定的输入不再产生固定的、可核查的结果。这动摇了科学实践和经典机器学习评估所共有的基石。

• 失败没有信号。 语言模型经过训练以生成流畅连贯的文本，但流畅并不等同于正确。模型可以生成语气自信、内部逻辑一致但事实错误的回答，且往往不会发出任何出错的信号。

• 正确性取决于语境。 模型回答的好坏往往取决于提问者是谁、目的为何以及计划如何使用该答案。能满足普通读者的摘要可能会误导专家。一个技术上“准确”的回答，如果遗漏了必要的注意事项，也可能毫无用处。

科学领域使评估变得更加困难

在科学应用中，这些普遍存在的挑战被进一步放大，因为在这些领域，精确性不仅是一种偏好，更是专业和实践上的刚需。

科学问题很少有完全明确的边界。要求人工智能系统识别有前景的候选药物、提出合成路线或挖掘文献中跨领域的联系，这与要求它进行图像分类截然不同。答案空间极其广阔，满意答案的标准也是多维的，任何错误都可能导致实验方向偏差、耗费数月时间，甚至无法复现研究结果。

更深层次的问题在于：在人工智能最具价值的领域，往往尚不存在明确的“基本事实”（ground truth）。一个能够挖掘出连接两个此前互不相关文献体系的新颖假设的系统，无法通过已知答案进行基准测试。如果答案已知，那么该假设就不再新颖。一个在内部基准测试中表现优异，但在实际实验条件下却失效的模型，可能会导致资源配置不当、项目延期，并削弱研究人员的信任，而研究人员的采纳程度决定了人工智能能否在科学实践中占据一席之地。

现有的文本指标

机器生成文本并非随着大语言模型的出现才产生，对其进行评分的问题亦然。在当今模型出现之前，机器翻译和摘要系统就已经在生产需要大规模评估的文本，该领域也因此建立了一系列专门的自动化指标。目前仍有三种指标被广泛使用：

• BLEU。专为机器翻译设计，它通过衡量模型输出与一个或多个参考文本在短词序列层面的重合度来评估，并对过短的答案进行惩罚（Papineni et al., 2002）。

• ROUGE。为摘要任务开发，它采取了互补视角，衡量模型输出中恢复了多少参考文本的内容（Lin, 2004）。

• METEOR。这是一种改进方案，旨在评估语义而非表面形式，不仅匹配完全相同的词汇，还匹配词干和同义词，并在精确率和召回率之间取得平衡（Banerjee and Lavie, 2005）。

当任务的可接受答案范围较窄时，这些指标可以衡量准确性。然而，它们继承了一个在上述系统中失效的假设：它们要求有参考文本进行比对，且衡量的是输出与参考文本的接近程度，而非其是否正确、逻辑严密或具有实用价值。一个表述方式与参考文本不同的正确答案可能会得分较低，而一个虽然流畅但仅是复述参考文本措辞的答案，即使内容错误也能获得高分。对于开放式合成任务而言，多种表述方式均可成立，且最有价值的答案可能根本没有参考依据，因此与固定目标的相似度只是衡量质量的一个薄弱指标。

新兴的评估方法

针对这些挑战，几种评估方法应运而生。它们并非经典指标的替代品，而是必要的补充。将它们结合使用，可以解决单一方法无法覆盖的不同失效模式。

LLM-as-a-judge（以大模型作为评判者）使用独立的语言模型来评估待测模型的输出。这种方法实现了人工评审无法企及的规模化。一个设计良好的评判模型可以在领域专家评审数十个输出的时间内，评估数千个输出。语言模型能否达到至少与人类相当的准确度？答案是肯定的，而成功的关键在于具体化。

以一组领域专家独立评审同一文本为例。每位评审员可能对文本质量得出不同结论，这并非因为其中有人出错，而是因为每位评审员都在隐性地权衡不同的未言明标准。有人优先考虑事实精确性，而另有人则更看重完整性或对不确定性的恰当表述。如果没有明确且共享的指标，“好”的定义就完全取决于评审员个人的主观判断。

这种人类判断的差异性已有充分记录。Zheng et al. (2023)发现，人类专家标注员在评估开放式大模型响应时，在原始成对比较中仅有80%的共识，且这还是在有利条件下得出的结论，因为标注员是在同一明确准则下针对同一任务进行工作。当评估按技能类型分解时，情况则更为复杂。Ye et al. (2024)使用Krippendorff's alpha衡量了12个不同评估维度下的人类标注员间一致性，发现人类之间总体alpha值仅为0.488，这表明仅存在中等程度的一致性。

一个设计良好的评估提示词（prompt）会将这种隐性推理显性化，要求评判模型评估具体、可拆分的维度（事实一致性、相关性、完整性、不确定性的恰当表达），而不是给出一个单一的整体结论（Liu et al., 2023；Ye et al., 2024）。无论评判者是语言模型还是人类专家，这都能产生更一致、可审计且可操作的评估结果。

人在回路（Human-in-the-loop）评估对于自动化方法最薄弱的环节仍然不可或缺，其部署逻辑反映了大规模制造中公认的原则。在生产环境中，并非每个单元都接受相同程度的审查。用于医疗设备或安全关键系统的组件会接受直接的、个体化的人工检查。标准输出由自动化测试覆盖，并引入人工评审员来调查故障、验证边缘案例或进行定期批量审计。这些原则体现在美国食品药品监督管理局的质量管理体系法规（21 CFR Part 820）以及诸如AS9100D和ISO 13485:2016等众多质量标准中。

科学人工智能评估遵循同样的逻辑。新颖的输出、高风险的结论以及自动化评估系统的校准，都需要专家直接参与评审。常规的大规模输出则由系统处理，人工判断作为升级路径而非瓶颈存在。领域专家带来了自动化系统无法具备的能力：识别逻辑自洽但内容细微错误的答案；识别模型是否基于过时的领域认知进行推理；或者指出某些结果虽然技术上正确，但在缺乏背景信息的情况下会误导从业者。其目标不是最大化人工参与，而是将其引导至最具杠杆作用的地方。

回顾性基准测试解决了科学人工智能评估中一个更根本的矛盾：当面对尚未知晓答案的问题时，该如何衡量一个系统？

考虑两种不同的使用场景。第一种：研究人员要求人工智能系统查找特定信息，例如熔点、监管分类或已记录的反应产率。这很容易评估，系统要么检索到了正确答案，要么没有。第二种场景则更具挑战性：研究人员要求系统综合多个来源的信息，并产生单个文档中并不包含的洞察。这正是研究人员最关心的，且由于没有现成的答案供人工智能系统验证其结果，因此评估难度极大。这些开放世界任务也最容易出现“漂移”。预期的推理方法和可接受的答案都会随着科学认知的演进而改变，这意味着评估必须是持续进行的，而非一次性的练习。

人们可能倾向于只测试可验证的内容。然而，这意味着系统只在它最不擅长的任务上进行评估。更好的方法是要求系统回答那些已经通过综合分析而非单纯检索得出答案的问题。那些曾经新颖、需要连接不同文献体系，且如今已成为科学记录一部分的发现，是理想的测试案例。如果信息在发现当时是可获取的，那么一个有能力的系统就应该能够重构出相应的推理过程。

这是一种回顾性基准测试：利用科学发现的历史作为代理评估集，对那些无法直接测试的开放式综合能力进行评估。这种方法在文献驱动发现这一新兴领域已有先例。Swanson (1986)确定了两个逻辑相关但互不交互的文献主体，并指出它们之间的联系暗示了一个尚未被明确发表的假设（即膳食鱼油可能对雷诺氏综合征患者有益）。后来，Spangler 等人 (2014)在计算层面扩展了这一逻辑，通过挖掘科学文献来生成关于哪些激酶使肿瘤抑制因子 p53 磷酸化的假设，并在进行任何新实验之前，利用回顾性分析来验证该方法的准确性。在这两种情况下，回顾性框架的价值是一致的：输入内容被固定在特定的时间点，因此评估结果不会像开放世界基准测试那样过时。

这种方法仍存在局限性，因为它测试的是已经建立的联系，而非未来能力的全部范围，且需要精细的工程设计来限制系统在评估时可获取的信息。然而，作为一种验证系统是否真正能够跨来源进行综合，而非仅仅从中检索信息的有效性检查，它是目前为数不多的严谨工具之一。

语义稳定性测试旨在解决静态测试通常会遗漏的故障模式。语言模型对问题的构建方式非常敏感：在不改变含义的情况下重新表述同一个查询，可能会产生不同的答案。对于科学助手而言，这是一个重大的可靠性问题。研究人员应当能够确信，系统的回答反映的是问题的实质，而非其恰好使用的特定措辞。有几个场景说明了这一问题。

首先是同义词替换。通过使用不变性测试（即在改变表面形式的同时保持含义的扰动），Ribeiro 等人 (2020)发现了在经过广泛测试的商业情感分析模型中未被察觉的关键故障。将“film”替换为“movie”，或将“determine”替换为“find out”等近义词，不应改变科学助手的回答，但在实践中却经常导致结果发生变化。

其次是否定句。对多个否定基准测试进行系统性评估后发现了一致的局限性：对否定词的存在不敏感、无法捕捉否定句的词汇语义，以及在否定语境下无法正确推理（Truong 等人, 2023）。这在科学语境中至关重要，因为几个词的差异就可能改变陈述的事实性，例如：“A 导致 B”、“A 可能导致 B”、“暗示 A 导致 B”、“不支持 A 导致 B 的主张”等等。

第三是正式程度。研究表明，语法、语气或正式程度的变化会显著改变模型输出的质量和方向，一些模型对于措辞不够正式的用户（例如“机制是什么？”与“你能解释一下其机制基础吗……”）会给出质量较低的回答。一位使用通俗语言而非技术性语言撰写问题的研究人员，应当获得与使用专业术语者同样实质性的回复。近期的研究将这一担忧形式化：Lior 等人 (2025)主张在保持含义的提示词扰动空间内进行随机评估，并发现即使是 GPT-4o 和 Claude 3.7 Sonnet 等顶级模型，也表现出显著的提示词敏感性。

鉴于各项研究提供的证据，仅针对每个问题评估一种措辞的测试方法无法发现这一问题。因此，在等效查询中变换语言并检查回复是否保持一致，应成为任何严谨评估准则的一部分。

推理评估对于代理系统和科学应用至关重要。当研究助手通过推理解决问题、检索来源并得出结论时，科学家不仅关心结论是否正确，还需要了解结论是如何得出的。这反映了科学界的一项基本期望：结果应当可复现，方法应当透明。

思维链提示（即要求模型在给出最终答案前生成中间推理步骤）已被证明能显著提高复杂推理任务的性能。其采用的部分动机在于使推理过程清晰可见所带来的可解释性优势（Wei 等人, 2022）。然而，推理步骤的可见性并不能保证可信度。Turpin 等人 (2023)表明，这种清晰度可能是虚幻的：思维链解释可能会系统性地歪曲模型预测的真实依据。在他们的关键实验中，通过重新排列多项选择题的选项，使正确答案始终为“A”，从而在模型输入中引入了微妙的偏差。这可靠地改变了模型输出，但模型在陈述推理时却始终未提及这种影响。一个通过错误或不透明的推理链得出正确答案的系统是一个潜在风险，因为下一次回答的问题可能不再正确，且人们将无从知晓。

关于如何训练模型进行正确推理，而非仅仅产生正确答案的问题，已开始受到直接关注。Lightman 等人 (2023)通过比较结果监督（根据最终答案是否正确来奖励模型）与过程监督（对每个单独的推理步骤进行评分）来说明其中的利害关系。他们发现，接受结果监督训练的模型经常使用错误的推理来得出正确的最终答案，而过程监督则产生了明显更可靠的系统。这一训练洞察转化为了一条评估原则：如果能够精确定义正确的步骤以进行训练，那么同样可以精确定义这些步骤以进行审计。

因此，评估推理过程而非仅仅评估输出，需要一种不同类型的测试：不是“这个答案对吗？”，而是“系统是否遵循了适当的步骤来得出答案？”这本身是一项基于准则的练习，但应用于过程而非结果。设计这种评估更具挑战性，需要专家参与来定义正确的步骤是什么样的，但这正是建立科学家在采纳 AI 系统结论前所需的合理信任的那种评估。

代理评估领域的一个新兴方向表明，可观察的操作（系统调用的工具、执行的搜索、检索信息的顺序）可能比单纯的陈述性理由更能提供可靠的推理质量信号。与思维链文本不同（思维链文本由与任何其他模型输出相同的过程生成，因此面临同样的幻觉风险），工具调用和检索步骤留下了审计追踪，并具有约束后续行为的后果。在旨在评估多步工具使用的基准测试中，针对代理轨迹的评估早期工作已经开始对这些中间操作进行评分，而不仅仅是评估任务结果。如果这种方法成熟，它可能会为科学用户提供更接近于真正的方法审计工具。

融合系统化与人工辅助方法

没有任何单一的评估方法是万能的。在科学 AI 评估方面取得最大进展的组织，都将其视为一个组合问题：大规模部署自动化技术以确保覆盖面和一致性，同时保留人工专家评审以进行校准、边缘案例验证以及那些需要真正科学理解的判断。最好的评估框架不会让两者分出主次，而是利用各自的互补优势。

在构建科学研究 AI 解决方案时，CAS 应用了这种分层方法。自动化评估处理大规模输出集的一致性；结构化准则确保评估是多维度的，而非简化为一个单一数字；而领域科学家（即负责 CAS Content Collection™ 策展工作的同一批专家）则提供人工判断，以确定系统是否在技术上表现出色且在科学上严谨。这不仅包括评估 CAS Newton℠ 的结论，还包括评估其推理方式：它得出答案所采取的步骤是否是科学家所认可的适当、可追溯且可复现的步骤。其目标不是为了效率而最小化人工参与，而是将人工判断引导至最能发挥作用的地方。

优秀的评估标准

评估不是 AI 系统构建完成后才进行的步骤。它是一项设计约束，应从一开始就塑造系统的设计方式。早期值得思考的问题包括：

• “成功的标准是什么？”

• “如果系统出错，我们如何察觉？”

• “谁具备做出该判断的专业知识？”

这些不仅仅是评估问题。它们决定了人工智能系统能否赢得科学家和研究人员的信任，从而使他们愿意采纳其输出结果。

传统的机器学习工具包不会被淘汰。精确率、召回率和基准性能依然重要，对于复杂人工智能系统的许多组件而言，它们仍是恰当的衡量标准。然而，对于那些处于人工智能能力前沿的系统——例如跨科学文献进行推理、挖掘潜在联系、在真值不确定的领域提出假设——严谨的评估需要超越传统方法所能提供的范畴。建立这种严谨性本身就是一项持续的科学挑战，值得我们像对待被评估的人工智能系统一样投入同等的关注。