为什么对于人工智能工具和专业应用而言，并非越大越好
自 2022 年发布以来，ChatGPT 重新定义了关于人工智能的讨论。它被誉为奇迹，也常被视为威胁——从彻底改变工作方式和振兴城市等积极愿景，到取代人类工作岗位等负面影响，人们认为这种大型语言模型（LLM）几乎无所不能。
ChatGPT 与 GPT-3/GPT-4 有什么区别？
ChatGPT 与大型语言模型本身（即以 GPT 命名并带有数字的版本，如 GPT-3 或 GPT-4）之间存在重要区别。人们常将二者混淆或互换使用，但 ChatGPT 实际上是一款运行在更复杂的大型语言模型（GPT-3 或 GPT-4）之上的“易用型”聊天机器人应用程序。
GPT-3 和 GPT-4 是生成式预训练变换器（Generative Pre-Trained Transformer）系列中的不同版本。Transformer 是一种被称为语言模型的神经网络。这些模型能够学习识别松散结构数据（如句子中的词语）中的模式和上下文。Transformer 在这方面表现尤为出色。生成式模型在给定上下文的情况下，可以根据提示生成任意长度的输出。GPT 模型结合了这两种模型类型。
另一方面，ChatGPT 是运行在 GPT-3 或 GPT-4 等大型语言模型之上的应用程序。它拥有一个用于延续先前对话的记忆模块，并内置了过滤器、分类器等功能，以最大限度地减少有毒或不当的回答。
构建一个大型语言模型需要什么？
大型语言模型令人印象深刻。GPT-3 拥有 1750 亿个参数，即模型在学习过程中可以独立调整的数值。GPT-4 是 2023 年发布的 GPT 系列最新版本，规模更大，拥有 1 万亿个参数。正如任何使用过它们的人所能证明的那样，这些模型拥有极其广博的知识，并具备令人惊叹的连贯信息生成能力。
然而，这些能力确实伴随着相应的成本。训练这些日益庞大的 GPT 模型并部署像 ChatGPT 这样的应用程序是一项巨大的工程壮举。据估计，GPT-3 的构建成本为 460 万美元，每年在云端的运行成本至少为 8.7 万美元。而 GPT-4 的开发成本可能高达惊人的 1 亿美元甚至更多。
除了这些数字之外，还有高昂的硬件成本以及维持其运行所需的资源，同时还要确保数据中心保持冷却。数据中心可能消耗数十亿加仑的水，而空调系统不仅消耗能源，还会导致碳排放，所有这些都迫使组织必须评估这些强大工具的成本与收益。由于这些前期投入和持续运营成本，对于大多数私营企业、学术界和公共部门组织而言，大型语言模型已经变得极其昂贵，而且随着模型规模的扩大和能力的增强，这种情况将持续下去。
大型语言模型的局限性
得益于特定的结构组件，Transformer 模型能够捕捉不同输入之间的关系；而得益于海量的样本文本，现代大型语言模型在提取文本的广泛语义以及跟踪文本元素之间的关系方面表现得非常出色。像 GPT-3 这样的生成式模型更进一步，学会了在问题和答案之间跟踪这些关系。其结果往往令人信服。我们可以要求 ChatGPT 提供一个 0 到 100 之间的数字，或者询问胆固醇是否为类固醇，通常都能得到正确的答案。
然而，对于科学研究等专业应用而言，大型语言模型可能难以超越广泛的语义范畴，去理解细微且具体的信息。为什么会这样？首先，大型语言模型无法避免“垃圾进，垃圾出”（garbage-in/garbage-out）的问题。其次，即使拥有高质量的训练数据，相关的训练信息也可能存在代表性不足的情况。
广泛且常被描述的主题可以被大型语言模型很好地捕捉，但狭窄的专业主题几乎总是代表性不足，注定难以被妥善处理。例如，大型语言模型可以达到正确的抽象水平，判断某物是否为类固醇分子。它甚至可以识别出同一家族中的两个类固醇分子，但却无法始终如一地识别出其中一个是否具有剧毒。大型语言模型做出这种区分的能力取决于训练所用的数据，以及正确的信息是否被识别并“记忆”。如果这些信息隐藏在大量错误或相互矛盾的信息中，那么模型就无法得出正确的答案。
有人可能会反驳说，更多的数据、更干净的数据和更大的模型可以解决这个问题。他们或许是对的，但如果我们要求生成式大语言模型（LLM）给出一个 0 到 100 之间的随机数呢？我们能确定给出的数字确实是随机的吗？要回答这个问题，我们需要超越词汇语义和记忆事实，超越大语言模型，转向人工智能体。在这种情况下，智能体将使用经过验证的程序构建一段可执行代码，将其传递给另一个进程运行，处理结果，并将答案呈现给用户。
科学数据面临的具体挑战
正如我在 CAS 的同事们所知，科学数据可能比文本复杂得多，大多数问题无法通过一两个问题来表达。
在使用人工智能驱动的科研工具时，我们必须自问：我们试图解决什么问题？许多问题涉及语言或松散结构的序列，因此语言模型非常适用。那么表格数据、分类数据、知识图谱和时间序列呢？这些数据形式对于科学研究是必不可少的，但大语言模型并不总能利用它们。这意味着仅靠大语言模型无法提供分子研究等应用所需的特定水平。相反，就像管弦乐队需要多种乐器才能演奏出和谐的乐章一样，科学研究也需要在其人工智能工具箱中配备多种工具，才能得出连贯的结果。
兼顾深度与广度的系统化方法
如果仅靠大语言模型不适合科学研究，那么什么才适合呢？答案是采用一种系统化方法，利用多种类型的模型来生成专业化的输出。通过将语言模型和神经网络与传统的机器学习工具、知识图谱、化学信息学、生物信息学以及诸如 TF-IDF 等统计方法相结合，研究人员可以将深入且细致的信息纳入其人工智能驱动的程序中。
这些工具可以为开发新药分子或发明新化合物等任务提供所需的具体结果。知识图谱尤为宝贵，因为它们充当了“事实基础”——可靠地连接已知实体：分子、反应、已发表文章、受控概念等。一个理想的用例是利用一个能够识别“这是某种特定物质”的深度神经网络，并结合一个能够验证准确性的知识图谱。这就是我们获得科学研究所需可靠事实的方法。
这种系统化方法本质上是一种用于提高数据可靠性的事实核查或验证功能，并且在专业应用中已被证明是有效的。例如，英伟达（Nvidia）最近发布了 Prismer，这是一种旨在回答有关图像问题或为图像提供说明的视觉语言模型。该模型采用了“专家混合”方法，训练了多个较小的子模型。该模型的知识深度在无需海量训练的情况下提供了高质量的结果——它匹配了使用 10 到 20 倍数据训练的模型的性能。
谷歌也在研究类似的方法，将知识从通用的“教师”语言模型提取到较小的“学生”模型中。由于学生模型具备更深厚的知识，它们呈现的信息比更大的模型更好——一个在 7.7 亿参数上训练的学生模型在专门的推理任务中表现优于其 5400 亿参数的教师模型。虽然较小的模型训练时间较长，但其持续的效率提升非常有价值，因为它的运行成本更低且速度更快。
改进科学研究
另一个成功的系统化方法案例是 PaSE（专利相似度引擎），这是我和我在 CAS 的同事开发的，它为 CAS STNext 和 CAS SciFinder 中的独特功能提供了支持。我们构建该模型是与巴西国家工业产权局（INPI）合作的一部分。它旨在几分钟内处理海量信息，以便研究人员能够解决积压的专利审查难题。
该解决方案包含一个使用与 GPT 系列相同关键机器学习技术的语言模型，但它叠加了其他类型的学习，包括知识图谱、化学信息学和传统的信息检索统计方法。通过利用 CAS 内容合集TM 中的全文专利和期刊等全球科学数据对模型进行训练，PaSE 实现了查找“现有技术”所需的深度和广度，效率比人工检索提高了 50%。
对于专利局而言，证明某项事物不存在极具挑战性。想想那句格言：“没有证据并不代表证据不存在。”我们的数据科学家与专业专利检索员、巴西 INPI 团队以及独特的人工智能工具组合共同对模型进行了训练和优化，在减少 40% 人工检索工作量的情况下识别出了现有技术。凭借这一表现以及在减少专利积压方面的贡献，该项目于 2021 年被 专利信息用户组授予 Stu Kaback 商业影响力奖。
大语言模型在科学领域的未来之路
这一经验表明，大语言模型在未来的科学研究中将继续发挥重要作用，但与普遍看法相反，这种单一工具并非解决所有问题或疑问的灵丹妙药。
我喜欢把这些模型比作整理家里杂乱的房间，比如壁橱或阁楼。不同的人可能会以不同的方式整理这些房间里的物品。一个人可能按颜色整理所有东西，而另一个人把所有贵重物品放在一起，还有人按功能整理。这些方法都没有错，但它们可能不是你想要或需要的整理方式。这本质上就是大语言模型存在的问题：它们可能会以某种方式组织信息，但这并不是科学家或研究人员所需要的。
对于用户需要特定结果的专业应用，如蛋白质序列、专利信息或化学结构，必须对人工智能模型进行训练，以特定的方式组织和处理信息。它们需要按照用户期望的方式组织数据、结果和变量，以实现最佳的训练和预测效果。
要了解更多关于数据的影响、其表示方式以及正在改善科学预测的模型，请查看我们与 CAS 定制服务合作的 案例研究。想了解更多关于人工智能与化学的新兴格局吗？阅读我们关于人工智能为化学领域带来机遇的最新 白皮书，或探索我们关于人工智能如何 提高全球专利局生产力 的资源。
