计算机视觉是人工智能 (AI) 领域的一个分支，使计算机能够像人类一样“观察”并解读视觉世界。远不止识别图像，计算机视觉还涉及理解视觉数据中的背景、关系和模式。这是通过复杂的算法和深度学习技术实现的，例如卷积神经网络 (CNN) 和视觉变换器 (ViT)。
这些工具能够从视觉输入中提取有意义的信息，将原始像素数据转化为高级语义理解。从自动驾驶汽车和工业质量控制，到医学影像甚至社交媒体滤镜，计算机视觉正在革新各类行业及日常生活的方方面面。在科学研究中，它已经在众多学科中带来了变革性进展，随着数据集的增长和技术的发展，它将推动更多突破性成果的出现。
为什么计算机视觉对科学研究至关重要
计算机视觉与机器学习 (ML) 及其他人工智能/机器学习子领域有何不同？这对科学研究为什么重要？简单来说，这项技术使科学家能够从大量视觉数据中快速发现有价值的洞见。近几十年来，科学数据呈现爆炸式增长，从数太字节的天文数据，到数百万张显微镜图像，再到完整的基因组序列等。这些数据量通常无法通过人工分析完成，而且其中大部分是基于图像的，而非文本。
这是计算机视觉与人工智能其他子领域的一个关键区别。自然语言处理 (NLP) 分析序列化的文本数据，用于文献挖掘和知识提取，而计算机视觉处理高维空间数据，使科学家能够直接分析实验观察结果、显微镜图像和传感器读数，其中空间关系和视觉模式包含了核心的科学信息。
此外，传统的机器学习方法如回归、聚类和分类通常使用经过预处理和特征工程的数据集，而现代深度学习的计算机视觉则能够从原始像素进行端到端学习，自动提取相关特征和空间层次，这些特征可能对人类研究者来说并不明显。这一区别在科学研究中尤为重要，因为它凸显了传统机器学习模型的局限性以及深度学习模型的优越能力，尤其是在处理丰富的视觉数据时。面对复杂的非结构化数据集时，传统机器学习模型的性能往往会达到瓶颈，而深度学习模型则能够捕捉到更细微的视觉差异。
另一种常见的人工智能方法是预测建模，它基于已有数据预测结果。而计算机视觉则从原始视觉观察中直接发现模式和结构，常常能够揭示先前未被认识的现象，无需预先设定假设或结构化的输入特征。
| 人工智能方法 | 主数据类型 | 主要差异 |
|---|---|---|
| 计算机视觉 (CV) | 图像、视频、视觉和空间数据 | 处理来自原始像素的数据；自动提取特征和空间层次；能够分析多尺度视觉信息（从分子到天文）；支持对实验观察和传感器读数的直接分析 |
| 自然语言处理（NLP） | 文本，序列化语言数据 | 关注语言模式、句法和语义；用于从书面资料中进行文献挖掘和知识提取 |
| 机器学习 | 特征工程数据集 | 需要经过预处理的数据而非原始输入；处理特定的数据集；依赖人工定义的特征，而非自动特征提取 |
| 预测建模 | 历史/时间序列数据 | 基于过去的模式预测未来结果；需要预先设定的假设和结构化输入；用于预测趋势，而非发现模式 |
这些创新能够比人类单独操作更快速地分析庞大的数据集。这意味着可以更快地分析潜在药物化合物、更准确地进行食品和工业产品的质量控制，以及更早地干预作物健康，仅举几个应用例子。计算机视觉为在不断扩大的数据集中获得洞察和突破开辟了新可能，并促进了跨学科的全天候自动监控和实时实验反馈。
计算机视觉在科学领域的应用案例
尽管计算机视觉技术的核心，主要是卷积神经网络 (CNN) 和注意力机制，在各科学领域基本相同，但其具体实现会根据所分析的视觉数据类型和相关科学目标而有所不同。例如，分析医学扫描中微小的组织异常，需要的模型训练方法与处理卫星数据以追踪不同波段下植物健康指数的方法不同。每个领域都需要针对特定挑战制定专门的预处理方法、训练策略和评估指标（无论是检测罕见事件、测量精确量值，还是解读复杂的空间关系），同时利用相同的计算机视觉基础架构。
- 制药研究：分析分子和蛋白质等微观结构是药物发现的核心。计算机视觉非常适合这些应用，因为它将 CNN 和 ViT 等人工智能结构应用于这些专业的视觉数据集。在分子结构分析中，计算机视觉通过解读 X 射线衍射图样和电子密度图，加速了晶体结构测定过程。同时，它还能够从光谱数据和分子结构图中识别化学结构。
在蛋白质折叠与结构生物学中，人工智能分析低温电子显微镜 (cryo-EM) 图像以重建高分辨率蛋白质结构，验证诸如 AlphaFold 等计算折叠预测，并观察生物过程中发生的动态构象变化。在组织病理学中，计算机视觉促进了从组织样本中进行自动化癌症检测和肿瘤分级，对细胞特征和生物标志物进行定量分析，并能够精确处理千兆像素的整片切片图像，其精确度常常超过人类病理学家。
药物筛选应用利用高内涵筛选自动分类细胞对药物处理的反应，实时监测活细胞动态，并评估用于测试药物效力的复杂三维类器官模型。药物发现中的这些众多应用展示了计算机视觉作为科学工具的多功能性，加速了从分子到组织层面的生物医学研究发现。
- 材料科学：与制药类似，材料科学需要分析微观分子，以确保材料的一致性、检测缺陷，并确认金属及其他材料内部的微小晶体设计是否合理。在晶体结构识别中，计算机视觉能够有效分析 X 射线和电子衍射图样，从而快速识别晶相，通过 EBSD Kikuchi 图样分析确定晶体取向，并绘制晶界分布图。这项技术完成这些任务的速度远快于人工分析晶体。
在缺陷检测方面，计算机视觉可以实现实时识别各种缺陷，从透射电子显微镜 (TEM) 图像中捕捉的原子尺度位错，到焊接和铸造过程中观察到的较大制造缺陷。这项技术在半导体晶圆检测以及增材制造中的层监测方面具有专门应用。
计算机视觉系统已被无缝集成到生产线中，用于实时表面检测、尺寸测量以及质量控制的自动化合格/不合格判定。这些系统在各行业中有特定用途，从检测汽车油漆缺陷，到检查药片，再到验证印刷电路板 (PCB) 组装情况。
- 合成化学：计算机视觉正在通过在多个应用中引入自动化视觉分析，改变化学研究与合成领域，这些应用包括反应监测、化学图谱解读以及化合物追踪。在反应监测中，计算机视觉系统能够观察颜色变化、晶体形成和相分离的实时情况，同时分析热图和荧光信号。这使它们能够识别最佳反应终点、检测杂质，并防止反应失控。
在化学图谱解读中，计算机视觉能够将手绘的分子结构转换为机器可读的格式。它还能够从专利和科学文献中提取化学结构，并分解复杂的反应方案，以收集关于合成路线、试剂和反应条件的信息，用于数据库开发和逆合成规划。
在化合物合成跟踪方面，这项技术能够与实验室自动化无缝结合，对多步合成进行监控，协调纯化过程，管理化学品库存，并实现微孔板中平行反应的高通量筛选。这些进展利用对核心计算机视觉架构的定制化改进来应对化学特有的挑战，例如保持光照一致性以实现准确的颜色分析、确保成像系统的化学兼容性，以及整合光谱和传感器数据，以便对过程进行更全面的理解。
这些技术的影响深远：将反应优化时间从数周缩短到数天，消除人为评估的主观性，实现对危险过程的远程监控，并揭示与成功合成结果相关的微妙视觉模式。这标志着向自主、数据驱动的化学合成的重大转变，通过对分子转化进行系统的视觉分析，这种方法在加速药物发现和优化制造工艺方面具有巨大潜力。
- 生物技术：从单个细胞到复杂组织，生物学研究涉及无数基于图像的数据源，这些数据源非常适合计算机视觉分析。大量的细胞数量和潜在的形态模式使得人工识别趋势或异常变得困难，但人工智能驱动的解决方案能够应对这些挑战并提供实时反馈。
例如，计算机视觉系统能够自动对细胞进行分类并评估其状态。它们能够量化各种形态特征，如细胞形状、细胞核特征和胞质结构。此外，这些系统还能追踪细胞迁移和分裂等动态过程，并在药物发现和表型分析中的高内涵筛选中发挥关键作用。
显微镜技术的整合包括多模态成像数据融合，并配备具备智能采样和高通量筛选能力的自动采集系统。实时分析结合反馈控制和先进的图像处理技术，如去卷积和三维重建，提升了研究效率。这些应用利用了专门的人工智能架构，包括用于高密度细胞培养的实例分割、用于分析时间序列数据的时间建模，以及用于适应新实验条件的小样本学习。同时，它们还考虑了生物学方面的问题，如管理光毒性和确保环境控制。
- 食品与消费品：计算机视觉正在通过先进的自动化检测系统改变食品安全和质量保证，从原材料到最终包装全程维护产品完整性。视觉检测当然是该技术擅长的领域，它能够对表面质量进行实时评估，并识别缺陷、污染，甚至判断各种食品的成熟度。
计算机视觉还可以监控加工质量，如烹饪程度和质地一致性，其生产速度可超过每分钟 1,000 件。它能够进行原料分析，检查原材料、确认混合均匀性和颗粒分布，并确保配料正确添加。这种详细的视觉分析在过敏原控制、避免污染和减少浪费方面具有开创性意义。该技术在包装安全验证方面也提供了类似的优势，例如确保标签清晰可读，包装正确填充并密封。
- 农业与环境科学：计算机视觉对卫星和无人机图像提供深入分析，这对环境监测和生态研究至关重要。在作物健康监测领域，人工智能驱动的系统分析多光谱图像，以计算植被指数，如归一化植被指数 (NDVI)，用于量化植被的绿色度、密度和产量。它们还可生成精准农业地图用于可变施用率管理，并通过对作物生长的详细监测预测产量。
计算机视觉还可改善污染监测，例如通过检测颗粒物和排放物评估空气质量，利用工具识别藻华和油污来监测水质，确保工业合规，并开展城市环境研究。在生态学的物种识别中，自动化系统被用于监测野生动物种群和追踪迁徙。这些系统还可通过检测鲸鱼和监测珊瑚礁健康来评估海洋生态系统，为保护工作绘制生物多样性地图，并分析森林生态，用于树种分类和物候趋势研究。
这些应用利用了前沿技术，例如多传感器数据融合，将光学、雷达和高光谱数据结合起来。它们采用时间序列分析进行变化检测和趋势监测，同时高分辨率处理依托于在大量遥感数据集上训练的深度学习网络。卫星星座和无人机群的整合确保了广泛覆盖，而云计算平台则便于处理 PB 级数据。自动化工作流程将原始影像转化为有价值的环境信息。
这种综合的遥感方法带来了显著益处，包括提高农业产量、通过精准施肥减少化肥使用、增强灾害快速响应能力以及制定科学的保护策略。这标志着向自动化环境管理的重大转变，通过对地球观测数据的分析，为气候研究、法规遵循和可持续发展目标提供支撑。
CAS如何使用计算机视觉
在 CAS，我们利用先进的计算机视觉技术，仔细识别、分析并关联来自数据源的重要信息。CAS 内容合集™ 是最大的人工收录科学信息库，而我们收录的内容很多超越了文本，包括在科学出版物、电子实验记录 (ELN)、CAS 内部记录等众多文献中报道的分子结构。我们对计算机视觉的应用使我们能够发现这些庞大数据集中的复杂模式和关联，将原始信息转化为推动创新与发现的有意义洞见。
我们的计算机视觉模型能够识别和分类分子结构，优化搜索算法，并从复杂的科学内容中提取有价值的数据（见图 1）。此外，它们还能熟练解读和分析汇总在详细表格中的实验结果，为底层科学发现提供全面洞察。我们将这些能力嵌入到 CAS 内容合集中，以丰富内容并支持下游分析。
通过将提取的数据点与结构化内容和本体关联，我们简化了关键信息的获取，帮助科学家更快、更明智地做出决策。
制定计算机视觉计划的关键步骤
要开发一个强大的计算机视觉模型：
- 清晰定义问题，并收集多样化且带有良好标注的数据集。
- 对数据进行预处理，包括调整尺寸、归一化以及数据增强。这应在将数据拆分为训练集、验证集和测试集之前完成。
- 在早期阶段评估您的技术栈。您的硬件需要配备能够加速深度学习模型训练和推理的 GPU。
- 持续关注伦理考量，确保模型遵守有关偏见和隐私的法规。
- 选择合适的模型架构进行训练，然后在测试数据集上使用适当的指标评估其性能，并根据需要进行迭代改进。
- 在真实环境中部署模型，监控其性能，并根据行业、特定领域和业务目标随时间变化可能导致的数据漂移，规划潜在的再训练策略。
- 专注于模型架构和流程的扩展、优化及文档化，便于未来参考并在团队内部进行知识共享。
成功的关键是在每个阶段都让人类领域专家参与其中。跨学科的专业知识对于理解领域的细微差别、识别相关数据、主导数据标注、验证数据质量以及解读模型输出至关重要。
像所有人工智能驱动的技术一样，计算机视觉将持续发展，利用其能力的模型也会随着时间不断优化。这项技术在科学研究各个领域的重要性只会不断增长，随着从药物发现到环境科学等领域的更快速突破，我们能够更有效地应对全球面临的挑战。
