计算机视觉是人工智能（AI）的一个分支，它赋予计算机像人类一样“观察”和解读视觉世界的能力。计算机视觉不仅仅是识别图像，它还涉及对视觉数据中的背景、关系和模式的理解。这一过程通过复杂的算法和深度学习技术实现，例如卷积神经网络（CNN）和视觉转换器（ViT）。
这些工具从视觉输入中提取有意义的信息，将原始像素数据转化为高层语义理解。从自动驾驶汽车和工业质量控制，到医学影像甚至社交媒体滤镜，计算机视觉正在彻底改变各行各业及日常生活的方方面面。在科学研究领域，它已经在众多学科中取得了变革性的进展；随着数据集的增长和技术的演进，它将推动更多的突破。
为何计算机视觉对科学探索至关重要
计算机视觉与机器学习（ML）及其他人工智能/机器学习子领域有何不同？这对科学研究又意味着什么？简而言之，这项技术使科学家能够从海量视觉数据中快速挖掘出有价值的见解。近几十年来，科学数据呈爆炸式增长，从数太字节的天文数据到数以百万计的显微图像，再到完整的基因组序列等等。这些数据量往往大到无法人工分析，且大多基于图像而非文本。
这是计算机视觉与人工智能其他子领域之间的一个关键区别。当自然语言处理（NLP）通过分析序列文本数据进行文献挖掘和知识提取时，计算机视觉处理的是高维空间数据，能够直接分析实验观测结果、显微图像和传感器读数，而这些数据中的空间关系和视觉模式正是核心科学信息的所在。
此外，传统的机器学习方法（如回归、聚类和分类）使用预处理过的、经过特征工程的数据集，而现代深度学习计算机视觉则从原始像素进行端到端学习，自动提取人类研究人员可能无法察觉的相关特征和空间层级。这种区别在科学背景下至关重要，因为它凸显了传统机器学习模型的局限性以及深度学习模型在处理丰富视觉数据时的卓越能力。在面对复杂、非结构化的数据集时，传统机器学习模型的性能往往会达到瓶颈，且难以捕捉到深度学习模型所能识别的细微视觉差异。
另一种常见的人工智能方法是预测建模，它基于既往数据预测结果。相比之下，计算机视觉直接从原始视觉观测中发现模式和结构，往往无需预设假设或结构化输入特征，即可揭示此前未被识别的现象。
这些创新分析海量数据集的速度远超人类。仅举几例应用，这转化为对潜在药物化合物的快速分析、食品和工业产品更精准的质量控制，以及对作物健康状况的早期干预。计算机视觉为在日益庞大的数据集中获取见解和实现突破开辟了新可能，并促进了跨学科的全天候自动化监测和实时实验反馈。
计算机视觉在科学领域的应用案例
尽管计算机视觉技术的核心（主要是CNN和注意力机制）在各科学领域保持一致，但其实施方式会根据所分析的视觉数据类型和相关的科学目标而有所不同。例如，分析医学扫描中的细微组织异常，与处理追踪植物健康指数的卫星数据，所需的模型训练方式截然不同。每个领域都需要针对特定挑战进行专门的预处理、训练策略和评估指标——无论是检测罕见事件、测量精确数量，还是解读复杂的空间关系——同时利用相同的底层计算机视觉架构。
- 药物研究：检查分子和蛋白质等微观结构是药物发现的核心。计算机视觉非常适合这些应用，因为它将CNN和ViT等AI结构应用于这些专业的视觉数据集。在分子结构分析中，计算机视觉通过解读X射线衍射图谱和电子密度图，简化了晶体结构测定的过程。它还能从光谱数据和分子绘图中识别化学结构。
在蛋白质折叠和结构生物学领域，人工智能通过分析冷冻电镜图像来重建高分辨率蛋白质结构，验证AlphaFold等计算折叠预测，并观察生物过程中发生的动态构象变化。在组织病理学中，计算机视觉促进了从组织样本中自动检测癌症和进行肿瘤分级，对细胞特征和生物标志物进行定量分析，并能精确处理千兆像素的全切片图像，其精度往往超过人类病理学家。
药物筛选应用采用高内涵筛选技术，自动对细胞的治疗反应进行分类，实时监测活细胞动态，并评估用于测试药物疗效的复杂3D类器官模型。这些在药物发现中的众多应用展示了计算机视觉作为科学工具的通用性，加速了生物医学研究中从分子到组织层面的发现进程。
- 材料科学：与制药行业类似，材料科学需要分析微观分子，以确保材料的一致性、检测缺陷，并确认金属及其他材料内部的微小晶体结构设计是否合理。在晶体结构识别方面，计算机视觉能够有效分析 X 射线和电子衍射图谱，从而快速识别晶相、通过EBSD菊池花样分析确定取向，并绘制晶界图。该技术完成这些任务所需的时间仅为人工分析的一小部分。
在缺陷检测方面，计算机视觉能够实现缺陷的实时识别，范围涵盖透射电子显微镜（TEM）图像中捕捉到的原子级位错，以及焊接和铸造过程中观察到的较大制造缺陷。该技术在半导体晶圆检测和增材制造层监控方面具有专门的应用。
计算机视觉系统已无缝集成到生产线中，用于实时表面检测、尺寸测量以及质量控制的自动化合格/不合格判定。这些系统具有特定行业的用途，从检测汽车漆面缺陷到检查药品片剂及验证 PCB 组件，应用广泛。
- 合成化学：计算机视觉正在通过在反应监测、图表解读和化合物追踪等各种应用中引入自动化视觉分析，改变化学研究与合成领域。在反应监测中，计算机视觉系统可观察颜色、晶体形成和相分离的实时变化，同时分析热模式和荧光信号。这使其能够识别最佳反应终点、检测杂质并防止反应失控。
在化学图表解读方面，计算机视觉有助于将手绘分子结构转换为机器可读格式。它还能从专利和科学文献中提取化学结构，并解析复杂的反应方案，从而为数据库开发和逆合成规划收集有关合成路线、试剂和条件的信息。
在化合物合成追踪方面，该技术与实验室自动化无缝集成，以监督多步合成、协调纯化过程、管理化学品库存，并实现微孔板中平行反应的高通量筛选。这些进步利用核心计算机视觉架构的定制化适配，以解决化学特定的挑战，例如保持光照一致性以进行精确的颜色分析、确保成像系统的化学兼容性，以及整合光谱和传感器数据以更全面地了解工艺过程。
这些技术的影响深远：将反应优化时间从数周缩短至数天，消除了人工评估的主观性，实现了危险工艺的远程监控，并揭示了与成功合成结果相关的微妙视觉模式。这代表了向自主、数据驱动的化学合成的重大转变，通过对分子转化的系统性视觉分析，为加速药物发现和优化制造工艺带来了巨大前景。
- 生物技术：从单个细胞到复杂的组织，生物学研究涉及无数基于图像的数据源，这些数据源非常适合进行计算机视觉分析。细胞的庞大数量和潜在的形态模式使得人工识别趋势或异常变得困难，但人工智能驱动的解决方案可以应对这些挑战并提供实时反馈。
例如，计算机视觉系统可以自动对细胞进行分类并评估其状态。它们能够量化各种形态特征，如形状、核特征和细胞质组织。此外，这些系统还可以追踪细胞迁移和分裂等动态过程，并在药物发现和表型分析的高内涵筛选中发挥关键作用。
显微镜技术的集成结合了多模态成像数据融合，并采用了具有智能采样和高通量筛选功能的自动化采集系统。通过反馈控制进行的实时分析以及去卷积和三维重建等先进图像处理技术，提高了研究效率。这些应用利用了专门的人工智能架构，包括针对高密度细胞培养的实例分割、用于分析时间序列数据的时间建模，以及适应新实验条件的少样本学习。它们还解决了生物学方面的考量，如管理光毒性和确保环境控制。
- 食品与消费品：计算机视觉正在通过先进的自动化检测系统改变食品安全与质量保证，这些系统可从原材料到最终包装全程维护产品完整性。视觉检测无疑是该技术擅长的领域，它能够对表面质量进行实时评估，并识别各种食品中的缺陷、污染物甚至成熟度水平。
计算机视觉还能以每分钟超过 1,000 件的生产速度监控烹饪程度和质地一致性等加工质量指标。它通过检查原材料、确认正确的混合和粒度分布以及确保正确的成分添加来处理成分分析。这种详细的视觉分析对于过敏原控制、避免污染和最大限度减少浪费具有开创性意义。该技术还为包装安全验证提供了类似的益处，例如确保标签可读以及包装填充和密封正确。
- 农业与环境科学：计算机视觉对卫星和无人机图像进行深入分析，这对于环境监测和生态研究至关重要。在作物健康监测领域，人工智能驱动的系统分析多光谱图像以计算植被指数，例如归一化植被指数（NDVI），该指数可量化植被的绿色度、密度和产量。它们还创建用于可变速率施用的精准农业地图，并通过详细监测作物随时间的生长情况来预测产量。
计算机视觉还改善了污染追踪，例如通过检测颗粒物和排放物来评估空气质量，利用识别藻华和溢油的工具监测水质，确保工业合规性，并开展城市环境研究。在生态研究的物种识别方面，自动化系统被用于监测野生动物种群和追踪迁徙。这些系统还通过检测鲸鱼和监测珊瑚礁健康来评估海洋生态系统，为保护工作绘制生物多样性地图，并分析森林生态以进行树种分类和物候趋势研究。
这些应用利用了多传感器数据融合等尖端技术，将光学、雷达和高光谱数据相结合。它们采用时间分析进行变化检测和趋势监测，而高分辨率处理则利用在海量遥感数据集上训练的深度学习网络。卫星星座和无人机群的集成确保了广泛的覆盖范围，云计算平台则促进了 PB 级数据的处理。自动化工作流程将原始图像转换为有价值的环境信息。
这种全面的遥感方法带来了显著效益，包括提高农业产量、减少肥料使用（通过精准施用）、增强灾害快速响应能力以及提供知情的保护策略。这代表了向自动化环境管理的重大转变，通过对地球观测数据的分析，为气候研究、监管合规和可持续发展目标提供支撑。
CAS 如何使用计算机视觉
At CAS, we harness the power of advanced computer vision technology to meticulously identify, analyze, and interconnect vital information drawn from our data sources. The CAS Content CollectionTM is the largest human-curated repository of scientific information, and much of what we curate goes beyond text — reported molecular structures present in numerous documented sources such as scientific publications, ELNs, CAS internal records, and more. Our approach to computer vision allows us to uncover intricate patterns and relationships within these extensive datasets, transforming raw information into meaningful insights that drive innovation and discovery.
我们的计算机视觉模型可以识别和分类分子结构、增强搜索算法，并从复杂的科学内容中提取有价值的数据（见图 1）。此外，它们还能熟练地解读和分析详细表格中总结的实验结果，从而对潜在的科学发现提供全面的见解。我们将这些功能嵌入其中，以丰富 CAS Content Collection 并支持下游分析。
通过将提取的数据点与结构化内容及本体论相关联，我们简化了关键信息的获取流程，助力科学家更迅速、更明智地做出决策。
制定计算机视觉计划的关键步骤
构建强大的计算机视觉模型：
- 明确定义问题并收集多样化且标注完善的数据集。
- 预处理数据，包括对现有数据进行缩放、归一化和增强。此步骤应在将数据划分为训练集、验证集和测试集之前完成。
- 评估技术栈。在早期阶段，需确保硬件配备能够加速深度学习模型训练与推理的 GPU。
- 持续关注伦理考量，确保模型符合关于偏见和隐私的法规要求。
- 选择合适的模型架构进行训练，随后使用适当的指标在测试集上评估其性能，并根据需要进行迭代改进。
- 在实际场景中部署模型，监控其性能，并针对行业、特定领域及业务目标随时间变化而产生的数据漂移，制定相应的模型重训练计划。
- 专注于扩展、优化和文档记录，对模型架构和流程进行归档，以便团队日后参考及知识共享。
成功的关键在于让领域专家全程参与。跨学科专业知识对于理解领域细微差别、识别相关数据、指导数据标注、验证数据质量以及解读模型输出至关重要。
与所有人工智能技术一样，计算机视觉将持续演进，相关模型也会不断完善。该技术对科学研究各领域的重要性将日益凸显。随着药物研发到环境科学等领域取得更快的突破，我们将能更有效地应对全球挑战。
