科学中的人工智能 · AI就绪的数据
AI就绪的数据
用物理学改进AI学习所用的数据,让模型学到的是天空,而不是仪器。
简介
机器学习如今已广泛用于分析天文图像。但模型会学到训练数据中的一切,包括望远镜的缺陷:模糊或不均匀的点扩散函数(point spread function)、相关噪声(correlated noise)、欠采样造成的伪影。用这样的数据训练出来的模型,学到的可能是仪器效应,而不是天空的实际情况。
我的思路是以数据为中心。我不去构建越来越复杂的模型来弥补数据的不足,而是先用物理学改进数据。这项工作从图像重建开始:把望远镜欠采样的曝光合成为充分采样的图像,其点扩散函数尽可能接近选定的目标,因此每一幅输出图像的PSF都是已知的;IMCOM和“无为”做的都是这件事。用统计学的语言说,这是一个线性反问题(见图像重建)。
深入了解
我的许多工作都属于反问题:从望远镜欠采样(undersampled)的曝光中重建充分采样的图像就是一例,而我为此开发的算法“无为”(Effortless)在设计上兼顾可扩展性与可解释性。我用模拟数据中的“真实”值来验证这类方法,并衡量每个输出在多大程度上达到了目标。这也正是不确定性量化(uncertainty quantification)对机器学习的要求。
我的工作
我主导了把IMCOM重构为PyIMCOM的工作,使计算成本降低了约一个数量级;团队成员用PyIMCOM为OpenUniverse2024模拟生成了IMCOM协加图像,团队的多篇论文都用到了这些图像。之后我开发了线性图像重建算法“无为”,它比IMCOM快几十倍,占用内存更少,而且可解释:IMCOM的大型矩阵求逆在很大程度上是一个黑箱,而“无为”分步设计输入像素的权重,每一步都可以理解。我的论文中也用到简单、可以核查的机器学习模型,例如用支持向量回归模拟APOKASC-3的星震修正(Cao and Pinsonneault 2025),以及用稳健回归、借助注入恒星校准“无为”的测量(Cao 2026b)。我在数据科学方面受过的正式训练,包括Erdős Institute的数据科学训练营。
论文
下一步
其中一个目标是制作可以直接用于机器学习的图像产品,也就是点扩散函数和噪声都有完整记录的重建图像。我希望AI能帮助我实现在图像、宇宙学和恒星方面的研究目标,同时让我交付的一切始终可以核查。AI在每个研究方向中的切入点,见我的研究方向。
本页术语(4)
- 点扩散函数(point spread function,PSF)
- 望远镜和相机为单个点光源(例如一颗遥远的恒星)所成的像:一小团模糊的光斑。任何图像都是真实的天空被点扩散函数模糊之后的样子,所以要测量形状,就必须精确地知道点扩散函数。
- 相邻像素共有的噪声,而不是逐个像素独立变化的噪声,例如让一整行像素都略亮或略暗的条纹。与白噪声不同,把相邻像素合并起来并不能有效地压低它;如果不加校正,它还可能伪装成真实的图样。
- IMCOM
- IMCOM是IMage COMbination(图像合并)的缩写,是一种图像协加方法。它选取各个输入像素的权重,使输出图像的点扩散函数尽可能接近用户指定的目标,同时把噪声控制住。PyIMCOM是它面向罗曼的现代实现,“无为”(Effortless)则是更快的后继方法。
- 欠采样、充分采样(undersampled,well-sampled)
- 如果像素太粗,无法捕捉图像中最精细的细节(在这些细节的尺度上采样不到两次),图像就是欠采样的;如果像素足够精细,就是充分采样的。罗曼的单次曝光是欠采样的,重建后的图像则是充分采样的。