曹开力 Kaili Cao

图像 · 图像重建

图像重建

从望远镜欠采样的曝光中重建充分采样的图像，并控制其点扩散函数；主要面向南希·格蕾丝·罗曼空间望远镜，但不限于罗曼。

简介

望远镜从来不能原原本本地记录天空。即使是一个完美的点光源，比如一颗遥远的恒星，也会扩散成一小团模糊的光斑，这就是点扩散函数（PSF）；相机再用一个个方形的像素（pixel）记录这团光斑。本页讲的是如何把原始曝光变成模糊程度精确已知的图像——精密测量离不开这一点。

南希·格蕾丝·罗曼空间望远镜于2026年8月发射，在太空中观测，因此它的点扩散函数清晰而稳定，主要受衍射（diffraction）限制。但它的像素宽0.11角秒（arcsecond），与点扩散函数本身的宽度相当。根据奈奎斯特—香农采样定理（Nyquist–Shannon sampling theorem），要忠实地记录一个图样，在它最精细的细节上需要两个以上的采样点；对罗曼来说，这意味着像素宽度应约为点扩散函数的一半。因此，罗曼的单次曝光是欠采样（undersampled）的：小于一个像素的细节会丢失或错乱，如下图左侧所示。

这为什么重要？罗曼的主要宇宙学巡天依靠弱引力透镜（weak gravitational lensing）：我们与遥远星系之间的物质会使星系的光线偏折，把星系的像拉伸约1%。但星系本来就不是圆的：它们自身的形状平均拉长约30%，而且方向随机。因此，只有把数百万个星系的形状平均起来，信号才会显现；而望远镜或数据处理额外引入的任何畸变，都必须精确掌握，误差要远小于1%。

解决办法从抖动（dithering）开始：罗曼在两次曝光之间略微改变指向，使不同曝光在像素内的不同位置上采样天空（见右图）。随后，图像重建把这些曝光合成为一张充分采样的图像。每个输出像素都是附近输入像素的加权和。权重决定了来自相邻位置的光如何混合，因此也决定了输出图像的模糊程度，即它的点扩散函数。我的工作有两个方面。一是选择权重，使输出点扩散函数尽可能接近选定的目标，同时把噪声压低——如果权重通过减去相邻像素来锐化图像，噪声也会随之放大。二是让权重的计算足够快，足以处理数十亿像素的巡天。

单次曝光-202位置（像素）
两次抖动曝光-202位置（像素）
  • 真实的恒星轮廓
  • 采样点，曝光1
  • 采样点，曝光2（错开半个像素）
示意图（一维，非真实数据）。左：用宽度与点扩散函数相当的像素对恒星采样，恒星的形状便无法保留。右：错开半个像素的第二次曝光（即“抖动”）填补了空隙；图像重建把这样的多次曝光合成为一张充分采样的图像。借助AI（Claude）制作。

对这一领域还不熟悉？术语表用通俗的语言解释了相关术语；带下划线的术语都链接到术语表。

深入了解

罗曼空间望远镜已于2026年8月30日发射。它在太空中观测，点扩散函数（PSF）稳定而清晰，主要受衍射限制。这有利也有弊。罗曼的像素宽0.11角秒，与点扩散函数本身相当，而要对图像充分采样，像素尺寸需约为其一半。因此，罗曼的原始图像是欠采样的，而目前最好的星系形状测量方法都要求图像充分采样。

形状之所以重要，是因为罗曼高纬度广域巡天的成像部分为高纬度成像巡天。这是罗曼主要的宇宙学巡天之一，弱引力透镜则是它的主要科学目标之一。前景中的物质会使遥远星系的像发生畸变，但幅度只在1%左右，而星系固有形状的差异约为30%。为了找回丢失的细节，罗曼在两次曝光之间略微改变指向（即抖动），之后再把这些曝光合成为充分采样的图像。每个输出像素都是输入像素的加权和，而权重的选择也决定了输出的点扩散函数。在按罗曼巡天观测模式生成的模拟图像中，空间望远镜常用的传统方法Drizzle会把恒星的像变成六边形（Hirata et al. 2024，图9）；而IMCOM在选择权重时，力求使输出点扩散函数尽可能接近用户指定的目标——这正是弱引力透镜研究所需要的。

我把这类软件看作一种科学仪器：它的设计、测试和校准，和望远镜本身一样，决定着我们能从数据中得到什么。

写给统计学者：作为线性反问题的图像重建

用统计学的语言说，这是一个线性反问题。设输入像素为x = Af + ε，其中f是天空，A包含点扩散函数和采样，ε是协方差为Σ的噪声；那么所有线性方法——Drizzle、IMCOM和“无为”都是如此——给出的都是y = Wx，它应当逼近具有明确PSF的目标Tf。权重在泄漏与噪声之间取舍：泄漏是取决于天空的偏差（WA − T）f，噪声是协方差为WΣWT的方差；例如，IMCOM最小化的是‖WA − T‖2 + κ tr(WΣWT)。在一维研究中（Cao and Roman HLIS Cosmology PIT 2026），我把PSF表述为来自已知方向的光子落点的概率分布，并说明了重采样和协加改变的是信息的表示方式，却不能增加信息。“无为”在傅里叶空间中计算权重，而不必求解IMCOM那样的大型线性方程组，这正是它速度快的原因。

我的工作

我主导了把IMCOM重构为PyIMCOM的工作：代码改为面向对象的结构，改进了数据结构，并采用新的线性代数策略，使计算成本降低了约一个数量级（Cao et al. 2025）。随后我细调了它的超参数：在五个波段中各比较了26种配置，按12项标准评估；例如，较宽的高斯目标点扩散函数能得到更好的图像（Cao et al. 2026）。PyIMCOM生成的IMCOM协加图像（coadd）收录在罗曼与鲁宾天文台共用的模拟天空OpenUniverse2024中；PyIMCOM也是团队多篇论文的工作平台（见图像分析）。

六幅图像：模拟的罗曼天空图像（上排）和注入的恒星（下排），分别由PyIMCOM的三种线性代数内核协加而成。
模拟的罗曼天空图像（上）和注入的恒星（下），由PyIMCOM的三种线性代数内核协加而成（各列依次为Cholesky、迭代、经验）。Cao et al. 2025的图5上半部分，CC BY 4.0。

即便如此，IMCOM的计算成本仍然很高：在单个CPU核心上，用它重建一张罗曼原始图像（单个探测器的一次曝光）大约需要一天。对于精密宇宙学研究，这样的成本尚可接受，但对其他用途来说，IMCOM就没那么有吸引力了。一项一维研究（Cao and Roman HLIS Cosmology PIT 2026）让我想到了一种新的线性图像重建算法，最初称为Fast IMCOM。由于它并不一定要合并图像，我把它改名为“无为”（Effortless，即EFFicient Optimal image ReconsTruction using LESS memory，意为高效、最优、少占内存的图像重建）。与IMCOM一样，“无为”能控制输出图像的点扩散函数；但它避开了IMCOM中最繁重的计算，因此计算时间只有IMCOM的五十到六十分之一（Cao 2026a）：在罗曼巡天的中层级和宽层级模拟中，输入和目标PSF都与此前PyIMCOM的测试相同，每个滤光片每平方度天区约需2×102核时，而PyIMCOM需要1.1×104核时；因此重建一张罗曼原始图像只需约半小时，而不是一天。它占用的内存也更少。它的思路是：把输入像素的权重看作某个潜在权重场的采样，直接设计这个权重场。

我在两篇姊妹论文中介绍“无为”。其中一篇介绍它的数学形式、软件实现和实际应用中的问题（Cao 2026b）。最重要的一点是：奈奎斯特—香农采样定理固然成立，但它的前提条件与巡天数据处理面对的问题有着微妙而重要的差别。有限采样的影响，只需在测量后做一步简单的校准，就能大大降低。数值伪影、输入像素的有限窗口和无法使用的输入像素都会带来缺陷，这些缺陷都已弄清楚，并得到了控制。在软件设计上，我力求采用清晰的面向对象结构、直观的数据模型和友好的界面；它的编程接口也足够通用，能用于弱引力透镜和罗曼以外的场合。代码已在GitHub上公开。

在另一篇中，我把“无为”应用于模拟的罗曼图像（Cao 2026a）。与IMCOM相比，它能更高效地使重建图像中的点扩散函数均匀而规整，并有望更好地控制系统误差（systematics）。对于理想点源，用“无为”重建的单张图像加上上述校准，可以得到与IMCOM协加约六张图像相当甚至更好的测量结果。这种校准能否推广到带噪声的星系（弱引力透镜实际测量的对象），目前尚不清楚。此外，尽管两种算法都是为弱引力透镜设计的，“无为”既能用于研究宇宙的静态特征，也能用于研究它的动态变化：它把不同时间拍摄的图像放到同一个像素网格上、统一到同一个点扩散函数，便于时域天文学的研究者比较这些图像。它的高效和可解释性，也为进一步降低测量误差提供了新的可能。

四幅图像：模拟的天空图像（上）和注入的恒星（下），左边由PyIMCOM协加，右边由“无为”重建。
同一组模拟的罗曼天空图像（上）和注入的恒星（下），左边由PyIMCOM协加，右边由“无为”重建。Cao 2026a的图1前两行前两列。

与IMCOM一样，“无为”假定输入的天体测量（astrometry）、流量定标（flux calibration）和点扩散函数模型都是正确的。实际上，这些输入都有误差——这也是后续工作的动因之一。

论文

第一作者论文

合作论文

下一步

“无为”是我读博期间自己提出的构想，也是其中第一个开始蓬勃发展的。接下来是它的应用：为罗曼的弱引力透镜巡天生成图像；足够快地生成参考图像，供罗曼的快速警报使用；用罗曼时域巡天的数据合成深度图像；以及与鲁宾天文台的图像联合分析。再往后，是更普遍地理解点扩散函数残差，以及为重建图像中的噪声协方差建模。

这些工作在我未来五年计划中的位置，见研究方向。

本页术语（15）
点扩散函数（point spread function，PSF）
望远镜和相机为单个点光源（例如一颗遥远的恒星）所成的像：一小团模糊的光斑。任何图像都是真实的天空被点扩散函数模糊之后的样子，所以要测量形状，就必须精确地知道点扩散函数。
像素（pixel）
探测器或数字图像的一个单元。像素值最好理解为天空亮度在某一点上的采样，而不是一小块方形的天空；这个亮度已经被望远镜模糊过，又因像素在整个面积上收集光线而再模糊了一次。
衍射极限（diffraction limit）
望远镜所能成的最清晰的像，由光的波动性和主镜的大小决定：即使是一台完美的望远镜，也会把一个光点扩散成一小片图样。空间望远镜不受地球大气模糊的影响，可以达到衍射极限。
角秒（arcsecond）
天球上的角度单位，等于1/3600度。满月的视直径约为1800角秒；南希·格蕾丝·罗曼空间望远镜的像素宽0.11角秒。
奈奎斯特—香农采样定理（Nyquist–Shannon sampling theorem）
信号处理中的一个结论。任何信号（包括一颗恒星的图像）都可以写成一系列大小不同的波之和（即傅里叶级数）。如果其中最小的波有一定的尺寸，那么只要在这个最小波的每个波长内采样两次以上，就能准确地还原信号。如果采样比这更粗，精细的细节就会丢失，或者伪装成较粗的图样，这种现象称为混叠（aliasing）。
欠采样、充分采样（undersampled，well-sampled）
如果像素太粗，无法捕捉图像中最精细的细节（在这些细节的尺度上采样不到两次），图像就是欠采样的；如果像素足够精细，就是充分采样的。罗曼的单次曝光是欠采样的，重建后的图像则是充分采样的。
弱引力透镜（weak gravitational lensing）
遥远星系发出的光被前方物质的引力轻微弯折，使星系的像被拉伸约1%。对数百万个星系取平均，就能绘出所有物质（包括暗物质）的分布，从而检验宇宙学模型。
抖动（dithering）
在两次曝光之间略微改变望远镜的指向（错开的距离往往不到一个像素），使不同的曝光在天空的不同位置上采样。把这些曝光合在一起，就能找回单次欠采样曝光所遗漏的细节。
反问题、线性反问题（inverse problem，linear inverse problem）
由观测到的结果推断其成因，例如由模糊、采样并带有噪声的图像推断真实的天空。如果观测量是未知量的加权和再加上噪声，就是线性反问题，图像重建就是一例。
PSF泄漏（PSF leakage）
重建图像的PSF偏离目标的程度：它是结果中取决于天空本身的偏差，而不是噪声。
IMCOM
IMCOM是IMage COMbination（图像合并）的缩写，是一种图像协加方法。它选取各个输入像素的权重，使输出图像的点扩散函数尽可能接近用户指定的目标，同时把噪声控制住。PyIMCOM是它面向罗曼的现代实现，“无为”（Effortless）则是更快的后继方法。
协加图像、协加（coadd，coaddition）
把同一天区的多次曝光合并而成的图像。协加可以降低噪声；配合抖动，还能找回因欠采样而丢失的细节。
系统误差（systematics，systematic errors）
把结果始终推向同一方向的误差，而不是让结果随机散开的误差。数据再多也无法把它平均掉，所以必须弄清它的来源并加以校正。未经校正的噪声图样（例如条纹）如果与信号相似，就可能变成系统误差。
天体测量（astrometry）
精确测量天体在天球上的位置。合并图像需要准确的天体测量，才能把每个像素放到正确的位置上。
流量定标（flux calibration）
把探测器记录的读数换算成物理上的亮度（流量，即每秒到达单位面积的能量），使不同曝光、不同仪器的测量结果相互吻合。

查看完整术语表