ClearView-GPU™反褶积-把这些光子放回他们来自的地方

.．.反褶积方法的应用总是可以提高图像质量，无论图像的来源如何。Deconvolve一切!

Mark B. Cannell, Angus McMorland，和Christian Soeller，生物共聚焦显微镜手册，第25章

反褶积是一种提高成像系统上捕获的图像的信噪比(SNR)和分辨率的计算方法。它的使用早于共聚焦显微镜的广泛使用，但由于当时缺乏计算能力，没有得到普遍应用。今天的计算能力，特别是gpu(图形处理单元)的大规模并行化，已经消除了几乎所有的进入障碍，因此配备了合适显卡的台式电脑几乎可以实时地执行反褶积。本技术说明的目的是介绍反褶积作为日常成像工具的概念，应该常规应用于显微镜系统上捕获的任何图像

Imaris 3D/4D图像分析软件提供了一个最佳的反卷积模块，ClearView-GPU，它集成到Imaris工作流程和可批处理。ClearView-GPU直接从Imaris软件执行，配备了横截面预览模式，允许即时反馈各种反褶积处理选项的效果，并提供对结果的控制。

图像形成

成像是光学系统将物体的图像投射到观测或探测平面上的过程:图像是光子的空间分布，旨在表示从感兴趣的物体发射、反射或传输的光的分布。图像的形成是通过“卷积”操作进行数学描述的，其中从物体收集的光的空间分布与仪器点扩散函数(PSF)进行卷积。PSF被认为是物理成像系统的一个基本特性，它限制了空间分辨率。计算机辅助成像可以超越这一物理限制:反褶积处理就是这样一种方法。PSF形状受衍射的限制，通常在仪器的瞳孔平面。PSF越窄，空间分辨率越大，光学系统的(数值)孔径越大。卷积可以被认为是PSF对模糊的数学描述，而我们在反卷积中寻求“消除”的正是这种模糊。

在荧光显微镜的情况下，系统的能力，以解决一个对象是有限的信噪比和分辨率。图像中的对象可能会受到以下影响:

• 如果一个物体的荧光强度太接近检测系统的噪声地板或样本的背景强度，它将不可见。
• 如果一个对象小于系统的分辨能力，它至少会出现与系统的分辨极限一样大的情况。
• 如果两个对象之间的距离小于系统的分辨能力，则它们将显示为一个对象。

下面我们从数学和视觉上描述反褶积，以支持更直观的理解。反褶积中依赖的一个重要数学关系是傅里叶变换(FT)。FT是一种描述分布(通常是空间或时间)的方法，通过一个集合或一组替代函数。为了转换为FT，我们计算了描述原始函数的空间频率集合的振幅和相位。结果是一组不同空间频率的正弦和余弦，每对都有一个振幅或强度常数。这个重要功能的计算已经经过了许多代的优化，现在可以使用GPU功能非常快速地计算。结果表明，当分布用FT表示时，空间分布的卷积用乘法表示，反卷积用除法表示。这大大简化了计算。不幸的是，这个简单的关系只适用于理想的无噪声情况。对于真实的成像情况，噪声使这更具挑战性，然后必须使用迭代技术。

举例说明这个简单的例子:探测器接收到的图像可以被认为是由一组光点组成的，每个光点都与PSF进行了卷积。作为一个直观的例子，考虑以下对象的测试模式(图1):

图1 -真实物体被成像系统成像的一个例子

光线经过系统的光学系统并被探测器接收后，经过模糊或卷积处理，使物体出现如图2所示:

图2 -成像系统如何扭曲或卷积物体的例子

模糊函数或点扩散函数如图3和图4所示，分别显示3D视图和2D投影。图4中的环被称为艾里环，是具有圆形孔径的成像系统的特征。在这种情况下，70%的透射能量包含在中心亮点中，该亮点的范围为一个艾里单位，对应1.22*波长/NA。其中波长为发射波长，NA为光学成像系统的限制孔径。

图3 -单点失真，或点扩散函数(PSF)。这里显示的是3D

图4 -二维的PSF显示了一系列的环-被称为“艾里模式”-其中心有一个“艾里盘”。

由于我们知道当图像通过成像系统时如何与PSF卷积，我们可以应用这个过程的逆来反卷积图像并恢复信号和分辨率。

图5 -图像卷积及其反卷积的简化解释，反卷积重建原始对象。注意FT表示傅里叶变换，这允许我们在无噪声的情况下，用乘法代替卷积，用除法代替反卷积。因此，在顶部，我们看到图像形成过程，以简化的形式，下面是图像恢复或反褶积过程。

奈奎斯特抽样

在20世纪早期，在数字电子学的黎明，Harry Nyquist(和其他一些人)意识到，要想以离散(或数字)的方式准确地表示一个连续(或模拟)序列，需要对连续序列的表示或记录至少是其频率的两倍。这种现象的一个日常例子是以至少40千赫的频率将音频录制成数字格式(通常使用44.1千赫或更高的频率)。这是因为人类的听觉系统(一种模拟录音设备)通常无法检测到大于20千赫的频率。如果音频以低于40千赫的频率录制，高频高音声音将丢失或更糟，混叠成较低的杂散频率。录音频率越低，声音就越差。我们可以这样表示

图6 -连续信号采样不足

红线是我们希望记录为数字信号的连续序列。黑点是我们记录的频率。虚线就是信号的数字表示。它明显不同于原来的系列!

一个直观的例子是在低分辨率下调整大小或捕获的图像中看到的moiré模式:

图7 -左边的图像没有以足够的分辨率捕获，显示了人工制品

在荧光显微镜上进行三维成像的情况下，我们需要适当地设置图像大小(或者更专业地说，我们的像素大小)和步长(Z)。

著名的Abbe方程告诉我们横向(XY)分辨率的极限:

例如，使用525nm的光和高NA物镜，如1.4油，这是188 nm。

奈奎斯特采样定理告诉我们，我们的数字采样应该至少是这个频率的两倍(或距离的一半)，或者我们的像素大小(在像平面上)应该不大于94纳米。如果我们使用100倍的总放大倍率(c挂载和物镜)，这相当于相机上的9.4微米像素。

下式为轴向(Z)分辨率极限:

式中η为介质的折射率。

以之前的例子为例，折射率为1.518，这是813 nm。

奈奎斯特采样定理告诉我们，我们的z步长应该不大于406.5 nm，或0.4 μ m。

最重要的信息是:反褶积处理提供的信息越多，最终图像的分辨率和信噪比就越好。

在对漂白和/或光毒性敏感的样品进行成像的通常限制范围内，应使用最小的像素尺寸和最小的z步长。为了获得最好的图像质量和最大的反褶积性能，使用在线计算器来评估最佳体素大小。

ClearView-GPU™:Imaris反褶积模块

图10 -图像处理选项卡中的Imaris反褶积模块

Imaris ClearView-GPU™模块可以在图像处理部分找到。

如果找到了cuda兼容的GPU和驱动程序，你会在Preferences\System下看到信息，反褶积处理将比在CPU上执行快50倍。Imaris支持这两个选项。应该从每个频道的下拉菜单中选择去卷积，并且可以使用大小可调的预览窗口(xy和yz的音量投影和切片模式)。得益于预览模式，用户可以获得结果的即时反馈，并在应用到整个数据集之前调整处理设置。

它包括预览图像区域的选项，以便即时反馈结果，允许用户调整处理设置，并在应用到整个数据集之前查看其效果。

图11 -预览允许一个小区域立即反卷积

算法和点扩散函数

ClearView-GPU™包含三种处理算法:健壮、快速和最快。每一个都代表了图像质量和处理时间之间的平衡。

• 鲁棒性是一种迭代的最大似然估计，将给出最好的结果，并抵抗图像中的噪声。
• Fast也是一种迭代方法，并使用Van Cittert方法来减少处理时间，通常与Robust相比缩短了两倍。
• Fast是非迭代的，它使用逆(Wiener)过滤器来进一步减少处理时间，与Fast相比，它通常会减少两倍。

在所有情况下，数据集被分割成块，以便在GPU上进行处理(由Imaris中Preferences区域的渲染菜单中的GPU processing Memory Limit设置定义)。这意味着可以反卷积的数据集的大小没有限制，但更多的GPU内存会导致更快的处理时间。

ClearView-GPU™包括五个PSF模型，都使用快速积分器来加速Gibson-Lanni算法，用于估计具有像差的鲁棒3D PSF。这是目前用于PSF估计的最佳算法。

• 自旋盘共焦
• 宽视野荧光
• 激光扫描共聚焦
• TIRF

高级设置

图10 -图像处理选项卡中的Imaris反褶积高级参数模块

默认设置已经过精心选择，以确保为大多数图像提供最佳结果。对于希望微调这些设置的用户，他们可以在Deconvolution settings部分中这样做。建议在预览模式下执行此操作，以便即时更新设置的效果。

虽然超出了本文提供所有这些细节解释的范围，但最小强度去除是相关的，因为如果用户希望保持“能量守恒”，并确保其原始数据集和处理数据集中的光子(像素)计数相同(< 1%的差异)，则应禁用此设置。

结果

表1 -蜻蜓在40 μm针孔宽视场共焦反褶积前后成像性能的比较使用MetroloJ imageJ插件进行PSF分析。100 nm荧光珠在488 nm激光激发下成像，Zyla 4.2 plus, 1X相机变焦，尼康60X/1.4计划apo油镜头，Z步长为0.1 μm。FWHM是线轮廓上最大强度的一半的全宽度，是分辨率的标准度量。

图13 -在宽视场和共聚焦反褶积后，100 nm珠的轴向贯穿序列(归一化)强度剖面显示信噪比增加，FWHM降低(分辨率增加)。

图14a -显示了反褶积前后雏菊花粉粒的全场图像，合并通道被视为最大强度投影图像。注意反卷积图像的对比度和细节增强。因为这是一个明亮稳健的样本，我们可以将曝光时间延长到250 ms，实现高信噪比，以恢复高空间频率进行反褶积。因此，我们可以在共聚焦成像中超过阿贝衍射极限。但标本的密度也是光学切片的一个挑战，在c中，用ClearView GPU™反卷积前后的488和561通道的雏菊花粉最大强度投影在Dragonfly上用488和561激光激发成像，证明了这一点。Zyla 4.2 PLUS使用1倍相机变焦和徕卡100X/1.44油镜头。突出显示区域如下所示。

图14b(上图)显示了来自上图A的全分辨率图像的细节。表面清晰度增强，单个花粉粒的锐度和分辨率提高。图14c(下图)为双通道雏菊花粉Z系列的单个光学切片。ClearView-GPU增强对比度，锐化光学切片，并在这个厚而明亮的标本中提供清晰的通道分离。花粉颗粒壁内的精细结构变得清晰可见。这些点状特征在反褶积后的150-200 nm FWHM范围内。比例尺为2 μm。

图15 -蜻蜓上用40微米针孔捕捉到的卤虾尾巴。物镜是63x 1.4。相机是Zyla 4.2 Plus sCMOS与额外的1.5倍放大镜头在蜻蜓。在ClearView-GPU™反褶积之前和之后，如图16所示的高亮区域。

图16 -共焦(左上);去卷积(右上)和线剖面(下)显示了信噪比和横向分辨率的增加。注意，在反褶积后，共焦图像中沿线剖面的雾霾被清晰地分离为四个不同的物体。

速度比较

Imaris ClearView-GPU™经过精心设计，可确保最大数据集的最高速度和功能。

使用相同的硬件和尽可能相似的设置，ClearView-GPU™已被证明比基于cpu的方法快50倍，比其他领先的gpu加速包快10倍，特别是对于较大的数据集，即使禁用迭代加速。