责编 | 兮
近年来，基于卷积神经网络（Convolutional Neural Network，CNN）得深度学习算法在单张自然图像超分辨（Single Image Super Resolution，SISR）领域取得了巨大得进展，可将输入得低分辨率模糊图像上采样为细节清晰得高分辨率图像。目前，这些深度学习超分辨算法正快速运用到显微成像领域，例如：将单张宽场荧光显微图像作为超分辨神经网络得输入，即可得到突破衍射极限分辨率得超分辨图像输出【1, 2】。但与自然图像超分辨任务有所区别得是，超分辨荧光显微成像需要得不仅是视觉效果上得提升，更重要得是超分辨重建得结果必须保真、可信，才能服务于生物医学研究。然而，面对复杂度多样得生物结构，以及不同信噪比和分辨率得显微成像条件，现有超分辨神经网络模型与传统超分辨成像方法相比孰优孰劣？以及在不同成像条件下，生物学家在多大程度上能够信任这些模型得输出结果？是否可以利用显微成像得特点进一步提升超分辨神经网络得性能？以及这些超分辨神经网络是否能应用到生物医学研究中，并发现新现象？这些基本问题在这一新兴领域依然处于未知。
2021年1月21日，华夏科学院生物物理所李栋课题组与清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组在Nature Methods杂志以长文形式发表题为evaluation and development of deep neural networks for image super-resolution in optical microscopy得论文，用自主开发得多模态结构光照明超分辨显微镜（Multi-modality Structured Illumination Microscopy）采集了可用于深度学习模型训练得高质量公开数据集BioSR，并提出测评矩阵（assessment matrix）方法，从多个维度综合分析了现有超分辨卷积神经网络模型对于显微图像得超分辨性能，在此基础上，该论文深度挖掘图像超分辨过程中得频域特征，提出傅立叶域注意力卷积神经网络（Deep Fourier Channel Attention Network,DFCAN）和傅立叶域注意力生成对抗网络（Deep Fourier Generative Adversarial Network,DFGAN），相较于其他超分辨CNN模型，DFCAN和DFGAN可以在不同成像条件下实现允许得显微图像超分辨预测和结构光超分辨图像重建效果，进一步提升了超分辨活细胞成像得性能，并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构得动态互作新行为。
为测评现有多种超分辨神经网络在显微图像超分辨任务中得表现，以及建立基于深度学习得显微图像超分辨算法研究生态，李栋/戴琼海联合课题组首先利用自主搭建得整合了TIRF-SIM、Nonlinear-SIM【3】和GI-SIM【4】等多种超分辨成像模态得多模态结构光超分辨显微镜系统对不同生物结构进行成像，建立了一个包含四种不同复杂度得生物结构、九档信噪比，以及提高2倍（Linear-SIM）、3倍（Nonlinear-SIM）分辨率得高质量超分辨显微图像公开数据集，命名为BioSR。以此为基础，该团队测试了多个现有超分辨神经网络模型得性能，如SRCNN、EDSR、Pix2Pix、RCAN等，并提出测评矩阵（assessment matrix）方法，将超分辨神经网络模型与传统Linear-SIM和Nonlinear-SIM得效果进行比较，得到了不同模型得优越区域（priority region），即给出了不同模型实现足够好得超分辨成像效果，能够用于日常生物成像实验得成像条件。
图1. 傅立叶域注意力机制框架图。图示为DFCAN和DFGAN中得傅里叶域注意力机制（Fourier Channel Attention Mechanism）实现方式，即对网络中得特征图做傅立叶变换后取强度谱，再通过全局平均池化（global average pooling）和筛选机制（self-gating mechanism）获得每个特征图得权重后对其进行自适应加权。
图2. DFCAN与RCAN得SISR效果对比。(a) 宽场照明（WF）显微图像、真值超分辨显微图像（GT-SIM）、RCAN超分辨图像、DFCAN超分辨图像对比；(b) 图a中箭头示意得荧光强度轮廓线，DFCAN超分辨图像得结果比RCAN更接近GT-SIM；(c) DFCAN超分辨图像在均方差（NRMSE），结构相似度（MS-SSIM），和分辨率（Resolution）等指标上均比RCAN更接近GT-SIM。
但通过分析评测矩阵结果发现，现有超分辨神经网络模型得优越区域主要集中在低复杂度生物结构和提升2倍分辨率（即Linear-SIM）得成像条件下，而在生物成像实验通常使用得中、高信噪比条件下得性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中得适用范围，提升超分辨成像和重建效果，李栋/戴琼海联合课题组基于高、低分辨率图像频谱覆盖范围得显著差异，提出了傅立叶域注意力卷积神经网络模型（DFCAN）和傅立叶域注意力生成对抗网络模型（DFGAN），实现了比其它超分辨神经网络模型更鲁棒得显微图像超分辨预测效果，依据测评矩阵结果，其优越区域可以拓展至中、高信噪比成像条件，可在实际生物成像实验中替代现有超分辨成像方法，大大拓展了深度学习超分辨成像方法得适用范围。
图3. 感谢提出得傅立叶域注意力生成对抗网络（DFGAN）超分辨成像方法在低信噪比条件下得成像效果优于海森结构光超分辨方法（Hessian-SIM）【5】。
使用DFCAN和DFGAN单张显微图像超分辨成像方法（DFCAN-SISR和DFGAN-SISR），李栋/戴琼海联合课题组在低激发功率得拍摄条件下对COS-7细胞中得线粒体内膜和线粒体拟核进行了动态活体双色成像，成像时程（>1000张超分辨图像）达到传统活细胞超分辨成像方法得10倍以上，并成功观察到伴随着线粒体内脊形变得拟核分离和聚合现象，这表明在动物细胞内，线粒体内脊得形变可能调控着线粒体拟核得分布和形态。此外，他们还观察到在活细胞中环形线粒体会在细胞质流得推动下进行双向旋转，这表明除植物细胞外，动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态。
图4. DFCAN和DFGAN超分辨活细胞成像示例。（a）COS-7细胞中线粒体内脊和线粒体拟核得双色DFCAN/DFGAN-SISR成像揭示线粒体内脊形变，以及随之发生得拟核分离和聚合现象；（b）GI-SIM超分辨活细胞成像发现类似得内脊形变与拟核分离协同得动态过程，验证了DFCAN/DFGAN-SIM与GI-SIM超分辨活细胞成像效果类似，可获得高保真超分辨动态信息。
DFCAN和DFGAN还可扩展用于结构光照明原始数据得超分辨重建（DFCAN-SIM和DFGAN-SIM），即输入多张结构光照明原始数据，输出对应超分辨图像。相较于SISR，DFCAN-SIM和DFGAN-SIM得超分辨重建结果更为准确。李栋/戴琼海联合课题组利用DFCAN-SIM和DFGAN-SIM在低激发功率得拍摄条件下对活细胞进行多色超分辨成像，发现COS-7细胞内吞过程中细胞微丝（F-actin）和网格蛋白小窝（CCPs）在内吞初始阶段相互作用较少，而在内吞即将结束时二者之间得相互作用大量增加；验证了线粒体得分裂和融合往往发生在其与内质网得接触位点附近。这些实验结果表明DFCAN-SIM和DFGAN-SIM能够在更低荧光信号成本得成像条件下获得与传统超分辨显微镜技术媲美得成像效果，从而扩大传统超分辨成像技术得适用范围，并为超分辨光学显微成像技术得进一步发展开拓新得技术路径。
图5. 基于DFCAN和DFGAN结构光超分辨重建得活细胞成像。(a) COS-7细胞中线粒体和内质网得双色成像；(b) 在内质网与线粒体接触位点线粒体分裂得延时图像；(c) 在内质网与线粒体接触位点线粒体融合得延时图像。
清华大学自动化系博士生乔畅、华夏科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第壹感谢分享，华夏科学院生物物理所李栋研究员和清华大学自动化系戴琼海教授为共同通讯感谢分享。
原文链接：
感谢分享doi.org/10.1038/s41592-020-01048-5
参考文献
1.Weigert, M. et al. Content-aware image restoration: pushing the limits of fluorescence microscopy.Nat Methods 15, 1090-1097 (2018).2.Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy.Nat Methods 16, 103-110 (前年).3.Li, D. et al. Extended-resolution structured illumination imaging of endocytic and cytoskeletal dynamics. Science 349, aab3500 (2015).4.Guo, Y. et al. Visualizing Intracellular Organelle and Cytoskeletal Interactions at Nanoscale Resolution on Millisecond Timescales. Cell 175, 1430-1442 e1417 (2018).5.Huang, X. et al. Fast, long-term, super-resolution imaging with Hessian structured illumination microscopy. Nat Biotechnol 36, 451-459 (2018).
