作者: Eyal Hanania,
期刊/会议: MICCAI
年份: 2023
标签: Quantitative T1 mapping · Diffuse myocardial diseases · Motion correction.
核心贡献
- 通过将T1信号模型引入网络的优化目标，使变形场的估计受到物理约束，解决了对比度不同导致配准图像过程中相似度失效的问题
方法概述
模型结构如下图所示
网络由两个Unet类型的encoder-dcoder子网络组成。
上半部分的网络（a）的输入是不同TI时刻对比度的T1加权图像，原文中有明确提到不同对比度的图像是拼接在channel维度上的，因此输入的维度是$H \times W \times T$。输出有$T$个头，每个头对应一个TI时刻的图像，输出其形变场。其实这里只需要$T-1$个头就够了，因为$T$个图像中，有一个是作为标准图像的，其他图像都向这张图配准，因此它的形变场应该是1，不过多一个头计算量也不会增加很多而且比较方便。这里引入的损失函数$L_{smooth}$是对速度场的空间梯度施加L2正则化： $$ \mathcal{L}_{smooth}(\Phi)=\sum_{i=0}^{N-1}\frac{1}{\Omega}\sum_{p\in\Omega}\left\|\nabla\phi_i(p)\right\|^2 $$ 本质上是对形变场的突变施加L2约束，鼓励形变场在空间上缓慢变化，符合心脏运动连续平滑的物理规律。输出的形变场被施加到原始图像上，得到了配准后的图像，我们把配准后的图像称为配准加权图。
下半部分的网络（b）的输入和（a）相同，都是不同TI时刻的T1加权图，其输出是信号公式中的参数，这里的信号公式如下： $$ S_i=M_0\cdot(1-2\cdot e^{\frac{-t_i}{T1}}) $$
数据是STONE序列采集的，由于这个序列每次翻转脉冲后只会被读出一次，因此可以假设翻转脉冲的效率是完美的，以及没有读出脉冲的干扰，因此原本的三参数模型$S_i=A-B\cdot e^{\frac{-t_i}{T1}}$可以简化为两参数。并且也不需要Look-locker矫正。
Weingärtner S, Roujol S, Akçakaya M, et al. Free‐breathing multislice native myocardial T1 mapping using the slice‐interleaved T1 (STONE) sequence. Magnetic resonance in medicine, 2015, 74(1): 115-124.
网络的输出是信号公式中的参数$M_0$和$T1$。有了这两个参数，就可以按照公式[2]将生成不同时间下的"模拟图像"。由于这里生成的"模拟图像"都是同一套参数生成的，因此可以认为不同TI的图像之间不存在运动。我们把这里的"模拟图像"成为物理生成加权图。
最后在配准加权图和物理生成加权图之间计算MSE误差： $$ \mathcal{L}_{fit}(T_1,M_0,t_{i=0}^{N-1},\Phi)=\sum_{i=0}^{N-1}(S_i-R_i)^2 $$ 通过这种方法将T1物理信号约束加入到图像配准中，使得配准的图像符合T1的指数信号公式。
还有一个可选的分割损失： $$ \mathcal{L}_{seg}(r,Seg_{i=0}^{N-1},\phi_{i=0}^{N-1})=\sum_{i=0,i\neq r}^{N-1}DiceLoss(Seg_r,Seg_i\circ\phi_i) $$ 是通过计算配准加权图和物理生成加权图的分割mask的dice系数得到的。增加这个损失可以让配准和定量结果在解剖结构上更加接近。
实验设置
- 数据集：使用公开数据集https://cardiacmr.hms.harvard.edu/downloads-0，其中包含210例患有或疑似心血管疾病的MRI短轴图像。包含心肌分割标签。
图像是1.5T仪器（Philips Achieva）采集的，有32个心脏线圈，采用ECG触发的自由呼吸采集（STONE）序列。$FOV=360 \times 351 mm^2$，voxel size $2.1 \times 2.1 \times 8 mm^3$，每个患者采集5层11个TI时间的图像。
- 对比方法：SynthMorph，Voxelmorph-seg，Reg-MI，以及没有加入$L_{seg}$的PCMC
Hoffmann M, Billot B, Greve D N, et al. SynthMorph: learning contrast-invariant registration without acquired images. IEEE transactions on medical imaging, 2021, 41(3): 543-558.
Balakrishnan G, Zhao A, Sabuncu M R, et al. Voxelmorph: a learning framework for deformable medical image registration. IEEE transactions on medical imaging, 2019, 38(8): 1788-1800.
Hanania E, Barkat L, Cohen I, et al. Deep-learning-based group-wise motion correction for myocardial T1 mapping//Proceedings of the ISMRM & SMRT Annual Meeting & Exhibition, Toronto, Canada. 2023.
- 评价指标：$R^2$，DSC，HD，医学主观评分
其中$R^2$的公式是，用于评价拟合优度，也就是不同TI时间的图像有多符合信号公式[2] $$ R^2 = 1 - \frac{\sum_{i=0}^{N-1}(y_i - \hat{y}_i)^2}{\sum_{i=0}^{N-1}(y_i - \bar{y})^2} $$ DSC和HD都是通过检验配准后不同TI图像心肌mask的一致性来判断配准的准确度。主观评分用于判断配准后图像在医疗中的贡献度。
结果分析
无论有没有添加$L_{seg}$，PCMC的拟合优度都优于其他方法，这是很合逻辑的，毕竟拟合公式是作为一个优化目标直接添加进网络的。添加了$L_{seg}$的方法在分割对齐指标上也优于或接近其他方法，由于当前方法的多目标Loss函数，所以在DSC和HD上不是最佳。
个人思考
- 可借鉴的点：使用$R^2$作为指标来判断拟合的准确程度；将拟合和配准任务相结合使得拟合可以通过一个类自监督的神经网络完成
- 存在的问题：对于拟合的准确程度是通过$R^2$和主观打分来判断的，而没有通过例如水膜或者IR-SE采集的图像来判断T1map是否准确，使用公开数据集进行实验限制了这种检验
- 与我研究的关联：可以参考这个范式来尝试利用神经网络进行自监督T1拟合，在模拟数据上进行训练后可能直接推广到真实数据
- 我的理解程度：
⭐️⭐️⭐️⭐️（没有复现代码）