R50：多传感器图像融合的统一层级框架

本文对应 Li 等的多传感器图像融合综述。它不是一篇提出单一新网络的算法论文，而是把多源图像融合组织为像素级、特征级和决策级三类。放到光学-SAR融合中，可将光学影像记为 $X^{opt}$，SAR强度或极化通道记为 $X^{sar}$，任务标签或目标输出记为 $Y$。R50的价值在于提供“在哪里融合”的框架：是在原始观测层直接合成图像，在中间特征层学习互补表征，还是在多个模型输出后进行证据合成。

1. 算法思路

统一形式可以写为：

$$\hat{Y}=h_{\theta}\left(\mathcal{F}(X^{opt},X^{sar})\right)$$

其中 $\mathcal{F}$ 是融合算子，$h_{\theta}$ 是后续任务模型。若任务是图像重建，则 $\hat{Y}$ 本身可为融合图像 $X^{fus}$；若任务是分类、分割或检测，则 $\hat{Y}$ 是类别、掩膜或目标框。该框架强调，光学与SAR不是简单通道堆叠关系：光学主要提供光谱、颜色和纹理语义，SAR提供全天候观测、粗糙度、结构和含水量相关散射信息。

2. 像素级融合

像素级融合直接在观测空间构造融合图像：

$$X^{fus}=\mathcal{F}_{pix}(X^{opt},X^{sar})$$

最简单的线性模型为：

$$X^{fus}(p)=\alpha(p)X^{opt}(p)+\left(1-\alpha(p)\right)X^{sar}(p)$$

其中 $p$ 表示像素位置，(\alpha(p)) 可为固定权重、局部统计权重或质量权重。若存在云掩膜 (M(p))，则可把权重写成：

$$\alpha(p)=1-M(p),\quad X^{fus}(p)=(1-M(p))X^{opt}(p)+M(p)\phi(X^{sar})(p)$$

(\phi(\cdot)) 是把SAR映射到光学可比较空间的变换。该形式适合目视增强、云区补全和底图生产，但对配准误差非常敏感，也容易把SAR相干斑注入光学图像。

3. 特征级融合

特征级融合先分别提取模态特征：

$$Z^{opt}=E_{opt}(X^{opt}),\quad Z^{sar}=E_{sar}(X^{sar})$$

再融合为联合表征：

$$Z^{fus}=\mathcal{F}_{feat}(Z^{opt},Z^{sar})$$

常见形式包括拼接、加权、门控和注意力。拼接融合为：

$$Z^{fus}=[Z^{opt};Z^{sar}]$$

门控融合可写为：

$$G=\sigma(W_g[Z^{opt};Z^{sar}]+b_g)$$ $$Z^{fus}=G\odot Z^{opt}+(1-G)\odot Z^{sar}$$

跨模态注意力可形式化为：

$$A_{opt\leftarrow sar}=\operatorname{softmax}\left(\frac{Q_{opt}K_{sar}^{T}}{\sqrt{d}}\right)$$ $$\tilde{Z}^{opt}=A_{opt\leftarrow sar}V_{sar}$$

其中光学特征作为查询，SAR特征提供键和值，模型学习哪些SAR结构信息应补充到光学语义中。特征级融合适合语义分割、变化检测和目标检测，因为它允许网络在不同尺度上处理光谱、纹理、边缘和散射结构。

4. 决策级融合

决策级融合先分别训练或运行两个模型：

$$P^{opt}=h_{opt}(X^{opt}),\quad P^{sar}=h_{sar}(X^{sar})$$

再融合预测：

$$P^{fus}=\mathcal{F}_{dec}(P^{opt},P^{sar})$$

加权平均是最常见形式：

$$P^{fus}_c(p)=w_{opt}(p)P^{opt}_c(p)+w_{sar}(p)P^{sar}_c(p)$$ $$w_{opt}(p)+w_{sar}(p)=1$$

若考虑不确定性，可令权重与预测方差成反比：

$$w_m(p)=\frac{1/\sigma_m^2(p)}{\sum_{j\in\{opt,sar\}}1/\sigma_j^2(p)}$$

其中 $m\in{opt,sar}$。在云雾、阴影或SAR叠掩区域，这种方式能让系统按观测质量调整模态贡献。其优点是工程鲁棒、易替换模型；缺点是模态交互发生较晚，难以学习深层互补关系。

5. 混合融合与训练目标

实际光学-SAR系统常采用混合融合：先配准和质量控制，再进行特征融合，最后在输出层用不确定性或规则修正。端到端训练目标可写为：

$$\mathcal{L}=\mathcal{L}_{task}(\hat{Y},Y)+\lambda_1\mathcal{L}_{align}(Z^{opt},Z^{sar})+\lambda_2\mathcal{L}_{reg}(\theta)$$

其中 $\mathcal{L}<em>{task}$ 可以是交叉熵、Dice、IoU、检测损失或重建损失；$\mathcal{L}</em>{align}$ 用于约束跨模态特征对齐；$\mathcal{L}_{reg}$ 控制模型复杂度。若采用对比学习，跨模态对齐项可写为：

$$\mathcal{L}_{con}=-\log\frac{\exp(s(z_i^{opt},z_i^{sar})/\tau)}{\sum_j\exp(s(z_i^{opt},z_j^{sar})/\tau)}$$

这表示同一地点、同一时相附近的光学-SAR样本应在隐空间靠近，不同地点或不同语义样本应分离。

6. 对光学-SAR融合的启示

R50的主要贡献不是具体公式，而是给出了多传感器融合的层级化组织方式。对于光学-SAR融合，该框架提示研究者在设计方法时明确回答三个问题：一是融合发生在观测、特征还是决策层；二是融合权重由规则、统计量还是学习模型决定；三是融合结果服务于图像可视化、信息重建还是下游判别任务。

文献截图

下图来自 R50 第2页，展示多传感器图像融合的基本概念和输入输出关系，可作为统一融合框架的总览图。

下图来自 R50 第3页，展示像素级、特征级和决策级融合层级，与本文的数学形式化分类对应。

下图来自 R50 第19页，展示图像融合质量评价框架，可用于理解主观评价、客观指标和任务指标之间的关系。

7. 局限

R50是通用多传感器融合综述，对SAR成像机理、极化散射、相干斑、叠掩阴影、光学云雾遮挡和跨时相差异的展开有限。因此在光学-SAR专题报告中，它更适合作为方法分类框架，而不应替代具体SAR-光学算法论文的逐篇分析。