R46：多模态遥感分类融合框架

对应文献：Gómez-Chova, L.; Tuia, D.; Moser, G.; Camps-Valls, G. Multimodal Classification of Remote Sensing Images: A Review and Future Directions. Proceedings of the IEEE, 2015.

1. 算法思路

R46是综述论文，讨论多模态遥感分类中的特征级、分类器级和输出级融合。对于光学-SAR任务，可将光学特征 $x_o$ 与SAR特征 $x_s$ 映射到统一判别空间，预测类别 $y$：

$$\hat{y}=f(x_o,x_s)$$

融合目标是利用光学的光谱语义和SAR的结构散射互补性，提高分类或变化检测性能。

2. 特征拼接模型

最简单的特征级融合是拼接：

$$x_f=[x_o;x_s]$$

分类器为：

$$\hat{y}=\arg\max_c P(y=c|x_f)$$

若使用线性分类器：

$$P(y=c|x_f)= \frac{\exp(w_c^\top x_f)} \sum_{k}\exp(w_k^\top x_f)}$$

训练目标为交叉熵：

$$\mathcal{L}_{cls} =-\sum_i\log P(y_i|[x_{o,i};x_{s,i}])$$

3. 多核学习融合

核方法可为不同模态定义不同核函数：

$$K_o(x_i,x_j)=\phi_o(x_{o,i})^\top\phi_o(x_{o,j})$$ $$K_s(x_i,x_j)=\phi_s(x_{s,i})^\top\phi_s(x_{s,j})$$

融合核写为：

$$K_f=\beta_o K_o+\beta_s K_s,\quad \beta_o,\beta_s\ge0,\quad \beta_o+\beta_s=1$$

在支持向量机中，优化问题为：

$$\min_{w,b,\xi} \frac{1}{2}\|w\|^2+C\sum_i\xi_i$$ $$y_i(w^\top\phi_f(x_i)+b)\ge1-\xi_i,\quad \xi_i\ge0$$

其中 $\phi_f$ 由融合核隐式定义。多核权重 $\beta$ 可固定，也可通过交叉验证或多核学习优化。

4. Markov随机场空间融合

像素级分类常需要空间一致性。设每个像素标签为 $y_p$，观测为 (x_p=(x_o,x_s))，可构建能量函数：

$$E(y)= \sum_p D_p(y_p) +\lambda\sum_{(p,q)\in \mathcal{N}}V_{pq}(y_p,y_q)$$

数据项由多模态分类器给出：

$$D_p(c)=-\log P(y_p=c|x_{o,p},x_{s,p})$$

平滑项鼓励邻域一致：

$$V_{pq}(y_p,y_q)= \mathbf{1}(y_p\ne y_q) \cdot g(\|I_p-I_q\|)$$

最终预测为：

$$y^\*=\arg\min_y E(y)$$

该形式适用于分类图后处理、变化检测和语义分割边界修正。

5. 流形对齐

若光学和SAR特征分布差异显著，可学习映射 $A_o,A_s$，使同一地物在共享空间接近：

$$z_o=A_o^\top x_o,\quad z_s=A_s^\top x_s$$

对齐目标可写为：

$$\min_{A_o,A_s} \sum_i\|A_o^\top x_{o,i}-A_s^\top x_{s,i}\|_2^2 +\lambda\mathcal{R}(A_o,A_s)$$

若存在类别标签，还可加入类间分离项：

$$\mathcal{L} =\mathcal{L}_{align} +\gamma\mathcal{L}_{cls}$$

文献截图

下图来自 R46 第14页，展示多模态信息和融合层级在遥感处理流程中的组织方式，可作为本文“特征融合、空间上下文和决策融合”框架的图示依据。

下图来自 R46 第17页，展示SAR与光学多时相数据在变化检测/灾害判读中的输入和结果示例，用于说明多模态融合在变化检测任务中的实际效果。

6. 局限

R46给出的是方法框架而非单一网络。它没有CNN、Transformer或扩散模型的端到端细节，但为后续深度融合提供了基本思想：不同模态可在特征空间、分类器空间和输出空间融合，并可用空间上下文约束提升一致性。