R56：DSen2-CR SAR-光学云去除

对应文献：Meraner, A.; Ebel, P.; Zhu, X. X.; Schmitt, M. Cloud Removal in Sentinel-2 Imagery Using a Deep Residual Neural Network and SAR-Optical Data Fusion. ISPRS JPRS, 2020.

1. 算法思路

DSen2-CR的任务是从含云Sentinel-2影像中恢复无云光学影像，并利用Sentinel-1 SAR提供云下地表结构。输入包括含云光学影像 $O_c$、SAR影像 $S$ 和云掩膜 $M$，输出为预测无云光学影像 $\hat{O}$。

基本模型为：

$$\hat{O}=G_\theta(O_c,S,M)$$

其中 $G_\theta$ 是深度残差网络。

2. 残差重建形式

云去除可以写成残差学习：

$$\hat{O}=O_c + R_\theta(O_c,S,M)$$

其中 $R_\theta$ 学习需要修正的部分。这样网络在无云区域只需输出接近零的残差，在云区输出较大修正。

3. 融合位置

DSen2-CR属于混合融合：

1. 输入级：将SAR与光学共同输入网络；
2. 特征级：卷积层提取联合特征；
3. 输出级：生成无云光学影像。

若记第一层特征为：

$$z_0=[O_c;S;M]$$

残差块为：

$$z_{l+1}=z_l+F_l(z_l;\theta_l)$$

输出为：

$$\hat{O}=H(z_L)$$

4. Cloud-adaptive loss推导

云去除的关键是：无云区域应尽量保持原始光学，云区应重点重建。设云掩膜 (M(p)=1) 表示云区，(M(p)=0) 表示无云区。若有目标无云影像 $O$，可构建加权重建损失：

$$\mathcal{L}_{rec}= \sum_p w(p)\|\hat{O}(p)-O(p)\|_1$$

权重为：

$$w(p)=1+\lambda M(p)$$

即云区权重更高。为了保留无云区域，可加入保真项：

$$\mathcal{L}_{keep}= \sum_p (1-M(p))\|\hat{O}(p)-O_c(p)\|_1$$

总损失可写为：

$$\mathcal{L}= \mathcal{L}_{rec} \beta\mathcal{L}_{keep}$$

这就是cloud-adaptive思想的形式化表达：云区重建，无云区少改动。

5. SAR的作用

当云遮挡导致 $O_c$ 中地表信息缺失时，SAR仍观测到结构：

$$P(O|O_c,S,M)$$

比仅用光学的：

$$P(O|O_c,M)$$

包含更多云下条件信息。网络通过SAR特征推断地表边界、粗糙度、水体和结构分布，从而改善云区重建。

文献截图

下图来自 R56 第4页，展示DSen2-CR网络结构和残差块设计，是本文“早期输入融合+深度残差重建”公式化说明的核心依据。

下图来自 R56 第8页，展示云掩膜生成和处理流程，对应cloud-adaptive loss中云区/无云区权重的来源。

下图来自 R56 第9页，展示云去除结果对比，可用于观察SAR辅助重建对云遮挡区域的补全效果。

6. 局限

SAR与光学之间不是一一映射。相同SAR散射可能对应不同光谱地物，因此生成结果存在不确定性。对快速变化地表、复杂城市纹理和高可信定损任务，$\hat{O}$ 应作为辅助表征，而不是替代真实无云光学观测。