S2O-TDN:SAR-to-Optical图像翻译对应文献:Zhang等,SAR-to-Optical Image Translation via Thermodynamics-inspired Network. arXiv, 2023.
1. 算法思路S2O-TDN研究从SAR影像生成光学影像。输入为SAR S,目标为配对光学影像 O,输出为 \hat{O}:
\hat{O}=G_\theta(S)
公开摘要显示,该方法包含Third-order Finite Difference(TFD)残差结构和热力学启发的FLT-guided branch,用于保持结构并改善跨域翻译质量。
2. 残差翻译形式SAR-to-optical可以写为:
\hat{O}=B(S)+R_\theta(S)
其中 (B(S)) 是基础映射,(R_\theta(S)) 学习从SAR到光学域的残差。若使用多层残差块:
z_{l+1}=z_l+F_l(z_l)
最终:
\hat{O}=H(z_L)
3. 三阶有限差分思想有限差分用于强调结构变化。对一维信号,三阶差分为:
\Delta ...
R56:DSen2-CR SAR-光学云去除对应文献:Meraner, A.; Ebel, P.; Zhu, X. X.; Schmitt, M. Cloud Removal in Sentinel-2 Imagery Using a Deep Residual Neural Network and SAR-Optical Data Fusion. ISPRS JPRS, 2020.
1. 算法思路DSen2-CR的任务是从含云Sentinel-2影像中恢复无云光学影像,并利用Sentinel-1 SAR提供云下地表结构。输入包括含云光学影像 O_c、SAR影像 S 和云掩膜 M,输出为预测无云光学影像 \hat{O}。
基本模型为:
\hat{O}=G_\theta(O_c,S,M)
其中 G_\theta 是深度残差网络。
2. 残差重建形式云去除可以写成残差学习:
\hat{O}=O_c + R_\theta(O_c,S,M)
其中 R_\theta 学习需要修正的部分。这样网络在无云区域只需输出接近零的残差,在云区输出较大修正。
3. 融合位置DSen2-CR属于混 ...
R54:局部统计约束的光学-SAR融合对应文献:Gungor, O.; Shan, J. An Optimal Fusion Approach for Optical and SAR Images. ISPRS Proceedings.
1. 算法思路R54提出一种传统像素级融合思路:融合影像 F 应同时满足两个局部统计目标:
局部均值接近光学影像 O,以保持光谱/颜色;
局部方差接近SAR或高空间分辨率影像 S,以注入空间细节。
该方法不依赖训练数据,核心是局部窗口统计匹配。
2. 变量定义设 W_p 表示以像素 p 为中心的局部窗口。窗口内光学、SAR和融合影像的均值为:
\mu_O(p)=\frac{1}{|W_p|}\sum_{q\in W_p}O(q)
\mu_S(p)=\frac{1}{|W_p|}\sum_{q\in W_p}S(q),\quad
\mu_F(p)=\frac{1}{|W_p|}\sum_{q\in W_p}F(q)
局部方差为:
\sigma_X^2(p)=\frac{1}{|W_p|}\sum_{q\in W_p}(X(q) ...
R52:MultiResSAR多分辨率SAR-光学配准基准对应文献:Zhang等,Multi-Resolution SAR and Optical Remote Sensing Image Registration Methods: A Review, Datasets, and Future Perspectives. arXiv, 2025.
1. 算法思路R52不是提出单一配准算法,而是构建多分辨率、多场景SAR-光学配准数据集,并系统评估区域法、特征法和深度学习法。它的价值在于把“配准是否可靠”变成可量化基准,为后续融合算法提供可信前提。
2. 数据形式数据集可抽象为:
\mathcal{D}=
\{(I_i^{sar},I_i^{opt},G_i,r_i,s_i)\}_{i=1}^{N}
其中 I_i^{sar} 为SAR影像,I_i^{opt} 为光学影像,G_i 为真值几何对应或控制点,r_i 为分辨率等级,s_i 为场景类型。
3. 配准算法统一形式任意配准算法可写为估计几何变换:
T_i^\* = \mathcal{A}(I_i^{sar},I_i^{opt} ...
R51:CFOG多模态遥感影像配准对应文献:Ye, Y.; Bruzzone, L.; Shan, J.; Bovolo, F.; Zhu, Q. Fast and Robust Matching for Multimodal Remote Sensing Image Registration. IEEE TGRS, 2019.
1. 算法思路R51处理光学、SAR、LiDAR、地图等多模态影像配准。由于SAR和光学灰度响应差异很大,直接用灰度相关很容易失败。该方法用结构相似性替代灰度相似性:先提取每个像素的方向梯度通道特征CFOG,再用3DFFT高效计算模板与搜索区的相似性,最后得到控制点匹配。
2. 梯度与方向通道对影像 I,计算水平和垂直梯度:
G_x = I * [-1,0,1],\quad
G_y = I * [-1,0,1]^\top
梯度幅值和方向为:
M(p)=\sqrt{G_x(p)^2+G_y(p)^2}
\theta(p)=\arctan\frac{G_y(p)}{G_x(p)}
将方向离散为 K 个方向通道。第 k 个方向中心为 \theta_ ...
R50:多传感器图像融合的统一层级框架本文对应 Li 等的多传感器图像融合综述。它不是一篇提出单一新网络的算法论文,而是把多源图像融合组织为像素级、特征级和决策级三类。放到光学-SAR融合中,可将光学影像记为 X^{opt},SAR强度或极化通道记为 X^{sar},任务标签或目标输出记为 Y。R50的价值在于提供“在哪里融合”的框架:是在原始观测层直接合成图像,在中间特征层学习互补表征,还是在多个模型输出后进行证据合成。
1. 算法思路统一形式可以写为:
\hat{Y}=h_{\theta}\left(\mathcal{F}(X^{opt},X^{sar})\right)
其中 \mathcal{F} 是融合算子,h_{\theta} 是后续任务模型。若任务是图像重建,则 \hat{Y} 本身可为融合图像 X^{fus};若任务是分类、分割或检测,则 \hat{Y} 是类别、掩膜或目标框。该框架强调,光学与SAR不是简单通道堆叠关系:光学主要提供光谱、颜色和纹理语义,SAR提供全天候观测、粗糙度、结构和含水量相关散射信息。
2. 像素级融合像素级融合直接在观测空间构造融合图像: ...
R48:SAR-光学像素级融合方法族对应文献:Kulkarni, S. C.; Rege, P. P. Pixel Level Fusion Techniques for SAR and Optical Images: A Review. Information Fusion, 2020.
1. 算法思路R48是综述论文,不提出一个单一新算法,而是系统整理SAR与光学影像像素级融合方法。其基本思想是:光学影像 O 提供光谱、颜色和可解释纹理,SAR影像 S 提供结构、粗糙度、含水量和全天候信息。像素级融合希望生成融合影像 F,使其同时保留 O 的光谱一致性和 S 的空间/结构细节。
可抽象为:
F = \Phi(O,S)
其中 (\Phi(\cdot)) 是融合算子,可以是成分替换、多尺度分解、稀疏表示或变分优化。
2. 成分替换类方法以PCA为例,将多波段光学影像 O=[O_1,\ldots,O_B] 变换到主成分空间:
P = W(O-\mu)
其中 W 为由协方差矩阵特征向量构成的投影矩阵。第一主成分 P_1 通常包含主要空间亮度信息。用归一化后的SAR影像 ...
R46:多模态遥感分类融合框架对应文献:Gómez-Chova, L.; Tuia, D.; Moser, G.; Camps-Valls, G. Multimodal Classification of Remote Sensing Images: A Review and Future Directions. Proceedings of the IEEE, 2015.
1. 算法思路R46是综述论文,讨论多模态遥感分类中的特征级、分类器级和输出级融合。对于光学-SAR任务,可将光学特征 x_o 与SAR特征 x_s 映射到统一判别空间,预测类别 y:
\hat{y}=f(x_o,x_s)
融合目标是利用光学的光谱语义和SAR的结构散射互补性,提高分类或变化检测性能。
2. 特征拼接模型最简单的特征级融合是拼接:
x_f=[x_o;x_s]
分类器为:
\hat{y}=\arg\max_c P(y=c|x_f)
若使用线性分类器:
P(y=c|x_f)=
\frac{\exp(w_c^\top x_f)}
\sum_{k}\exp(w_k^\top x_f)}
...
Latent Diffusion:SAR-to-RGB翻译对应文献:Aydin, K.; Hanna, J.; Borth, D. SAR-to-RGB Translation with Latent Diffusion for Earth Observation. arXiv, 2025.
1. 算法思路该方法用扩散模型从Sentinel-1 SAR生成Sentinel-2 RGB,用于缺失光学补全、云遮挡场景和下游分类。输入为SAR S,目标为RGB光学 O,生成模型学习:
p_\theta(O|S)
公开摘要提到三种设置:标准条件扩散、类别条件扩散和Cold Diffusion。
2. 标准扩散前向过程对真实RGB图像 O=x_0,逐步加噪:
q(x_t|x_{t-1})
=
\mathcal{N}(\sqrt{1-\beta_t}x_{t-1},\beta_t I)
可直接写为:
x_t=
\sqrt{\bar{\alpha}_t}x_0
+
\sqrt{1-\bar{\alpha}_t}\epsilon
其中:
\alpha_t=1-\beta_t,\qu ...
IB-HFN:信息瓶颈驱动的SAR-光学云去除对应文献:Guo, H.; Feng, F.; Wang, Z. IB-HFN: Information Bottleneck-Driven SAR-Optical Fusion Network for High-Fidelity Cloud Removal. arXiv, 2026.
1. 算法思路IB-HFN面向SAR辅助光学云去除。它关注直接拼接SAR和光学会传播SAR斑点噪声的问题,因此采用双流结构分别编码光学和SAR,在深层通过信息瓶颈压缩SAR无关噪声,再用门控机制保留可靠光学细节。
输入为含云光学 O_c、SAR S、云掩膜 M,输出为无云光学 \hat{O}:
\hat{O}=G_\theta(O_c,S,M)
2. 双流编码光学和SAR分别编码:
f_o=E_o(O_c,M)
f_s=E_s(S)
这样可以避免早期拼接导致SAR斑点直接污染光学低层纹理。
3. 信息瓶颈融合信息瓶颈的思想是保留与目标 O 有关的信息,同时压缩输入 f_s 中无关噪声。设瓶颈变量为 z_s,目标为:
\max I(z_s; ...

