R51：CFOG多模态遥感影像配准

对应文献：Ye, Y.; Bruzzone, L.; Shan, J.; Bovolo, F.; Zhu, Q. Fast and Robust Matching for Multimodal Remote Sensing Image Registration. IEEE TGRS, 2019.

1. 算法思路

R51处理光学、SAR、LiDAR、地图等多模态影像配准。由于SAR和光学灰度响应差异很大，直接用灰度相关很容易失败。该方法用结构相似性替代灰度相似性：先提取每个像素的方向梯度通道特征CFOG，再用3DFFT高效计算模板与搜索区的相似性，最后得到控制点匹配。

2. 梯度与方向通道

对影像 $I$，计算水平和垂直梯度：

$$G_x = I * [-1,0,1],\quad G_y = I * [-1,0,1]^\top$$

梯度幅值和方向为：

$$M(p)=\sqrt{G_x(p)^2+G_y(p)^2}$$ $$\theta(p)=\arctan\frac{G_y(p)}{G_x(p)}$$

将方向离散为 $K$ 个方向通道。第 $k$ 个方向中心为 $\theta_k$，像素在该通道的响应可写为：

$$C_k(p)=M(p)\cdot \max\left(0,\cos(\theta(p)-\theta_k)\right)$$

经过局部平滑和归一化后，得到CFOG描述子：

$$\mathbf{c}(p)= \left[\tilde{C}_1(p),\tilde{C}_2(p),\ldots,\tilde{C}_K(p)\right]$$

3. 特征相似性

给定参考影像模板区域 $T$ 和待匹配搜索区域 $R$，在每个像素上都有CFOG特征。模板位移为 (\Delta=(u,v)) 时，相似度可写为：

$$\rho(\Delta)= \sum_{p\in T} \mathbf{c}_T(p)^\top \mathbf{c}_R(p+\Delta)$$

直接计算所有位移代价高。R51使用3DFFT加速，将空间二维和方向通道维度共同纳入频域相关：

$$\rho = \mathcal{F}^{-1} \left( \mathcal{F}(C_T) \cdot \overline{\mathcal{F}(C_R)} \right)$$

其中 $\mathcal{F}$ 是傅里叶变换，横线表示复共轭。

4. 控制点估计

最大相似度对应位移：

$$\Delta^\*=\arg\max_{\Delta}\rho(\Delta)$$

根据多个模板点得到匹配点集：

$$\mathcal{M}=\{(p_i,p_i+\Delta_i^\*)\}_{i=1}^{N}$$

再用RANSAC或几何一致性剔除误匹配，估计仿射、投影或多项式变换：

$$p_i' \approx H p_i$$

优化目标为：

$$H^\*= \arg\min_H \sum_i \|p_i'-Hp_i\|_2^2$$

5. 为什么适合SAR-光学

SAR和光学灰度值不一致，但许多地物边界、道路、岸线、建筑轮廓在方向结构上仍有相关性。CFOG通过方向梯度通道弱化灰度差异，保留结构相似性，因此比NCC等灰度度量更适合跨模态配准。

文献截图

下图来自 R51 第3页，展示HOG/方向梯度类描述子的基本结构，是CFOG构造方向通道特征的基础。

下图来自 R51 第6页，展示CFOG特征计算过程，对应本文“梯度、方向通道、卷积平滑和结构描述”的推导。

下图来自 R51 第14页，展示SAR-光学大幅面影像的配准前后结果，可作为算法效果图。

6. 局限

CFOG仍依赖可对应结构。若SAR出现严重叠掩、阴影，或光学受云雾遮挡，结构相似性会下降。该方法更适合已有粗配准、旋转尺度差异较小的场景；大视角差异、强三维几何变化和高分辨率城市区域仍需更复杂模型。