论文笔记1：低空无人飞行器影像处理流程

发表于 更新于

1. 基本信息：

Zhang, Y., Xiong, J., & Hao, L. (2011). Photogrammetric processing of low-altitude images acquired by unpiloted aerial vehicles. The Photogrammetric Record, 26(134), 190–211. https://doi.org/10.1111/j.1477-9730.2011.00641.x

论文主要是使用无人飞艇结合框幅式相机，在两个实验区域，以不同的航高（150m和350m）分别在中国的南方和北方采集了两组实验数据。由于是低空拍摄，航向重叠在80%左右，旁向重叠在60%左右。论文完整描述了使用这两组数据进行摄影测量4D产品生产和3D城市模型重建的整个流程。

2. 主要流程

  1. 使用改进SIFT算法进行相邻图像匹配，并进行相对定向计算。

    本文对于SIFT算法的改进主要在于缩小了SIFT算法特征点匹配时的搜索区域，因为有初步的航向重叠和旁向重叠数据，考虑到飞行器姿态的不稳定度（俯仰、翻滚和航偏角），两幅图像的重叠区域大致范围可以计算出来，这样在搜索SIFT匹配时就不需要对整张图像进行搜索，只需要在特定区域搜索，这样不仅提高效率，而且减少误匹配，结果如下图所示。

  1. 特征点提取：

    特征点提取是基于区域的图像匹配算法中目标，本文使用Harris算子和Forstner算子（亚像素优化）结合对每90×90个像素提取一个特征点。

  2. 基于最小二乘匹配的精确优化：

    使用基于金字塔的方法，将SIFT匹配点作为初值，进行图像匹配，并去除粗差并重复进行，一般来做循环三次后就得到良好结果

  3. 相对定向和模型连接：

    使用同名点进行相对定向并用RANSAC剔除粗差。一条航线可以连续相对定向，航线间可以用同名点进行模型相似变换。

  4. Bundle Adjustment：

    相对定向结果和GCP进行总体BA，使用44参数的Grun模型，并且在BA的过程中加入自标定的策略，并评价自标定结果对于整体结果提升的改进。并且文章中表示，由于低空图像重叠度高，每个GCP都有数个图像进行覆盖，BA结果的提升要好于传统摄影测量。

  5. 生成带纹理的三维模型：

    由于根据点云自动生成模型精度不高，因此采用人工的方式提取三维模型轮廓，并自动填充纹理。自动纹理填充时，如果有多张图像覆盖同一区域，那么选择投影面积最大的图像的纹理作为模型的纹理。三维重接结果如下：