更新：对于特征匹配和三维重建的影响，下列所有因素都只是量变，根本因素是拼接和裁剪造成的各种畸变，后续会把新实验结果放上来。

稀疏重建中，航空倾斜摄影效果较好，主要源于视角统一，高空俯瞰。星型网状的拓扑结构，源于跨航带跨图片的远距离关联性与较好的回环检测。

而街景较为单一，地面视角，朝左和朝右并不能重叠。采用绕圈对向采集，利用去程的左和返程的右视角额外补充匹配效果，不过景深变化过大，匹配难度大。下面做简单分析。

主要分析稀疏重建失败都受到哪些因素干扰，并指导采集方案。

采集低点为南锣鼓巷。

采集设备为insta onex360。

采集时间为正午12点。

重建结果，道路分层，分叉，穿墙，无法重建。

下面从特征匹配角度寻找数据采集问题。

三种匹配实验:

1.同相机不同帧

2.相邻相机同帧

3.不同相机同一地点（往-返）

ransac  8像素（tric默认3像素）

同相机不同帧匹配：（实验ransac  8像素）（未过滤内点实验）

结论：阴影处特征不明显，且人群干扰大

相机3不同帧匹配（过滤内点）

阴影、灰墙、黑洞、玻璃匹配较少

内点优化后，匹配中人物干扰同样存在（ransac8情况下，对整体的影响大小未知）

ransac3（干扰降低，但仍然存在）

近景遮挡较大，匹配较差

相机2不同帧匹配

考虑2帧之间有0.5秒间隔，两图边缘范围有差异，不会产生匹配对。

但是实际不会产生如此大范围的差异，所以确定是特征问题，而不是帧之间的区别。

阴影灰墙，相机3、4不同帧匹配（同向行走）

万庆字样

3/65与4/78两张照片，前后各取10张，共100次匹配实验。

• ransac=8.0

实测没有理想匹配，右侧牌匾有特征点，左侧没有（对向数据没有采集，无法对比）

对向采集分析

内点过滤：

结论：匹配对过少，且左侧图片前后多张照片下只有个别图匹配最好，其他的可能只有玻璃，看不到牌匾和房檐。

结论：

硬件层面：曝光强烈，分辨率低，抖动导致模糊。如果有条件，绑定云台可能会更好，号称防抖的全景相机，5.7k，高亮度场景，裁剪下来，成像质量其实很堪忧。此外，调整曝光等也是可选的操作（针对强光下亮暗对比明显的情况）。

畸变！畸变！畸变！重要的事情说三遍，360采用两个鱼眼拼接出全景视频与图像，本例利用openMVG_sample_pano_converter对原图进行切割，典型的输出是FOV80*5张图。也有FOV120的实验。显然，FOV越大，畸变越大，FOV越小，画幅越小，在这样一个场景下（特征相比其他街面和光影更差），畸变导致的本应匹配的特征对丢失也很常见。

相机视角有旋转，路线不严格循环，不利于数据分析。

航空倾斜摄影和地面采集有所不同，但用来跑模型的ransac参数固定，这是不科学的，需要额外调参（按理说街景ransac需要的容忍像素误差更大，但是还是需要内点过滤，不然匹配噪音太大）。

景深很重要，南锣鼓巷太窄也是一个不利于重建的重要因素，弥补方法是增加不同高度和不同倾角采集，补足个别区域短板。

特征匹配方面，样本中，主要匹配地物：人、树木、房檐。

匹配差的：白墙、阴影、开门、玻璃、高亮下地面、相机太近太低。

建议:

0.改ransac参数跑

1.更高位置的倾斜摄影采集配合低位置的默认采集（这个没有普适性，就是很针对这个“南锣鼓巷”数据集）

2.在开业之前采集。（开门问题）

3.不在正午高亮时间采集（灰墙与阴影问题）

4.避开人群采集（备选方案：变速采集，不与人群同速）

5.多采集房檐与树木（如果3有改善，不作为必选）

6.相机左右朝向稳定（鱼眼本身朝向左右可能会好，从形变角度猜测，朝向固定也利于分析照片）

7.举高一些，再加倾角或者低一些得采集，用房檐和地面尝试匹配，而不是门窗。

8.专门去特征很差得地方额外补几组采集：

特征差指：阳光+阴影、街道过窄、灰墙过多
补全：左中右不同位置、不同高度、不同角度。
实验：加补全数据跑，对比不加。
9.最好换相机，或者改善360的切割效果。

补充：

采集改善小建议：硬件层面，改变相机画幅，因为街太窄，鱼眼切完近的又太近，如果采集不够高，某些镜头只能看到店铺玻璃，此处无明显特征，倾向废图。

在不引入形变的前提下的内部实验改善建议（在没有多高度采集叠加的支持下，如果有，可能不需要）：ffmpeg对360全景图的切图参数修改，同样用FOV80，从切5张共覆盖400度，变成切6-7张共覆盖480-560度，改善目标是牌匾等重要特征的视角，近距离只看到玻璃而远距离可能只看到前方路面，修改后可能会获得更好的视角。 可尝试的对照实验：FOV适度加大。对比同等条件是否有轻微改善。

警示：匹配效果不代表重建效果（但却是前提），当你在一个地方缓慢移动叠加大量图片时，特征匹配当然很好，但是三维重建是否效果好？