基于视觉的三维跟踪
连续估计物体相对于相机的空间关系（旋转 + 平移）
1. 算法
1.1 基于标志物的三维跟踪
1.1.1 实现过程
1）预先在现实场景中设置好标志物
2）对图像中标志物进行识别，得到顶点信息
3）计算真实标志物和图像标志物中点的对应关系，求解位姿
1.1.2 优点
1）对硬件处理器要求不高
2）鲁棒性高，计算复杂度低，较好的实时性和准确性
1.1.3 缺点
1）需额外标志物，且要求标志物在整个跟踪过程中可见
1.1.4 标志物
1.1.5 参考文献
1.2 基于特征的三维跟踪
1.2.1 实现过程
1）分别提取特征点/2D特征描述子
2）特征匹配，求解位姿
3）常用方法：SIFT / ORB / FAST / 光流等
1.2.2 限制
物体需有丰富的纹理特征
1.2.3 参考文献
1.3 基于模型的三维跟踪
- 针对无纹理或弱纹理的物体
- 需要预先建模物体的三维模型
1.3.1 基于边缘的方法
- 对边缘轮廓进行离散采样，投影，沿采样点法向搜索匹配点，求解位姿
- PAPiD方法：3D边缘采样，法向搜匹配点，鲁棒性较差（复杂环境下出现误匹配），1990年
- 直方图建模：独立考虑每一个点，忽略邻域点依赖关系，几何结构复杂物体跟踪失败，2014年
- 有向无环图 + 动态规划 + LM算法，2015年. 源代码C++
- 深度学习预测控制点在图像上的投影位置
1.3.2 基于区域的方法
- 基于前/背景分割
- PWP3D
2. 应用
- 空间应用（交会对接、在轨服务等）
- 机器人（抓取、装配等）
- AR / VR
3D跟踪实验室1
3D跟踪实验室2
秦学英 山大
blog
model-based tracking(PNP / KLT / EDGE)
位姿估计教程github.io