Project introduction
本次项目涉及机器视觉识别，将深度ToF传感器应用在机器人上的一些尝试 长期目标 可以搭配机械臂对近距离物体或多小型无人机进行颜色/形状特征识别，后续尝试抓取? 短期目标 在Jetbot开源机器人上基于NVIDIA GPU 完成目标距离检测；调用差速PID算法调节的对象追随。在自带摄像头功能完成的情况下，验证一下加入ToF想法的可行性。
background 各类传感器的综述
- 传感器可分为主动式和被动式。主动式需要自己发射信号，然后通过接收信号测量，那么安装多个同类传感器、多机器人或一个传感器有多个发射器会出现相互干扰的情况。激光雷达、超声波、激光和红外属于主动式。被动式不会出现相互干扰的情况，相机、IMU、编码器属于被动式。另外，根据测量的目标不同又可分为内部传感器和外部传感器，IMU、编码器和GPS都是检测机体自身的运动，为内部传感器，相机和激光SLAM测量的是外部环境，为外部传感器。
- 传感器比较重要的是测量范围、精度、内参、测量速度、测量之间的间隔、适用环境。不同传感器之间存在测量频率和时间戳之间匹配的问题。
- 距离运动会使相机（特别是卷帘快门）和激光雷达的每帧数据发生畸变（distortion），因为一帧数据由很多点组成，速度不够快，传感器一直在移动。帧率和速度差越大，畸变越大。
- 传感器都不可避免地存在噪声，在实际使用时可将传感器数据以图表的形式可视化显示，根据噪声类型选择合适的滤波方法，如一阶滤波、体素滤波等。
- 环境退化（environmental degradation）会使传感器测量出错或跟踪失败，因为环境中没有包含充分信息了。如激光雷达面对的空旷环境、相机面对低纹理的白墙。
- 根据定位方法不同可将传感器分为增量式定位和绝对定位的传感器。相机、激光雷达、IMU和编码器用于增量式定位，有累积误差，GPS、UWB等为绝对式定位，没有累积误差。
根据其工作原理主要分为三类：
（2）产品： ZED：https://www.stereolabs.com/ Tango：http://www.androidcentral.com/tango/home
- 结构光方案 （1） 原理：http://blog.sina.com.cn/s/blog_6ca5ea9f0101dt9j.html
（2）产品： 微软Kinectv1：https://www.microsoft.com/enus/download/details.aspx?id=28782 http://www.k4w.cn/news/8.html 华硕xtion： https://www.asus.com/3D-Sensor/Xtion_PRO/
- TOF方案： (抗干扰性能好，相比双目延时低)
（1）原理： http://www.cnblogs.com/freshmen/p/4818196.html http://www.cnblogs.com/freshmen/p/5041197.html
（2）产品： 微软Kinectv2： https://www.microsoft.com/en-us/download/details.aspx?id=44561 http://www.k4w.cn/news/1.html
英特尔RealSense系列： https://software.intel.com/zh-cn/realsense/get-started?language=fr HEPTAGON：http://hptg.com/
PMD：http://www.pmdtec.com/##感觉这款PMD家产品可以与机械臂搭配，用来近距离识别
- 双目方案：最大的问题在于实现算法需要很高的计算资源，导致实时性很差，而且基本跟分辨率，检测精度挂钩。也就是说，分辨率越高，要求精度越高，则计算越复杂，同时，纯双目方案受光照，物体纹理性质影响。
- 结构光方案：目的就是为了解决双目中匹配算法的复杂度和鲁棒性问题而提出，该方案解决了大多数环境下双目的上述问题。但是，在强光下，结构光核心技术激光散斑会被淹没。因此，不合适室外。同时，在长时间监控方面，激光发射设备容易坏，重新换设备后，需要重新标定。
- TOF方案：技术有待完善，分辨率较低成本高，但由于其原理与另外两种完全不同，实时性高，不需要额外增加计算资源，几乎无算法开发工作量。
Potential output
- 完成目标识别学习
- RAL publication.
- 可以对前面做过的实验应用场景做补充