所我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。 这里就放一个实验室之前毕业师兄的成果当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。无纹理的物体好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：我们容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性不幸的是，据我了解，目前没有这种特征点。所以，之前一大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。只要有了这个初步估计的物姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 D 点云，从而得到物体在相机坐标系下的精确位姿。当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。五．深度学习由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。在 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。如 周博磊 所说，一般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 D 模型进行ICP匹配。北京惠昌伟业科技有限公司成立于2003年，专注于先进的制造技术及设备，集代理销售、技术研发、设备生产于一体，致力于为客户提供先进的生产设备和自动化解决方案。