在OpenCV中使用单应性进行姿势估计

小白学视觉

共 2751字,需浏览 6分钟

 ·

2021-03-02 10:12

点击上方小白学视觉”,选择加"星标"或“置顶

重磅干货,第一时间送达


什么是单应性


单应性是一种平面关系,可将点从一个平面转换为另一个平面。它是3乘3的矩阵,转换3维向量表示平面上的2D点。这些向量称为同构坐标,下面将进行讨论。下图说明了这种关系。这四个点在红色平面和图像平面之间相对应。单应性存储相机的位置和方向,这可以通过分解单应性矩阵来检索。

针孔相机

针孔相机型号

针孔相机模型是相机的数学表示。它接收3D点并将其投影到像上图所示的图像平面。该模型的一些重要参数是焦点,像平面(上图中的灰度平面),主点(上图中的像面上的粗体点),焦距(像平面与图之间的距离)。焦点)和光轴(垂直于穿过焦点的像平面的线)。该变换可以在投影矩阵中编码,该投影矩阵将表示3D点的4维均匀向量转换为表示平面上2D点的3维均匀向量。


同构坐标


同构坐标是表示计算机视觉中的点的投影坐标。由于拍摄照片时会从3D转换为2D,因此深度范围会丢失。因此,可以将无限数量的3D点投影到相同的2D点,从而使均匀坐标在描述时可以通用,因为它们的比例相似。齐次坐标只需采用正常的笛卡尔坐标,并将维数增大到末端。

均匀坐标在比例上也相等。

给定同构坐标,将所有元素除以矢量的最后一个元素(比例因子),然后笛卡尔坐标是一个矢量,该矢量由除最后一个元素之外的所有元素组成。


投影矩阵


投影矩阵是与相机属性相关的其他两个矩阵的乘积。它们是外部和内部相机矩阵。这些矩阵分别存储摄像机的外部参数和固有参数(因此命名)。

投影矩阵

外在矩阵

外在矩阵存储摄像机在全局空间中的位置。该信息存储在旋转矩阵以及平移矢量中。旋转矩阵存储相机的3D方向,而平移矢量将其位置存储在3D空间中。

旋转矩阵

然后将旋转矩阵和平移向量连接起来以创建外部矩阵。从功能上讲,外部矩阵将3D同构坐标从全局坐标系转换为相机坐标系。因此,所有变换后的矢量将相对于焦点在空间中表示相同的位置。

内在矩阵

本征矩阵存储相机的特征,例如焦距和主点。焦距(f 1和f 6)是从焦点到像面的距离,可以用像素宽度或像素高度(因此为何有2个焦距)来度量。每个像素都不是一个完美的正方形,因此每个边都有不同的边长。主点(c和c)是光轴和像平面(像平面的功能中心)的交点。该矩阵将相对于焦点的3D坐标转换到图像平面上。可以将其视为拍摄照片的矩阵。与外在矩阵结合使用时,将创建针孔相机模型。

针孔相机型号

现在单应性是针孔相机模型的一种特殊情况,其中投影到相机上的所有现实世界坐标都位于z坐标为0的平面上。这是单应性的派生词。


单应性的派生


H是单应性矩阵,这是一个3 x 3的矩阵,可将点从一个平面转换为另一个平面。在这里,转换是在Z = 0的平面和指向该点的图像平面之间进行的投影。单应性矩阵通常通过4点算法求解。本质上,它使用来自2个平面的4个点对应来求解单应矩阵。在OpenCV中,我们可以使用cv2.findHomography方法找到单应矩阵:

cv2.findHomography(<points from plane1>, <points from plane 2>)

此方法需要某种形式的特征点跟踪,以便实现上面方法的结果。坐标测量的质量将有助于上述方法的准确性。一旦有了单应性矩阵,就可以将其分解为摄像机的平移和旋转。


分解


我们可以通过将求解矩阵中的前两列用作旋转矩阵中的前两列,然后使用叉积来找到旋转矩阵的最后一列,从而得出旋转矩阵。

'''H is the homography matrixK is the camera calibration matrixT is translationR is rotation'''H = H.Th1 = H[0]h2 = H[1]h3 = H[2]K_inv = np.linalg.inv(K)L = 1 / np.linalg.norm(np.dot(K_inv, h1))r1 = L * np.dot(K_inv, h1)r2 = L * np.dot(K_inv, h2)r3 = np.cross(r1, r2)T = L * (K_inv @ h3.reshape(3, 1))R = np.array([[r1], [r2], [r3]])R = np.reshape(R, (3, 3))


使用Homography进行视觉本地化的优势


使用Homography比其他算法简单得多,因为它非常简单直观。利用基本矩阵或基本矩阵的其他方法需要复杂的算法和更多的实现精力。由于所有视觉定位方法都在做相同的事情,因此最好在可能的情况下使用Homography,以节省时间和精力。


使用单应性进行视觉本地化的缺点


由于仅在Z坐标等于0的情况下才有可能进行同构照相,因此仅在所需目标位于平面上的情况下才能使用同构照相。否则,需要其他方法来定位,例如不具有此类约束的对极几何。如果期望的目标移出视野,则单应性也将变得无用。结果,有必要对摄像机进行定向,使其始终可以注视目标,这在许多机器人上可能都不可行。


下载1:OpenCV-Contrib扩展模块中文版教程
在「小白学视觉」公众号后台回复:扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2:Python视觉实战项目52讲
小白学视觉公众号后台回复:Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。

下载3:OpenCV实战项目20讲
小白学视觉公众号后台回复:OpenCV实战项目20讲即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。

交流群


欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~



浏览 23
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报