双目视觉摄像机的参数标定参考坐标系介绍

点击上方“小白学视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达
本文转自 | 新机器视觉

焊接机器人视觉的基本任务就是从双目摄像机获得的二维图像中恢复物体的三维空间信息，从而能够识别目标物体，进行生产作业。空间中物体与其在成像平面形成的二维图像的相互关系由摄像机的内外参数决定，内部参数是由摄像机本身的类型决定的，主要是由摄像机感光元件和光学特性决定;外部参数是由建立的摄像机坐标系与基坐标系之间的相对位置关系决定。

摄像机标定方法主要有两种:传统的双目视觉摄像机标定和摄像机自标定的方法。传统的双目视觉摄像机标定方法主要利用尺寸、大小、形状己知的标定模板，通过左右摄像机采集到的图像与空间标定模板之间的位置变换计算出摄像机的内外参数。而自标定方法仅仅依靠摄像机采集的二维图像信息就可以确定摄像机的参数，但是必须使用运动序列的图像，标定难度较大。本章主要对传统的双目视觉摄像机标定方法进行了研究。

参考坐标系介绍

为了描述双目焊接机器人立体视觉，需要建立以下五种坐标系即像素坐标系、图像坐标系、摄像机坐标系、基坐标系以及机器人末端坐标系，同时还需要计算各坐标系之间的转换关系，才能实现对目标物体的测量、定位、建模等一系列工作。

(1)像素坐标系

CCD摄像机将采集到的数字图像信息以数组的形式记录下来，数组中的元素代表像素，元素的大小为像素点的灰度值，拍摄图像时使用的分辨率(如1600 X1200)为数组的范围，像素坐标系OoUV定义如图3.1所示，Oo为像素坐标系的坐标原点，U轴和V轴表示像素点在像素坐标系中的行数和列数，坐标都是以元素为单位。

(2)图像坐标系

由于像素坐标系中表示的元素都是以像素为单位，而在实际的视觉系统应用中需要以物理单位(如毫米)来描述目标位置，因此需要建立一个新的坐标系即图像坐标系。图像坐标系O1XY如图3.1所示，设O1为摄像机光轴与成像平面的交点，定义O1为图像坐标系原点，一般情况下O1点在图像的中心位置，但是摄像机在制造过程中由于制造工艺等原因可能会产生一定的偏离。像素坐标系的X轴Y轴相互垂直，坐标以毫米为单位。设摄像机成像平面点中的一点N，其在像素坐标系中坐标为(u0,v0)在图像坐标系中实际距离分别用dx和dy表示，坐标形式表示为〔dx, dy);则两个坐标系之间的关系如式3-1所示:

其中，θ角为摄像机的镜头由于制造工艺导致的偏差，使得像素坐标系Oouv的u轴与v轴不垂直，随着现代工业水平的进步，摄像机制造工艺越来越完善，θ角也越来越接近90度。

(3)摄像机坐标系

为了描述摄像机的成像原理，建立摄像机坐标系，如图3.2所示，设摄像机镜头的光心Oc为坐标原点，Xc轴、Yc轴、Zc轴相互垂直，且Xc轴、Yc轴分别与图像坐标系中的X,Y轴平行，Zc轴与垂直于成像平面，且与成像平面的交点O1为图像坐标系的原点，Oc到O1的距离为摄像机的焦距f，由Oc，Xc轴、yc轴、Zc轴构成摄像机坐标系。

(4)基坐标系

基坐标系又称世界坐标系，如图3.2所示，Ow为基坐标系的原点，Xw轴、Yw轴、Zw轴相互垂直，基坐标系用来描述空间中摄像机、目标工件、机器人等所有物体的绝对坐标，同时基坐标系与摄像机坐标系也有确定的关系，两个不同的坐标系必然可以通过旋转、平移操作相互重合，因此利用旋转矩阵R和平移矩阵T可以描述这两个坐标系的转换关系。设空间中任意一点P在基坐标系中的齐次坐标为(Xw,Yw, Zw, 1)，在摄像机坐标系中的齐次坐标为(Xc, Yc, Zc、1),则两者存在以下关系：

其中，平移矩阵T为1x3的三维平移向量，旋转矩阵R为3x3的正交单位矩阵，为由T和R确定的4x4矩阵，因此可以用矩阵，，M来描述摄像机坐标系与基坐标系之间的转换关系。

(5)机器人末端坐标系

为了描述目标工件相对于机器人末端手臂(焊枪)的位置，建立机器人末端坐标系。如图3.3所示，定义焊接机器人手臂末端Os为原点，由相互垂直的Xs,Ys, Zs轴构成机器人末端坐标系。

与其他位置固定的各坐标系不同，机器人末端坐标系随着机械臂的运动而运动，但是初始状态下机器人手臂相对于基坐标系的位姿确定，因此可以知道机器人末端坐标系与基坐标系的转换关系，设空间中任意一点N，N点在基坐标系下的齐次坐标为(Xw, Yw, Zw,1)，在机器人末端坐标系下的坐标为(XS,YS,ZS,1)，则机器人末端坐标系与基坐标系的转换关系如式3-3所示。

其中，N为当前情况下4x4的位姿矩阵，可以根据焊接机器人的运动参数计算得到。

通过以上五种坐标系可以求取任何与双目焊接机器人系统相关的物体坐标，而且每两个坐标系之间的转换关系确定，可以在五种坐标系下自由的进行转换。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：OpenCV实战项目20讲

在「小白学视觉」公众号后台回复：OpenCV实战项目20讲，即可下载含有20个基于OpenCV实现20个实战项目，实现OpenCV学习进阶。

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~