视觉标定

2024-07-18

视觉标定（精选九篇）

视觉标定篇1

全维视觉系统可以获得周围360°视场的图像,它克服了传统视觉系统视场小的缺点,减少了搜索目标的时间,已在各个领域得到了广泛的应用。

传统的视觉系统仅由一个普通的摄像头构成,为了增加灵活性可以通过增加云台或者安装多个摄像头来得到各个方向的图像。这种成像系统是通过摄像机定标[1]获得图像坐标系、机器人坐标系和世界坐标系之间的关系,于是,便可以由图像坐标得到机器人的世界坐标。传统的摄像机定标方法对全维视觉系统不再适用,但是全维视觉系统有其特殊性和优越性,由于其成像的范围为360°,图像中目标之间的夹角与实际夹角一致。

本研究主要介绍全维视觉机器人距离标定方法。

1 映射关系距离标定

1.1 全维视觉系统简介

全维摄像头是针对普通摄像头视场较小而设计的一种水平360°视场的摄像头。它是用一个锥形或者其他曲面形状的面镜反射周围光线,然后在下面用一个普通的摄像头进行拍摄,从而获得机器人周围水平360°和垂直一定角度的图像。根据入射光线是否相交于一点,可以将不同曲面的摄像头分为2类:以锥面、球面等作为反射面的视觉系统,入射光线不相交于一点,称为第1类摄像头;反射面为双曲面、抛物面等的视觉系统,入射光线相交于一点,称为第2类摄像头,又叫做单视点摄像头[2]。

第1类摄像头加工简单。但是由于不满足单视点要求,不能用成像法则进行计算[3],其成像效果较差,图像失真较严重,图像平面上会出现晕光效应,所以不适用于对精度要求较高的场合[4]。

第2类摄像头加工、安装比较困难。但是由于满足单一视点的要求,可以利用透视投影成像规则设计各种算法等进行计算,同时图像失真相对较差,成像效果较好,更加适用于对精度要求较高的场合。

1.2 距离标定原理

简化成像模型,如图1所示。由边角等之间的关系,通过代数求解可以得到实际距离d(x)和图像距离x之间的关系。假设摄像机焦距f、成像平面与地面的距离h是已知的。设入射点坐标为(m,F(m))(曲线方程为:y=F(x))。可得:A点坐标为:(0,(f+h)),B点坐标为:(m,F(m)),C点坐标为:(d(x),0)。

则出射光线斜率为:undefined

法线斜率为:undefined

入射光线斜率为:undefined

则由成像规律可知:θ=Ф

由夹角公式可得:undefined

所以:cosθ=cosφ,即:

undefined

由入射点向下所引的垂线和y轴分别与成像平面和出射光线BA所形成的两个三角形之间的相似关系,可以得到:

undefined

由式(2)和曲线方程(双曲线或抛物线)联立,即可获得m以及F(m)、F′(m)与x之间的关系。例如:取反射平面为双曲面,设双曲线方程为:undefined。

具体到该成像系统中,即有:

undefined

把式(2)、式(3)看成关于m以及F(m)的二元二次方程组,求解即可得到用x表示的m、F(m),将F(m)关于m求导可得到F′(m)。将m、F(m)以及F′(m)代入式(1),即可得到:

undefined

其中,m,F(m)以及F′(m)均可以通过式(2)、式(3)得到。在图像上得到路标中心与图像中心之间的距离x,代入式(4)中,即可求得路标与机器人之间的距离d。

2 插值法距离标定

插值法[5]不受单视点条件的限制,可以应用于任意的成像系统,而且通过增加参考点的个数可以提高插值的精度。

因为全维视觉成像在各个方向是对称的,可以沿一条半径设置参考点以进行距离标定。为了提高标定精度,应该选择一个易识别的参照物,同时与地面的交线应该小而且清晰。距离机器人越近则成像越清晰,精度越高,参考点可以选得少一些。随着距离的增加,图像分辨率下降,而且图像距离与实际距离之间的比例增大,应该使参考点的密度大一些。这样,可以既减少插值时间,同时又兼顾插值的精度。

虽然通过适当提高插值多项式的次数,有可能提高计算结果的准确度,但并不是插值多项式的次数越高越好。实验表明,分段抛物插值可以在运算速度和插值精度上取得最佳效果。所谓分段抛物插值就是用分段抛物线代替整个函数。

若已知图像距离的样本点xk(k=1,2,3…n)和其对应的实际距离(即自变量xk对应的函数值)yk(k=1,2,3…n)。当已知某点的图像距离,计算该点的实际距离时,选取离该点最近的3个节点xi-1、xi、xi+1进行二次插值,选用的插值函数为二次函数:

undefined

为了保证选择的xi-1、xi、xi+1是距点x最近的3个节点,式(5)中的i可以通过以下方法确定:

undefined

具体算法为:

(1) 按照递增的顺序输入样本点xk(k=1,2,3…n)、yk(k=1,2,3…n)以及n;

(2) 在图像上计算待标定的目标到图像中心之间的距离x;

(3) 用折半查找法查找到离x最近的两个点xj、xj+1,然后由式(6)得到i,并代入参考点后得到xi-1、xi、xi+1,以及对应的函数值yi-1、yi、yi+1;

(4) 将所取样本点的值以及x的值代入式(5),可以得到x对应的函数值。

3 BP网络距离标定

3.1 标定原理

BP网络是指采用BP算法的前馈型人工神经网络[6],作为一种神经计算模型,BP网络的任务在于形成特定的(或期望的)输入/输出映射关系,实现特定的(或期望的)计算功能,而实现的途径就是记忆和学习。BP网络的学习机制属于监督学习机制,依赖于知识集或学习样本,其学习的目标由性能函数描述。

由于距离之间的标定是单输入、单输出,笔者选用3层BP网络进行学习,通过设定参考点的方法取一些样本点作为导师信号,对其进行训练,根据训练精度调整样本点以及神经元的个数,因为这些都是离线进行的,可以进行多次训练,直至训练误差在要求范围之内。

3.2 标定过程

取图像上一个半径范围内的点以及相对应的实际距离作为样本点,对此半径范围内的距离进行标定。

X=[1, 7, 11, 19, 27, 35, 43, 51, 59, 67, 75, 79, 83, 87, 91, 95, 99, 103, 107, 111, 115, 119];

Y=[37.5, 142.5, 282.5, 422.5, 492.5, 632.5, 772.5, 912.5, 1 190.48, 1 737.21, 2 340.39, 2 659.38, 3 000, 3 382.72, 3 854.32, 4 500, 4 858.97, 5 217.95, 5 576.92, 5 935.9, 6 294.87, 6 653.85 ]。

选用3层BP网络。隐含层节点数的参考公式为:

undefined

式中 n0—隐含层节点数;n—输入神经元个数;m—输出神经元个数;a—介于1～10之间的数,本研究中n的取值范围为:1.4≤n0≤11.4。

令隐含层节点数从2开始增加,当节点增加而精度不再增加时,就将隐含层的节点数确定为该值。经过实验确定:当隐含层节点数为8时误差最小为0.099 9,当节点数继续增加时,精度反而会下降。如果想继续提高精度,可以通过增加隐含层数的手段,但是网络训练时间和训练完成后的计算时间必然会增加。规定最大的训练次数为1 000,训练误差为0.1,训练步长为1,隐含层采用双曲正切S型传递函数,输出层采用线性函数,采用梯度下降动量法对网络进行训练。网络训练误差曲线,如图2所示。

通过误差曲线可以发现,当训练次数达到160次时,误差基本稳定,继续训练时误差不再减小。虽然此时精度并不是很高,但是考虑增加隐含层数目时,计算时间会增加,如果用在实时性不是很高而系统精度要求很高的系统中,还可以再增加隐含层数目以提高精度。

4 角度标定

由于全维视觉得到的是机器人周围水平360°的视场,图像中目标的夹角跟实际夹角是相同的,要知道机器人相对于目标的角度,只需要知道图像中机器人的正方向与目标之间的夹角即可。于是可以事先确定机器人自身的像素坐标,也就是图像的中心设为undefined,目标中心的像素坐标undefined,以顺时针方向为正,范围为0°～180°,逆时针方向为负,范围为-180°～0°,以图像的正上方为机器人正方向为例,求机器人与目标之间的夹角:

undefined

当目标与机器人之间的夹角为正时,说明目标在机器人的右侧,应该向右转过相应角度;当夹角为负时,则应该向左转过相应角度。

5 结束语

以上几种全维视觉系统距离标定方法中,第1种方法应用范围比较窄,只适用于反射面满足单视点要求的成像系统,而且必须已知成像系统中的焦距及摄像头高度,摄像头的加工安装必须足够精密。但是这种公式推导的方法由于不受客观环境的影响,而且不存在采样点的偶然误差,具有很强的鲁棒性。

第2种方法相对第1种方法而言应用范围较广,对于任何反射面组成的成像系统均可以通过该方法来进行距离标定。同时,可以通过增加样本点来提高标定精度。在应用时要注意根据成像效果以及重点考虑的成像范围来选取样本点。同时要注意样本点的选取必须准确,如果某个样本点存在偶然误差,则对该点附近的点进行标定时会有很大的误差。

第3种方法是根据人工神经网络的优越性及其广泛应用领域而提出的一种距离标定方法。神经网络同时考虑所有的样本信号,当某个样本点的选取存在偶然误差时,不会对标定结果造成很大的影响。由于神经网络可以任意精度逼近函数,只要神经元的个数选择合适,这种方法完全可以达到精度要求。

摘要：通过分析全维视觉系统的特点,总结出了常用全维视觉系统距离的标定方法,指出了各自的应用范围及优缺点。并针对应用范围最广的插值标定方法存在“单个采样点对标定精度影响较大”的缺点,提出了一种利用人工神经网络进行标定的新方法。实验证明,该距离标定方法不但可以节省标定时间,还可以提高标定精度。

关键词：全维视觉,距离标定,BP神经网络

参考文献

[1]贾云得.机器视觉[M].北京:科学出版社,2001.

[2]刘伟,刘斐,郑志强.用于机器人足球赛的全景视觉设计仿真[J].计算机仿真,2005,22(11):190-192.

[3]PALETTA L,FRINTROP S,HERTZBERZ J.Robust Lo-calization using Context in Omnidirectional Imaging[C].In-ternational conference on Robotics and Automation,2001.

[4]LSHIGURO H.Development of Low-cost Compact Omnidi-rectional Vision Sensors and their Applications[C]//Proc ofIntl Conf on Information Systems,Analysis,and Synthesis,1998,9(2):433-439.

[5]易大义,沈云宝,李有法.计算方法:第2版[M].杭州:浙江大学出版社,2002.

视觉标定篇2

月球车立体视觉的一种标定与三维重建算法

为提高月球车视觉系统的摄像机标定和图像的三维重建精度,提出了一种基于多平面标定点的改进Tsai氏两步法,用线性重建算法对标定和匹配结果进行空间景物点的`重建,根据最小二乘曲面拟合原理拟合视场区域的基本轮廓.对一标定模板的标定和图形的三维重建结果表明,该算法的精度高、速度快,可用于月球车立体视觉系统.

作者：张宏齐乃明侯建 ZHANG Hong QI Nai-ming HOU Jian 作者单位：哈尔滨工业大学,航天学院,黑龙江,哈尔滨,150001 刊名：上海航天 PKU英文刊名：AEROSPACE SHANGHAI 年，卷(期)： 24(3) 分类号：V476.3 关键词：月球车立体视觉摄像机标定三维重建

基于HALCON的机器人视觉标定篇3

基于HALCON平面标定板，充分考虑机器人末端中心和摄像机镜头径向畸变的影响，设计了一种新的Eye-to-Hand机器人视觉标定方法。该方法不仅标定了摄像机的内外参数，同时也建立了摄像机图像坐标系和机器人世界坐标系的关系。实验证明，该方法具有较高的标定精度和实用性，适用于工业机器人的视觉系统标定。

关键词：

HALCON；机器视觉； Eye-to-Hand；工业机器人

中图分类号： TB 133文献标志码： Adoi： 10.3969/j.issn.1005-5630.2016.04.008

Abstract：

Based on plate calibration board of HALCON，a new Eye-to-Hand calibration method is schemed out.The method sufficiently involves the influence on robot terminal center and the radial distortion of camera lens.It calibrates the camera parameters and establishes the relationship between image coordinate and robotic coordinate.According to results of experiments，the method has more precision and it is applicable to industrial robot vision calibration.

Keywords：

HALCON； machine vision； Eye-to-Hand； industrial robot

引言

机器人视觉控制[1-2]是机器人领域的重要研究方向，也是当前的研究热点之一。其系统按照摄像机与机器人的相对位置分为Eye-to-Hand系统和Eye-in-Hand系统。Eye-to-Hand系统将摄像机固定安装于机器人本体之外。随着工业化水平与科技的不断发展，劳动力成本增加，对定位装配的精度和自动化要求也越来越高。基于机器视觉技术的工业机器人定位[3-4]具有定位精度高、自动化和智能化水平高、劳动力成本低等优点，因此在定位装配领域有着广泛的应用。

本文建立了机器人Eye-to-Hand系统，主要论述了一种基于HALCON的摄像机内外部参数和手眼关系标定方法与其实验过程。该标定方法具有操作简单，定位精度高等特点，适用于产品抓取定位。

1机器人视觉标定模型

机器人视觉系统的标定其实是获取摄像机图像坐标系（ICS）与机器人坐标系（RCS）之间转换关系的过程，在标定机器人视觉系统（Eye-to-Hand）之前，首先要

对摄像机进行标定。通常摄像机镜头会存在径向、切向和偏心等畸变，因此需要选择合适的畸变模型对摄像机进行标定。工业镜头的畸变主要为径向

畸变，为线性畸变模型；非线性模型畸变包括径向、切向和偏心等畸变。

对于工业镜头，使用非线性畸变

模型往往不能提高其标定精度，而且还会造成求解的不稳定[5-6]；采用线性畸变模型，可以使标定精度提高一个数量级，与非线性畸变模型相比标定精度差别不大。因此本文在论述中采用线性畸变模型来标定机器人视觉系统，其标定模型如图1所示。

图1中，（Oc，Xc，Yc，Zc）为摄像机坐标系（CCS），Oc即为摄像机的投影中心，z轴与摄像机的主光轴重合；（Ow，Xw，Yw，Zw）为机器人坐标系（世界坐标系WCS）；（Oi，Xi，Yi）为成像平面坐标系（IPCS）；（Ou，Xu，Yu）为图像坐标系（ICS）。空间一点P在CCS下的坐标为P（xc，yc，zc）；在WCS下的坐标为P（xw，yw，zw）。若不考虑畸变，则点P以透视投影在成像平面投影，投影点为Pn（xn，yn）；若考虑径向畸变，镜头的畸变将导致P发生偏移，投影点为（xi，yi）。

式中：sx和sy为缩放比例因子；点（cx，cy）为图像的主点，对于针孔摄像机模型而言，这个点是投影中心Oc在成像平面上的投影。

综上所述，摄像机标定实际上是确定内参cx、cy、sx、sy、f、k和外参R、t的过程，标定摄像机是标定机器人视觉系统的必要条件。

2基于HALCON的手眼标定

2.1标定板

手眼标定之前，必须通过固定在机器人末端的工具来建立机器人坐标系和图像坐标系之间的关系。

与传统的使用固定针尖人工寻找图像点的方式相比，HALCON软件自带标定板具有标定点容易提取、标定精度高、方向唯一等特点，因此本文标定摄像机内外参数和机器人视觉的标定均采用HALCON标定板来完成。标定板如图2所示。通常，标定板的尺寸为摄像机摄影的1/2～1/3；背光源选择玻璃标定板，正面光源选择陶瓷标定板，视野范围大的，标定精度不高的可以选择打印的标定板。

2.2机器人末端旋转中心

典型的四轴工业机器人如图3所示，机器人坐标点通常是末端z轴的旋转中心，如何找到其对应的图像坐标点，建立机器人坐标系和图像坐标系的关系，是标定成功与否的关键。一般可以通过在末端固定特制的针尖来寻找机器人坐标的对应图像点。该方法虽然简单易行，但是受针尖加工误差、安装误差和针尖对焦困难等影响，不能获得良好的标定效果。将标定板固定于机器人末端，取标定板中心点为Mark点，在摄像机视野内，旋转机器人z轴，获取多张图像，计算末端中心在图像坐标上的对应点。

双目立体视觉系统的摄像机标定技术篇4

为描述摄像机成像过程, 定义了4个坐标系, 如图1所示: (1) 世界坐标系owxwywzw, 这是假想的, 根据具体情况选择; (2) 摄像机坐标系ocxcyczc, 原点oc定义在摄像机光心; (3) 成像平面坐标系oxy, 是以摄像机光轴与成像平面的交点o为原点建立的; (4) 图像坐标系uv, 坐标轴u、v表示图像的列和行。

空间任一点P (xw, yw, zw) 在图像平面上的投影点为p (u, v) , 则两者间的关系为[1]:

其中, M为3×4的投影矩阵, 可分解为下式:

其中, fx, fy分别表示x和y方向的焦距;s表示CCD歪斜系数; (u0, v0) 为图像中心坐标;摄像机坐标系与世界坐标系的关系则取决于旋转矩阵R和平移矩阵T。

通过标定获取左右摄像机的内外参数, 设Rl、Tl和Rr、Tr分别表示左右摄像机的旋转矩阵和平移矩阵, 则由 (3) 式求得双目立体视觉系统的结构参数[2]:

2 zhang平面标定方法[3]

2.1 单应性矩阵的计算

为简化计算, 取模板所在平面为世界坐标系zw=0的平面, 用ri表示R的第i列向量。对于模板平面上的点有:

其中, H被称为单应性矩阵。

整理得:

四对对应点可以提供8个方程, 即可解线性方程组 (6) 求出h。

令H=[h1h2h3], 则:

因r1和r2是单位正交向量, 即r1T r1=r2T r2=1, 且r1T r2=0, 则:

式 (6) 、 (7) 为摄像机内部参数的求解提供了两个约束条件。

2.2 摄像机参数求解

设向量b=[B11 B12 B22 B13 B23 B33]T, 则:

根据约束条件 (8) 、 (9) , 可得关于向量b的齐次方程:

若有n副模板图像, 根据 (12) 式, 可得线性方程组:

其中, V是一个2n×6的矩阵。 (13) 式的最小二乘解为V T V最小特征值对应的特征向量。求出b后即可求出摄像机内部参数。摄像机外参数可按如下公式求得:r1=λA-1h1, r2=λA-1h2, r3=r1×r2

2.3 畸变系数的计算

上述标定没有考虑摄像机镜头的畸变, 实际使用的摄像机镜头在远离图像中心较远处会产生较大的几何畸变。这里主要考虑径向畸变, 忽略其它的畸变因素。畸变后的成像平面坐标为:

因结合 (14) 得:

整理后得:

其中, 表示真实的图像坐标, 而 (u, v) 表示无畸变的图像坐标。用矩阵表示为:

其中, k=[k1k2]T, (17) 式的最小二乘解为:

求得k1和k2后, 可采用最大似然估计方法建立目标函数:

最后利用Levenberg-Marquarat算法求得最优解。

3 双目立体视觉系统标定结果

实验使用图像采集卡采集图片大小为352×288, CCD靶面尺寸为4.9mm×3.7 m m, 镜头焦距为2 5 m m。采用z h a n g平面标定方法对双目立体视觉系统进行标定, 结果如下。

左摄像机内参数:

右摄像机内参数:

根据式 (3) 可得:

由以上标定结果可计算出左摄像机焦距为25.49mm, 右摄像机焦距为25.43mm, 与厂家给出焦距25mm相差0.49mm和0.43mm;而左摄像机图像中心坐标 (176.2, 144.9) 和右摄像机图像中心坐标 (177.7, 145.1) 与真实中心坐标 (176, 144) 相差 (0.2, 0.9) 和 (1.7, 1.1) ;x方向位移-52.7031mm, 与基线长度-50mm相差-2.7031mm。由以上结果可见, 标定精度较高。

参考文献

[1]马颂德, 张正友.计算机视觉——计算理论和算法基础[M].北京:科学出版社, 1998.

[2]张广军.机器视觉[M].北京:科学出版社, 2005.

视觉标定篇5

汽车是一种最常用的交通工具, 随着技术的发展, 具有自动巡航、自动泊车等功能的智能车已经开始得到了广泛地研究和应用。作为智能机器人[1]和车辆工程的一个交叉研究领域, 国内外越来越多的企业和科研院校加入了此项研究。在国内, 国防科技大学、浙江大学、清华大学等都在积极研究, 而在国外MIT率先研究出了第一台完全自主的智能车。其中视觉技术[2,3]又是智能车技术中的关键技术。其中涉及到图像数据的获取、摄像头的标定、图像处理和特征信息的提取等。

而图像阈值是图像处理中一个重要的参数, 但其值会根据光线等因素的不同而不同。本文提出可一种自适应图像阈值的算法, 解决了在实际的环境中, 由于受到光线等因素的影响而带来的阈值的变化。

2 视觉智能车辆的道路图像采集

2.1 道路特征信息的提取

本文设计的视觉智能车辆采用CMOS摄像头作为传感器。CMOS摄像头由感光处理芯片方阵排列的感光元组成, 当外部图像经镜头折射聚焦到感光芯片上时, 灰度信息转化为电压信息存储在这些感光元中, 在时钟脉冲的作用下这些电压信息顺序输出到信号线上。为了实现序列图像的同步顺序传输, 在扫描过程中加入了场同步和行同步信号。

现在国内通用的视频信号是PAL制信号, 摄像头传送的信号也都是PAL制。PAL制信号的时序如图1所示。摄像头的工作原理[4]是:以隔行扫描的方式采集图像上的点, 当扫描到某点时, 就通过图像传感芯片将该点处图像的灰度转换成与灰度对应的电压值, 然后将此电压通过视频信号端输出。当扫描完一行, 视频信号就输出一个低于最低视频信号电压的电平 (凹槽) 并保持一段时间, 这就是扫描换行的标志, 称为行同步脉冲。然后开始扫描新的一行, 直到扫描完该场的视频信号, 随后出现场消隐区。在该复合消隐脉冲中, 场同步脉冲持续时间远大于其它消隐脉冲, 它是扫描换场信号, 标志着新一场的到来。场消隐区恰好跨在上一场的结尾和下一场的开始部分, 等场消隐区过去, 下一场的视频信号才开始到来。摄像头每秒分奇偶场, 共扫描50幅图像。

本设计使用的CMOS摄像头型号为JK309B, 该摄像头的视频信号是320线, 这320行又分为奇偶场, 即每场图像只有160行。摄像头分奇偶两场, 每秒共扫描50幅图像。当一场结束后, 扫描点会从本场最后一行到下场的第一行, 这段时间场消隐区间如图1所示。场消隐区间又分为前复合消隐脉冲, 场同步脉冲, 行同步脉冲。场同步脉冲标志着下一场的到来, 场同步脉冲后第一个行同步脉冲信号后就开始新一场的开始。如图2所示, 是JK309B的视频信号在示波器中的显示波形, 根据测试同步脉冲有1.3us前无效时间和6.2us的后无效时间, 后无效信号后就是有效的图像信号, 通过ARM芯片对其进行采集。一行结束后, 再进行新一行的扫描, 如此循环, 直到320行结束。

2.2 图像采集系统的硬件系统

CMOS视频信号采样的关键是能检测出场同步和行同步信号, 否则ARM处理器将无法区分同步信号和实际图像信息信号。采用视频信号分离芯片能够识别出通用的PAL制视频信号中的场同步脉冲, 行同步脉冲和消隐脉冲, 并将其分离出来, 同时还能分辨出奇偶场信息。本设计选用了视频信号NI公司的芯片LM1881[5]。

CMOS视频信号首先经过滤波电路, 通过一个电容耦合接LM1881管脚2, 经芯片分离后管脚1输出行同步信号CS, 作为中断信号输入到ARM处理器中, 管脚3输出场同步信号VS, 是一个宽度约为230us的低电平, 也作为中断信号输入到ARM处理器中。管脚7 (O/E) 输出是奇偶场信息, 低电平表示偶场, 高电平表示奇场。分离后的信号如图3所示。具体的视频分离和采集电路如图4所示。

3 自适应图像阈值算法与分析

3.1 自适应图像阈值算法

阈值就是以某个色阶作为基准, 把所有比基准亮的像素转换为白色, 把所有比基准暗的像素转换为黑色, 从而将灰度或彩色图像转换为高对比度的黑白图像。因为视觉智能车在现场运行过程中面临的光线环境是未知的, 而对于后续的图像处理, 设置一个合适的阈值很重要, 故需动态选择区分黑白的阈值, 在陌生光线环境下对阈值进行自动的标定为以后图像处理的二值化和边缘检测提供保证。如图5是在示波器上观测的正常光线情况下白色道路黑色指引线的波形图, 黑色位置凹下去, 左右白色的位置是高度相似的;如图6在光线不理想 (偏暗) 时在示波器上观察到的一种情况, 这时左边的白色值比右边的白色值低 (称为左肩低右肩高) , 这样对于边缘的提取干扰非常的大。

有一种已被使用的方法[6]能解决光线不好的情况下, 因为在光线不好导致图像通常都会出现凸起的情形, 如图6所示.这时黑线提取算法出错几率会大大增加, 为了避免这种情况发生, 可以根据图像的变化趋势将阈值的附加上一个修正值。在左边的阈值加上一个数值, 右边的阈值则减去一个数值。修正值的计算可以大致采用如下式子算出:

为了解决这个问题, 本文提出了一种自适应光线的动态阈值的设定方法。其具体算法过程如图7所示:首先进入陌生环境先进行图像数据的采集存入二维数组ccd_test[row][line]中, 其次求出各行图像数据中图像采样值的最小差存入一维数组ccd_result中, 根据从远到近的加权系数得到自适应的阈值。然后再根据系统计算出来的阈值, 作为后续算法的参数R_th, 具体算法如下式:

其中, Ki为加权系数, 越近权值越大, 因为得到的数据越清晰。

3.2 实验与结果

通过具体实验结果如表1所示, 使用固定的阈值方法, 对光线的变化比较敏感, 抗干扰能力较为弱, 而根据一般处理处理方法校正, 在光线弱的时候效果较好, 但是在光强的时候效果比较差。用本文的自适应阈值方法, 在光线变化时能较好的工作, 抗干扰能力较强, 说明该算法是可行的。

4 结束语

本文为了解决视觉智能车在现场环境中, 光线不同从而导致固定的阈值不能适应图像处理的问题, 提出了一种自适应图像阈值的标定方法, 该算法采用智能车辆在现场环境中动态标定阈值的方法, 使智能车辆的视觉系统的抗光干扰性能得到了一定程度的提高。并且通过实验结果的分析, 证明该方法有一定的可行性。

摘要：视觉技术已经广泛地应用于智能车巡航系统中, 其中图像处理是提取道路信息的重要途径, 而图像阈值是其中一个重要的参数。文章提出一种自适应图像阈值的算法, 解决了在实际环境中, 由于受到光线等因素影响而带来的阈值变化, 实验证明效果良好。

关键词：视觉智能车,自适应,图像阈值

参考文献

[1]蔡自兴.智能控制及移动机器人研究进展[J].中南大学学报 (自然科学版) , 2005, 36 (5) :721-726.

[2]GN DeSouza, AC Kak.Vision for Mobile Robot Navigation:A Survey[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24 (2) :237-267.

[3]MH Li, BR Hong, ZS Cai, SH Piao, QC Huang.Novel indoor mobile robot navigation using monocular vision[J].Engineering Applications of Artificial Intelligence, 2008, 21:485-497.

[4]俞斯乐.电视原理[M].北京:国防工业出版社, 2005.

[5]National semiconductor.LM1881.datasheet[EB/OL].http://www.ti.com/lit/ds/symlink/lm1881.pdf, 2006.

视觉标定篇6

近几年视觉定位相机已广泛应用于我国航空航天领域,是飞行器在轨对接与主动视觉定位系统的核心组成,在定位系统中起着关键作用[1]。以角反射器为目标模拟元件的静态目标模拟器就是用于某航天视觉定位相机的标定,通过对环境中不同目标的精确模拟,为视觉定位相机提供用于航天器太空飞行的高仿真环境[2,3]。目标靶作为静态目标模拟器的核心部分,为视觉定位相机提供精确目标。标定时模拟器置于有特殊要求的模拟环境中,目标靶的结构必然受标定条件即温度、压力、自重等多种因素影响而发生形变,从而所模拟的目标位置精度∆δ'ij产生重要影响[4]。本文将构建在标定条件下目标靶结构的数学模型,通过对相机核心技术指标-目标点位置偏差∆δ'ij与目标靶Z向变形量h的几何关系推导,得到了满足∆δ'ij时的h值;应用Ansys软件对目标靶结构进行优化设计,给出优化结果,并验证其正确性。

1 目标靶理论建模及精度分析

1.1 目标模拟器基本原理

静态目标模拟器是双目视觉相机的专用标定仪器[5],其中核心组件目标靶包括目标靶和角反射器镜座,其基本原理如图1所示。目标板上安装有角反射器,其反射面的直径和安装位置是按照实际目标标识器在不同姿态和距离下等效得到的。相机1和相机2所发出的不同波长的光线经角反射器后,在相机成像面上形成目标标志,以所采集到的目标大小及亮度等为参数经过图像处理与数据转换来确定目标位置,达到对目标的空间定位[6]。

1.2 目标靶模型构建

考虑到目标靶的长宽与高度比,自重影响较大,故施加重力载荷,对目标板四个侧面约束下目标靶结构产生变形,如图2所示,考虑目标靶以O点为中心的对称性及模拟目标镜座的分布状况,设形变后曲面为理想光滑曲面。平面XOY为目标靶面,平面X'O'Y'为相机像面,O点为目标靶的理论原点,O2为目标靶形变后的原点。C1、C2点为相机1和相机2的自带光源,P点为目标靶上一目标模拟点,A、B点分别为相机1的发射光线通过目标靶形变后与形变前经P点反射后在相机1像面上的接收点。在目标靶形变前后,相机1所接收的同一目标点P点在其像面上的位置A点与B点存在位置偏差∆δ',∆X'与∆Y'为像面的坐标偏移量。

1.3 位置偏差∆δ′ij分析及几何关系推导[7,8]

本文就是针对位置偏差∆δ'展开分析与计算,并求出在两点位置偏差∆δ'ij已定条件下,目标板Z向变形量h的值。根据图2所示几何图形,对于两点的位置偏移量∆δ'ij有如下关系:

γ为被测两点位置偏差∆δ'i和∆δ'j在相机像面X'O'Y'上的理论夹角。考虑最大误差的选择则有γ=180°。

对于每一点的位置偏差∆δ'值由图3可知有:

∆X'与∆Y'分别为目标板变形量在平面X'O'Z'与Y'O'Z′投影的坐标偏移量。

图3为目标靶变形投影关系在Y'O'Z'平面的投影,根据所示几何关系可以推导出每一点的坐标偏移量∆Y'与目标板Z向变形h的关系。根据几何光学,若入射光方向不变,反射镜旋转α时反射光旋转2α。从图2中看出,坐标偏移量∆Y'与相机光源和目标镜座位置有关,坐标偏差∆Y'随目标点与原点O的距离增大而增加,即P点与O点距离越远α值越大,故为求最大变形量选取目标靶上离原点O最远的目标点P为推导对象。

相机像面距目标靶距离为H。理想条件下,相机1发出光束由C1射向目标板MN上一角反射器P(P点至MN中心O点已知),经反射后回到相机CCD面的B点,由于目标靶受温差、自身重力等因素影响,目标板发生变形向下弯曲,如图3所示,设目标板变形后曲面曲率半径为R,P点下坠至P′点,此时反射光束沿P′点法向反射,成像与像面A点,则AB为坐标偏移量∆Y'。

做P′切线与MN交于Q点,设其夹角为α,比较三角形易证明∠PO1O=∠P′QP=α,已知在实际条件下H值与h存在关系:h<

故可以推出:

此时sinα值已知,根据曲率半径R=PO/sinα,则有

由此可知:

由以上推导可得到坐标偏差∆Y'(图3中AB)与目标靶Z向变形h的关系式:

同理在平面X'O'Z'可求得∆X'与目标靶Z向变形h的关系式,将∆X'与∆Y'代入式(2)可得到一点的位置偏差∆δ'与h关系。通过式(1)便可求得两点的位置偏差∆δ'ij与目标靶Z向变形h的关系。

设目标模拟器的技术指标中有∆δ'ij≤±5µm,有已推导的几何关系下得知理论Z向变形量h≤14µm。

2 目标靶结构优化及结果

通过以上理论计算,确定了要满足两目标点位置偏差∆δ'ij的技术指标时,目标靶在Z向变形量h所允许的最大值。而h值大小取决于目标靶的整体结构,所以为实现最优的h值即保证在标定工作的各种条件下Z向变形有最小量便需对目标靶的结构进行优化设计。

2.1 创建模型及有限元分析[9]

根据经验,初选定目标靶厚度为6 mm,材料选用铝合金。材料的弹性模量E=7.1E+04 Mpa,泊松比为0.33,密度为2.77 g/cm3。相机标定时处于特殊温度场,温度约束需准确,选择模拟器外侧温度为-55℃(取温度最大值),内部取常温25℃;考虑到目标板为相对较薄的平板,所以必须考虑自重,选择默认重力加速度9.806 m/s2,方向为-Z;选择目标靶四个侧面为边界约束面。

在Ansys Workbench仿真选项中求得目标靶在工作坏境中的温度场,以此温度场为静态力学求解条件,求得目标靶在四侧面为约束时,重力作用下的变形量,求解所得结果如图4所示,Z向最大变形有1.274E-2mm,根据极限误差及整体精度分配原则,要取得更佳的h值,则需对目标靶进行优化。

2.2 结构优化及结果

目标靶的结构优化就是在目标靶的各种结构参数允许范围内获得最佳的h值即保证其在标定的工作环境中最大化的消除因Z向变形引起的两点位置偏差∆δ'ij。本文所采用的目标靶为方形平板,所以其厚度D与h值之间有一定函数关系,故结构优化时选定厚度D及变形量h为优化参数(变量);同时由于目标定位相机标定设备的整体要求,目标靶的整体质量Solid mass要求最小,故优化时质量要作为一个约束条件。

使用Ansys Workbench工具中DesignXplorer功能进行优化。选择Six-Sigma分析类型,优化操作时在求出D变量下的h值后设定h值为优化变量,加上目标靶质量约束参数Solid mass,优化中就产生了3个目标参数:厚度D值、变形量h值和质量Solid Mass。在运行后的所有结果序列中,选则优化参数中h值重要性为最高,在目标靶质量Mt≤5.5 kg的约束下,有3个序列结果满足要求,其中序列3即Candidate A是最佳优化结果。

从表1中看出,对目标靶的结构优化后,目标参数ds_D取值为7.67 mm,质量Solid mass小于5.5 kg,目标靶变形h最大值为5.9E-3 mm。以此优化结果为参数,选厚度D为整数8 mm,再次建立目标靶立体模型进行验证,数据如图5所示,最大变形量h值为5.5E-3 mm,证明了对目标板结构优化的正确性。

3 结论

通过对目标模拟器上目标靶的精度分析,建立其几何模型,推导计算出目标靶上模拟目标的位置偏差∆δ'ij与目标靶工作条件下Z向变形量h的几何关系及最大数值。建立目标靶立体模型,以h值和影响h值的目标靶厚度D为优化参数,目标靶质量为约束参数,应用Ansys软件对目标靶结构进行优化设计,得到了满足系统的结构参数即目标靶厚度D、变形量h和质量Mt的优化结果。最后通过优化后的参数值再建模分析,变形量h=5.5E-3 mm远小于理论值14µm,证明了对目标靶结构优化合理、正确。

摘要：静态目标模拟器专用于飞行器视觉空间定位相机的标定,在模拟环境中为相机提供准确的模拟目标,而目标靶作为目标模拟器的核心组件其精度决定了相机的标定水平。构建目标靶标定环境下的理论模型,通过对目标靶Z向变形量h与两点位置精度?δ'ij的几何关系推导,确定了满足相机标定精度的h值。以计算结果为目标参数,应用Ansys软件对目标靶进行结构优化,并给出了最优结果,最后采用优化参数再建模得到了目标靶标定条件下h=5.5μm小于理论值14μm,验证了对目标靶结构优化的正确性。

关键词：目标模拟器,视觉空间定位系统,数学建模,结构优化

参考文献

[1]赵天云,郭雷,张利川.基于单目视觉的空间定位算法[J].西北工业大学学报,2009,27(1):47-51.ZHAO Tian-yun,GUO Lei,ZHANG Li-chuan.A New Algorithm of Spatial Positioning Based on Mono-Vision[J].Journal of northwestern polytechnical university,2009,27(1):47-51.

[2]张红坡,黄莉.点源目标模拟器研制[J].光学仪器,2008,30(6):74-76.ZHANG Hong-po,HUANG Li.Research of a point target simulator[J].Optical Instruments,2008,30(6):74-76.

[3]张恒,李立春,于起峰.一种新的运动目标检测方法[J].光电工程,2008,35(9):11-16.ZHANG Heng,LI Li-chun,YU Qi-feng.New Moving Target Detection Algorithm[J].Opto-Electronic Engineering,2008,35(9):11-16.

[4]周宏甫,张宗宝.排爆机器人双目立体视觉系统设计[J].机电工程技术,2008,37(3):27-29.ZHOU Hong-fu,ZHANG Zong-bao.The Design and Implementation of Binocular Stereo Vision of a Bomb-disposal Robot[J].Mechanical&Electrical Engineering Technology,2008,37(3):27-29.

[5]彭凯,刘丽冰,刘书桂.基于双相机的计算机视觉坐标测量系统[J].光电工程,2008,35(7):95-98.PENG Kai,LIU Li-bing,LIU Shu-gui.Computer Vision Coordinates Measurement System with Dual Cameras[J].Opto-Electronic Engineering,2008,35(7):95-98.

[6]刘延斌,金光,丁延卫,等.机载成像设备地面仿真系统的误差分析[J].光电工程,2002,29(增刊):69-72.LIU Yan-bin,JIN Guang,DING Yan-wei,et al.Error analysis for ground simulation system of airborne imaging equipment[J].Opto-Electronic Engineering,2002,29(supplement):69-72.

[7]崔彦平,林玉池,黄银国.双目视觉飞行目标落地参数测量[J].光电工程,2007,34(8):63-67.CUI Yan-ping,LIN Yu-chi,HUANG Yin-guo.Measuring approach of flying target landing parameters based on binocular vision model[J].Opto-Electronic Engineering,2007,34(8):63-67.

[8]郭磊,徐友春,李克强,等.基于单目视觉的实时测距方法研究[J].中国图象图形学报,2006,11(1):75-81.GUO Lei,XU You-chun,LI Ke-qiang,et al.Study on Real-time Distance Detection Based on Monocular Vision Technique[J].Journal of Image and Graphics,2006,11(1):75-81.

视觉标定篇7

为实现挖掘机器人自主挖掘、视觉导航、目标定位等控制功能,采用双目立体视觉系统采集环境信息图像。通过对图像进行预处理、分割、特征提取,形成视觉伺服控制反馈信息。挖掘机器人在进行目标物挖掘或沟渠挖掘作业时,要获得挖掘机铲斗末端与目标之间的深度信息,可采用双目视差原理对环境目标进行视觉测量。

为提高视觉测量精度,要对摄像机进行内、外参数标定,在此基础上再进行双目视觉系统标定。为此建立并分析了通用立体视觉模型及平行双目立体视觉模型,进而分析了双目视差测量原理及基于左右棋盘模板对应特征点的立体视觉标定。

双目视觉中的立体匹配问题,是视觉系统实现的关键和难点。立体匹配方法目前主要有局部匹配算法和全局匹配算法。针对挖掘机铲斗的识别特点,结合局部特征匹配方法,通过对左、右图像角点的提取实现了基于极线几何约束的特征点匹配。通过铲斗左、右图像匹配立体实验,验证了该匹配方法的有效性。

1 挖掘机器人双目立体视觉系统模型

使用2台摄像机分别从不同角度对同一场景取像,即构成双目立体视觉系统。由两个摄像机的图像平面与被测物之间构成三角形,基于视差理论获得景物的立体图像对,匹配出对应的像点,由视差计算结果和三角测量方法恢复深度信息。

双目立体视觉系统一般模型如图1所示。ol和or分别为左、右摄像机的光轴中心点,其连线olor叫基线,景物点p与ol,or点构成外极平面;Π1,Π2为左、右摄像机的成像平面,该平面与外极平面的交线m1e1和m2e2称为外极线,e1,e2叫外极点;景物点p在左右摄像机成像平面上的成像点m1,m2是对应的共轭点,图像的特征匹配过程就是寻找共轭点的过程[1]。

设左、右相机有效焦距分别为fl,fr,将左摄像机原点ol移到世界坐标系原点O处,由小孔摄像机透视投影变换模型得左摄像机透视投影变换为

$s_{l} [\begin{matrix} X_{l} \\ Y_{l} \\ 1 \end{matrix}] = [\begin{matrix} f_{l} & 0 & 0 \\ 0 & f_{l} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \end{matrix}] (1)$

右摄像机透视投影变换为

$s_{r} [\begin{matrix} X_{r} \\ Y_{r} \\ 1 \end{matrix}] = [\begin{matrix} f_{r} & 0 & 0 \\ 0 & f_{r} & 0 \\ 0 & 0 & 1 \end{matrix}] [\begin{matrix} x_{r} \\ y_{r} \\ z_{r} \end{matrix}] (2)$

左、右摄像机坐标系之间的空间位置关系可表示为

$[\begin{matrix} x_{r} \\ y_{r} \\ 1 \end{matrix}] = R [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \end{matrix}] + Τ = [\begin{matrix} r_{11} & r_{12} & r_{13} & t_{x} \\ r_{21} & r_{22} & r_{23} & t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \end{matrix}] [\begin{matrix} x_{l} \\ y_{l} \\ z_{l} \end{matrix}] (3)$

式中, R为左、右摄像机坐标系之间的旋转矩阵,T为两个坐标系原点之间的平移变换矢量。

景物点p在左、右摄像机像平面上的图像坐标分别为(Xl,Yl),(Xr,Yr),两摄像机像平面间的对应关系由式(1)-(3)得

$[\begin{matrix} X_{r} \\ Y_{r} \\ 1 \end{matrix}] = \frac{1}{ρ_{r}} [\begin{matrix} f_{r} r_{11} & f_{r} r_{12} & f_{r} r_{13} & f_{r} t_{x} \\ f_{r} r_{21} & f_{r} r_{22} & f_{r} r_{23} & f_{r} t_{y} \\ r_{31} & r_{32} & r_{33} & t_{z} \end{matrix}] [\begin{matrix} z X_{l} / f_{l} \\ z Y_{l} / f_{l} \\ z \\ 1 \end{matrix}] (4)$

因此,在已知左、右摄像机焦距fl,fr和景物点p在左、右摄像机像平面上的图像坐(Xl,Yl),(Xr,Yr)的条件下,只要求出旋转矩阵R和平移矢量T,即可求出被测物点的三维空间坐标如下

${\begin{matrix} x = z X_{l} / f \\ y = z Y_{l} / f \\ z = \frac{f_{l} (f_{r} t_{x} - X_{r} t_{z})}{X_{r} (r_{31} X_{l} + r_{32} Y_{l} + f_{l} r_{33}) - f_{r} (r_{11} X_{l} + r_{12} Y_{l} + f_{l} r_{13})} \\ \begin{matrix} \begin{matrix} \end{matrix} = \frac{f_{l} (f_{r} t_{y} - Y_{r} t_{z})}{Y_{r} (r_{31} X_{l} + r_{32} Y_{l} + f_{l} r_{33}) - f_{r} (r_{21} X_{l} + r_{22} Y_{l} + f_{l} r_{23})} \end{matrix} \end{matrix} (5)$

双目立体视觉系统的主要目的就是获取目标物的三维空间坐标。通过对二维图像的处理及对摄像机标定后,匹配左、右摄像机图像平面上的特征点,生成共轭对集合,即可根据三角测量原理,获得目标物的空间位置信息。

平行双目立体视觉是简单且应用较多的立体视觉模型,适合挖掘机器人视觉系统配置。平行双目立体视觉系统模型如图2所示。当两个摄像机理想配置时,两个摄像机坐标系只相差x轴方向上的平移量,即基线距B。

假设左、右摄像机的图像在同一平面上,则对应点的图像坐标在y方向相同,记为yu。在左、右图像上同时获得景物点p=(xc,yc,zc)的图像,图像坐标分别为pl=(Xul,Yu),pr=(Xur,Yu),摄像机焦距均为f,根据三角几何有

${\begin{matrix} X_{l} = f \frac{x_{c}}{z_{c}} \\ X_{r} = f \frac{(x_{c} - B)}{z_{c}} \\ Y_{u} = f \frac{y_{c}}{z_{c}} \end{matrix} (6)$

则求得视差为Dlr=Xl-Xr。由视差进而可求得单点p=(xc,yc,zc)在摄像机坐标系下的三维坐标为

$(x_{c}, y_{c}, z_{c}) = (\frac{B x_{l}}{D_{l r}}, \frac{B Y}{D_{l r}}, \frac{B f}{D_{l r}}) (7)$

从该式看出,只要能找到景物点在左、右摄像机像平面上的对应匹配点,就能根据视差确定该景物点的三维坐标[3]。

2 挖掘机器人双目立体视觉标定

在对单摄像机进行参数标定后,对于双目立体视觉系统,还要确定左、右摄像机之间的相对位置关系,对双目立体视觉系统进行整体标定,确定两摄像机之间的旋转矩阵Rlr及平移矢量Tlr。假设景物点在左、右摄像机像平面上的图像坐标分别为(Xl,Yl)和(Xr,Yr),进行归一化处理后,得到该特征对应点对。左摄像机与世界坐标系间的相对位置关系用旋转矩阵Rl和平移矢量Tl表示;右摄像机与世界坐标系间的相对位置关系用旋转矩阵Rr和平移矢量Tr表示。对于任一点,假设在左摄像机坐标系、右摄像机坐标系及世界坐标系下,其x轴方向的非齐次坐标分别为xl、xr、xw,则有下式[2,3]

${\begin{matrix} x_{l} = R_{l} x_{w} + Τ_{l} \\ x_{r} = R_{r} x_{w} + Τ_{r} \end{matrix} (8)$

消去中间变量xw,得到

xr=RrR-1lxl+Tr-RrR-1lTl=Rlrxl+Tlr (9)

即

${\begin{matrix} R_{l r} = R_{r} R_{l}^{- 1} \\ Τ_{l r} = Τ_{r} - R_{r} R_{l}^{- 1} Τ_{l} \end{matrix} (10)$

由式(10)看出,当分别标定出左、右摄像机的外部旋转参数矩阵Rl,Rr及平移矢量Tl,Tr后,即可由该式计算出左、右摄像机之间的相对几何位置关系[1,3]。

在实际标定操作中,先固定左、右摄像机位置,使得两个摄像机同时采集标定靶标的若干幅图像,如图3所示。图中左、右摄像机各自在同一时刻分别采集4幅图像,形成左右图像对。图4为标定模板中选用第三组左、右图像对进行对应点提取的结果。采用基于平面模板的摄像机标定方法[4],分别标定左、右摄像机内、外参数,进而对双目立体视觉系统中的左、右摄像机相对几何位置参数进行计算,标定出双目视觉系统的旋转矩阵及平移矢量,即得到双目立体视觉系统的结构参数[4]。

除上述双目立体视觉标定方法外,还有许多其他的标定方法,如基于标准长度的双目视觉系统标定方法等。实际标定操作中,可根据视觉系统的具体结构情况进行选定。

3 立体匹配

立体匹配是计算机视觉系统的基础环节,也是立体视觉的难点。其目的是寻求空间景物点在不同视点下的投影图像像素间的映像对应关系,并可据此得到相应的视差图像和深度信息[5,6]。

目前,立体匹配算法大致有3类,如图5所示。诸多算法在本质上都是遵循匹配准则下的最佳匹配基元搜索原则。

考虑到挖掘机器人铲斗目标的实际情况,采用极线几何约束下的特征匹配方法。当在铲斗上加有颜色标记块时,可以提取标记块边缘的特征点及角点。匹配过程中要根据约束准则剔除假目标点,降低误匹配。实际匹配时,依据极线约束在误差范围内对多个候选匹配点进行左右图像对的对应点搜索,在对摄像机进行准确标定的前提下,可获得准确的特征点对应的极线方程。采用基于特征的方法进行匹配时,结合极线约束,可将匹配搜索范围限定在一系列特征点上,匹配元素是具有最小距离度量的特征对。可采用欧式距离、最大最小距离等方法来度量距离[7,8,9]。

图6为采用极线几何约束下的特征匹配方法,对铲斗左右摄像机图像对进行立体匹配过程。(a),(b)为左右图像对,(c)为左右图像转换到右视图后的图像,(d)为立体匹配视差结果,由于左右图像采集时的成像条件相差较大,导致匹配结果误差也较大。

图7为Tsukuba立体图像对匹配过程。(a),(b)为左右图像对,(c)为极线几何约束下的特征匹配方法匹配结果,可以看出,在左右图像对受外界干扰较小的情况下,匹配结果比较理想。

4 结论

针对挖掘机器人工作特点,搭建了双目立体视觉系统,并建立了双目视觉系统模型。在对摄像机进行标定、特征提取的基础上,采用基于极线几何约束的特征点匹配方法,对左右图像对进行了立体匹配实验,实验结果表明该方法能满足挖掘机器人视觉系统的测量要求。

参考文献

[1]张广军.机器视觉[M].北京:科学出版社,2005.

[2]富巍,刘美俊.排爆机器人的研究与开发[M].北京:电子工业出版社,2010.

[3]徐德,谭民,李原.机器人视觉测量与控制[M].北京:国防工业出版社,2008.

[4]王福斌,刘杰,李迎燕,等.基于OpenCV的挖掘机器人摄像机参数标定[J].辽宁工程技术大学学报(自然科学版),2010,29(6):1117-1120.

[5]白明,庄严,王伟.双目立体匹配算法的研究与进展[J].控制与决策,2008,23(7):721-727.

[6]Brown M Z,Burschka D,Hager G D.Advances in computational stereo[J].IEEE Trans on PatternAnalysis and Machine Intelli-gence,2003,25(8):993-1008.

[7]戴玉超,何明一,张静,等.基于径向基神经网络的立体匹配算法[J].计算机应用研究,2008,25(11):3477-3479.

[8]张超,王琼华,李大海,等.基于SIFT匹配算法的多视点自由立体显示视差图像的生成[J].光学学报,2010,30(7):1989-1992.

视觉标定篇8

1 对双目立体视觉的认识及重新构建方法探讨

计算机视觉的含义是指通常我们所提到的关于人工智能化、计算机科学技术、图象处理技术、以及模式认知识别等各个领域的交叉学科。所包含的双目视觉是直接模拟了人类双眼视觉的生理基本结构, 更有尺寸微小、成本颇低、功耗小且效率高等特点。在空间物体的三维测量等方面更是有广阔、无可取代的发展前途。现如今世界上最火热的话题之一也是对双目立体视觉的探讨, 实际上的应用更加广泛, 摄影机标定、图像显示预先处理、立体化匹配和三维数据重新构建, 更是对这一系列进行更深的数据试验。通过研究摄影头硬件原理和对摄像头进行的各种测试, 选择设计并制定了双目视觉试验机构, 主要目的是组建了双目立体视觉试验系统, 更制作了高精度的相片编订模板, 提出了可以实现对双目立体视觉系统的低成本、高精度标定的一种二次标定的方法。双目视觉图像可以很迅速的去除图像上成像噪声, 将左右图像的亮度对比缩到最小, 更是将增强画面感, 清晰度。

2 关于双目立体视觉的大尺寸测量系统的研究

工件的质量和后期产品的在线加工都得通过大工件尺寸的测量, 如果工件的尺寸较大的话, 用一般的测量工具是很难对其进行测量的, 关于测量系统我们作以下分析, 它是模仿人类眼睛的视觉功能对所看见的物体进行测量, 构成的成分有图像数据输入、摄像机标定、立体三维信息匹配、三维尺寸重新构建、结果数据输出部分。双目立体视觉测量技术具有测量精度高、结构简单、柔韧性好的特点, 也是一种非接触性的测量技术。社会飞速发展, 科技进步的时代, 它在不同的领域得到了广泛的应用, 其中双目立体视觉测量技术研究的重热点一直是双目立体视觉传感器的测量精度。这些年来, 这些学者做了大量研究而工作, 双目立体视觉测量系统的数学模型和图像特征点匹配算法的研究已然是重中之重。视觉测量系统信息摄取的感知器是双目立体视觉传感器, 它的结构参数影响着测量系统的总体测量精度的可靠性。试验设计包括一系列试验和分析方法, 正确的分析结果和获得最优化方案的一种数学方法。通过试验的结果表明, 建立双目立体视觉传感器参数和立体视觉传感器的测量精度的回归方程式求出参数组合, 将双目立体视觉传感器的测量精度大大增强。

而其中提到的特征点匹配算法对确定性退火的点匹配算法的改进给出新的目标函数形式, 匹配矩阵被相似性度量值约束, 减少计算量, 加快算法速度, 得到最好的解。

还有一种匹配算法是对以往算法进行改进, 利用原始的算法找到新颖的方法得到几何不变量, 给出结论, 推导出最大匹配点和参数。

双目立体视觉作为被计算机视觉领域研究的焦点, 所采用的原理是对人视觉所成像进行处理模仿, 通过两个不同视觉切入点对同一物像进行观察分析, 获得在不同视觉成像角度的物象图像, 三角测量原理对图象像素在位置上出现的偏差进行计算, 重新构建物体成像信息, 在三维空间建立坐标取得有效的结果。利用双目立体视觉相关原理, 在三维重构系统的基础下对摄影机进行有关探讨和研究, 实现双目立体视觉三维重构系统。建立在对双目立体视觉进行综述的基础上, 对双目立体视觉的三维坐标恢复方法进行研究, 从得到的参数中、计算匹配点的三维坐标值, 得到场景物体的信息利用重构法, 恢复三维物体模型, 从不同角度观察。

3 双目立体视觉及视觉测量系统测量特点

双目立体视觉测量有很多优点, 自动化程度高, 速度精准度都很高, 操作起来及其容易上手, 这样的新新工具取代以往复杂繁琐的工具, 将会在很多地方发挥它与众不同的魅力。双目立体视觉技术属于被动测距, 它可以在物体深度信息的方法的基础上达到对三维信息的认识。双目视觉的测量精度被系统参数影响着, 和每个几何参数都有联系, 互相约束, 彼此依存, 通过分析双目视觉系统的几何参数和参数关系, 不同的几何参数数据和精准参数范围, 提高双目视觉系统的检测精度达到分析理论正确性的目的。

4 结语

双目立体视觉通过直接模拟人类双眼视觉生理结构, 在空间物体三维测量领域有广阔的市场发展前途, 当下已然成为世界最热门探究话题之一。根据我国国情, 目前发展水平, 科学技术的发展现状来看, 要想发展双目视觉系统技术, 达到类似于人眼的构造, 需要我们深入学习探讨, 再接再厉, 进行大量研究, 数据分析探索。这一学科也将慢慢进步, 应用到生活之中, 工业生产, 医学等关键地方, 甚至与在航天, 军事等地都广泛应用, 我国处于正在发展的阶段, 更需要共同努力, 为此发展尽最大能力, 做出贡献。

摘要：为了稳定和提高双目立体视觉测量系统的精度, 提出了一种便于操作的较为简单的规范性流程, 其主要是通过对平面板标定理论, 对摄像机左右两个内部参数进行确定, 然后通过确定的内部参数作为双目标定的参考, 在多视角这个前提下, 完成对双目测量系统外部参数的标定。双目立体视觉测量系统标定方法在提高双目测量系统的精度上具有积极的作用, 在整个标定过程中, 双目测量系统参数是保证高精度的重要因素, 该方法在双目立体视觉测量的工业化检验中应该得到广泛的应用, 下面进行如下的研究。摘要

关键词：双目立体视觉,测量系统,内参线

参考文献

[1]何万涛, 梁永波, 李景贺.双目立体视觉测量系统标定方法[J].黑龙江科技学院学报, 2013.

[2]熊志.基于双目立体视觉的大尺寸测量系统的研究[D].秦皇岛:燕山大学, 2006.

视觉标定篇9

采用人工进行食品分级与分拣的缺点是生产效率低、劳动强度大、卫生差和产品质量一致性差,直接影响到企业的经济效益和社会效应。利用视觉伺服和机械臂技术进行食品的实时运动跟踪具有速度快、精度高与重复性好的优点。基于视觉伺服技术的食品分拣机械臂进行食品的快速分拣,可以显著提高食品的分拣效率, 保证食品生产的卫生和质量, 降低操作者劳动强度,这是食品生产分级与分拣发展的必然趋势。

利用视觉传感器得到的图像作为反馈信息,可构造分拣机械臂的闭环控制,即视觉伺服(Visual Servoing)。视觉伺服的准确定义首先是由Hill和Par提出的[1],是用视觉信息构成机械臂末端的位置闭环控制,以实现对机械臂的控制为目的而进行图像的自动获取和分析。它不同于通常所说的机器视觉(Machine Vision),而是利用机器视觉的原理,从直接得到的图像反馈信息中快速进行图像处理,在尽量短的时间内给出反馈信息,构成分拣机械臂的闭环控制。视觉伺服与基于传统传感器的分拣机械臂控制相比,具有比较明显的优点,即更高的灵活性、更高的精度和能够对机械臂标定误差具有强的鲁棒性等。以上优点决定了机械臂视觉伺服在较短的时间里成为机器人研究领域中的热点之一,并在工农业生产和海洋探测等众多领域得到了成功的应用。

目前,视觉伺服技术可分为基于位置的和基于图像的视觉伺服,以及2.5D结构控制[2,3]。这些方法的实现都需要精确地标定摄像机模型和机械臂运动学模型,但在实际中不可能实现对系统的精确标定[4],因而大大限制了视觉伺服在分拣机械臂中的应用。本文针对这一不足提出了一种“眼在手上”系统无标定视觉伺服算法,同时针对所提算法提出了对动态残差项的估计方法,提高系统的稳定性。控制器采用基于最小二乘最小化的动态拟牛顿法,既能跟踪运动的食品目标,又可跟踪静止的食品目标,不需要对摄像机和分拣机械臂标定和再标定。这种控制方法是不依赖于系统模型的,浪费在系统建模和系统标定的时间被取消了,同时也摆脱了不精确标定的影响。

1 “眼在手上”系统无标定视觉伺服算法

1.1 非线性目标函数最小化

“眼在手上”系统的控制算法的实现目标是随着目标食品物体的运动,通过安装在分拣机器手上的摄像机所获得的信息,驱动分拣机器手随着目标食品的运动而运动,以使摄像机和目标食品的相对位置保持不变。

在一个摄像机固定的系统中,由于参考输入的变化规律是在一开始就给定的,所以它的未来值是可以求出的。图像雅克比矩阵仅仅是一个关于机械臂关节角的函数,随着时间的变化,关节角在任何时刻可能取任意值,但采用“眼在手上”系统跟踪一运动物体时,摄像机会随着机器手而移动,目标的图像特征函数不仅仅是关于时间的,还是关于机械臂关节角的复合函数。因此,针对摄像机固定系统的无标定视觉伺服算法不再适合“眼在手上”系统。在文献[5]中,将针对摄像机固定的控制算法直接应用于“眼在手上”系统中,会导致系统对目标物体的跟踪不精确。在“眼在手上”系统中,摄像机要在任务进行过程中随着机器手的运动而运动,所以针对此类系统,需要对摄像机运动而引起的图像雅可比矩阵的变化做出估计,而图像雅克比矩阵关于时间的变化量需要计算。

在“眼在手上”系统中,摄像机要随着机器手的运动而运动,即使目标是静止的,由于摄像机的运动,它在图像上的位置也是要变化的。因此,定义目标在图像上的实时位置为e(q,t)=[e1,e2,…,em]T,它是一个关于时间t和关节角q的复合函数。理想位置可定义为c=[c1,c2,…,cm]T,则在图像平面上物体的实时位置和理想位置的差可定义为

f(q,t)=e(q,t)-c (1)

本文根据非线性方差最小化原理,推导眼在手上系统的无标定视觉伺服策略。定义方差最小化函数

$F (q, t) = \frac{1}{2} f^{Τ} (q, t) f (q, t)$ (2)

将式(2)在(qk,tk)点展开台劳级数,即

$\begin{array}{l} F (q, t) = F (q_{k}, t_{k}) + \frac{\partial F_{k}}{\partial q} (q - q_{k}) + \\ \frac{\partial F_{k}}{\partial t} (t - t_{k}) + \dots (3) \end{array}$

F(q,t)具有最小值,对其求极值为

$\frac{\partial F_{k}}{\partial q} + \frac{\partial^{2} F_{k}}{\partial q^{2}} (q - q_{k}) + \frac{\partial^{2} F_{k}}{\partial t \partial q} (t - t_{k}) + o (△^{2}) = 0$ (4)

式中 o(△2)—F(q,t)关于时间和关节角增量的二阶导数。

对上式合并整理并且离散化得

$q_{k + 1} = q_{k} - \frac{\frac{\partial^{2} F_{k}}{\partial t \partial q} (△ t) + \frac{\partial F_{k}}{\partial q}}{\frac{\partial^{2} F_{k}}{\partial q^{2}}}$ (5)

$\begin{array}{l} \frac{\partial F_{k}}{\partial q} = J_{k}^{Τ} f_{k} \\ \frac{\partial^{2} F_{k}}{\partial t \partial q} = J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} + \frac{\partial J_{k}^{Τ}}{\partial t} f_{k} = J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} + U_{k} \\ \frac{\partial^{2} F_{k}}{\partial q^{2}} = J_{k}^{Τ} J_{k} + \frac{\partial J_{k}^{Τ}}{\partial q} f_{k} = J_{k}^{Τ} J_{k} + S_{k} \\ f_{k} = f (q_{k}, t_{k}) \\ J_{k} = \frac{\partial f_{k}}{\partial q} \\ U_{k} = \frac{\partial J_{k}^{Τ}}{\partial t} f_{k} \end{array}$

Δt—采样周期。

重新带入并整理得

$q_{k + 1} = q_{k} - \frac{J_{k}^{Τ} f_{k} + (J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} Δ t + \frac{\partial J_{k}^{Τ}}{\partial t} f_{k} \times Δ t)}{J_{k}^{Τ} J_{k} + S_{k}}$ (6)

在式(6)中, $J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} Δ t$ 体现了目标物体的运动速度,它用来线性预测误差在下一个时间增量时刻的矢量。当目标物体的运动速度为0时,fk仅仅是关于qk的函数了。

1.2 图像雅克比矩阵变化量的动态估计

图像雅克比矩阵仅仅是一个关于机械臂关节角的函数,针对摄像机固定系统的无标定视觉伺服算法不再适合“眼在手上”系统,因此需要估计出由摄像机运动引起的图像雅克比矩阵的变化量。

根据式(6),令

$U_{k} \times Δ t = \frac{\partial J_{k}^{Τ}}{\partial t} f_{k} \times (Δ t)$ (7)

上式可化为

$U_{k} \approx \frac{J_{k}^{Τ} - J_{k - 1}^{Τ}}{Δ t} \times f_{k}$ (8)

将式(8)代入式(7)整理得

Uk×Δt=(J $_{k}^{Τ}$ -J $_{k - 1}^{Τ}$ )×fk (9)

所以,针对“眼在手上”结构有

$q_{k + 1} = q_{k} - \frac{J_{k}^{Τ} f_{k} + (J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} Δ t + (J_{k}^{Τ} - J_{k - 1}^{Τ}) \times f_{k})}{J_{k}^{Τ} J_{k} + S_{k}} (10)$

2 动态残差项和运动目标位移估计

在式(6)中,Sk的值难以计算,但f如果在初始时刻的选取就较小(即小偏差)。在控制过程中f将随着θ逐渐趋近于目标值而趋近于0,所以这种情况下Sk可以忽略不计[6,7,8]。这种条件在实验室中很容易取得,当前都是采用将动态残差项忽略不计这一方法。可是,当动态残差项较大时,Sk的值可能出现大于JTkJk的情况,这时如果省略掉Sk,系统的响应会变坏,严重的还无法完成跟踪任务。因此,提出了对Sk的估计。

$S_{k} = \frac{\partial J_{k}^{Τ}}{\partial q} f_{k} = \sum_{i = 1}^{m} \frac{\partial^{2} f_{i} (q_{k}, t_{k})}{\partial q^{2}} \times f_{i} (q_{k}, t_{k})$ (11)

$\sum_{i = 1}^{m} \frac{\partial J_{k}^{Τ}}{\partial q} = \sum_{i = 1}^{m} \frac{\frac{\partial f_{i} (q_{k}, t_{k})}{\partial q} - \frac{\partial f_{i} (q_{k - 1}, t_{k - 1})}{\partial q}}{q_{k} - q_{k - 1}}$ (12)

将式(12)代入式(11)中,则有

$S_{k} = \sum_{i = 1}^{m} \frac{\frac{\partial f_{i} (q_{k}, t_{k})}{\partial q} - \frac{\partial f_{i} (q_{k - 1}, t_{k - 1})}{\partial q}}{q_{k} - q_{k - 1}} \times f_{i} (q_{k}, t_{k}) (13)$

将式(13)两边同时乘以Δq得

Sk×Δq=(Jk-Jk-1)×fk

将上式两边同时转置并求得最小范数解为

$S_{k} = \frac{(J_{k} - J_{k - 1}) f_{k} Δ q^{Τ}}{Δ q^{Τ} Δ q}$ (14)

综上所述,这种的摄像机固定系统的动态无标定视觉伺服算法可总结为

$q_{k + 1} = q_{k} - \frac{J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} (t_{k + 1} - t_{k}) + J_{k}^{Τ} f_{k}}{J_{k}^{Τ} J_{k} + \frac{(J_{k} - J_{k - 1}) f_{k} Δ q^{Τ}}{Δ q^{Τ} Δ q}}$ (15)

$\begin{array}{l} p_{k} = \frac{1}{λ} (p_{k - 1} - \frac{p_{k - 1} Δ q Δ q^{Τ} p_{k - 1}}{λ + Δ q^{Τ} p_{k} Δ q}, \\ p_{0} = 100 000 Ι, Ι \in R^{2} (16) \end{array}$

$\overset{\land}{J}_{k} = \overset{\land}{J}_{k + 1} + \frac{(Δ f - \overset{\land}{J}_{k - 1} Δ q - \frac{\partial f_{k}}{\partial t} Δ t) Δ q^{Τ} p_{k - 1}}{λ + Δ q^{Τ} p_{k - 1} Δ q}$ (17)

“眼在手上”系统的动态无标定视觉伺服控制的算法可表示为

$q_{k + 1} = q_{k} - \frac{J_{k}^{Τ} f_{k} + (J_{k}^{Τ} \frac{\partial f_{k}}{\partial t} Δ t + (J_{k}^{Τ} - J_{k - 1}^{Τ}) \times f_{k})}{J_{k}^{Τ} J_{k} + \frac{(J_{k} - J_{k - 1}) f_{k} Δ q^{Τ}}{Δ q^{Τ} Δ q}} (18)$

3 仿真实验

本节将要介绍“眼在手上”仿真试验和结果,其目的是证明在对“动态残差项”估计的情况下,分别在是否对因摄像机运动而产生的雅可比矩阵变化量做出估计两种情况下的系统响应做出对比。仿真实验是在MATLAB平台下完成,并且使用了Corke开发的机器人工具箱[9]。

机械臂为二连杆,每一连杆长度为1m。摄像机安装在机械臂末端执行器上,与机械臂的终端架重合,对传感器数据没有施加噪声。摄像机焦距为6mm,图像分辨率为Nx=Ny=5/20(mm/pixel),平面为320×320像素。p0=100 000I, I∈R2,当偏差项小于5个像素时,λ=0.9,否则λ=0.08。采样时间为T=33ms。运动目标物体和机械臂末端执行器的位置处于摄像机的视野内。随着目标物体的运动,误差会逐渐最小化。因为摄像机随机器手运动,所以在误差最小时,摄像机会与目标保持恒定的相对位置。在实验的最开始,机器手离目标较远,为得到图像雅克比矩阵的初值,机器手移动角度为[0.6,0.4],则雅克比矩阵的初值被计算为

$[\begin{matrix} - 0.436 & - 0.273 2 \\ 2.917 0 & 1.858 5 \end{matrix}]$

。仿真试验开始,目标物体在一个固定的框架内做圆周运动,方向不变,目标的运动轨迹为 (2cos(0.1t),2sin(0.1t)),起始位置为(68,0),机器手的起始位置为(-30,50)。物体运动速度为0.8pixel/ms,实验的目的是随着运动目标的运动,使机器手相对于目标的位置不变。图1为没有对因摄像机运动而产生的雅可比矩阵变化量做出估计的情况下的仿真结果曲线,图2为对因摄像机运动而产生的雅可比矩阵变化量做出估计的情况下的仿真结果曲线。

从图1中可以看到,机械臂无法完成对运动目标的跟踪,机械臂在跟踪了近50步以后,出现了发散点,最后无法计算出机械臂关节角。

图2表明,在施加了对图像雅可比矩阵变化量做出动态估计的条件下,机械臂可以实现对目标物体的跟踪。

图2(b)和图2(c)分别表示在此条件下图像平面x方向和y方向的跟踪误差。可以看出,系统出现了个别的发散点,在其余的控制周期内均可以实现较为稳定的跟踪。x和y方向的平均误差均在5个像素以内,表明提出的控制策略是行之有效的。

4 结论

食品分拣机械臂作业的成熟实用化的关键技术之一是视觉伺服技术,而传统的视觉伺服方法都需要精确的标定摄像机模型和机械臂运动学模型。本文提出了基于动态的方差最小化原理控制机器人,采用动态的拟牛顿法估计图像雅克比矩阵可以把科研人员从标定摄像机和机器人模型的窠臼中解放出来,对动态残差项估计的控制方法可以大大地改善系统的输出响应,增强了无标定视觉伺服理论的实用性。针对一个“眼在手上”结构的系统,对图像雅可比比矩阵的变化量做出估计。仿真试验证明,本文提出的各种算法是有效的,取得了较好的效果。

摘要：食品分拣机械臂作业成熟实用化要解决的关键技术之一是视觉伺服技术。针对通用分拣机械臂提出一种“眼在手上”系统无标定视觉伺服算法用于主动跟踪目标食品。该算法基于动态的方差最小化原理控制机械臂,采用动态的拟牛顿法估计图像雅克比矩阵,为改善系统的输出响应也对动态残差项进行了估计,增强了无标定视觉伺服理论的实用性,最后通过仿真验证了所提算法的有效性和可行性。

关键词：食品分拣,无标定视觉伺服,机械臂

参考文献

[1]D P Anderson,Bot.Robot with a mobile camera[C]//Proc9th International Symposium on Industrial Robotics.Wash-ington:Wiley,1979:233-246.

[2]S Hutchinson,G Hager,P Corke.A tutorial introduction onvisual servo control[J].IEEE Trans on Robotics and Auto-mation,1996,12(5):651-670.

[3] F Chaumette, E Malis. 2 1/2 D visual servoing: A possible solution to improve image-based and position based visual servoings[C]//IEEE International Conference on Robotics and Automation,2000:630-635.

[4]E Malis.Visual servoing invarant to changes in camera-in-trinsic parameters[J].IEEE Trans on Robotics and Automa-tion,2004,20(1):72-81.

[5] J A Piepmeier. Experimental results for uncalibrated eye-in-hand visual servoing[C]//Proc IEEE Int Conf Robotics and Automation, 2003,335-339.

[6]Janabi,sharifi,Wilson.Automatic selection of image fea-tures for visual servoing[J].IEEE Transaions on Robotiesand Automation,1997,13(6):890-903.

[7] J T Feddema, C S G Lee,P R Mitchell. weighted selection of image features for resolved rate visual feed back control[J].IEEE Transeations on Robotics and Automation, 1991,7(l):31-47.

[8]J T Feddema,C S G Lee and P.R.Mitchell.Feature-based visual servoing of robotic system[M].Singapore:Vis-ual Servoing,World Scientific publishing,1993:105-137.

本文来自 360文秘网(www.360wenmi.com)，转载请保留网址和出处

【视觉标定】相关文章：

双目立体视觉系统的摄像机标定技术09-12

基于视觉测量的飞行器舵面角位移传感器标定09-10

像机标定05-24

图像标定08-16

标定计算08-22

自适应标定07-19

标定试验分析08-11

模型桨叶标定技术研究08-26

利用合成地震记录标定火成岩层09-10

CT系统参数标定及成像09-10