机器视觉

机器视觉（精选十篇）

机器视觉 篇1

想将检测时间降低一个数量级、提高检测质量、降低成本、增加工人满意度、提高安全性和减少不确定度?先进的机器视觉技术是你的绝好选择。用户、系统集成商和机器视觉产品供应商跟踪了如下结果:

■与3英里每小时 (mph) 的人眼检测速度相比, 自动3D检测速度可以达到30英里每小时。

■无级调解产品的机器人维修。

■以200m/min的速度对生产和结构疵点进行网面检测, 比肉眼速度快10倍。

■每秒记数450个形状各异、大小不同的物体, 精度高达99%。

■每份中可以对1200个不同颜色和大小的产品进行检测并做出合格判定, 可以设置10个以上的合格判据, 精度在95%到99%之间。花费只有预期的1/3, 9个月即可收回成本。

感受机器视觉带来的便利包括:

为了更快的进行检测, Nagle Rearch将Scik3D技术整合到获专利的Georgetown Rail Aurora轨道检测系统之中。图片显示了木制枕木 (上图) 和混凝土枕木 (右图) 。左上图是装载视觉系统的卡车, 可以消除人为检测的困难和不准确。

3D摄像头可以以30mph的速度监测铁路

你愿意沿着铁路边走边找疵点, 还是愿意坐在车上以30mph的速度前行, 而把工作留给3D摄像头去完成, 并且可以每小时检测70000节铁轨, 每天检测几百英里?对于9英尺枕木的检测长期以来被认为是轨道维护的“宝石”, 它可以确保工人的安全、舒适, 且便于制定维护计划。

当检查员们沿着铁轨边走边对每一根枕木进行判断的时候, 高稳定性的枕木检测向传统的铁轨检测和枕木维护发起了挑战, 为什么?

■肉眼检测人员对“好”或“坏”的判断准则是一直变化的;

■两个检测人员对同一根铁轨的评价不可能完全一致;

■检测人员在每一次评价上只能用仅仅1秒钟;

■而且铁路路况条件繁复多变。

来自于德克萨斯州Austin公司的Nagle发现2D检测并不适合枕木的检测, 原因是枕木表面的污染物很多。Nagle将3D版本的Sick Ranger高速摄像头集成到轨道用小型载货车上, 用来检测枕木的几何结构, 不考虑颜色和对比度的影响。此产品叫作Georgetown Rail Aurora 3D轨道检测系统 (获美国和国际专利) , 它可以记录铁轨的全尺寸, 每个坐标方向上以每小时30公里的速度捕捉三位表面图像, 解析度可以达到0.04英寸。

Georgetown Rail号称此系统可以精确地检测木制枕木、混凝土枕木、铁钉、铆钉和枕木垫板。它还可以测量枕木间距和铁轨基座腐蚀程度。

Nagle列举了一系列用户分析软件, 它们可以处理数以G计的数据, 并针对超过12个枕木条件生成详细报告, 对有问题的枕木还可以回传3D图像。检测完成后48小时内, 可以针对轴承、曲率、标题、英里标识、枕木位置的全球定位数据、铁轨接缝检测、单一枕木或枕木群上的铁轨基座腐蚀、轨底坡、枕木间距、枕木垫板和铁钉分级等信息增加变量, 以符合用户需求。

在北美广泛使用的Aurora系统迅速扩展到欧洲和其他市场。视频展示了3D检测系统的强大功能。

www.georgetownrail.com/aurora.php

www.nagleresearch.com

www.sickusa.com/machinevision

散落物体计数

对数量、次数以及轴承滚球、化学药粒、种子、医药品等高速高频落体加工领域中的对象位置的测量对系统的精确测量能力提出了新的要求。这样的系统可以改进生产厂商的流程和控制质量。传统的技术已经弊端尽露:

油脂皮带机系统不是实时测量系统, 需要测量前预处理。LED/光电检测或者栅格提供实时、高速的测量, 但是其空间解析度不高, 最低只能检测4mm的物体, 而且对多种物体形成的物块也无能为力。

带有一个线扫描摄像头的基于机器视觉的系统已经证明比油脂皮带机系统和LED/光电栅格检测法更好, 但是单一摄像头仍旧无法区别物块或多重物体, 因为其太接近了, 看起来就像一个物体。

通过使用V I Engineering机器视觉系统辅以National Instruments组件、软件和在同一个平面垂直于敏感区域的2个线扫描摄像头和线性背景光源, John Deere每秒钟可以计数450个零件。

设计的目标是为John Deere搭建一套系统, 用于时间间距和高速下落物体XY轴物位的检测, 区分物块中的每一个物体, 同时确保精度高于99%, 检测速率每秒200个。

V I Engineering公司设计了一套基于IEEE1394的线扫描摄像头和逆光单元的机器视觉系统。使用了专门的图像采集算法, 性能超过预期。最小检测尺寸小于1mm, 最大检测尺寸超过25mm, 物体下落速率可以高达每秒450个。系统采用了National Instruments Labview公司的N I图像开发模组和针对1 3 9 4的N I-I m a g组件。PC需插装一块NI PCI-8252接口卡, 连接两个先扫描摄像头。PCI Express技术协助完成规范系统以及机器视觉。

此系统的开发性能超过了预期要求, 可以识别、匹配、计数和测量不规则形状的物体。John Deere使用此系统协助产品开发和完善加工工艺。

通过使用逆光技术, 每一个物体都表现为白色背景上的一个黑色质点, 表面状况、亮度和颜色都无需关注, 所以视觉算法不用随着物体的外观作调整。仅靠着两个摄像头的图像, 视觉算法就可以匹配和区分所有物体, 并且还能区分成堆物块。

远心镜头可以消除物体失真, 但是为了节约成本, 补偿是通过软件来实现的。

www.ni.com

www.pciexpress.org

www.viengineering.com

敏锐的机器人视觉

SIR——意大利一家机器制造商, 专营机器人产品, 它使用Cognex公司的PatMax视觉工具开发了一套独一无二的自动化工作单元, 用于二次加工 (打磨和表面处理) 。二次加工刀具是预先集成在系统中的。二次加工需要很多决策技巧, 由于产品是随机的, 而且也没有两把刀具是完全一样的。反复的磨损, 使刀具已经丧失了原来的形状, 这样就无法计算刀具轮廓。

机器人在视觉系统实时刀具形状预测的帮助下将刀具定位。视觉系统还能记住刀柄的类型, 然后扫描刀刃, 计算重构原始形状。得到轮廓之后, 第一次刀刃分析会区别分析每一个不规则点。太多的偏差会触发正常工作循环的修改。

视觉系统分析完成之后, 会选择一个标准轮廓恢复刀具的原始形状, 第二个分析循环校验刀刃等级, 修改工作参数, 例如进刀速度和入刀角度。下一步确定入刀点, 避免损坏刀柄, 如果考虑角度和刀尖形状, 甚至连出刀点也可以确定。机器人手臂夹持刀具分别研磨每一边, 然后冲刷刀具, 确保刀刃边缘平滑, 最后冷冲刃口。

Kuka机器人装配有Cognex视觉系统:一块MVS-8501图像采集卡, 带有PatMax、Blob和Caliper工具的VisionPro软件。采集卡连接一个标准解析度的模拟摄像头, 光源作为可选组件。

www.cognex

www.kuka.com

www.sir-mo.it

这里唯一可以确定的就是钝刀锋导致的无限变异。作为应对, SIR在两处使用Cognex的视觉系统, 使Kuka机器人工作起来完好如初。

纺织品加工业关注速度和精度

纺织品加工业的特点是产品的多样性, 每一步的错误会影响下一步的生产。纺织工业产品种类繁多, 从传统的机织或针织布料到车辆和保护器具用玻璃纤维和功能针织品。在以前, 纺织品的检测分两步。首先, 机器操作人员关注工艺流程, 将生产的各项参数调整到可以接受的范围内。此时的生产率不能超过150件每分钟, 否则质量判别将仅限于粗略评价。其次, 详细地流水线下检测将更多地针对生产瑕疵。整个检测流程可以由多个检测人员同步进行, 每个检测人员的能力会很大程度上影响检测结果。

这台标签机是由Shelton Vision Systems使用Dalsa视觉技术进行设计, 包括一个可用于探测缺陷和标记、并对其分类的低角度检测平台。

Shelton Vision Systems公司开发了Shelton WebSpector表面检测系统。此系统在一条玻璃纤维生产线上对生产和结构瑕疵的检测速度高达每分钟200m, 而精度和稳定性都高于肉眼在每分钟20m的速度下的检测性能。它可以识别并记录变化, 包括产品尺寸、宽度、颜色、生产率、环境和织物构造Shelton说此系统使用Dalsa Spyder系列线扫描CCD (电荷耦合装置) 摄像头, 确保了低光照条件下的性能, 并且有较高的性价比Dalsa X64-CL iPro通过抓图方式获取数据;Dalsa WiT 8.3是基于视觉变成的视觉软件。

www.dalsa.com

www.sheltonvision.co.uk/vision

质量检测中的精确合格判定

Mold-Rite Plastics Inc.是专业的制药业容器和外壳生产商, 它正致力于提高生产线自动检测的质量, 以达到制药业的严格要求。要对不同颜色和尺寸的盖子和外壳进行超过10种的合格判定, 速率要达到每分钟1200个。一套质量检验程序用于确保合格判定的准确率在95%和99%之间, 远远超过从前。

在安装模式下 (上图) , 操作员可以轻松安装盖子周围的环、以及儿童伤害的预防装置。西门子视觉系统从这里学习和安装检测。在运行模式下, 底部右侧的缺陷图显示“正常”, 允许用户在产品运行时设置容忍度。

Mold-Rite自动化的经理Dave Cross安装了此系统, 他说道:盖子的直径从1英寸到4英寸不等, 颜色各异, 相应地, 生产盖子的流水线的颜色也颜色各异。S i e m e n s公司和Mold-Rite公司的Cross等人合作, 搭建模拟视觉系统, 以求研究视觉系统以及机器设计上需做的变化。 (大约$12, 000作为系统集成的费用被投入到此项目中, 不包括在机器视觉系统本身的费用之内。) Siemens公司承诺准确率会达到95%甚至更高。

虽然人眼每秒钟可以模糊地看到20个盖子, 是滚轮和传送带的配合可以使每一个零件就像白色闪光一样, 但对于摄像头来说, 已经足够了。

一个典型的用户界面可以使操作员迅速搭建起视觉系统, 用来检测不同的盖子和颜色组合。

Siemens Energy&Automation机器视觉系统美国市场部经理Glenn Symonds说:Siemens公司的Simatic 1744 Visionscape Accelerated Frame抓图器安装在电脑上, 再与两个先进的CM1100双速扫描摄像头相连。DF-150-3红色环形灯和BL75x75红色背光作为盖子的照明。Simatic Opto IO板作为与PLC的接口, 接受处罚和控制信息, 传送通过与否和系统状态信息。这套系统的优点是, 一套系统就可以检测所有型号的盖子, 操作工和技术人员很容易上手。Cross说Mold-Rite在原型搭建和设计上的费用是$7, 000到$8, 000, 全部的费用大约只占预期的2/3, 他很巧妙地回避了总费用。他说, 成本9个月可以收回。

www.mrpcap.com

www.sea.siemens.com/mv

更多相关文章, 请查看以下内容:

机器视觉系统概述blog.cechinamag.com/jshfq/36272/message.aspx

机器视觉在中国blog.cechinamag.com/jshfq/36273/message.aspx

机器视觉系统典型应用行业blog.cechinamag.com/jshfq/40176/message.aspx

机器视觉系统在烟草行业的成功应用bbs.cechinamag.com/?url=http://bbs.cechinamag.com/showtopic.aspx?id=41336

机器视觉照明在白天和夜间的区别

机器人视觉小结（模版） 篇2

机器人定位是机器人研究与应用领域的一个重要课题，是实现机器人智能化的前提。移动机器人视觉定位技术是通过移动机器人摄像头获取周围景物的图像，将图像通过图像处理的方法得到清晰的图像，并利用图像中的一些自然或人造的特征得到移动机器人与目标物体的相对位置，从而确定工作环境中移动机器人位置及姿态。这些自然或人造的有明显特征的景物称为路标，它很容易被移动机器人识别。路标可以分为两类：人工路标和自然路标。人工路标是在机器人工作环境中人为放置物体和标识来实现机器人定位。自然路标是机器人的工作环境中固有的物体或自然特征。

根据摄像机的数目，视觉定位可以分为单目视觉定位、双目视觉定位和多目视觉定位。多目视觉可以观察到更为丰富的目标信息，但是视觉控制器模型的设计较复杂，需要多幅图像进行匹配，且系统稳定性差。双目视觉通过两个不同方向的摄像头观察目标物体，利用三角测量原理计算图像像素间坐标差异，得到目标物体的三维信息。在双目视觉中，最困难的部分是解决立体视觉中的两相机间的最优距离和特征点的匹配问题，由于景物重复特征易产生假匹配，在摄像机基线距离增大时，遮挡严重，减少了重建的空间点。单目视觉的定位方法简单易用，实时性强，并且适用范围广。

视觉是人类获得外界信息的主要途径之一，机器人视觉是使机器人具有视觉感知的功能，通过视觉传感器获取目标物体的二值图像，利用图像处理的算法进行分析，使机器人识别目标物体并确定其位置。

数字图像处理是移动机器人视觉定位的关键技术。数字图像处理又称为计算机图像处理，它是使用数字计算机对获得的目标图像进行预处理，改善图像的质量及性噪比，并实现图像的识别和定位。数字图像系统由计算机软硬件系统组成，软件系统是基于数字图像处理的理论和算法而设计的一系列程序，实现对图像的基本操作。它可以分为以下几个方面：图像信息的获取、采集、处理和输出。图像处理主要包括 8 个步骤。

(1)几何处理 主要包括图像坐标变换及图像的畸形校正等。(2)算术处理 主要针对图像的像素进行的加减乘除运算。(3)图像增强 突出图像中的有用信息，同时减弱或去除无用信息，以改善图像的质量，加强图像的识别功能，满足某些特殊分析的需要。

(4)图像复原 根据退化过程的先验知识，恢复已被退化图像的原来面目。

(5)图像编码 根据图像的统计特性和人类的视觉特性，降低图像相关性，消除冗余信息，使用较少比特数表示图像或图像中所包含信息的技术，其研究与图像数据压缩相关。

(6)图像分割 根据图像的特征，将图像划分为互不重叠的区域，以便快速准确的提取出有用的信息，实现图像分析和识别功能。

(7)图像模式识别 是研究图像处理中技术的新兴方向，在图像分割的基础上进行特征提取，并识别图像的内容。(8)图像的分析和理解 图像处理的最后步骤，根据数学模型和图像处理的算法进行推理，从而实现图像的分析。

图像处理技术是使用计算机对安装在机器人头部的摄像机输入的二位连续图像进行处理和识别，确定物体的位置、方向、属性以及其他状态等。在移动机器人视觉定位中，需要使用图像处理技术，得到需要的图像信息。

为了提高提高机器人的视觉定位准确度，增强机器人的识别能力，需要对原始图像中的噪声、畸变给与去除和修正。这种突出有用信息、抑制无用信息和提高输出图像质量的处理技术被为图像的预处理。

对采集到的彩色图像首先要进行灰度变换，彩色图像转变为灰度图像后，可以对目标图像进行各种处理，消除图像中的噪声成分叫作图像的平滑或滤波，本文主要介绍了中值滤波这种常用算法。图像预处理为下一步的图像分析做准备。

移动机器人视觉定位是机器人实现导航功能的基础，是实现机器人智能化的关键技术之一，也是一个备受关注、富有挑战性的重要研究课题。随着科学技术的不断发展，在生产、生活、工业和医疗等各个领域得到了广泛应用，各国也着力于移动机器人的研究。

移动机器人定位利用各种传感器为机器人提供实时周围环境信息和地图知识，并根据这些环境信息与地图知识确定机器人本身的位姿。目视利用视觉系统对周围环境进行感知并实现定位的视觉定位是机器人定位方法中的一种常用方法，移动过程中的机器人通过摄像头提供视觉系统，获取周围景物中可以作为路标的信息，处理这些带有路标的图像，提取图像特征，并将其反应到实际坐标的地面中，对机器人运动中拍摄的实际图像进行匹配，根据特征点的位移关系，结合自身信息，计算机器人在x和 y 方向上的位移，确定机器人在实际环境中的位置，实现视觉定位过程。根据实验的实时性，移动机器人的视觉定位的实验设计流

基于机器视觉的校车异常监测系统 篇3

关键词：机器视觉、校车、异常监测、行为识别

中图分类号：Tp391 文献标识码：A 文章编号：1672-3791（2016）06（b）-0000-00

一、校车异常监测系统的设计背景

近年来，全国各地校车事故常有报道，接二连三的车毁人亡校车交通惨剧引起了全社会对校车安全的高度关注。通过对校车事故的分析，超载是其主要原因；同时我们也发现，由于校车乘客的特殊性，学生在校车上任意走动、打闹等行为导致乘车的不安全情况，也是造成校车事故的重大诱因。

针对这些现象，有关部门也纷纷提出了解决方案。如果每辆校车都配备随车老师，其人力成本是很高的；依靠驾驶员对车内行为进行规范，又会导致驾驶员的注意力分散从而导致行车的危险性；不少校车上也开始安装了监控摄像头，但如果监控系统只能作为事后责任分析与追查用，还是无法落实到实时报警的作用。因此，让视频监控系统能自动识别异常情况并进行报警是非常关键的。

本论文针对这一问题，提出了基于机器视觉的校车异常监测系统的设计思路和实现方法，当出现车内异常情况时能自动报警，为校车行驶安全增加了一重保障。如校车行驶中持续发现过道上有人在走动，那么这辆校车就有可能是超载的；另外，如果在视频中观察到多人在车内站立且长时间聚集在一起时，很有可能发生了打闹行为，也应该及时报警。

二、校车异常监测算法设计

要实现校车异常行为监测，实际上已经转化为人体异常行为监测目标，故需要采用机器视觉技术来进行特征提取和行为识别。总体来说，异常行为检测系统要解决的问题主要包括：①如何进行前景提取，即提取出场景中的运动目标；②如何区分各种人体行为；③如何判断异常行为；④当处于拥挤环境或运动目标受到遮挡时，如何保证检测的可靠性。目前，针对每一个问题，都有相应的一系列理论和实验基础。

根据以上待解决的问题，不难得出人体异常行为检测系统的一般步骤。视频序列的某一帧输入后，首先要对它进行前景提取，即找到运动目标；接着，要对运动目标进行特征提取，即用一些量化的、可以被比较的特征参数来表征该运动目标当前的运动状态；然后，根据提取到的特征参数对运动目标进行行为识别；最后，就能够根据识别出的行为来判断是否异常，如此循环就能依次检测出整个视频序列的异常情况。

1、前景提取方法的选择

目前，对于视频中的运动目标提取，应用较多的主要有三种方法：光流法、帧差法和背景减除法。本文采用背景减除法作为前景提取的方法，其基本思想是首先建立背景图像的参数模型，接着将当前帧图像与背景图像进行差分比较，其中将区别较大的像素区域视为运动物体，将区别较小的像素区域视为背景区域。

2、背景建模方法的选择

背景建模主要有三个要素：第一，如何初始化背景模型；第二，如何判断前景点；第三，如何更新背景模型。根据解决这些问题使用策略的不同，背景建模可分为多种方法，如平均背景模型、单高斯模型、混合高斯模型和VIBE等。通过对比实验，本文采用的VIBE背景建模法得到的前景图像与之前的平均背景法和混合高斯建模得到的前景图像相比，轮廓更加清晰、线条更细腻，对前景目标的区域检测也更为准确。

3、人体特征的提取

可用于检测的人体特征包括外观形状特征和运动特征。外观形状特征指人体轮廓、姿态以及区域颜色等信息。运动特征指光流信息、运动方向、轨迹、速度等。形状特征比较稳定，但运动特征在能见度较低时依然可以分辨，因此，将这两种方法结合是一种不错的选择。本文采用了特征+分类的方法来进行人体异常行为检测，因此选择使用最广泛、且效果较好、速度较快的HOG特征作为前景目标的特征。

4、行为识别方法选取

本文将采用支持向量机分类器来对人体行为进行分类。支持向量机的思想主要可以概括为两点：①对于线性可分情况，它基于结构风险最小化理论在特征空间中建立最优分割超平面。②对于线性不可分的情况，它使用非线性映射算法将低维输入空间中线性不可分的样本映射到高维特征空间令其线性可分。

二、校车异常监测系统设计

本系统主要针对校车内人体的异常行为检测，主要完成的功能是①完成基于视频的监控和采集；②完成基于人体行为状态的标准库设计；③对校车行驶过程中的异常事件进行分类，并抽象出若干类异常行为状态，如异常走动、乘客聚集、异常站立等；④基于人体行为状态标准库的匹配，自动分析出校车内的异常状态；⑤完成异常事件的归类与整理，并能够自动报警。

系统的总体设计，程序读入视频序列以后，首先对其背景进行建模，通过背景减除法得到前景图像；接着提取出前景图像的Hog特征，采用事先训练好的HMM分类器来进行识别是否发生异常行为，若是则自动报警，否则继续读入下一段视频。

1、HOG特征提取

HOG特征，即方向梯度直方图的提取是从局部到整体的一个过程，其计算流程如下：

① 归一化图像：本文采用平方根计算对RGB色彩空间的输入图像进行伽马矫正，实现彩色图像到灰度图的转换，同时减少色彩信息对后续操作的影响，提高了检测的准确率。

② 梯度计算：梯度的实质是图像的一阶微分，在实际应用中，一般通过图像与梯度算子的卷积来实现梯度计算。目前，常用的梯度算子有Perwitt算子、Roberts算子、Sobel算子等。梯度算子将对结果产生很大影响，综合考虑计算的复杂度与算子的有效性，本文选用Sobel算子与图像卷积来实现梯度计算。

③ HOG特征维数计算：在HOG的构造函数中，计算得到的HOG特征维数是7200维。

2、SVM分类器

在本文中，要实现三种异常行为的检测，而SVM是一个二元分类器，这里可以采用一个简单的方法来解决，即“一类对其余”的方法，每次仍然解决一个二类分类问题。例如：有三个类别，第一次把类别1定为正样本，其余两类定为负样本；第二次将类别2定为正样本，其余为负样本；第三次把类别3定为正样本。也就是说，分为几类就有几个二元的SVM分类器。

实际应用时，可以预先训练好分类器，直接调用，而不需要重新训练。因此，本文只需要采用异常站立、异常走动和异常聚集三个训练好的SVM分类器即可实现分类。

四、结语

本论文对基于机器视觉的人体异常行为检测算法进行了研究，基于VIBE背景建模的前景提取、HOG特征+SVM训练的方法，成功实现了校车内人体异常站立、异常走动和异常聚集的检测。但真实校车内可能发生更多更复杂的异常行为，因此在异常行为的类别上要进一步细化。

参考文献

[1]杜鉴豪，监控视频中的人体异常行为检测研究[D]，杭州，浙江大学，2010，12-40

[2]刘高文，基于隐马尔可夫模型的视觉行为分析和异常检测研究[D]，南京，南京理工大学，2008， 31-56

[3]程远航，基于光流和Gabor小波的人脸特征点跟踪[J]，计算机仿真，2011， 28（5）： 287-290

[4]谢之宇，蒋晓瑜，汪熙等，改进的帧差法在目标匹配中的应用[J]，计算机工程与应用，2011， 47（34）： 208-211

基于机器视觉的关节机器人的研究 篇4

关键词：采摘,关节机器人,机器视觉,PC控制

0 引言

鉴于当今世界机器人技术的发展和我国农业的现状,果蔬采摘机器人的研发在一些作业领域已十分迫切,而机器视觉技术和关节型机器人机构在果蔬采摘领域又有着很大的应有价值[1],因此笔者从实际需要出发,对基于机器视觉的关节机器人进行了研究。以实现关节机器人的末端机构对目标物体的捕获为目的,把寻求并验证适宜的解决方案作为重点,将研究内容具体划分为3个部分:机械结构的设计、机器视觉的研究、运动控制方法的研究。

1 方案及原理

1.1 机械结构的设计

机器人操作机本体按照坐标形式大致可分为4类,即直角坐标型、圆柱坐标型、球坐标型和多关节型。本文采用多关节型机器人,其结构紧凑、工作范围大、占用空间小、动作灵活以及具有很高的可达性。

多关节型机器人常用的传动方式有:链传动、多级齿轮传动、蜗轮蜗杆传动。本文采用蜗轮蜗杆传动方式,具有结构紧凑、工作平稳、无噪声、冲击震动小、能得到很大的单级传动比以及反行程自锁的特性[2]。经多方面对比,确定了步进电机驱动的蜗轮蜗杆传动式多关节型机器人的机器人本体结构方案。

考虑到果蔬采摘的实际需要,将关节机器人除末端执行器外的自由度设计为4,分别位于:腰部水平面内转动关节、大臂肩关节竖直平面内转动关节、小臂肘关节竖直平面内转动关节和手腕腕关节竖直平面内转动关节,如图1所示。

1.腕关节2.肘关节3.肩关节4.腰5.基座6.腰关节7.大臂8.小臂9.腕10.末端执行器固定位

综合考虑机器人的工作空间、运动速度、运动精度、负载能力等因素,将关节机器人关键机械参数设计如表1所示。其中,电机均为四通步进电机,蜗轮蜗杆传动比为62,蜗杆材料均为45钢,蜗轮材料均为铸造锡青铜。为了改善关节型机器人操作机的总体工作性能和动态特性,进行了杆臂平衡设计。

平衡机构的原理如图2所示。

1.下级臂杆2.扭转弹簧3.上级臂杆4.V型钩5.固连点6.平衡力矩增大方向

在关节处安装扭转弹簧,弹簧一段固连于上级臂杆,另一端通过V型钩与下级臂杆连接,由于多数情况下关节机器人负载最大发生在各关节水平伸展时,对于负载最大的肩关节尤为如此,所以扭转弹簧设计使各杆臂转为水平方向时,弹簧输出平衡力矩最大。

1.2 机器视觉系统的研究

本文属于果蔬采摘机器人的准备性阶段,暂时以色彩明丽的小尺寸目标作为对象,在实验中选择橙红色圆柱体(高3cm,截面直径2.5cm)塑料模型为捕获目标,以实验室内自然环境为背景。通过“手—眼”视觉系统采集到的图像特征如下:(1)图像分辨率320×240,色深为24位;(2)目标与背景色彩差异较大;(3)背景环境存在色彩干扰;(4)机器人作业过程中,目标距离不断变化。

视觉系统整体方案如下:以PC机作为图像处理、分析平台,采用USB接口的CMOS摄像头作为图像采集设备,将摄像头安装在关节型机器人的末端,与机器人组成了“手—眼”视觉系统,并基于Windows系统默认组件VFW,采用C语言来开发视频捕获接口程序[3]。该机器视觉系统主要完成两个任务,即平面信息获取和深度信息获取。

平面信息获取的任务是确定目标物体在摄像头视野中的位置,处理过程中首先根据像素点的R-Y色差值将目标与背景初步分离,进而采用形态学方法计算连通区域的几何特征(面积、圆形度等),从而以特征值来锁定唯一目标,最终标记目标区域中心坐标并以此作为输出结果[4,5]。

在图像的预处理过程中采用了“变阈值分割法”,其阈值确定步骤如下:首先利用视觉系统拍摄不同距离下目标物体的照片;接着计算各图片各像素的R-Y色差值,将计算结果转为灰度图像,进而绘制各灰度图像的灰度分布直方图并以此判断最佳分割阈值;最终根据图像采样位置和此位置图像所确定的阈值;当机器人摄像头位置位于两次图像采样位置之间时,用函数回归的方式确定该次图像处理所用的分割阈值。其分割阈值与目标距离关系,如图3所示。

深度信息获取的任务是根据图像信息判断目标距离,由于本文机器人采用“手—眼”视觉系统,故可根据不同距离下目标区域面积来判断目标当前距离。通过实验标定所确定的目标区域面积与目标距离关系,如图4所示。

1.3 运动控制方法的研究

本文机器人运动控制的目标是根据视觉系统的反馈信息确定目标物体的空间位置,进而引导关节机器人末端接近并捕获目标。

关节式机器人常根据齐次坐标变换原理建立关节转角到机器人末端坐标的变换矩阵,然后逆向求解来确定运动过程中各关节所需的转角值,以此来控制机器人动作,该方法通用性好,但运算量较大[6]。本文充分利用了“手—眼”视觉系统和关节型机器人的结构特点,采用平面几何法计算机器人关节转角增量,与常用的齐次坐标逆变换法相比,具有可操作性强、运算量小的特点,具体步骤如下:

1)根据视觉信息,旋转机器人腰关节和腕关节,将目标物的重心对正到机器人末端视野的正中,此时机器人各关节的运动与目标物处于同一平面。空间中的轨迹规划问题转为平面问题。

2)将关节机器人初始位置和目标位置的几何模型放在同一坐标系中(如图5所示),根据几何关系建立方程,即

3)解三角方程可得

在机器人末端接近目标过程中,腕关节和腰关节转角为基于视觉信息的自动调节量,肩关节转角增量α与肘关节转角增量β由式(3)和式(4)得出。

2 实验研究

用VC++编写了控制软件,通过其交互界面可对相关参数进行设置,如图6所示。

对关节机器人系统进行了运行实验,当机器人末端距离目标为5cm时认为目标被捕获,运行过程包括自动复位、搜索目标和接近目标,如图7所示。

由于采用闭环控制,机器人可以实时调整自身位姿,实验结果表明,该关节机器人及其控制系统具有较高精度,当目标捕获距离设定在5～20cm之间时,机器人末端的定位误差在1cm以内。

3 结论

本文对一种基于机器视觉的关节机器人进行了方案设计与研究。实验证明:本文所采用的机器人机械本体结构刚性强、运动平稳、定位准确;视觉系统方案成本低、安装维护方便、具有较好的通用性;控制方法充分利用了“手—眼”视觉信息,简化了系统计算量的同时也使得机器人动作简洁。

参考文献

[1]Sario Y.Robotics of Fruit Harvesting:A Sate-of-the-art Review[J].Journal of Agricultural Engineering Research,1993,54:265-280.

[2]吴宗泽,刘莹.机械设计教程[M].北京:机械工业出版社,2003.

[3]丁贵广,计文评,郭宝龙.Visual C++6.0数字图像编码[M].北京:机械工业出版社,2004.

[4]Hayashi S,Ganno K,Ishii Y,et al.Robotic harvesting sys-tem for eggplants[J].JARQ,2002,36(3):163-168.

[5]Hayashi S,Ganno K,Ishii Y.Machine Vision algorithm ofeggplant recognition for robotic harvesting[J].Journal of So-ciety of High Technology in Agriculture,2000,12(1):38-46.

通孔器件机器视觉检测算法 篇5

结果表明，针对通孔器件的不同特点，分成线束类和非线束类，分别采用NI视觉开发模块中的颜色定位算法和彩色模板匹配算法，使用不同的综合判据是可行的。

关键词：通孔器件;机器视觉;检测算法;颜色定位算法;彩色模板匹配算法

机器视觉在电子行业得到广泛应用，但主要集中于印刷电路、表面贴装，而通孔器件的通用质量检测设备则是空白或依赖定制。

在电子产品组装工艺中，除了表面贴装器件，还有大量的机插和手工装配的通孔元器件，如：接插件、连接线、大尺寸电解电容、变压器等。

这些器件大多有方向、极性、位置等要求，但同时又是在线测试、功能测试的盲点，只能通过人工目视检查。

由于操作员工技能、疲劳程度等因素影响，很容易造成漏检，存在很大的质量风险。

外观漏检成为某公司客户退返板第二大原因，达到35.1%，占外部故障成本的14.3%。

因此，进行通孔器件检测算法研究，研发基于机器视觉的通孔器件通用检测平台非常必要。

机器人立体视觉中三维重建的研究 篇6

摘 要：如何更好地实现智能化一直是机器人领域的研究前沿，如果它们像人一样有自己的“眼睛”，那么，机器人就更接近智能化了。在三维重建阶段，文章通过三维重建的基本原理和基本方法，结合摄像机的内、外参数计算出空间点的三维坐标，提出一种改进的直接对三维空间点进行剖分的三角网格剖分法。

关键词：智能化；三维重建；空间点；三维坐标

中图分类号：TP242 文献标识码：A 文章编号：1006-8937（2015）23-0019-02

在机器人立体视觉的研究过程中，完成前述摄像机标定和立体匹配后，立体视觉系统的最后也是核心一步就是三维重建，即利用上述匹配结果并结合摄像机标定后的内外部参数信息，通过相关计算，恢复出三维物体的形状和位置等相关信息。

基于传统的三角形剖分法，本文提出一种改进的直接对三维空间点进行三角形剖分的方法，其改进地方主要是在剖分原则上，改进的剖分原则更全面更高效。

1 空间点的三维坐标计算

2 算法的实现

该算法基于传统的三角形网格剖分方法，直接对三维空间的点通过生成三角形进行划分，剖分目的是为了生成光滑的曲面，所有曲面在一起则构成需要恢复的立体图形。剖分的主要思想为：首先选择离图像中心最近的三个特征点生成初始三角形，然后分别以初始三角形的三条边为待扩展三角形的第一条边，接着以此第一条边分别向四周方位搜索符合条件的其它点，以便组成新的三角形；再接着分别以新建的每条边为待构建的新三角形的第一条边，同理向不同方向进行三角形的扩展，如此循环直至所有空间点都构成三角形。由此可以得出该算法实现的关键步骤是点的搜索和边的扩展，点的搜索是通过遍历链表来实现，搜索到满足条件的一点就构成一个新三角形；在进行边的扩展时需要遵循一些原则，具体的原则有法向量相关原则、距离阈值原则、三角形内角原则以及边的最大使用次数原则。

2.1 法向量相关原则

首先我们得给出法向量的定义，由空间三点构成的三角形所属平面的法向量，它与三角形所在的平面相垂直，并且其方向按照待扩展边的指向遵循右手法则；在扩展三角形时，必然会存在两个新扩展的三角形共用同一条边，这时把这两个三角形所在平面的法向量之间的夹角称为三角形法向量的夹角。

2.2 距离阈值原则

我们在搜索空间点时不是盲目的寻找，而是将搜寻点扩展到边中点之间的距离限制在某个范围内，该距离的范围值被称为距离阈值，它使得边扩展时在距离阈值范围内进行第三个点的搜索，通常可以将该距离阈值范围用一个圆形区域来表示。

2.3 三角形内角原则

当我们依据三角形法向量夹角相关原则和距离阈值原则进行边扩展时，还不能保证搜索点的唯一性，若有两个空间点P1和P2，它们与边AB所构成的三角形？驻ABP1和？驻ABP2的法向量夹角相等，且这两点均在距离阈值范围内，这时根据现有的原则就无法判断哪个点为最优点。

2.4 边的最大使用次数原则

在进行边扩展时以上原则基本上就能够找到满足需求的最优点，但是，不能保证新生成的三角形不出现重叠的情况，即待扩展边被重复使用，为此，规定每一条扩展边的使用次数最大值为2。若令ncount为边的使用次数，则在边的每一次扩展时，首先判断其是否不超过1，如果满足该条件则继续扩展；如果ncount=2则该边不能再扩展。

3 重建实验

本实验是利用Matlab和VC++的混合编程来实现。具体过程是：首先，在VC环境下编写C++源程序，该源程序是利用链表的概念来实现新三角形的扩展，通过构建点链表、边链表和三角形链表，并通过对其链表进行遍历、插入和删除来实现模型的重构。其中，定义式中参数的类型和名称都是固定的，然后在该函数中调用定义好的C++算法程序，也就完成了Matlab和VC++的互连。

为鼠标在不同视角下的三维重建结果图，如图1、图2和图3所示。

由以上重建结果图可以看出，本文成功地实现了Matlab与VC的连接，改进的三角形剖分方法对平滑表面物体的重建是可行的。

4 结 语

本文在给出三维重建的基本方法后，重点研究了对传统的三角形网格剖分法进行了改进，直接对三维物体进行三角形网格剖分。该网格剖分法是在VC环境下利用链表的概念来实现三角形的扩展，通过构建点链表、边链表和三角形链表，并通过对其链表进行遍历、插入和删除来实现模型的重构，并且通过与Matlab连接进行仿真实验，实验达到了预期的结果。

参考文献：

[1] 李彦.基于三维信息输入的物体模型重构的研究[D].北京：北京工业大学，2010.

[2] Fiala M，ARTag.A Fiducial Marker System Using Digital Techniques[J].Computer Vision and Pattern Recognition，2005，（2）.

[3] 朱心雄.自由曲线曲面造型技术[M].北京：科技出版社，2000.

[4] 徐彦君，杜利民，侯自强.基于相位的尺度自适应立体匹配方法[J].电子学报，2013，（7）.

[5] Ma S.A self-calibration technique for active vision system[D].IEEE Trans：Robotics and Automation，1996.

机器视觉 篇7

1.1 机器视觉概述

机器视觉是利用机器代替、执行人眼的观察、辨识以及检测等功能。机器视觉的研究主要是让机器代替人眼, 模拟人类的视觉功能, 研究内容包括对于目标的位置获取、目标的图像信息、目标的识别以及检测。机器视觉系统主要是由目标图像获取模块、图像信息识别与处理模块、检测结果模块以及系统控制模块组成。机器利用图像获取模块获取目标物体所在空间的图像信息, 再通过图像信息识别与处理模块对图像进行亮度、颜色等方面的分析处理, 从而得出目标物体的有用信息及特征。其中包括目标物体的尺寸、位置坐标等信息。检测结果模块将运算结果传输给系统控制模块。系统控制模块根据所要实现的不同功能控制现场的机械设备, 从而实现机械设备对目标物体的相关控制操作。机器视觉原理图如图1所示。

在本次研究中, 相机是机器视觉系统获取图像的关键部件。相机又称为图像传感器, 其将被处理目标物体的光信号转换成视频电信号, 再将视频电信号A/D转换并传送到处理器后就可以识别、分析、处理该目标物体。再根据控制系统将目标物体的信息传送给SCARA机器人, 从而实现SCARA机器人对目标物体的跟随抓捕。

1.2 研究内容

对于动态目标的应用, 因为目标一直处于运动中, 位置一直在变化, 所以SCARA机器人必须实时计算或更新它的位置信息, 以便在得到指令时准确无误地抓取目标。想要实现这个目标就必须要解决机器视觉、SCARA机器人和控制系统之间的信息通讯问题。本文研究内容如下:1) 研究SCARA机器人抓取物体的视觉标定方法。视觉标定方法包括工件坐标与相机坐标之间的转换以及相机的视觉标定。2) 研究基于视觉标定的SCARA机器人应用的控制系统, 包括控制系统的硬件以及软件设计。

1.3 研究目的和意义

近些年来, 随着劳动密集型企业面临劳动力成本上涨和产品终端需求上升的双重压力之下, SCARA机器人和机器视觉越来越多地被应用于消费电子、家电、食品饮料等行业中, 基于机器视觉的SCARA机器人应用就是把SCARA机器人的灵活高效和机器视觉的识别结合起来, 代替部分的人工劳动, 提高产能, 大大提高了工业生产线的自动化水平。

目前基于机器视觉的SCARA机器人多应用于静态目标。对于静态目标的应用, 就是通过机器视觉对静态目标进行拍照得到相关的坐标等信息, 再与SCARA机器人通讯交换信息, SCARA机器人获得目标的信息后做出动作抓取。本文主要阐述机器视觉对于动态目标的应用, 提出解决机器视觉与SCARA机器人的坐标转换、各信息交换的接口问题、信息同步等问题的方法。

2 坐标的转换标定

完成SCARA机器人与移动工件的同步运动并完成抓捕的目标, 需要实现相机的视觉坐标向机器人的移动坐标的转换。相机拍摄出的工件在相机的视觉坐标中的位置, 通过下文中所展示的坐标转换方法实现向机器人运动坐标的转换, 从而实现机器人的同步运动以及抓捕。

视觉标定过程就是求取空间点位置坐标与图像像素坐标之间的关系矩阵, 从而建立起二维图像与真实三维世界之间的定量关系, 实现点从二维向三维的转换。在本次研究中, SCARA机器人、所要抓捕的工件都在二维工作平台上, 相机安装在机器人的机身上, 可以随机器人移动, 采用的是平面视觉。

机器人坐标系与相机坐标系的位置关系如图2所示。

物体在机器人空间中的坐标A (X, Y, Z) ;物体在相机拍摄中的空间坐标a (x, y, z) ;

根据空间两坐标的转换公式并代入物体在控件中的两齐次坐标:

式中: (X, Y, Z, 1) 为物体在机器人空间坐标系中坐标A的齐次坐标; (x, y, z, 1) 为物体在相机拍摄空间坐标系中坐标a的齐次坐标; (a, b, c, 1) 为相机拍摄空间坐标系原点O在机器人空间坐标系中的齐次坐标;f为相机焦距。

解得坐标系转化公式:

由于在如图2所示的坐标系变换中存在着坐标系的颠倒问题, 所以需在上面的转换公式中将y改为-y得出最终的坐标转换公式:

式中:X1、Y1、θ是等式中存在的3个未知量, 需建立3个等式解出未知量, 代入机器人示教得出的对应的坐标点:1) (X1, Y1, Z1) ; (x1, y1, z1) ;2) (X2, Y2, Z2) ; (x2, y2, z2) 。

解得:

为了使计算的结果更加准确, 多次示教测出多组数据计算得出:θ (θ1, θ2, θ3, θ4, θ5, θ6) ;a (a1, a2, a3, a4, a5, a6) ;b (b1, b2, b3, b4, b5, b6) 。则。

3 控制系统硬件

3.1 概述

在本次基于机器视觉的SCARA机器人的应用研究中, 进行相机信号传输以及SCARA机器人的控制, 都是采用PLC (可编程逻辑控制器) 来进行实现。

可编程逻辑控制器, 是一种采用一类可编程的存储器, 用于其内部存储程序, 执行逻辑运算、顺序控制、定时、计数与算术操作等面向用户的指令, 并通过数字或模拟式输入/输出控制各种类型的机械或生产过程。

本次研究的系统硬件组成以及系统原理如图3~图4所示。在PLC高速计数单元上连接光电传感器, 光电传感器固定在工作台上, 串行通信单元连接相机以及SCARA机器人, I/O口接磁性开关和电磁阀。在整个工作过程中, 电源持续不断地给PLC供电, 目标物体通过光电传感器时, 光电传感器发出脉冲信号, 将指令传给CPU。CPU给相机发出工作指令, 相机采集目标物体的图像信息, 通过处理单元将目标物体的图像信息转换为目标物体在SCARA机器人上的坐标, 将信号转为SCARA机器人所能识别出的机器语言。接受指令后, SCARA机器人做出相应的跟随动作。SCARA机器人到达指定位置后, PLC控制电磁阀的开关来控制机械爪对目标物体的抓取。

3.2 控制系统的硬件构成

由光电传感器、计算机、PLC、相机、SCARA机器人以及相关的辅助硬件设备等部分构成控制系统的硬件系统。

3.2.1 光电传感器

光电传感器的好坏对于某些对精度要求较高的系统影响较大。对于不同的检测物体、不同的检测方式、检测距离、控制输出、结构类型, 所需要选择的光电传感器都不一样。在本次研究中, 光电传感器所检测的物体是金属制品, 检测距离也只有300 mm, 对于其他例如灵敏度等功能没有太多的要求。故选用欧姆龙U槽L型光电传感器就可以实现本次研究中所需要的功能。

3.2.2 计算机

在控制系统中, PC的选择非常重要。计算机的好坏将与控制系统的处理速度息息相关, 所以必须要选择性能相对比较好的品牌机。在本次研究的控制系统中就选用双核处理器、250G硬盘、2G内存的计算机。该类型计算机完全满足研究中所需要的处理速度, 非常轻松地进行数据处理及运算。

3.2.3 PLC

PLC的好坏将直接影响到控制系统的数据处理传输速度以及质量。PLC的选择主要应从PLC的机型、容量、I/O模块、电源模块、特殊功能模块、通信联网能力等方面加以综合考虑。PLC机型选择的基本原则就是在满足功能要求及保证可靠、维护方便的前提下, 力争最佳的性能价格比PLC对于本次研究的控制系统也非常重要。PLC必须有较高的可靠性, 具有丰富的I/O接口模块, 运行速度快, 功能较为完善, 编程简单, 易于使用, 系统设计、安装、调试、维修方便。综上所述, 本次研究中选用欧姆龙CJ系列的CJ2M-CPU13完全符合要求。图5为PLC模块的实物图。

3.2.4 相机

1) 相机像素大小的选择。本次基于机器视觉的SCARA机器人的应用研究中, 抓取物体不需要太高的精度, 选定的相机精度要求为0.2 mm, 工作视野为250 mm, 故选用30万像素的工业相机。

2) 相机传输方式的确定。系统中只用到单个相机, 要求与工件的速度同步, 所需要的帧频较高。

3) 相机的触发方式的选择。选用软件触发模式, 用于进行动态检测, 能够给连续运动触发信号。

综上所述, 相机选型为森萨帕特的物体识别传感器V10-OB-A1-W12, 像素为736×480, 焦距12 mm。

3.2.5 SCARA机器人

平面关节型机器人又称作SCARA机器人, 是一种用于装配工作的机器人手臂。SCARA机器人有3个旋转关节, 在平面内进行定位和定向。还有一个移动关节, 用于进行工件在垂直平面内的作业。这种结构特性使得SCARA机器人擅长从一点抓取物体, 然后快速地安放到另外的一点, 因此SCARA机器人在自动装配线上得到了广泛的应用。我国一直有机构在从事这方面的研究, 我国第一台SCARA机器人是由熊猫电子集团有限公司于1992年研发设计出来。而我国的第一台高性能精密装配SCARA机器人由上海交通大学于1995年研制出来。虽然我国的SCARA机器人研究不断进步, 取得了一定的成果, 但是还是落后于国际先进水平, 我国自主研发的SCARA机器人不论是在性能上还是控制速度和抓取精度上都与国际先进水平有很大的差距。

本次研究中所使用的SCARA机器人要求有较快的反应速度, 而且需要有较高的定位精度。综上所述, 本次研究中选取的SCARA为平田公司的AR-F650H, 其Z轴的重复精度为±0.01mm, 完全符合本次研究的各种功能要求。SCARA机器人在研究过程中, 需要人用控制器通过按键一步一步地操纵机器人动作, 使得机器人记住所行走的路径, 按照控制器操纵的路径行走。如图6是SCARA机器人示教流程图。

4 控制系统软件

在本次研究中的控制系统软件设计中, 包括了相机通讯、数据处理、机器人通讯、脉冲处理、堆栈存储数据、机械爪的抓取等控制部分。相机通过相机通讯接受信号, 开始进行目标物体的图像采集。数据处理部分将图像信息转换成机器人所需要的坐标信息, 检测传送带的速度。机器人通讯部分将坐标信息以及传送带的速度信息转换为机器人所能够识别的指令语言, 进行相应的运动。脉冲处理部分主要是用于传送带的速度计算处理, 通过在一段时间内的脉冲计数来进行速度计算。堆栈存储数据部分主要用于数据的存储, 方便整个系统软件的处理。机械爪的抓取控制机械爪的夹紧与松开。

4.1 相机通讯

相机通讯部分主要实现的功能就是使相机能够接受外来的机器指令, 并能够将相机采集到的图片信息转换为机器语言。如图7是相机通讯部分的程序。

4.2 数据处理

数据处理部分主要实现的功能就是使将所接受的信息转换为目标物体的坐标信息。如图8是数据处理部分的程序。

4.3 机器人通讯

机器人通讯部分主要是将外来的机器语言转换为机器人所能识别的通讯语言, 也需要将机器人自身的通讯语言转换为向外的机器语言, 从而能够进行相应的动作。如图9是机器人通讯部分的程序。

4.4 脉冲处理

脉冲处理部分接收传送带上发出的持续脉冲, 根据其所经历的时间, 从而计算出传送带也就是目标物体的速度。如图10是脉冲处理部分的程序。

4.5 堆栈存储数据

堆栈存储数据部分主要对整个系统的信息数据进行进栈和出栈处理, 保证整个控制系统信息传输的可靠、迅速、有秩序。如图11是堆栈存储数据部分的程序。

5 结语

本文提出了一种基于机器视觉的SCARA机器人对于移动物体的跟随抓取, 极大地减少了工业装配线中的人力需求, 大大提高了工业生产线上的自动化水平, 提高了效率。但本文的研究中还存在着缺陷。本文研究的只是在目标物体给定速度的前提下实现机器人的跟随和抓取, 并没有实现对于不同速度物体的跟随抓取。在系统通信中, 还是采取了传统的串口通信, 没有利用以太网模块, 造成了数据的传输速度可能要稍慢一些。本文也只是提出一种基于机器视觉的SCARA机器人对运动物体跟随抓取的方法, 此种方法可以为SCARA机器人在其他方面应用的跟随抓取提供参考。

摘要：结合机器视觉技术, 通过相机坐标与机器人坐标的转换, 研究开发出了一套SCARA机器人跟随抓取物体的系统。该系统在实际的实验检测中得到了初步的成功, 通过了相应的误差检测分析, 验证了该方案的可行性。

关键词：机器视觉,SCARA机器人,坐标转换,控制系统

参考文献

[1]熊有伦.机器人技术基础[M].武汉:华中理工大学出版社, 1996.

[2]陈欣, 叶建辉, 王正阳, 等.SCARA机器人抓取圆柱物体的视觉标定方法[EB/OL].北京:中国科技论文在线, 2015.

[3]孟凡轮.SCARA机器人及其远程控制系统的研究[D].哈尔滨:哈尔滨工业大学, 2014.

[4]杨贺然, 张莉彦.基于末端开环视觉系统的机器人目标抓取研究[J].组合机床与自动化加工技术, 2012 (12) :37-40.

[5]段坚, 张少鹏, 王现康.工业机器人视觉系统的摄像机标定[J].机械工程与自动化, 2013 (1) :97-98.

机器视觉自动检测技术 篇8

出版时间:2013-10-01

ISBN:9787122176820

所属分类:

图书>工业技术>自动化技术

产品检测在半导体、精密制造、包装印刷等行业应用广泛且需求迫切, 但检测手段一直在离线检测 (如工具显微镜、投影测量仪和体视显微镜等传统设备) 或人工检测的技术中徘徊。近些年随着产品的高档化和微型化, 加工订单的国际化, 对检测的要求越来越高, 精度从0.01mm向0.001mm过渡, 计量方式从抽检向100%全检过渡, 检测项目从简单走向复杂、从单项走向多项综合。通过机器视觉技术改变传统的计量和检测方式, 满足现代制造业的高速、精密、复杂需要已迫在眉睫。

《机器视觉自动检测技术》提出了网络化多目视觉在线快速检测理论与系统, 系统地介绍了机器视觉自动检测领域的知识和技术。本书共分为六章。第1章讲述数字图像与机器视觉技术的发展历程、发展趋势和前景。第2章讲述机器视觉系统的硬件构成, 包括相机的分类及主要特性参数、光学镜头的原理与选型、图像采集卡的原理及种类、图像数据的传输方式等。第3章讲述机器视觉成像技术, 内容包括工业环境下的灰度照明技术和彩色照明技术, 以及LED照明设计技术和三维视觉成像技术。第4章重点讲述机器视觉核心算法。第5章介绍机器视觉软件的开发与实现, 包括常用机器视觉工具和软件设计方法。第6章着重讲述视觉测量与检测的工程应用和案例分析。

机器视觉在机器人码垛系统中的应用 篇9

关键词：机器视觉,机器人,码垛

1 前言

机器视觉就是赋予机器以人眼的功能, 从物体的图像中提取信息、进行处理并完成判断, 进而指引机器人在大范围内的操作和行动, 广泛应用于产品的自动光学检查、人脸识别、追踪定位等各个方面。

码垛机器人就是把物品按照一定的模式整齐、自动地堆叠在指定的位置, 以便实现物料的存储、搬运、装卸、运输等物流活动。码垛机器人有工作可靠、生产成本低、生产效率高的特点, 广泛应用于产品的自动化生产中。

但是, 目前广泛应用于生产中的码垛机器人只能完成简单的搬运作业任务, 不能分析码垛对象的尺寸、形状、质量等具体情况并完成相应的判断, 不能完成产品的智能化码垛。

目前我国正处于工业转型、产业升级的关键时期, 传统的码垛机器人已无法满足实际生产的需要, 如果把机器视觉用于机器人码垛作业, 就可以完成产品的智能化码垛作业任务。针对这样的生产需求和技术现状, 本文将主要论述机器视觉在机器人码垛系统中的研究应用。

2 基于机器视觉的码垛机器人系统概述

基于机器视觉的码垛机器人系统的组成包括机器人系统、机器视觉系统、机械手、皮带机、传感器、管理软件系统、上位机软件系统以及处理器系统。

机器人系统为码垛机器人的作业部件, 完成码垛任务;机器视觉系统可以得到工作台产品的结构参数, 其中涉及产品的尺寸与位置姿态;处理器对此信息进行运算和处理;上位机软件系统用于码垛算法的实现并通过离线编程手段控制机器人动作, 对这些产品的自动判断, 实现不同种类、不同位置产品的搬运和码垛。

在传送带上, 设置光电开关等位置传感器以判断产品到位和产品姿态等相关信息。

产品被放到指定位置, 构成机器视觉系统的仪器就会捕捉到产品并得到产品的结构参数, 得到的结构参数由视觉标定系统以总线通讯的途径传达给上位机, 上位机通过写好的码垛程序, 得到整台机器的输出参数, 再由离线编程的方法指挥机器人动作, 最后完成不同产品在不同位姿下的码垛任务, 这就是基于机器视觉的码垛机器人的工作原理。

下面介绍基于机器视觉的码垛机器人的具体的码垛过程。

第一步, 管理系统把要码垛产品的结构参数通知上位机。

第二步, 上位机完成上一步中所得到的加工, 得到可行的码垛程序, 管理软件从该程序中获得要搬运产品的信息尺寸参数。

产品到达操作员操作地点, 操作员把产品放置于传送带上, 传感器捕捉到产品在传送带上的的实际放置, 上位机分析产品所在的位置合适, 操作传送带运动, 使产品位于机器人码垛地点, 上位机通过机器视觉系统分析产品是不是操作对象, 若是, 则机器人在完成姿态调整后就进行码垛, 否则就以其它方式解决问题。

上位机分析运输产品的物品是否在指定地点, 若是则由编写的搬运程序完成把产品放置于指定位置, 否则就以其它的方式解决问题。产品的搬运过程完成后, 管理软件就会安排产品下一步搬运的任务。

3 基于机器视觉的机器人码垛中的关键技术

基于机器视觉的机器人码垛中的关键技术包括码垛机器人机器视觉系统标定算法、码垛算法、离线编程技术、相机标定、图像采集、特征提取和匹配等。

机器视觉系统标定的方法。机器视觉系统指由图形采集仪器把要码垛的产品处理为图形信息, 这些信息由图像处理系统进行处理, 得到要码垛对象的结构参数, 由图像要素的位置与明暗、色彩等数据转换为非模拟信息, 图像系统分析所得数据以获得操作对象的特征, 再由分析的结论实现对仪器的操控。

码垛机器人要在实现产品搬运作业任务, 落实机器人和其所处的环境是关键的问题之一, 通过视觉程序来表达和辨别操作对象。

首先要进行相机标定, 确定各个模块之间的相互位置关系, 然后由工业相机对工件进行图像采集, 接着由软件对采集到的数字图像进行分析处理, 利用其特征对产品进行识别, 计算出产品的几何中心坐标, 再利用坐标变换得到产品的空间位置, 最后引导机器人完成产品的分类、抓取和搬运。

自由码垛的方法。对于实际生产, 要求产品都置于一指定的地点, 这样就必须详细思考产品在指点地点上的布置方式。

对实际生产管理系统由实际的存货量, 通知上位机要搬运产品的类别与多少。上位机一旦获得指令, 就会设计产品的布置方式, 以自由码垛的方法, 通知管理软件左右的产品布置方案, 管理软件执行该方案, 按顺序布置好产品, 产品到达指定地点, 上位机由已确定的最优布置方案把产品码放于指定地点。

码垛的方法有以下的规律:相同产品放于相同位置, 这可以提高搬运的速度;优先安排大件产品的摆放;优先布置价值高的产品;尽量以最优的方案来放置产品;必须考虑夹手与要码垛的产品相适应。

机器人离线编程技术。机器人离线编程技术与机器人示教功能不同, 前者用程序来操纵机器人的动作, 使用上位机代码与运行该代码以操纵机器人的动作, 从而使操作员的操作变得简单, 同时使系统工作更加可靠。

故实际生产选择离线编程技术来操纵机器人的动作, 操作的难度低, 使系统更加稳定与可靠。

相机标定是码垛机器人视觉系统开发的重要技术, 相机标定是为了建立物体在空间中的位置和相机拍摄的图像像素坐标之间的对应关系。图像上每一点的位置和实际物体对应点的空间坐标有关, 此坐标联系取决于相机成像几何模型。

该模型的参数必须通过实验和计算的方法来确定, 相机标定就是指该实验和计算的过程。相机标定的方法主要分为传统摄像机标定法和摄像机自标定法。

一般的标定法只需在静止的场景中移动相机, 拍摄至少2张不同角度相片并根据图像点之间的对应关系即可标定出相机的内、外参数, 尽管这种方法很方便, 但由于需要标定的指标繁琐, 因而使机器人动作准确度下降。

相机标定的水平在很大程度上影响系统的准确度, 同时也对图像匹配和立体再建模有较大影响。

图像采集、特征提取和匹配。图像获取是机器人感知外界环境的一部分, 要分析视点的不同、采光水平、相机特点和作业环境等多个方面以利于立体计算。

所选用的相机应该有像素高、工作稳定、精度高的特点, 严格选择相机的传感器类型、曝光时间、分辨率等参数, 从而保证能够完成码垛作业任务。

因为每幅图像所包含的信息不同, 找出图像的特征, 才能确定同一场景中某物体由摄像机拍摄所得不同图像间的对应关系。

SIFT算法是一种提取局部特征的算法, 采用该算法可以实现目标识别, 找到图像的特征点。

4 基于机器视觉的码垛机器人的应用

基于机器视觉的码垛机器人有巨大的应用前景。通过几十年的研究应用, 传统的码垛机器人已经广泛的应用于汽车、机械、电子电器等行业, 凭借其结构简单、运行可靠、维护成本低等诸多优点, 已在越来越多的场合取代了人工生产, 提高了社会生产效率, 推动了国家经济的快速发展。

基于机器视觉的码垛机器人有智能化、高精化、高效化等突出特点, 有效地弥补了传统码垛机器人的不足, 将在对码垛作业要求较高的诸多领域逐步取代传统的码垛机器人。

日本FNAUC公司开发了第一套集成3D视觉系统, 并成功应用于R-30i A型机器人系统上。

该视觉系统可以准确的响应不同种类和不同姿态的产品, 不再使用成本极高的夹具等, 使生产自动化成为了现实, 可以准确捕捉产品的位置参数, 增加生产线的使用寿命, 消避免多个机器人之间动作发生干涉, 还可以由初步的核查与产品分析的方法改善产品的生产质量。

随着国家经济和自动化技术的进一步发展, 基于机器视觉的码垛机器人的应用会更加广泛。

5 结论与展望

基于机器视觉的码垛机器人是一种新型自动化设备, 与传统的码垛机器人相比, 增加了机器视觉系统, 码垛机器人的智能化水平进一步得到了提高, 极大的提高了码垛作业的质量和效率, 产生了更加巨大的经济效益, 同时采用了多个学科的专业知识, 使生产作业水平得到了极大的提高, 有十分大的使用价值和巨大的市场前景。

参考文献

[1]尤吉.机器人码垛系统可视化仿真研究[D].沈阳工业大学, 2014.

[2]张俊.基于视觉定位的自动上下料机械手系统研究[D].石家庄铁道大学, 2012.

机器视觉 篇10

本文引入视觉系统对工件进行位置和类型的判断是必要的。与传统的机械分拣作业相比,使用基于机器视觉的工业机器人进行分拣,不但高效准确而且稳定持久,具有较大的优势。

1 工业机器人分拣实验系统构成

本文以本单位研制的LGJ - 2( 2 kg 6 自由度工业机器人) 为模型,建立了如图1 所示的基于机器视觉的工业机器人对黑白棋子的分拣系统,该分拣实验系统可分为硬件和软件两大部分,硬件主要由机器人、PC机、相机、棋盘和棋子等组成。其中相机和机器人之间通过网线连接,系统软件由自主开发的机器人控制程序、图像处理程序组成。

机器人分拣实验系统的工作原理和工作过程为: 当黑白棋子被放入分拣作业区时,在计算机的控制下,通过相机自动地获取棋子图像,然后由图像处理软件对采集到的棋子图像进行运算分析得到棋子的图像坐标,通过调用坐标转化函数得到棋子的用户坐标,通过识别棋子分类信息和维护棋子分拣的运动踪迹,最终控制机器人实现分拣动作,将棋子分类拾取,放置到指定位置。

2 工业机器人分拣实验系统硬件构成

工业机器人分拣实验系统硬件部分主要有工件平台单元、相机平台单元、机器人控制单元和机器人吸盘单元等4 部分组成[4],如图2 所示。

工件平台单元有棋盘和棋盘支架、放置棋子的玻璃容器构成。棋盘与黑白棋子形成了颜色上的反差,方便了算法的实现。相机平台单元主要由相机、相机支架和光源组成。悬挂在支架上的相机主要用来获取棋盘上的黑白棋子图像。光源采用白色LED光源,为相机采集图像提供光源,支架主要用来固定相机和光源,其高度是固定的。机器人控制单元由示教盒和控制柜构成,示教盒是操作者和机器人进行交互的重要人机接口装置,其一般包括彩色液晶屏、指令元件、手控器控制电路、与主机连接的线缆等。控制柜内一般装有输入变压器、电源滤波器、空气开关、机器人运动控制器、机器人专用端子板、外部I/O转接板、机器人电机伺服驱动器、外部轴伺服驱动器等电气控制部件。机器人吸盘单元有电磁吸盘和吸盘连接件构成,主要完成对棋子的吸取工作,当机器人识别出相应的棋子后,吸盘吸取棋子并放入相应的玻璃容器中。

3 软件系统构成及主要功能模块

机器人分拣实验系统的软件流程如图3 所示,其工作流程可描述为: 首先相机对棋盘上的棋子进行图像采集,然后对图像进行分析处理,对棋子进行识别定位,根据建立的坐标转化关系得到棋子的机器人坐标,通过发送运动指令控制机器人抓取不同颜色的棋子,将白棋子和黑棋子分别放入不同的玻璃容器中。其中视觉处理算法、视觉处理与机器人控制之间的通信接口、机器人控制程序是软件系统的主要功能模块。

3. 1 视觉处理算法

目前,视觉处理算法取得了较快的发展。例如Barinova,O. ,Lempitsky,V. ,Kholi,P. 等人提出了一种Hough变换检测算法,用于检测多个目标对象[5]。较流行的行之有效的圆检测算法有Hough变换和椭圆拟合算法。其缺点是受光照、噪声等影响较大,若两个棋子相互粘连,相接部分出现阴影,算法认定这些相互粘连的棋子为一个圆,会出现少量漏检的情况。基于此,提出利用图像分割和图像匹配相结合的方法克服了上述困难,其算法流程如图4 所示。利用图像分割和图像匹配相结合的方法检测出的结果如图5 所示,检测到了全部棋子,其中灰色点表示检测到的是黑棋子,黑色点表示检测到的是白棋子。

3. 2 视觉处理与机器人控制间通信接口

在实现机器人相应的动作之前,需要在视觉处理和机器人控制之间建立相应的通信接口,通信接口有RS232 串口和以太网[6]、调用视觉处理库函数。文中采用的是将视觉处理程序封装为动态链接库,在机器人主程序中调用库函数的方法。接口库函数为Camera Init( ) 、Camera Work( ) 、Replace _P ( ) ,分别实现相机的启动,获得图像中所有黑白棋子的图像坐标以及将棋子的图像坐标转化为机器人坐标的功能。

3. 3 机器人控制程序软件实现

在完成了棋子检测、识别以及采用图像分割和图像匹配相结合的方法识别出相应的棋子坐标后,进行图像坐标系到机器人坐标系的转换、控制机器人的作业轨迹运动,实现将黑白棋子分别放入不同的杯子中是本实验系统的最终目标。机器人吸取黑白棋子首先要确定棋盘的用户坐标,然后要记录每个棋子的空间坐标所对应的全局变量,软件编程语言为VC ++ 6. 0[7,8]。软件实现流程如图6 所示: 首先调用打开相机和启动拍照函数对棋子和场景进行拍照,然后调用图像处理模块和坐标转化函数得到棋子的用户坐标,给机器人发送运行指令,机器人运行到棋子上方,调用棋子吸取模块吸取棋子,机器人运行到玻璃容器上方,调用放置棋子模块完成其中一颗棋子的分拣,重复上述过程完成棋盘中所有棋子的分拣。

4 实验结果与分析

经过软硬件调试,本实验系统顺利完成了“识别棋子—抓取棋子—放置棋子”的过程,实验取得了预期和满意的效果,“识别棋子—抓取棋子—放置棋子”的实验过程为: 在机器人前方的棋盘中随意放置黑白棋子各10 个,分拣作业要求将黑棋子和白棋子分别放置在不同的玻璃容器中,启动机器人分拣平台后,机器人末端执行器立刻运动到X方向像素坐标最小的黑棋子上方3 mm处→电磁吸盘通电并吸附黑棋子→机器人末端执行器运动到玻璃容器上方2 cm处→电磁吸盘断电把黑棋子放入到玻璃容器中→机器人末端执行器运行到下一颗黑棋子上方3 mm处并重复上述过程。当10 个黑棋子全部放入相应的玻璃容器后,机器人重复上述过程将10 个白棋子全部放入另一个玻璃容器中。实验结果表明,该分拣系统识别并分拣黑白棋子的正确率达到约100% ,所使用的方法简单有效,实验效果如图7 所示。

5 结束语

以黑白棋子的分拣实验为例,介绍了分拣系统的软硬件平台组成部分,以及图像分割和图像匹配相结合的棋子识别方法,此方法减少了棋子的漏检现象,提高了棋子分拣的准确率。由于机器人的高效作业替代了繁重的体力劳动,提高了自动化水平和作业质量,机器人自动分拣将会越来越广泛地应用于生产领域[9]。

参考文献

[1]邹腾跃,唐小琦,宋宝,等.基于形状内容分析的机器人物料分拣系统[J].组合机床与自动化加工技术,2013(5):48-51.

[2]吕游.视觉引导技术在工业机器人智能抓取中的应用[D].合肥:合肥工业大学,2009.

[3]唐健.基于机器视觉的机器人分拣技术研究[D].南京:南京林业大学,2001.

[4]赵彬.基于机器视觉的工业机器人分拣技术研究[D].沈阳:沈阳工业大学,2010.

[5]Barinova O,Lempitsky V,Kholi P.On detection of multiple object instances using hough transforms[J].Pattern Analysis and Machine Intelligence,2012,34(9):1773-1784.

[6]杜荣,焦恩璋.Motocom 32的应用及其面向对象封装研究[J].机电一体化,2009,15(6):80-83.

[7]孙鑫,余安萍.VC++深入研究[M].北京:电子工业出版社,2006.

[8]George Shepherd.深入解析MFC[M].赵剑云,卿瑾,译.北京:电子工业出版社,2003.