VisionPro视觉软件：实现液晶屏的对正、抓取及打包的精确操作

北京欣奕华科技优乐娱乐赌场乐（以下简称欣奕华科技）是一家以智能技术和先进材料为核心的高科技公司，旨在推进国内工业机器人、服务机器人、关键零部件和先进材料的研发和产业化突破。其中，液晶面板和液晶显示器生产线是欣奕华科技的优乐娱乐平台网址之一。近期，公司为国内某液晶板制造厂研发制造了一条液晶屏打包生产线。

与通常的XY两轴对位有所不同，该液晶屏打包生产线所用的XXY三轴旋转平台，需要用视觉技术计算出ΔX1、ΔX2和ΔY三个轴的坐标，对标定过程、模型训练步骤和检测流程都提出了新的要求，计算步骤也比较多。整个项目的应用重点和难点就是视觉技术与XXY平台的配合，如图1所示。

图1XXY平台旋转角度计算示意图

欣奕华科技很早就知道康耐视公司是全球视觉行业的倡导者和领先者，接着这次技改机会，欣奕华科技就联系了康耐视北方区的代理商北京康视杰视觉技术优乐娱乐赌场乐（以下简称“康视杰”）。技术实力强大的康视杰专门为这个项目做了大量评估和测试，与欣奕华科技反复沟通后，双方最终确定使用康耐视功能强大的VisionPro视觉处理软件与CIC-10MR的方案。

由于欣奕华科技是第一次使用XXY旋转平台，按原来的设想是在检测时相机拍照两次，第一次拍照纠正角度，第二次拍照纠正偏移量。了解到他们的需求和想法后，康视杰的工程师经过调研发现，由于机械手不能调整角度和位移，就需要康耐视视觉软件计算出比较准确的数据给XXY旋转平台，让其通过收到的三轴位置数据来调整放在其上的液晶屏角度和位置，以便让机械手能够准确抓取，并放到后面的三个包装箱内。

由于每个包装箱也分别放在一个XXY旋转平台上，同样需要康耐视的视觉软件计算出包装箱的角度和位移，让XXY旋转平台纠正其角度和位置，然后让机械手将液晶屏准确放入其中，如图2所示。

图2XXY平台角度及平移修正量计算示意图

经过测试，使用康耐视CIC-10MR相机和VisionPro软件完美实现了液晶屏的对正、抓取和打包整个工作过程。而且一次拍照即可实现准确抓取，免去了原来设想的二次拍照流程，提高了生产效率，如图3所示。

图3包装箱检测界面

（说明：相机拍照后，根据检测的角度和平移偏差计算XXY平台的旋转量和平移量，一次性传送给PLC，由PLC控制XXY平台动作。）

另外，康视杰为欣奕华科技编写了简单易用的校准、标定和训练功能。为了减少视觉检测时耗，采用了多线程处理，将原来的每次拍照两秒减少到了一秒以内。为了实现与PLC的数据交互，还编写了与三菱Q系列PLC通讯程序。这些基于VisionPro的定制检测软件，实现了与XXY旋转平台完美结合。

 在工程师们利用测量工具与视觉配合确定了XXY平台的精度完全满足项目要求后，接下来就是视觉技术如何配合XXY平台进行准确定位。

 如图4所示，该液晶屏打包线分为两个部分：

⑴前面部分为ECheck产线，用两台康耐视CIC-10MR相机为液晶屏做定位，通过视觉检测调整XXY旋转平台，然后由机械手将其抓取到后面六个E检台中的任意一个上，精度要求为±1mm。

⑵后面部分为Packing产线，共有四个XXY平台，第一个用来为液晶屏做定位，后面三个为包装箱做定位，然后由机械手将液晶屏放入三个包装箱中，精度要求为±1mm。

图4打包工位现场照片

（说明：这是Packing工位现场照片，液晶屏由前面的传送带输送到XXY平台上进行检测，XXY平台根据视觉检测数据对液晶屏进行角度和平移调整，以便机械手能够正确抓取。）

第一、ECheck产线视觉检测

ECheck产线的XXY平台除了进行XXY角度和平移修正之外，最底部还有一个单独的轴，可以带动整个XXY平台旋转180度，所以此XXY平台接到前方传送带的液晶屏后有两个姿态：0度时，相机检测修正位置后，ARM机械手将其送往对应的三个0度E检台；180度时，相机检测修正位置后，ARM机械手将其送往对应的三个180度E检台；因为两个姿态XXY平台各轴的方向都发生了变化，所以需要分成两种情况进行校准和标定，增加了程序复杂程度，这点是与后续的Packing产线不同之处。

为了将两种姿态的液晶屏准确对正到相应的E检台，模型训练时采用了比较特殊的方法。以0度姿态为例说明，180度姿态类似，图5所示为液晶屏检测界面。

图5液晶屏检测界面

⑴先将所有0度E检台移到接料位，然后在第一个0度E检台上放一块标准的液晶屏，将其四个边角与E检台的固定框架对齐，分别与固定框架的边沿相距大约1~2mm。

⑵ARM机械手移到第一个0度E检台上，对好正确的抓取位置，然后将液晶屏吸起。此时PLC需要记下ARM机械手的放料位置及第一个0度E检台的接料位置。

⑶ARM机械手将液晶屏从第一个0度E检台上方移动到第二个0度E检台上方，缓缓一点点降，此时微调ARM机械手和第二个0度E检台的位置，将液晶屏与第二个0度E检台的固定框架对齐，间距同样是1~2mm。然后PLC记录此时ARM机械手的放料位置和第二个0度E检台的接料位置。

⑷同样方法，将液晶屏与第三个0度E检台对齐。

⑸然后ARM机械手吸着液晶屏移到XXY平台的上方，待XXY平台回到0度初始位置再移到接料位置后，ARM机械手将液晶屏放在XXY平台上然后移开。此时相机进行拍照取像，进行模型训练。

⑹模型训练后，为了验证机械上是否已经准确对位。先不调整XXY平台，让ARM机械手直接将XXY平台上的液晶屏取走，依次放在三个0度E检台上。如果能够准确放入说明机械对位准确。

⑺ARM机械手将液晶屏放回XXY平台，手动旋转和平移液晶屏，使其偏离正确位置。此时让相机拍照检测，根据其检测到的与模型的角度和平移偏差计算出XXY平台的修正量发送给PLC，驱动XXY平台进行调整。调整完成后ARM机械手抓取液晶屏放到其中一个0度E检台上。

经过多次测试，ARM机械手都能准确将液晶屏放到三个0度E检台上，如图6所示。

图6ECheck产线视觉检测示意图

第二、Packing产线视觉检测

Packing产线与ECheck产线略有不同，虽然有四个XXY平台，但是每个XXY平台都只有一个姿态，不用区分0度和180度。不过对正原理类似，却略显复杂，如图7所示。

图7Packing产线视觉检测示意图

⑴将Catcher平台上的液晶屏取到已装好挡块的Box里，将Box放到入箱口，驱动滚筒把Box送到Packing1工位处，并夹紧Box。

⑵确认液晶屏在Box里的位置，让液晶屏四个边角与Box四个角的档块内边沿间隙基本相同（1~2mm）。

⑶此时调整Packing1工位Camera3,4的曝光以得到较好的Model图像。

⑷得到Model图像后，开始训练Packing1的模型，并手动测试一次和二次拍照，确认一下输出数据是否合理。

⑸用吸盘把Packing1工位Box里的液晶屏吸起来，注意要保证在吸起来的过程中液晶屏不会蹭到Box导致其位置发生变化，同时也可再次确认液晶屏与Box的间隙是否合适。

待液晶屏被移走后，可再次手动测试一次和二次拍照，再确认一下输出数据是否没有大的变化。

⑹将液晶从Packing1工位的Box里完全吸起来，移动ARM机械手到分别与Packing2、Packing3工位的Box进行对正。然后分别拍照取Model图像进行模型训练。

⑺将液晶屏移动到Catcher平台处先不要下放，待Catcher平台回到初始位置时再放下。此时相机拍照取Model图像进行模型训练。

⑻至此，三个Packing工位和Catcher工位的模型训练完成。

正常工作时，三个Packing工位的包装箱分别根据视觉检测的数据调整好位置，液晶屏在Catcher工位的XXY平台上根据视觉检测的数据调整好位置，由ARM机械手抓起直接放到三个包装箱中。

 经过大量流片测试，ARM机械手都能够将液晶屏准确放入包装箱中。

借助康耐视VisionPro强大的视觉处理功能和优越而通俗易用的界面表达形式，欣奕华科技成功实现了技改，并首次深深领会到了先进视觉技术对提升制造效率的强大威力。

图4所示为视觉检测工位示意图。

“康耐视VisionPro视觉软件的PatMax定位功能真的很强大，特征不是很好的时候都能查找得非常准确。”欣奕华科技的项目负责人郭经理最后评价说，“而且软件界面简洁友好，操作方便，增加阈值判断功能后，工人就不用目不转睛的盯着检测了，既减少人工，又提高工作效率，以后公司视觉方面的需求要多与康耐视的合作。”