一、为什么要进行摄像机标定
随着机器视觉的迅猛发展,我们已经不满足于使用摄像机进行监控、抓拍这种较为简单的功能。更多的用户青睐于它在非接触三维尺寸测量上的应用。我们所谓的三维测量是广义的三维测量,它不仅包括三维物体的重构与测量,还包括在三维空间中识别任意二维平面上的尺寸以及位置。这种技术目前已被应用在高精度的工业模具以及装配测量中,其中任意二维平面上的尺寸检测技术应用得更为广泛。
图一 如图1当被测平面和像平面平行且成像模型为理想的小孔成像模型,我们设焦距为f、工作距离为d,则被测物OP和它的像O’P’关系可简单的表示为: |OP|=|O’P’|×d/f 【1】 但是在实际应用中并非如此,我们无法严格控制像平面和被测平面的位置,所用的镜头也不是严格的小孔模型。如果直接使用【1】式计算将会产生极大的误差。因此,为了获取更高的测量精度,我们需要通过标定来实现坐标平面的转换以及图像的校正。 二、什么是摄像机标定 在实际应用中,被测平面的不确定性以及镜头的畸变使我们已经无法简单的使用【1】式计算出实际距离,但是我们可以将目前能够获得的数据进行转换,使这些数据符合【1】式的使用条件。也就是将任意坐标平面通过旋转和平移映射到理想坐标平面上,对有畸变的图像进行校正,让它成为符合小孔成像模型的像平面。有了这种方法,我们只要确定转换算法、校正算法以及【1】式中的参数就可以实现三维空间中任意平面上尺寸与位置的测量。我们将这种确定参数的过程称之为标定。 三、摄像机单目标定 摄像机标定的方法根据摄像机的数目可分为单目标定、双目标定以及多目标定。其中单目摄像机标定是双目标定的基础,而多目摄像机的标定则是双目摄像机的扩展。因此,我们今天首先来为大家介绍单目标定。在平面测量中影响我们拍摄图像形变的因素有两个:镜头和摄像机的姿态。根据这两个因素我们将摄像机的参数分为两组,摄像机内参和摄像机外参。 1、摄像机内参 内参一般包括镜头的焦距f、镜头畸变参数k、光轴中心坐标(Cx,Cy)以及像元尺寸Sx,Sy,当摄像机和镜头确定时,这些参数唯一确定。下面我们来详细介绍一下各参数的数学模型。 1)焦距 根据镜头类型不同焦距的计算可分为针孔模型和远心模型。如图3我们假设世界坐标系有任一点P(x,y),在摄像机靶面所成的像为P’(u,v),根据不同的光路模型它们之间有如下的对应关系 a) 针孔模型 b)远心模型 由于远心镜头特殊的光路设计使得像的大小与拍摄距离无关,因此表达式比针孔模型更为简单。 2)镜头畸变 受到镜头的制作和安装精度的影响,我们所获得图像会产生非线性失真。我们称这种失真为镜头畸变。镜头畸变产生的误差使得理想针孔模型已不再适用。因此我们需要先将所得图像进行校正,再应用理想的针孔模型。假设我们所获取的原始图像坐标(u,v)、校正后的结果(u’,v’),其畸变模型坐标关系为: a)径向畸变 径向畸变主要由透镜制作过程中表面曲率引起,它会使图像发生桶形畸变和枕形畸变(如图4)。其数学模型如下: 其中,如果对精度要求不是很高我们可以令将上式简化为如下表达式: b)离心畸变 离心变量又称偏心变量,它的误差来源于透镜的安装精度,这主要是因为所有镜片的光学中心并不能严格的保证在同一条直线上。这种误差除了在引入径向畸变同时还会引入切向畸变。由于之前我们已经进行了径向畸变的校正,因此我们在此基础上只需加入切向畸变校正即可。其数学模型如下: c)薄棱镜畸变 影响薄棱镜畸变的主要因素的是透镜以及摄像机靶面的平行度,镜片与摄像机靶面夹角越大畸变就越严重。其数学表达式如下: d)畸变校正 在实际的应用中,大多数工业摄像机的厂商可以通过摄像机接口螺纹的机械精度来保证镜头透镜与靶面的平行性,而且这种畸变产生的误差较小,因此在一般的图像标定中不作考虑。至此,我们已经基本掌握了大多数情况下畸变产生的原因以及数学模型。结合【5】、【7】两式我们可以推导出镜头畸变校正模型: 2. 摄像机外参 摄像机的外参是指摄像机坐标系与世界坐标系的转换参数它主要由旋转矩阵R和平移矩阵T组成。对于任意三维坐标系,我们都可以通过这两个矩阵将其转换到摄像机坐标系中。其数学模型为【10】 1)旋转矩阵R 如图5所示,我们通过沿坐标轴x、y、z分别旋转α、β、γ来实现坐标系的转换。因此,旋转矩阵R可分解为Rx(α)、Ry(β)、Rz(γ)三个矩阵相乘的形式。我们以z轴为例,假设(x0,y0)与x轴夹角为θ,且到原点距离为r,通过旋转矩阵 Rz(γ)坐标系沿z轴旋转γ后得到点(x1,y1),我们可得方程组: x1=r·cos(θ+γ) 【11】 y1=r·sin(θ+γ) 【12】 由三角函数展开得: x1= r·cos(θ) cos(γ)- r·sin(θ) sin(γ) 【13】 y1= r·sin(θ) cos(γ)+ r·cos(θ) sin(γ) 【14】 由(x0,y0)与x轴夹角为θ得: x0=r·cos(θ) 【15】 y0=r·sin(θ) 【16】 将【15】式带入【13】式、【16】式带入【14】式得: x1=x0·cos(γ)-y0·sin(γ) 【17】 y1=y0·cos(γ)+x0·sin(γ) 【18】 因此 以此类推求得Rx(α)和Ry(β)将它们与Rz(γ)相乘得: 2)平移矩阵T 通过旋转矩阵运算后,世界坐标系的三个坐标轴会与摄像机坐标系对应的坐标轴相平行。此时我们已经离我们的目标又近了一步。如图7所示我们现在只要沿各坐标轴做平移运算即可,由此得: 3)参数求解 根据【2】、【9】、【20】、【21】这几个数学模型,我们可以得知,若想确定一个摄像机与被测平面的相对位置,则需要确定包括内参、外参在内的14个参数,其中是已知的。因此,我们至少需要9个坐标点,构成9个方程才可以解出剩余的9个未知数。在通常情况下,点的分布以覆盖大部分视场为准,获得的数据点越多,统计的参数就越准确。我们一般采用最小二乘法或者线性规划等统计算法来求解相应参数。下面我们以HALCON为例演示一个标定的全过程。 HALCON是德国MVTEC Software GmbH公司开发的一套完善的机器视觉算法软件包。它除了拥有亚像素精度的算法以及高效的处理性能外,在三维重构方面它也有卓越的表现。它的开发环境中自带摄像机标定工具,可以轻松的完成摄像机的标定工作。同时,您还可以使用HALCON生成可打印的标定板文件。下面我们就来介绍一下摄像机标定的整个流程。 a)生成标定板 i. 创建标定板 使用HALCON开发环境HDevelop创建标定板 在选择尺寸选择时推荐大家使用边长为视野1/3左右的标定板 ii.打印标定板 通过GSView等高精度打印软件打印标定板。 b) 摄像机参数设置 输入所使用的摄像机以及镜头的相关参数 c)拍摄标定板图像 我们采用平移和倾斜的方式使得拍摄图像中的标定板尽量覆盖整个视场。 一般情况我们需要保存15幅不同位置的图像,具体位置如下: d)标定图像载入 通过HALCON我们可以实时拍摄图像也可以读取我们事先拍摄好的图像进行标定。如果标定板识别成功,图像上将绘制出标定板坐标系。 e)标定 标定后我们会获得摄像机内参和外参。我们还可以将它们保存起来用于坐标转换或图像校正。 f)验证标定结果 在HALCON中不仅有摄像机标定工具还有测量工具,下面我们使用HDevelop自带的一维测量助手来验证一下我们的标定结果。 首先我们要加载我们刚才标定的数据。 成功加载标定数据后我们就可以使用我们随机拍摄的一张图像进行测量。 通过以上几步操作,现在我们就已经得到了像素点的实际距离。 复杂的标定工作在HALCON的帮助下就轻松的完成了。不仅如此,以上的所有步骤都可以导出为代码,我们可以将这些代码集成到我们自己的程序中。 备注:若采用高精度的标定板将会得到更高精度的标定结果。 四、应用 单目摄像机标定技术适用于被测表面曲率较小且需要获取实际数据的应用场合,比如食品、机械制造以及半导体等。理论上,在检测过程中所有的被测物尺寸的判断都可以使用像素尺寸来完成。虽然像素尺寸和实际尺寸对于计算机来说几乎是一样的,一般只用于比较大小,但是对于我们来说实际尺寸更加直观。 图15 图16 图15为速冻鱼柳检测系统的图像处理示例。由于实际应用中不同批次的鱼柳宽度不同,因此,最好的办法是使用标定后获取的实际数据来进行计算。这种判定方法使得系统参数更加直观,设置更加方便。图16为工件尺寸检测系统,通过标定,我们不仅可以获取实际数据,而且可以将它们直接和CAD中数据进行比较,提高检测效率。 五、结语 在机器视觉产业的蓬勃发展的今天,摄像机标定已经逐步应用到医疗、食品、磨具生产、半导体生产等诸多检测系统中。随着像HALCON这样的算法库用户群的不断扩大,摄像机标定在作为我们研究课题的同时,也会不断的走进工业应用中。它将为我们提供更完善,更精准的二维以及三维空间的解决方案,成为提高工业生产效率和产品质量的推动力。 责任编辑:lq
松下4K存储卡式摄录一体机为学校的学科建设和人才培养提供帮助 AW-RP150MC能通过网络接口控制多台AW-UE155WMC,在实际运用中减少了人员配置,也节约.... 科技绿洲 发表于 06-29 17:24 • 235次
抗原检测试剂盒助力对抗新冠疫情 包装字符/标签视觉检测 \瓶盖字符视觉检测\手机壳字符检测\半导体晶片上的字符与条码\电子电容丝\印.... 视觉检测 发表于 06-29 16:12 •
ADI全新ADTF3175模块实现更广泛的机器视觉部署 ADI近日宣布推出首款用于3D景深测量和视觉系统的高分辨率、工业品质、间接飞行时间(iToF)模块。.... 亚德诺半导体 发表于 06-29 14:19 • 160次
但由于该类缺陷形状不规则、深浅对比度低,而且往往会被产品表面的自然纹理或图案所干扰。因此,表面划痕缺.... 新机器视觉 发表于 06-29 10:45 •
近年来,疫情防控加速了中国高等教育方式的深刻变革,为了推动教育信息化建设,推动优质教育资源的共享与均.... 松下专业 发表于 06-28 17:51 • 294次
海康机器人LMR×读码产品实现物料搬运自动化及数字化 6月,海康机器人携移动机器人、机器视觉产品亮相马来西亚SEMICON Southeast Asia半.... 发表于 06-28 15:41 • 134次
KAIROS云服务可通过云传输和远程制作高效进行视频制作 琉球朝日广播电视台应用视频制作解决方案“KAIROS云服务”进行了在线实况直播和地面广播播放,为创.... 科技绿洲 发表于 06-28 15:22 • 259次
助力工业4.0 多功能一体化智能相机 智能制造零距离 多功能一体化智能相机,检测速度快,精度高,识别率高 机器视觉检测 发表于 06-27 15:38 • 431次
机器视觉运动控制一体机应用例程|U盘视觉定位激光打标解决方案 本期课程我们将和大家一起分享如何去实现U盘视觉定位激光打标解决方案。 正运动技术 发表于 06-27 15:36 • 255次
项目背景: 目前防疫进入反复阶段,加上covid-19的各种新变异个体出现,以及高传染特性,对疫情防.... gzww2018 发表于 06-27 15:20 •
诚迈科技推动工业AI视觉质检市场加速发展 工业4.0的核心是智能制造。而在智能制造赛道,工业AI质检正在快速奔跑。 诚迈科技 发表于 06-24 15:11 • 122次
诚迈科技基于机器视觉技术打造一体化工业视觉软件解决方案 智能制造要通过数据和算法,实现网络化智能工厂,使信息在整个供应链上互联互通、生产效率提升、风险降低。.... 科技绿洲 发表于 06-24 10:46 • 570次
当地时间6月21-23日,全球领先的操作系统产品和技术提供商中科创达携旗下子公司创通联达、Right.... 科技绿洲 发表于 06-23 14:25 • 220次
缺点:大部分在线检测项目不方便使用;多层交叠不透明体会互相干扰;有一定厚度,带倒角、圆角的物体或者圆.... 新机器视觉 发表于 06-23 11:41 • 159次
通过检测图形被投射到另一物体上的扭曲和变形,再经过图像处理和三角剖分算法将这些扭曲和变形转换为3D点.... 飞外网 发表于 06-23 10:57 • 192次
通过检测图形被投射到另一物体上的扭曲和变形,再经过图像处理和三角剖分算法将这些扭曲和变形转换为3D点.... Robot Vision 发表于 06-23 08:00 • 432次
AMD 推出锐龙嵌入式 R2000 系列,为工业、机器视觉、物联网和瘦客户机解决方案提供优化的性能与功率效率 —全新锐龙嵌入式 R 系列片上系统提供了双倍核心数量、增强的 Radeon 图形处理器、支持 Win.... 发表于 06-22 13:35 • 1085次
作为国家战略性新兴产业发展重点之一的电子信息产业,PCB板块持续走强。覆铜板是PCB制造的上游核心材.... h1654155703.5361 发表于 06-21 17:56 • 315次
FormFactor的SiPh-Tools简单介绍 FormFactor的SiPh-Tools是功能强大的软件包,其中包括用于启用和促进光学探测的大量工.... 发表于 06-21 14:50 •
松下一体化摄像机能够提供VR制作所需要的跟踪数据 松下公司在德国汉堡有一间供内部使用的演播室。最近,他们使用松下专业视音频技术对其进行了升级。在系统集.... 科技绿洲 发表于 06-21 11:46 • 435次
在大多数条件下,这些参数必须通过实验与计算才能得到。无论是在图像测量或者机器视觉应用中,相机参数的标.... 新机器视觉 发表于 06-21 11:12 • 338次
松下公司在德国汉堡有一间供内部使用的演播室。最近,他们使用松下专业视音频技术对其进行了升级。在系统集.... 松下专业 发表于 06-21 11:06 • 244次
奥普泰卡口车辆追踪系统:精准、智能、高效! 目前,全国车辆总数庞大且日益增加,精准掌握目标车辆的信息,是公安、交警系统迫切需要。当前公安.... 明道物联网 发表于 06-20 17:25 • 311次
基于机器视觉的铆钉自动铆合方案 铆钉的铆合是使用金属 材质的细小金属管,穿过连接板上的铆合孔,之后对铆钉两端面使用敲打或增压等方式,.... 发表于 06-20 09:49 • 2523次
机器视觉检测系统的优势及工作流程的介绍 生产厂家应用OCR视觉检测系统设备,流水线进行自动化的改造,使生产变成快速、实时、准确、高效的流水线.... 视觉检测 发表于 06-17 17:49 • 157次
海康机器人发布生态合作伙伴计划 持续赋能客户 为打造区域化、层次化的机器视觉应用生态,加强上下游合作,海康机器人发布生态合作伙伴计划, 面向全国招.... 科技绿洲 发表于 06-16 10:44 • 846次
海康机器人打造以VM为核心的机器视觉应用生态 为打造区域化、层次化的机器视觉应用生态,加强上下游合作,海康机器人发布生态合作伙伴计划, 面向全国招.... 科技绿洲 发表于 06-12 10:51 • 510次
这个提质神器,被研祥金码科技团队研发出来了 2022年,是很多行业进行自我变革初见成效的一年,数字化转型是传统产业突破增长的战略关键。如何用科技.... 科技数码 发表于 06-10 18:26 • 159次
松下一体化摄像机AW-UE100为客户提供强大技术支持 林肯演播室位于巴黎市中心,靠近香榭丽舍大道,是一间专业制作企业视频、演讲视频,且高度模块化的演播室,.... 科技绿洲 发表于 06-10 13:24 • 258次
熵基科技推高空抛物智能检测摄像机SJ-W955GP02S-A 近期,熵基科技顺势推出高空抛物智能检测摄像机SJ-W955GP02S-A。无论是社区、园区,还是建筑.... 科技绿洲 发表于 06-10 11:25 • 307次
激光雷达(英文:Laser Radar),是以发射激光束探测目标的位置、速度的雷达。它有时也被叫做3.... 新机器视觉 发表于 06-10 10:31 • 389次
专为工业或车载应用的边缘计算而构建的可移动平台 得益于创新的模块化设计,VPC-3350S 有两种配置可供选择;紧凑型工业 VPC-3350S .... 星星科技指导员 发表于 06-10 07:14 • 218次
使用VPLC控制器进行图像拼接的实例 图像拼接的 原理 是将多幅来自同一 拍摄场景的小视野图像合成为一幅无缝的、分辨率高、大视野的全景图像.... 发表于 06-09 14:29 • 172次
华为相信,数字技术是保护环境的使能器。一方面,以技术减缓气候变化,促进这个世界无限接近零碳;另一方面.... 科技绿洲 发表于 06-08 14:57 • 615次
普诺飞思宣布提供免费视觉软件套件,推动全球基于事件生态社区建设发展 2022 年 6 月 6 日,中国上海——全球领先的神经拟态视觉系统发明者普诺飞思(Prophese.... 21克888 发表于 06-06 17:22 • 1399次
海康威视AI开放平台帮助养殖场实现生物安全管理 武汉江夏区的田间地头,多了不少“黑科技”——物联网传感设备、环境指标传感器和智能摄像机,24小时实时.... 科技绿洲 发表于 06-06 17:22 • 678次
一幅好的图像可以提高整个系统的稳定性,从而大大降低图像处理算法的难度,同时提高系统的精度和可靠性。 要长高 发表于 06-06 16:01 • 745次
大华股份助力变电站远程巡视 赋能行业各类场景数智化升级 电力是点亮国民经济生活的不灭灯火,变电站作为电网的“心脏”,其安全生产与经济社会发展、人民生产生活息.... 科技绿洲 发表于 06-06 11:24 • 322次
mW范围内的机器视觉使物联网端点推理变得实用 处于极端边缘的端点,例如用于人员检测的端点,有特定的需求。尽管任何人都可以将已发布的神经网络用于.... 星星科技指导员 发表于 06-06 09:19 • 317次
机器视觉检测设备在手套检测方案中的应用 自新型冠状病毒(2019-nCoV)感染的肺炎疫情发生以来,全国同舟共济、众志成城,打响了一场没有硝.... 发表于 06-02 17:27 •
这 智能托盘解决方案 使包装和托盘本身变得智能,可以实时检测它们应该什么时候在什么地方。这样可以.... 星星科技指导员 发表于 06-02 16:50 • 803次
蘑菇说:“闪现”的行人可能会让驾驶者手足无措,也同样困扰自动驾驶车辆。面对“鬼探头”等场景、暴雨等极.... 科技绿洲 发表于 06-02 14:38 • 478次
海康机器人FA镜头产品满足各类机器视觉行业应用 随着工业自动化的提速,机器视觉的动态成像应用不断增多。面对高速率、低成本的市场应用需求,为了给客户提.... 科技绿洲 发表于 06-01 17:22 • 438次
FHD 4K变焦摄像机的特点及应用场景 一般常用技术的会议云台摄像机,支持12倍,20倍,22倍,30倍光学变焦,HDMI\IP\SDI都是.... FHD|4K摄像机|录播工厂 发表于 06-01 10:29 • 361次
智能语音跟踪会议摄像机概述/应用场景/特点/技术参数 派尼珂Pnioke智能语音跟踪会议摄像机,采用双目视频采集镜头,全景+特写镜头组成2路高清视频输出,.... FHD|4K摄像机|录播工厂 发表于 06-01 09:47 • 605次
先进的视觉和检测流程正在推动相机分辨率的提高。 随着相机分辨率的增加,像素大小通常会减小。 较小的像.... 要长高 发表于 05-31 14:48 • 701次
3D机器视觉测量方案也为锂电池制造商带来了更多选择,预计未来几年,3D视觉领域将延续高热度。国内外厂.... 要长高 发表于 05-31 14:38 • 1061次
机器视觉技术已经在医学、交通航海、工业生产等领域有了突破性进展,基于机器视觉的表面缺陷检测必将是未来.... 要长高 发表于 05-31 14:26 • 695次
瑞盟MS51xx系列芯片高精准应用于机器视觉行业 什么是机器视觉机器视觉是人工智能行业的重要前沿分支。机器视觉通过模拟人类视觉系统,赋 予机器“看”和“认知”的能力,是机器... 发表于 04-25 22:10 • 9608次
全爱科技推出昇腾Atlas200开发套件QA200-PICE,进入多所知名高校! 全爱科技推出Atlas200开发套件QA200-PICE,QA200-PICE开发者套件是一款高性能AI应用开发板,支持华为昇腾Ascend... 发表于 04-08 16:22 • 2105次
一个关于视觉方面的问题 如图,需要找出图1到5中红色圈出的区域,请教一下各位大佬有什么好的方式,我这边用图像预处理后找轮廓的方式找错的... 发表于 03-11 08:31 • 7408次
怎样去选择一款合适的嵌入式视觉摄像头呢 功能强大的精简型单板计算机的推出催生了令人兴奋的新产品设计。在通过小型化优化成本及(或)效率的应 用中,它的效用尤为明显。另... 发表于 12-23 07:25 • 1071次
怎样去设计一个基于机器视觉与dobot的象棋机器人呢 教你如何从零做一个智能象棋机器人?怎样去设计一个基于机器视觉与dobot的象棋机器人呢? 发表于 12-23 06:22 • 931次
介绍机器视觉模块OpenMV-RT初体验 本系列痞子衡给大家介绍的是机器视觉模块OpenMV-RT初体验。 近些年机器视觉应用一直是个很火的方向,想象一下机器如果... 发表于 12-23 06:02 • 1284次
GM-1000是什么?有何功能 鉴于机器视觉的爆炸性增长,作为嵌入式系统专业制造商的Cincoze已扩展了其嵌入式GPU计算产品线。新推出的GM-1000是一款坚固... 发表于 12-20 07:38 • 1047次
嵌入式模拟智能机器人 机器人不仅需要人工智能(AI)才能实现自主。他们还需要大量传感器,传感器融合以及边缘的实时推理。之前我们已经尝到了深度卷... 发表于 12-20 06:44 • 1061次
嵌入式设置的主要优点有哪些 在这种新的嵌入式设置中,各个组件组合在一起成为一个设备,因此机器视觉成为嵌入式视觉。机器视觉是指机器在视觉上感知其环境的... 发表于 12-20 06:37 • 982次