双目立体相机的外参标定系统、标定方法、应用、存储介质与流程

allin2023-04-02  67



1.本技术涉及机器视觉(计算机视觉)领域,更具体地说,尤其涉及一种双目立体相机的外参标定系统、标定方法、应用、存储介质。


背景技术:

2.双目立体相机作为传感器的使用,已经较为普遍。如:cn104567762a给出了双目立体相机在工程机械臂角度监测的应用;又如:cn114136562a给出了双目立体相机应用在工程测量中应用;又如:cn110812710b给出了双目立体相机在医疗器械转动架角度监测的应用。
3.综上所述,双目立体视觉系统作为角度传感器的应用,较为普遍。然而,现有技术的问题在于:
4.一是双目立体相机的数量较多(如cn110812710b需要4个相机才能监测到转动架的角度);
5.二是双目立体相机监测的算法速度仍然不够优化。
6.对于双目立体相机而言,外参参数一般用pitch、roll、yaw、ty来表示。申请人在以往的第一代双目立体相机的外参标定系统(申请号为:2021116313241)中,对上述参数的求解进行研究。但是,其具有以下几个缺点:
7.1)计算仅仅依据于4个点,坐标点的选择对于计算机标定的误差影响较大。对于机器而言,一般性的经验是:选择样本数越多,就越能接近于实际。然而,第一代双目立体相机的外参标定系统(rgbd参数标定)无法做到考虑多样本数。
8.2)计算需要多次进行三维重建。即在得到一个参数就需要进行一次三维重建(需要三次三维重建,才能得到全部参数),即某个参数的取得依赖于前面参数的取得。
9.因此,申请人的第一代双目立体相机的外参标定系统虽然也能够解决实际问题,但是其处理速度相对较慢。应用在传感器方面就显得有些反应不足。
10.因此,寻找更方便快捷的双目立体相机的外参标定方法,以满足双目相机应用在传感器方面的应用,就成为一个新的技术问题。


技术实现要素:

11.本技术的目的在于提供一种双目立体相机的外参标定系统,以解决现有技术的不足。
12.本技术的另一目的在于提供一种双目立体相机的外参标定的方法。
13.本技术的另一目的在于提供一种双目立体相机作为传感器的应用。
14.本技术的再一目的在于提供一种存储介质。
15.一种双目立体相机的外参标定系统,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;
16.所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统
得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;
17.所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;
18.所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到β
x
、βy、βz的结果,且将β
x
、βy、βz的结果存入所述存储系统中;
19.所述平移矩阵求解系统,用于读取存储系统中的β
x
、βy、βz的结果,以及标识点在相机坐标系下的三维坐标,计算得到ty,将ty存入所述存储系统中。
20.一种双目立体相机的外参标定的方法,相机坐标系与参考坐标系(即世界坐标系)均符合右手规则;
21.双目立体相机的外参参数为:β
x
、βy、βz、ty(四个参数属于r、t矩阵的参数,其属于公知常识);四个参数的标定采用以下步骤:
22.s100,读取标识点在项目立体相机下的三维坐标:
23.所述的标识点来源是:在水平参考面上贴十字线:第一标识线标识z
world
轴的方向,第二标识线标识x
world
轴的方向,在第一标识线、第二标识线上均设置有若干个标识点;
24.s200,计算z
world
轴、x
world
轴在相机坐标系中的向量,分别表示为(a,b,c)、(d,e,f);
25.s300,β
x
的求解采用下式:
26.若b≥0,
27.若b《0,
28.βy的求解采用下式:
29.当a≥0,
30.当a《0,
31.βz的求解采用下式:
32.θ为中间参数;
33.当θ≥π/2,
34.当θ《π/2,
35.s400,待β
x
、βy、βz求解完成后,求解ty:
36.读取第一标识线和/或第二标识线共计n个点在相机坐标系下的三维坐标,任意第i个点的三维坐标表示为:(x
cami
、y
cami
、z
cami
);
[0037][0038]
进一步,第一标识线上按照z
world
轴的前进方向设置有第1、2、

第q个标识点,采用双目立体相机读取上述q个点在相机坐标下的三维坐标,通过拟合能够求出第一标识线在相机坐标系的方向向量为(a,b,c);
[0039]
第二标识线上按照x
world
轴的前进方向设置有第1、2、

第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合能够求出第二标识线在相机坐标系的方向向量为(d,e,f)。
[0040]
进一步,相机坐标系的建立如下:
[0041]
1)采用右手规则坐标系:右手四指指向x
cam
轴方向,四指握手90
°
指向y
cam
轴方向,大拇指指向z
cam
轴方向;
[0042]
2)原点为深度相机的中心点;
[0043]
3)xcam轴为沿着深度相机-彩色相机的横向方向,z
cam
轴垂直于x
cam
轴且指向拍摄的方向;
[0044]
4)y
cam
轴、x
cam
、z
cam
相互垂直;
[0045]
参考坐标系的建立如下:
[0046]
1)采用右手规则坐标系(x
world
轴朝右,y
world
轴朝下,z
world
轴朝前):参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;
[0047]
2)y
world
轴正向为竖直向下。
[0048]
一种双目立体相机的应用,双目立体相机安装在机器人的机械臂上,在地面上设置贴置十字形或t字形标识线;基于双目立体相机能够获取机械臂的运动信息。
[0049]
进一步,双目立体相机的z
cam
轴方向与机械臂的轴长方向保持平行。
[0050]
进一步,所述的运动信息包括:机械臂在任意时刻t下的臂长的方位向量;其求解方法如下:
[0051]
首先,求取任意t时刻对应的β
x
、βy、βz,即采用:β
xt
、β
yt
、β
zt
表示;
[0052]
其次,z
camt
轴在t时刻下的参考坐标下的向量即为:
[0053]
(cosβ
zt
sinβ
yt
cosβ
xt
+sinβ
zt
sinβ
xt
,sinβ
zt
sinβ
yt
cosβ
xt-cosβ
zt
sinβ
xt
,cosβ
yt
cosβ
xt
)。
[0054]
进一步,所述的运动信息还包括:机械臂在任意时刻t-t1时刻下的转动角度(不表示方向);其求解方法是
[0055]
任意t时刻到t1转动角度;
[0056]
s100,求取t时刻对应的β
x
、βy、βz,即采用:β
xt
、β
yt
、β
zt
表示;
[0057]
s200,求取t1时刻对应的β
x
、βy、βz,即采用:β
xt1
、β
yt1
、β
zt1
表示;
[0058]
s300,机械臂在t时刻——》t1时刻的转动角度γ为:
[0059][0060]
其中,γ1、γ2、γ3为中间参数。
[0061]
进一步,所述的运动信息还包括:机械臂上的双目立体相机在任意时刻t-t1时刻下的运动距离信息;
[0062]
其求解方法是:
[0063]
对于沿着y
world
方向在t时刻——》t1时刻前进的距离为:t
yt1-t
yt

[0064]
对于“沿着x
world
方向在t时刻——》t1时刻前进额距离、沿着z
world
方向在t时刻——》t1时刻前进的距离”而言;
[0065]
通过计算第一或第二标识线上的任意一点p在t、t1时刻下的参考坐标系下的三维坐标:
[0066]
(x
pt
,y
pt
,z
pt
),(x
pt1
,y
pt1
,z
pt1
);
[0067]
能够知晓:
[0068]
双目立体相机的原点在t时刻——》t1时刻沿着x
world
方向前进了:x
pt-x
pt1
;若数值为正,表示沿着x
world
正方向移动,若数值为负,表示沿着y
world
正方向移动。
[0069]
双目立体相机的原点在t时刻——》t1时刻沿着z
world
方向前进了:z
pt-z
pt1
;若数值为正,表示沿着z
world
正方向移动,若数值为负,表示沿着z
world
正方向移动。
[0070]
一种存储介质,其存储有运行前述的方法的程序。
[0071]
本技术的有益效果在于:
[0072]
第一,本技术提出的双目立体相机的方法,对于:β
x
、βy、βz的求解,在求解顺序上并没有任何限定,其均可一次性求解得到。
[0073]
第二,本技术的难点在于确定:β
x
、βy、βz的适用范围。β
x
、βy、βz采用向量夹角的方式来求解。但是如何确定其正、负号就成为一个关键难题。
[0074]
对于β
x
而言,通过b、c的正、负号,来确定β
x
的大小:
[0075]
若b≥0,c》0,
[0076]
若b≥0,c《0,
[0077]
若b《0,c≥0
[0078]
若b《0,c≤0,
[0079]
亦或下式来表达:
[0080]
若b≥0,
[0081]
若b《0,
[0082]
对于βy而言,则通过a的正、负号来确定βy的正、负;
[0083]
当a≥0,
[0084]
当a《0,
[0085]
对于βz而言,则较为复杂,需要通过构建另外一个参数θ,通过判断θ的大小,来判断βz的正负;
[0086][0087]
当θ≥π/2,
[0088]
当θ《π/2,
[0089]
第三,本技术的第三个发明点在于给出了:利用双目立体相机作为方位传感器的应用。通过外参参数能够直接求得方位信息。
附图说明
[0090]
下面结合附图中的实施例对本技术作进一步的详细说明,但并不构成对本技术的任何限制。
[0091]
图1是本技术的双目立体相机作为传感器的应用示意图。
[0092]
图2是本技术的双目立体相机外参标定的坐标系示意图。
[0093]
图3是本技术的双目立体相机外参标定的数学原理图。
[0094]
图4是本技术的方案现场动态显示结果图(β
x
=-17.2
°
,βy=-6.1
°
,βz=2.4
°
,ty=-2613mm(图4显示的是绝对值))。
具体实施方式
[0095]
《基础理论分析》
[0096]
双目立体相机的外参可以采用下式表述:
[0097][0098]
r表示旋转矩阵,其是1个3
×
3的矩阵,其形式如下:
[0099][0100]
r矩阵是相机坐标系按照x、y、z的顺序,转动β
x
角度、βy角度、βz角度转动,即转换为参考坐标系的方向(原点并不重合)。
[0101]
t表示平移矩阵,其是1个3
×
1的矩阵,其形式如下:
[0102][0103]
t矩阵表示相机坐标系转化为参考坐标系后,相机坐标系原点到参考坐标系原点的距离。
[0104]
《实施例一:双目立体相机的外参参数的标定方法》
[0105]
《第一步:建立相机坐标系与参考坐标系》
[0106]
结合附图1可知,几何结构两个坐标系的转换。
[0107]
相机坐标系的建立与参考坐标系的建立均采用右手坐标系规则。
[0108]
双目立体相机的外参参数标定方法,包括以下步骤:
[0109]
1.1相机坐标系的建立如下:
[0110]
1)采用右手规则坐标系:右手四指指向x
cam
轴方向,四指握手90
°
指向y
cam
轴方向,大拇指指向z
cam
轴方向;
[0111]
2)原点为深度相机的中心点;
[0112]
3)xcam轴为沿着深度相机-彩色相机的横向方向,z
cam
轴垂直于x
cam
轴且指向拍摄的方向;
[0113]
4)y
cam
轴、x
cam
、z
cam
相互垂直;
[0114]
1.2参考坐标系的建立如下:
[0115]
1)采用右手规则坐标系(x
world
轴朝右,y
world
轴朝下,z
world
轴朝前):参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;
[0116]
2)y
world
轴正向为竖直向下;
[0117]
3)在水平参考面上贴十字型标识线或者t字型标识线:第一标识线(黑白纹理线)标识z
world
轴的方向,第二标识线(黑白纹理线)标识x
world
轴的方向(第一、二标识线只是标识z
world
轴、x
world
轴的方向,并不是指第一、二标识线就是z
world
轴、x
world
轴);
[0118]
采用上述坐标系,r矩阵同前述;t矩阵则可表述为:
[0119][0120]
《第二步:输入信息》
[0121]
第一标识线上按照z
world
轴的前进方向设置有第1、2、

第q个标识点,采用双目立体相机读取上述q个点在相机坐标下的三维坐标,通过拟合能够求出第一标识线在相机坐标系的方向向量为(a,b,c);
[0122]
对于a,b,c而言:
[0123]
对于方向向量的拟合方法,已知q个点的三维坐标,通过数学拟合(matlab即可实现):
[0124][0125]
a、b、c的大小与a'、b'、c'的绝对值相同,即满足:
[0126][0127]
基于q个标识点任意两个点:第g、h个标识点的三维坐标(xg,yg,zg),(xh,yh,zh),g到h标识点为z轴的方向;
[0128]
a的正负与x
h-xg相同,b的正负与y
h-yg相同,c的正负与z
h-zg相同。
[0129]
同理,第二标识线上按照x
world
轴的前进方向设置有第1、2、

第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合能够求出第二标识线在相机坐标系的方向向量为(d,e,f)。
[0130]
《第三步:β
x
、βy、βz、ty的求解》
[0131]
β
x
、βy、βz的数学原理可以采用下面的流程解释。
[0132]
首先x
cam
轴转动β
x
,y
cam
、z
cam
在y
cam-o-z
cam
面内旋转,变为y'
cam
、z'
cam

[0133]
然后,以y'
cam
轴转动βy,x
cam
、z'
cam
在x
cam-o-z'
cam
面内旋转,变为:x'
cam
、z
world

[0134]
再然后,以z
world
轴转动βz,y'
cam
、x'
cam
在y'
cam-o-x'
cam
面内旋转,变为:y
world
、x
world

[0135]
最后,将相机坐标系原点o;
[0136]
3.1β
x
的求解
[0137]
z'
cam
的位置确定是关键。
[0138]
观察前述的绕轴转动的顺序,z'
cam
与z
world
、x
cam
在同一个面,同时:z'
cam
还在y
cam-o-z
cam
面内;
[0139]
两个平面相交线即为z'
cam

[0140]
即在x
camycamzcam
(即相机坐标系)中,z
world-o-x
cam
面的方程为:
[0141]-cy+bz=0
[0142]
由此可知:z'
cam
的方程为:
[0143]
或者
[0144]
β
x
也采用z'
cam
与z
cam
的夹角表示:
[0145]
z'
cam
的单位向量为(0,)
[0146]zcam
的单位向量为(0,0,1)
[0147][0148][0149]
需要注意的是:
[0150]
并不精确;例如:β
x
=5
°
、-5
°
时,上式并无法区分。
[0151]
另外,更棘手的问题在于,β
x
是顺时针转动,还是逆时针转动。这由于后面βy的选择有关。
[0152]
对此,精确的表述应当为(此处需要说明,基于右手坐标系规则的限定:βy在[-90
°
,90
°
]之间):
[0153]
若b≥0,c》0,
[0154]
若b≥0,c《0,
[0155]
若b《0,c≥0
[0156]
若b《0,c≤0,
[0157]
3.2βy的求解
[0158]
z'
cam
在z'
cam-o-z
world
面内,即z'
cam
到z
world
的转角;
[0159]
在x
camycamzcam
(即相机坐标系)中;
[0160]
z'
cam
的向量为:(0,b,c)
[0161]zworld
的向量为:(a,b,c)
[0162][0163]
即:
[0164][0165]
并不精确;例如:βy=5
°
、-5
°
时,上式并无法区分。对此,精确的表述应当为:
[0166]
当a≥0,
[0167]
当a《0,
[0168]
3.3βz的求解
[0169]
x'
cam
、x
world
之间的夹角即为βz。
[0170]
y'
cam
在原相机坐标系中的向量为:(0,c,-b)
[0171]zworld
上的轴在原相机坐标系中的向量为:(a,b,c)
[0172]
x'
cam
与y'
cam
、z
world
轴均保持垂直,由此可知,x'
cam
在相机坐标系中的向量为:
[0173]
(b2+c2,-ab,-ac);
[0174]
x
world
在原相机坐标系中的向量为:(d,e,f)
[0175]
则有:
[0176][0177][0178]
βz的范围在[-π,π]之间。
[0179]
并不精确;例如:βz=5
°
、-5
°
时,上式并无法区分。对此,精确的表述应当为:
[0180]yworld
轴在相机坐标系下的向量为:(bf-ce,cd-af,ae-bd);
[0181]
x'
cam
在相机坐标系下的向量为:
[0182]
(b2+c2,-ab,-ac);
[0183]
x'
cam
与y
world
轴的夹角:
[0184][0185]
当θ≥π/2,
[0186]
当θ《π/2,
[0187]
3.4ty的求解
[0188]
x
cami
、y
cami
、z
cami
是第一标识线和/或第二标识线上任意一点在相机坐标系的三维坐标;
[0189]
将上述三维坐标代入到r矩阵,可以求出相机坐标系原点到参考坐标系原点之间的距离;具体数学可表示为:
[0190][0191]
l、n是第一标识线和/或第二标识线在参考坐标系的x
world
坐标、z
world
坐标(在求解ty不需要)。
[0192]
也即能够采用下式来求解:
[0193]
t
yi
=-[sinβzcosβyx
cami
+(sinβzsinβysinβ
x
+cosβzcosβ
x
)y
cami
+(sinβzsinβycosβ
x-cosβzsinβ
x
)z
cami
]
[0194][0195]
n表示从第一标识线和/或第二标识线选取的点的总数,n≤m+q。
[0196]
需要说明的是,
[0197]
对于β
x
而言,
[0198]
若b≥0
[0199]
若b《0,
[0200]
《实施例二:双目立体相机的外参标定系统》
[0201]
双目立体相机的外参标定系统,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;
[0202]
所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;
[0203]
所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;
[0204]
所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到β
x
、βy、βz的结果,且将β
x
、βy、βz的结果存入所述存储系统中;
[0205]
所述平移矩阵求解系统,用于读取存储系统中的β
x
、βy、βz的结果,以及标识点在相机坐标系下的三维坐标,计算得到ty,将ty存入所述存储系统中。
[0206]
《实施例三:双目立体相机作为传感器的应用》
[0207]
如图1所示,在机器人的机械臂固定安装一个双目立体相机,双目立体相机的z
cam
轴方向与机械臂的轴长方向保持一致;在地面上设置贴置标识线。
[0208]
t时刻下,双目立体相机能够得到一个r矩阵、一个t矩阵;在t1时刻下,双目立体相
机也能够得到一个r矩阵、一个t矩阵。
[0209]
实质上,t矩阵中只有1个参数即ty,|ty|其表征了双目立体相机距离地面的高度。
[0210]
第一,计算t时刻下的z
camt
轴在t时刻下的参考坐标系下向量;
[0211]
1.1首先利用实施例一的方法求解得到:t时刻对应的β
x
、βy、βz,即采用:β
xt
、β
yt
、β
zt
表示;
[0212]
1.2z
camt
轴在t时刻下的参考坐标下的向量即为:
[0213]
(cosβ
zt
sinβ
yt
cosβ
xt
+sinβ
zt
sinβ
xt
,sinβ
zt
sinβ
yt
cosβ
xt-cosβ
zt
sinβ
xt
,cosβ
yt
cosβ
xt
)。
[0214]
上述求解如下:
[0215]zcamt
轴在相机坐标系下的两点:(0,0,0),(0,0,1)在t时刻下的参考坐标系下的坐标可以采用下式求解得到:
[0216]
(0,0,0),(0,0,1)作为(x
cam
,y
cam
,z
cam
)值代入下式:
[0217]
(该式是将相机坐标系得到的任意一点在三维坐标转换为该点在参考坐标下的计算公式)
[0218]
即可得到:相机坐标下的两点(0,0,0),(0,0,1),在参考坐标系下的三维坐标为:
[0219]
(0,ty,0);
[0220]
(cosβ
zt
sinβ
yt
cosβ
xt
+sinβ
zt
sinβ
xt
,sinβ
zt
sinβ
yt
cosβ
xt-cosβ
zt
sinβ
xt
+ty,cosβ
yt
cosβ
xt
)。
[0221]
据此,可求出z
camt
轴在t时刻下的参考坐标下的向量即为:
[0222]
(cosβ
zt
sinβ
yt
cosβ
xt
+sinβ
zt
sinβ
xt
,sinβ
zt
sinβ
yt
cosβ
xt-cosβ
zt
sinβ
xt
,cosβ
yt
cosβ
xt
)。
[0223]
第二,计算t1时刻下的z
camt1
轴在参考坐标下的向量;
[0224]
2.1首先利用实施例一的方法求解得到:t1时刻对应的β
x
、βy、βz,即采用:β
xt1
、β
yt1
、β
zt1
表示;
[0225]
2.2z
camt
轴在t1时刻下的参考坐标下的向量即为:
[0226]
(cosβ
zt1
sinβ
yt1 cosβ
xt1
+sinβ
zt1
sinβ
xt1
,sinβ
zt1 sinβ
yt1
cosβ
xt1-cosβ
zt1
sinβ
xt1
,cosβ
yt1
cosβ
xt1
)。
[0227]
上述求解如下:
[0228]zcamt
轴在相机坐标系下的两点:(0,0,0),(0,0,1)在t时刻下的参考坐标系下的坐标可以采用下式求解得到:
[0229]
(0,0,0),(0,0,1)作为(x
cam
,y
cam
,z
cam
)值代入下式:
[0230][0231]
即可得到:相机坐标下的两点(0,0,0),(0,0,1),在参考坐标系下的三维坐标为:
[0232]
(0,ty,0);
[0233]
(cosβ
zt1
sinβ
yt1 cosβ
xt1
+sinβ
zt1 sinβ
xt1
,sinβ
zt1 sinβ
yt1
cosβ
xt1-cosβ
zt1
sinβ
xt1
+ty,cosβ
yt1 cosβ
xt1
)。
[0234]
据此,可求出z
camt
轴在t1时刻下的参考坐标下的向量即为:
[0235]
(cosβ
zt1
sinβ
yt1 cosβ
xt1
+sinβ
zt1 sinβ
xt1
,sinβ
zt1 sinβ
yt1
cosβ
xt1-cosβ
zt1
sinβ
xt1
,cosβ
yt1 cosβ
xt1
)。
[0236]
第三,基于第一、第二的信息,可以求出:
[0237]
机械臂在t时刻——》t1时刻的转动角度γ为(利用向量知识来求解即可,虽然t时刻的参考坐标系与t1时刻的参考坐标系不同,但是坐标系的xyz轴的方向并不会产生变化):
[0238][0239]
需要说明的是:
[0240]
基于双目立体相机,还能求出沿着x
world
方向在t时刻——》t1时刻前进了多少距离,沿着y
world
方向在t时刻——》t1时刻前进了多少距离,沿着z
world
方向在t时刻——》t1时刻前进了多少距离。
[0241]
对于沿着y
world
方向在t时刻——》t1时刻前进了多少距离这个问题而言,直接用:t
yt1-t
yt
求解即可(t
yt1
、t
yt
分别是t1、t时刻下得到的外参参数)。
[0242]
对于“沿着x
world
方向在t时刻——》t1时刻前进了多少距离、沿着z
world
方向在t时刻——》t1时刻前进了多少距离”这两个问题,通过计算标识线上的任意一点p在t、t1时刻下的参考坐标系下的三维坐标:
[0243]
(x
pt
,y
pt
,z
pt
),(x
pt1
,y
pt1
,z
pt1
);
[0244]
则可以知晓:
[0245]
双目立体相机的原点在t时刻——》t1时刻沿着x
world
方向前进了:x
pt-x
pt1
;若数值为正,表示沿着x
world
正方向移动,若数值为负,表示沿着y
world
正方向移动。
[0246]
双目立体相机的原点在t时刻——》t1时刻沿着z
world
方向前进了:z
pt-z
pt1
;若数值为正,表示沿着z
world
正方向移动,若数值为负,表示沿着z
world
正方向移动。
[0247]
基于上述信息,就可以明确的知晓,机械臂在空间中的变化信息。
[0248]
以上所举实施例为本技术的较佳实施方式,仅用来方便说明本技术,并非对本技术作任何形式上的限制,任何所属技术领域中具有通常知识者,若在不脱离本技术所提技术特征的范围内,利用本技术所揭示技术内容所作出局部更动或修饰的等效实施例,并且未脱离本技术的技术特征内容,均仍属于本技术技术特征的范围内。

技术特征:
1.一种双目立体相机的外参标定系统,其特征在于,包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;所述存储系统用于存储双目立体相机得到的图像、用于存储所述数据源处理系统得到的计算结果、用于存储旋转矩阵求解系统及平移矩阵求解系统得到的计算结果;所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;所述旋转矩阵求解系统,用于读取所述存储系统存储的标识点在相机坐标系下的三维坐标,得到β
x
、β
y
、β
z
的结果,且将β
x
、β
y
、β
z
的结果存入所述存储系统中;所述平移矩阵求解系统,用于读取存储系统中的β
x
、β
y
、β
z
的结果,以及标识点在相机坐标系下的三维坐标,计算得到ty,将ty存入所述存储系统中。2.一种双目立体相机的外参标定的方法,其特征在于,相机坐标系与参考坐标系均符合右手规则;双目立体相机的外参参数为:β
x
、β
y
、β
z
、t
y
;四个参数的标定采用以下步骤:s100,读取标识点在项目立体相机下的三维坐标:所述的标识点来源是:在水平参考面上贴十字线:第一标识线标识z
world
轴的方向,第二标识线标识x
world
轴的方向,在第一标识线、第二标识线上均设置有若干个标识点;s200,计算z
world
轴、x
world
轴在相机坐标系中的向量,分别表示为(a,b,c)、(d,e,f);s300,β
x
的求解采用下式:若b≥0,若b<0,β
y
的求解采用下式:当a≥0,当a<0,β
z
的求解采用下式:当θ≥π/2,当θ<π/2,s400,待β
x
、β
y
、β
z
求解完成后,求解t
y
:读取第一标识线和/或第二标识线共计n个点在相机坐标系下的三维坐标,任意第i个
点的三维坐标表示为:(x
cami
、y
cami
、z
cami
);3.根据权利要求2所述的一种双目立体相机的外参标定的方法,其特征在于,第一标识线上按照z
world
轴的前进方向设置有第1、2、

第q个标识点,采用双目立体相机读取上述q个点在相机坐标下的三维坐标,通过拟合能够求出第一标识线在相机坐标系的方向向量为(a,b,c);第二标识线上按照x
world
轴的前进方向设置有第1、2、

第m个标识点,采用双目立体相机读取上述m个点在相机坐标下的三维坐标,通过拟合能够求出第二标识线在相机坐标系的方向向量为(d,e,f)。4.根据权利要求2所述的一种双目立体相机的外参标定的方法,其特征在于,相机坐标系的建立如下:1)采用右手规则坐标系:右手四指指向x
cam
轴方向,四指握手90
°
指向y
cam
轴方向,大拇指指向z
cam
轴方向;2)原点为深度相机的中心点;3)xcam轴为沿着深度相机-彩色相机的横向方向,z
cam
轴垂直于x
cam
轴且指向拍摄的方向;4)y
cam
轴、x
cam
、z
cam
相互垂直;参考坐标系的建立如下:1)采用右手规则坐标系(x
world
轴朝右,y
world
轴朝下,z
world
轴朝前):参考坐标系的原点为相机坐标系的原点在水平参考面的投影点;2)y
world
轴正向为竖直向下。5.一种双目立体相机作为传感器的应用,其特征在于,双目立体相机安装在机器人的机械臂上,在地面上设置贴置十字形或t字形标识线;基于双目立体相机能够获取机械臂的运动信息;所述的双目立体相机采用如权利要求2的方法进行外参标定。6.根据权利要求5所述的一种双目立体相机作为传感器的应用,其特征在于,双目立体相机的z
cam
轴方向与机械臂的轴长方向保持平行。7.根据权利要求5所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息包括:机械臂在任意时刻t下的臂长的方位向量;其求解方法如下:首先,求取任意t时刻对应的β
x
、β
y
、β
z
,即采用:β
xt
、β
yt
、β
zt
表示;其次,z
camt
轴在t时刻下的参考坐标下的向量即为:(cosβ
zt
sinβ
yt
cosβ
xt
+sinβ
zt
sinβ
xt
,sinβ
zt
sinβ
yt
cosβ
xt-cosβ
zt
sinβ
xt
,cosβ
yt
cosβ
xt
)。8.根据权利要求5所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息还包括:机械臂在任意时刻t-t1时刻下的转动角度;其求解方法是任意t时刻到t1转动角度;s100,求取t时刻对应的β
x
、β
y
、β
z
,即采用:β
xt
、β
yt
、β
zt
表示;s200,求取t1时刻对应的β
x
、β
y
、β
z
,即采用:β
xt1
、β
yt1
、β
zt1
表示;s300,机械臂在t时刻——>t1时刻的转动角度γ为:
其中,γ1、γ2、γ3为中间参数。9.根据权利要求7所述的一种双目立体相机作为传感器的应用,其特征在于,所述的运动信息还包括:机械臂上的双目立体相机在任意时刻t-t1时刻下的运动距离信息;其求解方法是:求取t时刻对应的求取t、t1时刻对应的t
y
,采用t
yt
、t
yt1
表示;对于沿着y
world
方向在t时刻——>t1时刻前进的距离为:t
yt1-t
yt
;对于“沿着x
world
方向在t时刻——>t1时刻前进额距离、沿着z
world
方向在t时刻——>t1时刻前进的距离”而言;通过计算第一或第二标识线上的任意一点p在t、t1时刻下的参考坐标系下的三维坐标:(x
pt
,y
pt
,z
pt
),(x
pt1
,y
pt1
,z
pt1
);能够知晓:双目立体相机的原点在t时刻——>t1时刻沿着x
world
方向前进了:x
pt-x
pt1
;若数值为正,表示沿着x
world
正方向移动,若数值为负,表示沿着y
world
正方向移动。双目立体相机的原点在t时刻——>t1时刻沿着z
world
方向前进了:z
pt-z
pt1
;若数值为正,表示沿着z
world
正方向移动,若数值为负,表示沿着z
world
正方向移动。10.一种存储介质,其特征在于,其存储有运行如权利要求2或3或4的方法的程序。

技术总结
本申请公开了双目立体相机的外参标定系统、标定方法、应用;属于计算机视觉这一领域;其技术要点在于:包括:存储系统、数据源处理系统、旋转矩阵求解系统、平移矩阵求解系统;所述数据源处理系统读取所述存储系统中存储的图像上识别第一标识线、第二标识线的标识点,计算得到上述标识点在相机坐标系下的三维坐标,将计算得到的标识点在相机坐标系下的三维坐标存储到数据源存储系统中;所述旋转矩阵求解系统以及平移矩阵求解系统,用于给出外参参数的计算结果。采用本申请的双目立体相机的外参标定系统、标定方法、应用,能够方便双目立体相机作为传感器的应用。机作为传感器的应用。机作为传感器的应用。


技术研发人员:李帅阳 王鑫 任杰
受保护的技术使用者:元橡科技(苏州)有限公司
技术研发日:2022.03.20
技术公布日:2022/7/5
转载请注明原文地址: https://www.8miu.com/read-8575.html

最新回复(0)