今天的低价单孔摄像机(照相机)会给图像带来很多畸变。畸变主要有两种:径向畸变和切想畸变。如下图所示,用红色直线将棋盘的两个边标注出来,但是你会发现棋盘的边界并不和红线重合。所有我们认为应该是直线的也都凸出来了。

在 3D 相关应用中,必须要先校正这些畸变。为了找到这些纠正参数,我们必须要提供一些包含明显图案模式的样本图片(比如说棋盘)。我们可以在上面找到一些特殊点(如棋盘的四个角点)。我们起到这些特殊点在图片中的位置以及它们的真是位置。有了这些信息,我们就可以使用数学方法求解畸变系数。这就是整个故事的摘要了。为了得到更好的结果,我们至少需要 10 个这样的图
案模式。

实现步骤

拍摄棋盘图

首先打印下图：下载 也可直接保存

将其固定到一个平面上，使用相机从不同角度，不同位置拍摄（10-20）张标定图。类似这样的：

python调用opencv相机拍照代码（例）：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
import cv2
camera=cv2.VideoCapture(0)
i = 0
while 1:
    (grabbed, img) = camera.read()
    cv2.imshow('img',img)
    if cv2.waitKey(1) & 0xFF == ord('j'):  # 按j保存一张图片
        i += 1
        u = str(i)
        firename=str('./img'+u+'.jpg')
        cv2.imwrite(firename, img)
        print('写入：',firename)
    if cv2.waitKey(1) & 0xFF == ord('q'):
        break

按j拍摄图片，将会按照顺序批量保存，按q退出程序。

寻找棋盘图并且标定+检视标定后结果

利用opencv寻找棋盘

为了找到棋盘的图案,我们要使用函数 cv2.findChessboardCorners()。我们还需要传入图案的类型,比如说 8x8 的格子或 5x5 的格子等。在本例中我们使用的9×6 的格子。(通常情况下棋盘都是 8x8 或者 7x7)。它会返回角点,如果得到图像的话返回值类型(Retval)就会是 True。这些角点会按顺序排列(从左到右,从上到下)

这个函数可能不会找出所有图像中应有的图案。所以一个好的方法是编写代码,启动摄像机并在每一帧中检查是否有应有的图案。在我们获得图案之后我们要找到角点并把它们保存成一个列表。在读取下一帧图像之前要设置一定的间隔,这样我们就有足够的时间调整棋盘的方向。继续这个过程直到我们得到足够多好的图案。就算是我们举得这个例子,在所有的 14 幅图像中也不知道有几幅是好的。所以我们要读取每一张图像从其中找到好的能用的。

除 了 使 用 棋 盘 之 外, 我 们 还 可 以 使 用 环 形 格 子, 但 是 要 使 用 函 数
cv2.findCirclesGrid() 来找图案。据说使用环形格子只需要很少的图像
就可以了。

在找到这些角点之后我们可以使用函数 cv2.cornerSubPix() 增加准确度。我们使用函数 cv2.drawChessboardCorners() 绘制图案。所有的这些步骤都被包含在下面的代码中了:

标定

在得到了这些对象点和图像点之后,我们已经准备好来做摄像机标定了。我们要使用的函数是 cv2.calibrateCamera()。它会返回摄像机矩阵,畸变系数,旋转和变换向量等。

畸变矫正

现在我们找到我们想要的东西了,我们可以找到一幅图像来对他进行校正了。OpenCV 提供了两种方法,我们都学习一下。不过在那之前我们可以使用从函数 cv2.getOptimalNewCameraMatrix() 得到的自由缩放系数对摄像机矩阵进行优化。如果缩放系数 alpha = 0,返回的非畸变图像会带有最少量的不想要的像素。它甚至有可能在图像角点去除一些像素。如果 alpha = 1,所有的像素都会被返回,还有一些黑图像。它还会返回一个 ROI 图像,我们可以用来对结果进行裁剪。

函数:cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),1,(w,h))中参数1是个坑,

官方文档给的参数是1但是标定后的结果是一个球形的视角，我查了好久资料最后咨询了大佬才发现这个坑

这里我们使用cv2.getOptimalNewCameraMatrix(mtx,dist,(w,h),0,(w,h))参数设置为0

畸变到非畸变

下面代码中

  • dst1图像使用的是 cv2.undistort() 这是最简单的方法。只需使用这个函数和上边得到的 ROI 对结果进行裁剪

  • dst2图像使用的是remapping 这应该属于“曲线救国”了。首先我们要找到从畸变图像到非畸变图像的映射方程。再使用重映射方程。(代码中有详细用法)

两种效果可以自行对比看看

纠正前后对比:

反向投影误差

我们可以利用反向投影误差对我们找到的参数的准确性进行估计。得到的结果越接近 0 越好。有了内部参数,畸变参数和旋转变换矩阵,我们就可以使用 cv2.projectPoints() 将对象点转换到图像点。然后就可以计算变换得到图像与角点检测算法的绝对差了。然后我们计算所有标定图像的误差平均值。(但是本文不需要,所以没有将其写入)

主要代码

需要的库:opencv-python numpy glob 

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
import cv2
import numpy as np
import glob



# 找棋盘格角点
# 设置寻找亚像素角点的参数，采用的停止准则是最大循环次数30和最大误差容限0.001
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001) # 阈值
#棋盘格模板规格
w = 9   # 10 - 1
h = 6   # 7  - 1
# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0)，去掉Z坐标，记为二维矩阵
objp = np.zeros((w*h,3), np.float32)
objp[:,:2] = np.mgrid[0:w,0:h].T.reshape(-1,2)
objp = objp*18.1  # 18.1 mm

# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = [] # 在世界坐标系中的三维点
imgpoints = [] # 在图像平面的二维点
#加载pic文件夹下所有的jpg图像
images = glob.glob('./*.jpg')  #   拍摄的十几张棋盘图片所在目录

i=0
for fname in images:

    img = cv2.imread(fname)
    # 获取画面中心点
    #获取图像的长宽
    h1, w1 = img.shape[0], img.shape[1]
    gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
    u, v = img.shape[:2]
    # 找到棋盘格角点
    ret, corners = cv2.findChessboardCorners(gray, (w,h),None)
    # 如果找到足够点对，将其存储起来
    if ret == True:
        print("i:", i)
        i = i+1
        # 在原角点的基础上寻找亚像素角点
        cv2.cornerSubPix(gray,corners,(11,11),(-1,-1),criteria)
        #追加进入世界三维点和平面二维点中
        objpoints.append(objp)
        imgpoints.append(corners)
        # 将角点在图像上显示
        cv2.drawChessboardCorners(img, (w,h), corners, ret)
        cv2.namedWindow('findCorners', cv2.WINDOW_NORMAL)
        cv2.resizeWindow('findCorners', 640, 480)
        cv2.imshow('findCorners',img)
        cv2.waitKey(200)
cv2.destroyAllWindows()
#%% 标定
print('正在计算')
#标定
ret, mtx, dist, rvecs, tvecs = \
    cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)


print("ret:",ret  )
print("mtx:\n",mtx)      # 内参数矩阵
print("dist畸变值:\n",dist   )   # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print("rvecs旋转（向量）外参:\n",rvecs)   # 旋转向量  # 外参数
print("tvecs平移（向量）外参:\n",tvecs  )  # 平移向量  # 外参数
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v))
print('newcameramtx外参',newcameramtx)
#打开摄像机
camera=cv2.VideoCapture(0)
while True:
    (grabbed,frame)=camera.read()
    h1, w1 = frame.shape[:2]
    newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (u, v), 0, (u, v))
    # 纠正畸变
    dst1 = cv2.undistort(frame, mtx, dist, None, newcameramtx)
    #dst2 = cv2.undistort(frame, mtx, dist, None, newcameramtx)
    mapx,mapy=cv2.initUndistortRectifyMap(mtx,dist,None,newcameramtx,(w1,h1),5)
    dst2=cv2.remap(frame,mapx,mapy,cv2.INTER_LINEAR)
    # 裁剪图像，输出纠正畸变以后的图片
    x, y, w1, h1 = roi
    dst1 = dst1[y:y + h1, x:x + w1]

    #cv2.imshow('frame',dst2)
    #cv2.imshow('dst1',dst1)
    cv2.imshow('dst2', dst2)
    if cv2.waitKey(1) & 0xFF == ord('q'):  # 按q保存一张图片
        cv2.imwrite("../u4/frame.jpg", dst1)
        break

camera.release()
cv2.destroyAllWindows()

代码放到图片相同的文件夹直接运行即可

效果对比

纠正前后:


相机标定完成~

success 标定完成的参数:

手头上这个相机镜头标定参数

每个相机摄像头的情况都不同按需使用

dist=np.array(([[-0.58650416 , 0.59103816, -0.00443272 , 0.00357844 ,-0.27203275]]))
newcameramtx=np.array([[189.076828 , 0. , 361.20126638]
,[ 0 ,2.01627296e+04 ,4.52759577e+02]
,[0, 0, 1]])
mtx=np.array([[398.12724231 , 0. , 304.35638757],
[ 0. , 345.38259888, 282.49861858],
[ 0., 0., 1. ]])
ret: 1.2796736596876943
rvecs旋转（向量）外参:
[array([[-0.1273159 ],
[ 0.14990368],
[-0.03444583]]), array([[-0.09406134],
[ 0.00311094],
[ 0.03877124]]), array([[ 0.46123299],
[ 0.13606529],
[-0.10644641]]), array([[-0.21371843],
[ 0.19346393],
[ 0.05795452]]), array([[-0.06136152],
[-0.05609094],
[-0.10779057]]), array([[-0.12671277],
[ 0.19181691],
[-0.01144501]]), array([[-0.10065723],
[ 0.11067488],
[-0.00420227]]), array([[-0.25254906],
[ 0.05724545],
[ 0.06326385]]), array([[ 0.06929893],
[ 0.16462152],
[-0.09935668]]), array([[ 0.32955811],
[ 0.22348145],
[-0.08321155]]), array([[ 0.0963841 ],
[-0.05720288],
[ 0.00220535]]), array([[-0.0885636 ],
[-0.03092561],
[ 0.03529275]]), array([[ 0.03313787],
[-0.05300994],
[-0.03433814]]), array([[-0.22302867],
[ 0.18819738],
[-0.03371187]]), array([[-0.19460224],
[ 0.1036492 ],
[ 0.03301566]]), array([[-0.27115415],
[ 0.18957621],
[-0.04709229]]), array([[-0.12627705],
[ 0.0753438 ],
[ 0.0761791 ]]), array([[ 0.15356268],
[-0.02614756],
[ 0.02406217]]), array([[ 0.69316168],
[ 0.19622708],
[-0.18706069]]), array([[-0.09555645],
[ 0.02551495],
[ 0.02218898]]), array([[-0.08255654],
[-0.07209258],
[ 0.04271465]]), array([[ 0.08770757],
[-0.02304098],
[-0.05008243]]), array([[ 0.58513697],
[-0.00604693],
[-0.1598063 ]]), array([[-0.07233849],
[-0.04780769],
[-0.06191515]]), array([[ 0.09651254],
[ 0.02579441],
[-0.00947478]]), array([[ 0.03501638],
[-0.02501282],
[-0.07304343]]), array([[-0.10470468],
[ 0.21112561],
[-0.0983761 ]]), array([[-0.12674786],
[ 0.1432598 ],
[-0.01007719]]), array([[-0.11004829],
[ 0.06968173],
[ 0.05585313]]), array([[-0.41743998],
[ 0.17304611],
[ 0.03084559]]), array([[-0.10236722],
[ 0.01277654],
[-0.03390285]]), array([[0.22726439],
[0.14038084],
[0.01124049]]), array([[-0.15304123],
[ 0.04465005],
[ 0.06240299]])]
tvecs平移（向量）外参:
[array([[145.08681235],
[-76.17106891],
[699.69778255]]), array([[-183.67717477],
[-163.96393688],
[ 688.85439168]]), array([[104.0920611 ],
[ 23.92271463],
[965.22859587]]), array([[ 15.24948656],
[-54.85109955],
[795.39600843]]), array([[ 198.06011875],
[-175.91815396],
[ 719.52217088]]), array([[ 44.04717785],
[-108.51372353],
[ 788.45975705]]), array([[ -26.16828067],
[-188.47275832],
[ 771.99690841]]), array([[-139.14245711],
[-124.82244434],
[ 644.34844619]]), array([[ 95.41419669],
[-22.10474336],
[747.43156932]]), array([[-16.25541066],
[-60.23640891],
[677.13919736]]), array([[-220.34618611],
[ -12.6889694 ],
[ 708.18042632]]), array([[-205.93499674],
[ -95.59986207],
[ 709.15135801]]), array([[253.32869421],
[-65.19615285],
[793.36052372]]), array([[ 8.6811058 ],
[-18.70531877],
[786.28091437]]), array([[-135.91340565],
[ -41.83864798],
[ 734.08050232]]), array([[-10.36373957],
[-74.3822385 ],
[775.58055384]]), array([[-181.85146859],
[-162.51644736],
[ 686.77992674]]), array([[-152.68145934],
[ -45.11437087],
[ 742.99524497]]), array([[ 72.01815541],
[-174.95234447],
[ 954.17455852]]), array([[-180.90841277],
[-186.78922299],
[ 694.5911876 ]]), array([[-213.22423756],
[-180.87955611],
[ 668.22586979]]), array([[220.45960743],
[ -3.88665195],
[782.2584453 ]]), array([[-118.59571239],
[ -51.01586357],
[ 905.16719607]]), array([[ 213.87203907],
[-198.38786649],
[ 766.26267678]]), array([[197.15909792],
[-11.90335064],
[831.47489862]]), array([[220.76484713],
[-60.95718003],
[760.66883997]]), array([[117.86186858],
[-64.75570632],
[768.97222101]]), array([[ -39.59646337],
[-165.78421993],
[ 736.04088074]]), array([[-123.20719029],
[-164.0644578 ],
[ 743.43485414]]), array([[-19.65524135],
[-69.18741504],
[690.47472849]]), array([[-203.72891175],
[ -20.1545843 ],
[ 718.13434244]]), array([[ 40.16988244],
[-68.66550898],
[795.54461358]]), array([[-104.02162409],
[-101.3265982 ],
[ 762.41231116]])]
newcameramtx外参 [[578.70690918 0. 286.56697375]
[ 0. 768.62420654 341.06051709]
[ 0. 0. 1. ]]

参数解释

  • cameramtx：相机内参矩阵
  • dist：相机畸变参数
  • rvec：输出的旋转向量
  • tvec：输出的平移矩阵