本文轉(zhuǎn)自徐飛翔的“相機(jī)的針孔模型及其內(nèi)參數(shù)，外參數(shù)的理解”

版權(quán)聲明：本文為博主原創(chuàng)文章，遵循CC 4.0 BY-SA版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接和本聲明

相機(jī)的針孔模型為了簡單地解釋一個(gè)相機(jī)為什么能夠成像，我們通常會(huì)引入相機(jī)的針孔模型(pinhole model)。如Fig 1.1所示，在針孔模型中，相機(jī)呈現(xiàn)的都是倒像，這點(diǎn)其實(shí)很好理解，因?yàn)楣饩€都是直線傳播的，因此物理世界的實(shí)體(entity)在相機(jī)中的像必然是倒過來的。這里，為了讓光只能通過一束（因?yàn)橹挥幸皇拍艽_保實(shí)體到像的一對一關(guān)系，然而實(shí)際中不可能做到理想的情況。），我們通常假設(shè)這個(gè)針孔是無限小的，然而因?yàn)闊o限小的針孔不能透光，為了使得成像有著充足的光線，針孔又必須足夠的大，這倆要求顯然是個(gè)矛盾，因此一般我們需要在針孔處安置透鏡，而透鏡的引入，包括透鏡的厚度，透光度等等不理想的因素，使得成像分析變得復(fù)雜起來，但是我們這里還是按照針孔模型的結(jié)構(gòu)去理解，以簡化分析。（透鏡這里的作用是為了更好的聚集光線。）

Fig 1.1 相機(jī)的成像。

我們需要知道的是，理想的相機(jī)模型是不需要透鏡的，因?yàn)闆]有透鏡的引入，因此成像沒有因透鏡產(chǎn)生的幾何變形和模糊。在這個(gè)模型中，我們其實(shí)是在描述從實(shí)體的3D坐標(biāo)到成像平面的2D坐標(biāo)之間的映射關(guān)系 (注：此處是維度表達(dá)是非齊次坐標(biāo))。如Fig 1.2所示，現(xiàn)實(shí)中的實(shí)體點(diǎn)X XX坐標(biāo)為( x , y , z ) ，其光線通過焦點(diǎn)C聚集在成像平面上，但是這個(gè)像是倒像，不方便分析，為了方便，我們通常假設(shè)和倒像的成像平面對稱的一端也有個(gè)成像平面，這個(gè)平面成像是正面的，其特性和真實(shí)的成像平面一模一樣，除了呈現(xiàn)的是正像之外，因此我們正式地將其稱為成像平面(image plane)。其真實(shí)實(shí)體的映射點(diǎn)坐標(biāo)為x = ( u , v )。

Fig 1.2 相機(jī)的針孔模型。

這里，為了方便接下來的討論，我們將定義和解釋以下術(shù)語：

1. 焦點(diǎn)(camera center, optic center)： 所有光線都會(huì)聚集的點(diǎn)，比如Fig 1.2中的點(diǎn)C。
2. 成像平面(image plane)：相機(jī)的CCD平面，圖像在這個(gè)平面上形成，注意后續(xù)討論的image plane一般會(huì)是指的呈現(xiàn)正像的那個(gè)平面。
3. 光軸(principal axis)：經(jīng)過焦點(diǎn)，并且與成像平面垂直的線。
4. 光軸面(principal plane)： 包含著焦點(diǎn)，并且和成像平面平行的面。
5. 焦距(focal length)： 通常表示為f，指的是焦點(diǎn)到成像平面的距離。
6. 幀(frame): 這里提到的幀和我們通常視頻處理里面的幀不太一樣，這里提到的幀指的是一種度量，用于衡量一個(gè)特定的坐標(biāo)系系統(tǒng)。
7. 世界坐標(biāo)系(world frame, world coordinate system)：一個(gè)固定的坐標(biāo)系，用于表示現(xiàn)實(shí)實(shí)體的坐標(biāo)（比如點(diǎn)線面等等）。
8. 相機(jī)坐標(biāo)系(camera frame, camera coordinate system)：將相機(jī)的焦點(diǎn)作為其原點(diǎn)，光軸作為其Z軸的坐標(biāo)系。
9. 圖像坐標(biāo)系(image frame, image coordinate system)：描述二維圖像的像素位置，通常以圖像的左上角或者圖像的中心視為坐標(biāo)原點(diǎn)。
10. 外參數(shù)(extrinsic parameters): 外參數(shù)描述了如何將實(shí)體的3D點(diǎn)（以世界坐標(biāo)系描述）映射到以相機(jī)坐標(biāo)系描述的3D點(diǎn)上，顯然，這個(gè)是坐標(biāo)系的平移和旋轉(zhuǎn)過程。
11. 內(nèi)參數(shù)(intrinsic parameters)：內(nèi)參數(shù)描述了如何將已經(jīng)是用相機(jī)坐標(biāo)系描述的3D點(diǎn)投射到成像平面上。
12. 視網(wǎng)膜平面（image, retina plane）：圖像在這個(gè)平面上成像，注意到，圖像平面用相機(jī)坐標(biāo)系度量，其單位是mm，毫米，屬于物理單位。
13. 圖像幀(image frame)：這個(gè)幀和我們通常理解的幀一致，其用像素(pixel)去描述圖像平面，而不是mm了，屬于邏輯單位。（比如一個(gè)像素對應(yīng)多少mm的距離是不同的。）
14. 光心(principal point)： 指的是光軸和成像平面的交點(diǎn)。

這里我們給出一個(gè)圖取參數(shù)上面談到的一些概念，注意到的是其中的virtual image plane其實(shí)是本文中談到的成像平面。[1]

Fig 1.3 相機(jī)針孔成像過程及其術(shù)語解析。

坐標(biāo)系的改變?yōu)榱藢⒁粋€(gè)在世界坐標(biāo)系中表示的點(diǎn)，以相機(jī)坐標(biāo)系的形式進(jìn)行表達(dá)，我們需要進(jìn)行坐標(biāo)系的平移和旋轉(zhuǎn)變化（即是歐幾里德變換[4]）。比如Fig 2.1所示，我們需要通過平移和旋轉(zhuǎn)將轉(zhuǎn)換到，容易知道，在不同坐標(biāo)系中，對于同一個(gè)實(shí)體點(diǎn)P來說，其表達(dá)形式都不同。我們接下來考慮怎么進(jìn)行這個(gè)坐標(biāo)系轉(zhuǎn)換。

通常來說，這個(gè)過程可以簡單表示為，平移向量和旋轉(zhuǎn)矩陣的操作，如：

其中，是世界坐標(biāo)系坐標(biāo)，是相機(jī)坐標(biāo)系坐標(biāo)，是旋轉(zhuǎn)矩陣（注意這里是齊次坐標(biāo)系的表達(dá)方法，見[5]），是用世界坐標(biāo)系描述的焦點(diǎn)。通過式子(2.1)我們實(shí)現(xiàn)了世界坐標(biāo)系到相機(jī)坐標(biāo)系的變換，不過注意到這里還停留在三維點(diǎn)之間的歐幾里德變換。

在以上的討論中，我們把坐標(biāo)從世界坐標(biāo)系轉(zhuǎn)換成了相機(jī)坐標(biāo)系，但是我們通常是需要用圖像坐標(biāo)系去表示圖片中的某個(gè)像素點(diǎn)的，這里涉及到了三維點(diǎn)到二維點(diǎn)的映射問題，因此我們還需要進(jìn)行 相機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，即是。

我們考慮到在中心投影中，如Fig 2.2中，我們根據(jù)相似三角形的規(guī)律有，其中以相機(jī)坐標(biāo)系描述的點(diǎn)投影到成像平面上有

用矩陣形式表達(dá)就是:

可知此時(shí)有: ，其是用齊次坐標(biāo)系表達(dá)的，等價(jià)于非齊次形式的 。

考慮到公式(2.1)和(2.3)，我們能夠把一個(gè)3D點(diǎn)映射成2D點(diǎn)：

這里的稱之為外參數(shù)(extrinsic parameters)，這些參數(shù)描述了如何將世界坐標(biāo)系的實(shí)體3D點(diǎn)轉(zhuǎn)換到以相機(jī)坐標(biāo)系描述的3D點(diǎn)。而前面乘上的形狀為3 × 4 的矩陣是投影矩陣，負(fù)責(zé)從相機(jī)坐標(biāo)系的三維點(diǎn)映射到二維上，當(dāng)然這個(gè)形式并不完整，我們接下來會(huì)繼續(xù)探討這一部分，我們要繼續(xù)考慮相機(jī)成像過程中的工藝導(dǎo)致的問題修正。

那么總結(jié)來說，其實(shí)對于坐標(biāo)系的平移和旋轉(zhuǎn)，我們可以用下面的幾副圖來表示：

首先，我們有兩個(gè)不同的坐標(biāo)系，左邊的世界坐標(biāo)系(X,Y,Z)和右邊的相機(jī)坐標(biāo)系(u,v,w)

然后，我們通過將兩者的原點(diǎn)O和C以平移的方式挪到一起，我們通過平移矩陣T去實(shí)現(xiàn)。

最后，利用旋轉(zhuǎn)矩陣，將其進(jìn)行坐標(biāo)軸的旋轉(zhuǎn)和對齊即可。

考慮更多因素

注意到通過上面的討論，我們轉(zhuǎn)換得到的二維像點(diǎn)的單位仍然是物理單位mm，如果我們需要用像素去度量（實(shí)際上也是用像素度量的），我們?nèi)孕枰M(jìn)行其他處理。（內(nèi)參數(shù)的協(xié)助）? 在這里是以光心作為其原點(diǎn)的，而傳統(tǒng)的表示中，我們一般以左上角的作為原點(diǎn)進(jìn)行描述。因?yàn)橐恍┲圃旃に嚿系牟痪_性，我們的成像傳感器CCD通常不是完美的矩形網(wǎng)格，可能會(huì)有變形。比如偏斜(skewness)用于描述CCD單元的變形程度，見Fig 2.3。

Fig 2.3 CCD單元的偏斜。

那么經(jīng)過矯正，其正確的坐標(biāo)應(yīng)該是:

考慮到CCD的偏斜，和物理單位到像素單位的轉(zhuǎn)變，我們有以下公式：

其中有 。在這個(gè)公式(2.6)中，我們發(fā)現(xiàn)有很多陌生的符號，其中我們將：

中的參數(shù)稱之為內(nèi)參數(shù)(intrinsic parameters)，我們這里討論下這些參數(shù)：

和是在x軸和y軸（指的是有偏斜過后的），每個(gè)單位長度的像素?cái)?shù)量。通過這倆參數(shù)可以將物理單位mm轉(zhuǎn)換為像素。f 是相機(jī)的焦距。和是在偏斜的圖像幀中的光心（以像素為單位）。s是偏斜系數(shù)(skewness factor)，當(dāng)像素是矩形的時(shí)候其為0。是兩個(gè)圖像SSD平面邊緣之間的偏斜角度，見Fig 2.3。這三個(gè)內(nèi)參數(shù)矩陣可以合為一個(gè)矩陣，通過這個(gè)矩陣，我們可以將用相機(jī)坐標(biāo)系表示的3D點(diǎn)映射到成像平面上，從而得到我們目標(biāo)需要的2D點(diǎn)。

總結(jié)在這篇博文中，我們討論了相機(jī)的針孔模型，其中涉及到了相機(jī)的內(nèi)參數(shù)和外參數(shù)等，我們將會(huì)在以后的文章中發(fā)現(xiàn)，這些參數(shù)對于相機(jī)的呈像是很重要的，因此需要去通過相機(jī)標(biāo)定（camera calibration）去計(jì)算這些參數(shù)。

更新說明Update 2020/9/5： 感謝評論區(qū)的Zeroan_朋友提供的意見，之前版本的文章沒有統(tǒng)一坐標(biāo)系的表達(dá)方式，容易造成誤解，現(xiàn)在已經(jīng)統(tǒng)一成齊次坐標(biāo)系，齊次坐標(biāo)系內(nèi)容可見[5]。

Update 2020/11/5：評論區(qū)有個(gè)朋友的問題

ID->curryche:請問一下博主，R[I|-C]這個(gè)是怎么得出的？看不懂，，

在這里回答一下，注意到式子(2.1)，其實(shí)只是對式子(2.1)的改寫而已，式子(2.1)中的旋轉(zhuǎn)矩陣以齊次坐標(biāo)形式表達(dá)，為 ，而 ，這點(diǎn)不難理解，提取公因子之后有：

因此可以寫成R [ I ∣ − C ] \mathbf{R}[\mathbf{I} | \mathbf{-C}]R[I∣−C]。

Reference

[1]. https://jp.mathworks.com/help/vision/ug/camera-calibration.html

[2]. Forsyth D , JeanPonce, 福賽斯, et al. Computer vision : a modern approach[M]. 電子工業(yè)出版社, 2012.

[3]. 電子科技大學(xué)自動(dòng)化學(xué)院 楊路 老師 計(jì)算機(jī)視覺課程課件。

[4]. https://blog.csdn.net/LoseInVain/article/details/104533575

[5]. https://blog.csdn.net/LoseInVain/article/details/102756630