01 從Bayer Filter到圖片

數(shù)碼相機中的圖像傳感器實際上是分區(qū)域記錄RGB三種顏色的光強，然后通過對這些數(shù)據(jù)進行整合，得到完整的圖像。

我們就來詳細講講這個過程。

a 傳感器的Bayer Filter

在上文中，我們說了圖像傳感器會分區(qū)域計算RGB三種顏色的光強信息，最后根據(jù)每個小區(qū)域的位置和信息整理出最后的圖像。

那么，這個RGB區(qū)域是怎么排列的呢？

這就要說一下柯達公司的布賴斯·拜爾。使用單個傳感器記錄三種顏色的信息，就是他提出的方案。

如圖所示，在圖像傳感器前面設(shè)置一個濾光層，如圖所示：

這個濾光層上，布滿了和下面?zhèn)鞲衅飨袼匾灰粚臑V光點，保證每個像素都只能接受到單一顏色的光強信息：

而從上圖中我們可以看出，不同顏色的濾光點是按照一定的規(guī)律排列的。每個綠點的四周，分布著2個紅點、2個藍點、4個綠點——這是由于人眼對綠色比較敏感，因此綠色的傳感器比較多。

事實上在很多地方都有用到這個知識點，例如顏色空間RGB565，用兩個Byte表示RGB三種顏色的情況下，把多余的1Bit給了綠色…

這種排列方式，我們叫Bayer Pattern（拜耳模式）或Bayer Filters（拜耳濾光法）

b 去馬賽克Demosaicing

按照上文的說法，每個像素只可能有四種顏色，紅綠藍黑（光強為0）。

那么，我們就需要從每個像素和它周圍的顏色點的分布規(guī)律和光強來還原光線原本的顏色。

舉個例子，黃光由紅光和綠光混合而成。黃光通過濾光層以后，紅點和綠點下面的像素都會有值，但是藍點下面的像素沒有值。

因此，如果一個像素周圍的顏色分布有紅色和綠色，但是沒有藍色，那么就可以推測出來這個像素點的本來顏色應該是黃色。

這種計算顏色的方法，就叫做去馬賽克（Demosaic）

如下圖的3和4，3就是處理前的效果，4就是去馬賽克后生成的圖像。

c 傳感器的RAW輸出

在上文中，經(jīng)過去馬賽克算法的調(diào)整后，就得到了我們想要的圖片。

不過，有些時候我們會需要通過其他方法對傳感器數(shù)據(jù)進行加工調(diào)整，這種時候就需要保存?zhèn)鞲衅鞯脑紨?shù)據(jù)。這一過程我們稱之為傳感器的RAW輸出。

02 多合一傳感器的那些事

很多手機在宣傳的時候 ，都會宣稱自己有XXXX像素，甚至XX億像素。

但是實際拍攝的時候就會發(fā)現(xiàn)，如果不進行專門的設(shè)置（例如進入高清模式等），實際拍攝的照片就沒有宣傳的那么大的像素。

這就要說說這里的“幕后黑手”——多合一傳感器了。

a 何為多合一傳感器

多合一的“多”，一般指4合1（4 Cell 1）或9合一（9 Cell 1）。

為了方便講解，我們接下來會以4 Cell 1的傳感器作為例子。

從實現(xiàn)上來說，就是相鄰的4個或9個像素，組成一個像素組接收同一種顏色；每個像素組在按照前文中提到的Bayer Filter排列，如下圖所示：

b 暗光或快拍下的Binning Mode

弱光情況下，四合一傳感器會以Binning Mode進行工作。

在上圖2中，我們可以看到，每個像素組包含4個像素（2×2）。

在Binning Mode下，每個像素組的4個像素點的光強取平均值，作為這個像素組的光強值。

這樣，我們就以縮小分辨率作為代價，得到了弱光成像效果更好，單位像素面積更大的傳感器。

從上圖我們可以看到。對于四合一傳感器而言：

Binning Mode時，長寬各縮小一倍，總像素數(shù)變?yōu)樵械?/4，（等效）單位像素面積變?yōu)樵瓉淼?倍。

單位像素面積下一篇文章會講，這里先記住一般單位像素面積越大的傳感器，暗光拍攝效果越好。

事實上，這種技術(shù)有如下的應用：

改善在低光環(huán)境拍攝表現(xiàn)

降低圖像數(shù)據(jù)量以獲得更高幀率

減小圖像輸出分辨率需求以節(jié)省處理資源

c 正常光下或高像素的Remosaic算法
在正常光線下，一般不需要這么大的單位像素面積時，可以使用Remosaic算法，將4合1排布的像素組的光強信息轉(zhuǎn)換成Bayer Filter排布的光強信息，以此實現(xiàn)最大像素輸出。

但是，由于這種情況下的圖像是經(jīng)過軟件算法得到的，因此這時候的成像效果相對于同樣規(guī)格的非多合一傳感器模組會差一些。

d 小結(jié)

總之，多合一傳感器的特點是：

暗光下犧牲分辨率，換來更大的等效單位像素面積、更好的成像效果。

強光下犧牲一定的成像效果，輸出高分辨率照片。

03 總結(jié)

簡單總結(jié)一下。

Bayer Filter排布（RAW格式）的數(shù)據(jù)，可以通過Demosaic算法轉(zhuǎn)換成RGB的圖片。

四合一芯片可以在暗光下使用Binning Mode合并成像，也可以在亮光下通過Remosaic轉(zhuǎn)換成高分辨率圖像。