6 Applications and Results

在這個章節，他應用他的色彩和色調風格增強的方法在兩種情境上：

• 透過高階相機的風格轉換低品質的數位相片。
• 使用學習自攝影師和設計師的風格增強數位相片。

6.1 Photo Enhancement by Style Transfer 藉風格轉換增強相片

現今，越來越多的人喜歡使用手機相機，在任何時間和地點來拍攝他們平日的生活，這是因為人們基於方便的理由，傾向每天攜帶手機而非數位相機。儘管手機相機在這些年已有難以置信地發展，例如最流行的iPhone 4相機可以拍攝高達500萬畫素的相片，然而影像品質仍然無法跟數位單眼相機(Digital Single Lens Reflex (DSLR))比擬。使用手機相機所拍攝的相片存在典型的缺陷，包含色彩不保真、對比度差、雜訊、曝光不正確等等，儘管解析度已經很高。

在這篇論文中，他著重在增加色彩保真以及改善對比度，這些由低階手機相機所拍攝的相片，因為色彩不保真和對比度差無法藉由簡單地以全域的方式來校正和增強，甚至使用商業軟體Photoshop。

他嘗試達成這些目標，藉由轉換和模仿高階相機的色彩和色調。這是因為高階相機有比較好的對比度和色彩保真，藉由使用高階相機所拍攝的相片來當作基準(ground truth)，他的結果可以簡單地以比較已增強的相片和基準相片來驗證，這是廣為人知高度個性化相片品質的標準，他的方法可以達到一定的程度上，使相片增強成為更多目標的任務。

＃Data Collection 資料蒐集

他使用兩個當時很受歡迎的手機iPhone 3G和Android Nexus One當作低階相機，而Canon EOS 5D Mark II當作高階數位單眼相機，後者可以拍攝高品質的相片，這要感謝它高階CCD感應器，和內建的影像處理軟體。

他的目標是學習色彩和梯度映射關係模型，介於低階相機與高階數位單眼相機之間。這些相片拍攝自室內和室外的場景，有著多樣化的色彩和不同的光照條件。在每個場景，他首先以低階相機拍攝相片，然後相對應地以同視角拍攝高品質的相片。藉由手動調整高階相機的焦距長度，他盡可能讓相對應的影像重疊在一起。

在原始的相片中存在許多冗餘，因此他手動選擇具代表性的相片的子集合當作實驗資料，更確切地說，他選擇110對由iPhone 3G vs Canon拍攝的相片和72對由Android phone vs Canon拍攝的相片。每個資料庫更進一步地隨機分為兩個相等的子集合，取第一子集作為訓練資料，而第二子集作為測試(驗證)資料。

＃Luminance Normalization and Image Registration 亮度正規化和影像配準

影像配準WiKi解釋：Image registration is the process of transforming different sets of data into one coordinate system. Data may be multiple photographs, data from different sensors, from different times, or from different viewpoints.

因為相片是由兩個不同的相機所拍攝且當然沒有配準，需要在訓練階段裡每對影像實行像素層級的配準(pixel-level registration)，在配準之前，先實施亮度正規化，可以改善相片亮度的一致性來增加配準的準確度，他將所有相片從RGB色彩空間轉換到CIE L*a*b*色彩空間，這個轉換牽涉到反伽瑪校正(gamma correction)，將移除來自相機的輻射反應曲線(radiance response curve)大部分的非線性特性(nonlinearity)。

他更進一步正規化每張相片的平均亮度到 0.65 ，大部份數位相片是以自動曝光模式來拍攝，而且不同的相機有著不同的曝光控制機制。藉由正規化平均亮度，他消除由自動曝光產生的不一致的亮度等級，使得這些由不同相機所拍攝的相片可以作比較。

給定一個新的測試相片，計算它的平均亮度L並且乘以 0.65/L 每個像素的亮度來調整它的平均亮度到 0.65 ，在增強過後，再藉由乘以 L/0.65 已增強相片中每個像素的亮度調整回去。

為了減少計算開銷，他藉由降採樣(down-sampling)和裁剪(cropping)減少每個影像對到同樣的解析度(512×512)，然後使用影像匹配演算法(image matching algorithm)[Shinagawa and Kunii 1998]的修改版本來實行配準。

因為自動影像配準容易出錯，他更進一步使得配準過程可互動，並且互動來達到準確的配準結果。一旦自動的結果產生，使用者可以互動地套索良好的匹配區域，和在區域內取樣像素，這已取樣像素被設定為額外難以對應優化的下一次迭代，而這樣的難以約束將傳播到多解析度金字塔較粗級別來引導匹配過程。

＃Feature Selection 特徵選擇

由iPhone和Android phone所拍攝的相片，他在每個像素擷取下列特徵：

• 以該像素中心區域窗(window)7×7中CIE L*a*b*色彩空間三個頻道的最前三個時刻(moment)
• 在該像素的三個顏色頻道的梯度向量
• 在同一窗內三個顏色頻道色彩相關性矩陣，藉由在3×3鄰近的八個像素定義位移(displacement)向量，這會產生27維度的特徵向量。

顏色矩(color moment)是仿射不變的(affine invariant)，而且在區域色彩變化模式有合理強判別力的。影像梯度（包含導向(orientation)和幅度(maginitude)）在區域形狀和模式也是強判別力的。這個在色彩相關矩陣背後的動機，對於1-CCD色彩相機，一個影像感應器的像素陣列上的色彩過濾器(color filter)通常遵從貝耳排列(Bayer arrangement)，只放置三個可能的色彩過濾器之一在每個像素上，內插一定執行去為一個像素建立所有三個色彩頻道，使用它鄰近像素的色彩頻道。因此，像這樣的相機的鄰近像素色彩是天生相關的。此外，這樣的內插會導致本身色彩的扭曲(color distortion)，因為不同的色彩頻道有不同的內插遮罩(interpolation mask)。

The Bayer arrangement of color filters on the pixel array of an image sensor

Profile/cross-section of sensor

對於高階相機，他只有擷取亮度梯度和像素色彩來當作每個像素的特徵。這些已擷取的特徵被用來特徵叢集(feature clustering)、特徵空間分割(feature space partitioning)和特徵向量分類(feature vector classification)。

可比較Figure 6(B)&(D)，展示有必要在一個特徵向量包含額外鄰近統計。6(B)圖是由跑他完整的增強管線得來的，除了以三個維度CIE L*a*b*色彩空間取代先前27維度的特徵空間，從這個結果，他可以得知區域色彩和梯度映射關係，不是只有跟個別像素顏色相關，也跟鄰近統計相關。

＃Training 訓練

基於以上設定，他已經為iPhone vs Canon和Android vs Canon訓練好增強模型，他以室內和室外場景訓練兩個不同的增強模型，因為室內和室外有著非常不一樣光源的光譜。

在他的實驗中，他通常為梯度映射關係分割特徵到200個子空間，色彩映射關係分割特徵到300個子空間，在給定一個固定數量的訓練例子，可能超過符合(overfit)一個過度大數量的子空間，或不足符合(underfit)一個不足夠數量的子空間。

為了達到好的近似(approximation)和泛化能力(peneralization capability)，他決定藉由確認平均相關性來決定子空間的數量，這個相關性是區域映射的輸入與輸出為所有子空間再次作典型相關分析(canonical correlation analysis)，像這樣相關性分析指明，當數量相對小時，平均相關性會隨著子空間的數量增加，但當數量超過門檻值時，傾向穩定。這在圖8呈現，指明子空間的數量應該選擇在200到300之間。

＃Testing and Validation 測試和驗證

因為已經分割最初的資料集為兩半，一個用來訓練而另一個用來測試，使用測試資料去驗證他所提的方法，以視覺和量化測試結果顯示，他的方法可以成功地模組化兩種相機潛在的色彩和色調的關係。

為了評估已學習到的映射關係數值的準確度，他首先以影像匹配演算法(image matching algorithm)[Shinagawa and Kunii 1998]的修改版本執行每個影像對的像素層級的配準，然後應用他的方法增強在測試影像對中的低品質相片，而測試影像對中的高品質相片作為參考。

然後，透過在配準過程中所匹配像素，計算最初的和已增強的低品質相片，並且計算它們均方根誤差(root mean squared error (RMSE))。他也計算它們在CIELAB色彩空間的均方根L2距離，最後計算在所有測試影像中的RMSE和L2距離的平均和標準誤差(deviation)，結果如表2，他確認兩種錯誤型態在他的增強方法應用之後已有重大地減少。

圖9展現兩個測試相片的視覺結果，在最具挑戰性例子中，圖1和圖11和足夠的資料來呈現額外的視覺結果。

在公式9中，在他的演算法裡，wi是唯一可調整的參數，在他所有的實驗裡，它的值在邊緣像素和靠近邊緣已取樣的像素設定為10，而其它像素設定為1。演算法主要的花費在於尋找極佳子空間，這是因為在測試相片中的每個像素需要在二元特徵空間分割樹走訪多個分類，來找到關聯於區域映射關係的葉節點。

以512×512輸入影像來說，它花費三分鐘去執行整體的梯度和色彩映射，和兩秒鐘去執行色彩最佳化藉由解決稀疏線性系統(sparse linear system)。這些時間是來自使用2.33GHz processor 和2GB RAM。這個過程可以藉由多核心處理器或現代GPUs來獲得加速，因為逐像素分類和映射是在每個像素獨立地執行，因此可以容易地平行化。

＃Comparison with Color Checker Calibration 色彩檢查校正的比較

麥克白色彩檢查器(Macbeth color checker)是眾所皆知用來色彩校正的色彩圖表，它有對基準(ground truth)的色彩座標被標準化的色彩取樣的4×6陣列。當麥克白色彩檢查器被用在校正相機的色彩，首先需要以預定的光照條件來拍攝相片，並且使用校正軟體像是Adobe Lightroom，比較在相片中色彩取樣的色彩座標和基準影像的色彩座標，去產生校正檔案(profile)，然後它可以應用在以同樣的相機有著類似光照條件所拍攝的相片。

儘管麥克白色彩檢查器可用來作泛化的色彩校正，但它卻不是個好的學習色彩風格的工具，基於以下幾個理由：

• 第一，24個顏色樣本在一個色彩檢查器中只有形成一個3D色彩空間很稀疏的取樣，任何色彩合理地遠離所有色彩樣本而無法校正得相當精確，因此，一個色彩檢查器不能為整個色彩空間提供很精確的校正。
• 第二，色彩檢查器只能回復它色彩樣本的真實色彩座標，但不能提供一個特定相機的色彩座標。這是因為即使是高階相機所產生的色彩座標也可能稍微不一樣於基準。

他執行一個比較他的色彩風格增強和使用色彩檢查器Panasonic DMC-LX3GK的色彩校正，相較於低階數位相機，可以輸出RAW檔影像，這是因為色彩校正軟體需要RAW檔，而手機相機不能輸出這種格式的檔案。比較的結果呈現在圖10，可以清楚地驗證色彩檢查器只能在色彩的子集合獲得準確的結果，然而他的結果比較接近由高階相機所拍攝的參考相片。