Just My Life & My Work

上個章節談論該篇paper的技術架構的前半部份:如何學習色彩和梯度映射

4. Learning Color and Gradient Mappings

接下來技術架構的後半部份:如何色彩和色調的風格增強

5 Color and Tone Style Enhancement

  • 5.1 Spatially Coherent Color and Tone Mapping 空間連貫色彩和色調映射
  • 5.2 Luminance Gradient Mapping 亮度梯度映射
  • 5.3 Tone Optimization 色調最佳化

這章談他如何利用訓練好的區域色彩和亮度梯度映射,表現影像色彩和色調的風格增強。

5.1 Spatially Coherent Color and Tone Mapping 空間連貫色彩和色調映射

給予已訓練的二元特徵空間分割樹和區域顏色映射關係在葉節點,在新的輸入影像對每個像素,首先擷取它的特徵向量,然後簡單走訪二元樹去尋找特徵向量所屬的子空間,並套用關聯於該子空間的區域色彩映射關係,到該像素的色彩頻道去獲得新的色彩。

然而,這直接的過程會產生雜訊色彩映射結果,因為對鄰近像素子空間搜尋是獨立實行的,而且兩個鄰近像素可能最後落在兩個有著不同色彩映射關係的子空間。

他引進一個基於分段映射的技術,可以達到空間連貫映射的結果。首先分割一張輸入影像為多個軟分段(soft segment),每個像素關聯一個可能的值,在一個像素所有可能的值全部加起來成為一個值。

為了移除潛在的不確定性,他更進一步要求每個像素最大可能的值要大於0.5。軟分段關聯這最大的值在這像素是為佔主導地位的片段。他的軟分段過程相似於[Wang et al. 2010],除了他依賴立即編輯傳播方法[Li et al. 2010]去擷取軟分段。

假設有K個(通常從5到12個)軟分段,讓Pti為可能的值第t個分段在第i個像素,t=1,2,…,K,i=1,2,…,N。對於每個分段首先挑選像素,這像素可能的值大於0.5。然後建立一個子空間投票直方圖H,這直方圖的桶(bin)相對應於色彩映射樹的葉節點。

對每個已挑選的像素,尋找它特徵向量所屬的子空間,並在相對應的直方圖的桶增加計數。對每個軟分段選擇三個最常走訪的子空間和他們相關聯的區域色彩映射。

假設三個已選擇的映射關係對第t個分段是(Atj, btj),j=1,2,3,而且相對應正規化直方圖桶計數的值是λtj,j=1,2,3。他套用這三個已選擇的映射關係到所有像素在第t個分段如下:


Qi是輸入影像在像素i的最初色彩的二次多項式基底向量,在分段混合之後,每個像素的最後色彩更進一步根據軟分段可能的值來混合,也就是說,像素i最後的色彩計算如:

5.2 Luminance Gradient Mapping 亮度梯度映射

因為沿著邊緣的亮度梯度會重大地影響整個影像的對比,除了色彩和色調的調整基於區域色彩映射關係,他更進一步應用亮度梯度的區域映射關係,去增強一張輸入影像的對比。

就如同上個部份所述,給予一個邊緣像素的特徵向量,在二元特徵空間分割樹搜尋此特徵向量所屬的子空間而求得亮度梯度,並應用區域亮度梯度關聯於該子空間,去獲得此邊緣像素新的亮度梯度。

新的亮度梯度的計算跟(6)一樣,不同於色彩映射,亮度梯度映射被獨立應用於個別邊緣像素,並沒有考慮空間連貫性。

在實驗中,他使用坎尼邊緣檢測器(Canny edge detector)去找尋邊緣像素。一個坎尼邊緣只有一個像素寬,因此邊緣會存在鋸齒。沿著坎尼增強梯度會讓邊緣偽影(artifact)突出,導致不自然的增強結果。通常,他在每個邊緣像素以5×5取樣鄰近像素,並套用亮度梯度映射到已取樣的像素,而在其餘的像素保持不變。

5.3 Tone Optimization 色調最佳化

色彩映射公式化為(7)和(8),對每個像素計算新的映射亮度值,而亮度是CIE L*a*b*色彩空間中三個頻道之一。

亮度梯度映射公式化為(6)對包含邊緣像素的像素子集合計算新的映射亮度梯度值。

最後,他想要表現色調最佳化,去產生一個新的亮度頻道,極大化地符合這些映射亮度值和亮度梯度。

讓~Li為在像素i的映射亮度值,gi為在像素i的映射亮度梯度向量。像素進行亮度梯度映射,gi代表新的映射亮度梯度,否則,它代表在輸入影像最初亮度梯度。先前提及的色調最佳化可以公式化為最小平方最小化(least-squares minimization)

^L是未知新的亮度通道,需要被解決,而wi是個空間變化權重係數(spatially varying weighting coefficient),實際中,在邊緣像素wi的值被設定為一個數量級大於它的值,在其餘的像素去強調已解決亮度頻道的梯度和已映射梯度(6)之間的連貫性。
如果以有限差分法(finite differences)取代倒三角^Li,(9)變成一個線性最小平方(least-squares)問題,而它的正規方程(normal equation)是一個稀疏線性(sparse linear)系統,可以使用一個已存在的稀疏線性解決器來有效地解決,像是Taucs [Toledo et al. 2003]
要注意的是,如果空間變化的權重wi被取代為常數權重,正規方程(9)變成等於screened Poisson equation[Bhat et al. 2008]

最後,他以新的亮度頻道(9)取代亮度頻道(8)去完成色彩和色調的風格增強。

(D)和(C)分別表現有使用和沒使用色調最佳化的結果。儘管比較輸入影像(A),(C)在視覺上較接近參考相片(E),(C)底部仍然遭受惡劣的對比,因為亮度梯度映射和色調最佳化,(D)在視覺上得色彩和對比最接近(E)。

Comments on: "[paper] Example-Based Image Color and Tone Style Enhancement – 5" (1)

隨意留個言吧:)~

在下方填入你的資料或按右方圖示以社群網站登入:

WordPress.com 標誌

您的留言將使用 WordPress.com 帳號。 登出 /  變更 )

Twitter picture

您的留言將使用 Twitter 帳號。 登出 /  變更 )

Facebook照片

您的留言將使用 Facebook 帳號。 登出 /  變更 )

連結到 %s

This site uses Akismet to reduce spam. Learn how your comment data is processed.

標籤雲

%d 位部落客按了讚: