上週研究了這篇論文，但一直忘了給它整理好，所以今日趁著內容還沒淡忘之前，把它給記錄下來。Fast Bilateral Filtering for the Display of High-Dynamic-Range Images這篇論文在SIGGRAPH 2002發表，目前有623引用次數，是著名HDR論文三篇中其中一篇，另外兩篇如我之前已研讀過：Photographic Tone Reproduction for Digital Images和Gradient Domain High Dynamic Range Compression。

老闆建議我，必須把握SIGGRAPH 2002最著名的這三篇論文，它們被發表在最著名的論文會議期刊上，有舉足世界HDR發展的地位，所以無論有無時間，都要一再研讀這三篇著作！接著以其為基礎，來發展研究方向！

l   Abstract

n   呈現一個新的技術來顯示高動態範圍影像 (high dynamic range images)。可以在減少對比(contrast)的同時保留細節(detail)，以兩個尺度為基礎來分解影像，一個是base layer，另一個是detail layer。只有在base layer減少對比，因此保留細節。使用邊界保留濾波器(edge-preserving filter)bilateral filter來獲得base layer。這是一個非線性的濾波器，每個pixel權重的計算是使用Gaussian(在spatial domain)乘上一個影響函式(在intensity domain)來減少有著大intensity差異的pixel權重。它表達bilateral filter強勁統計的框架，並表現它如何跟異性擴散(anisotropic diffusion)有關。接著加速bilateral filter藉由使用分段線性近似(piecewise-linear approximation)(在intensity domain)和適當子採樣。得到的結果是10的2次方幅度的加速，這個方法速度快且不需要設定參數。

l   Introduction

n   隨著高動態範圍影像因為光源模擬和新的感應技術而普及，使用低動態範圍媒體來顯示高動態範圍影像的需求日益提高。因為多數適應機制在視網膜上是local模式，所以我們的視覺系統可以處理像這樣子高對比的場景。

High-dynamic-range photography。沒有單一global exposure可以保存天空的顏色和景色的細節（圖右方）。相比之下，此篇paper的空間不同顯示運算子(spatially-varying display operator)可以帶出場景的詳細細節。

two-scale原則分解輸入的影像，使用簡單的比率來分開Color，只有base scale來做contrast reduction。

n   Contrast reduction在許多應用有著相當大的需求，像是影像處理、醫學成像、擬真繪圖和數位攝影等。以攝影為例子，一個藝術和工藝主要考量的部份是對比的管理，經由例如曝光(exposure)、光照(lighting)、印刷(printing)或局部性加深減淡(local dodging and burning)。事實上，光管理的不好—曝光過度或曝光不足的區域，是最常提到不接納相片的理由。這是為什麼相機工業必須發展複雜的曝光測定系統。很不幸地，曝光只是操作全域對比的管理，也就是說，它在最相關的範圍重新中間化intensity window，如果intensity的範圍過大，那麼相片將會有曝光過度或曝光不足的區域。

n   本篇論文的工作啟發自高動態範圍相機的使用和相關顯示操作子可以處理這些議題。數位相片已經繼承許多底片相片的優勢，然而它也還有潛力去克服它的限制，理想地相片處理應該要被分解到一個測量階段(measurement phase)（有著高動態範圍的輸出），和一個後處理(post-process)在其它東西裡面來管理對比。這個後處理能夠自動地或被使用者控制，成為相機或電腦的一部分，但是它應該利用intensity廣大範圍的優勢來實現適當的contrast reduction。

它引進一個快速且強健的操作子，可以高動態範圍影像為輸入，而且在壓縮對比的同時保留最初影像的細節。它的操作子是基於two-scale影像分解到base layer（large-scale特徵）和detail layer（見圖），只有base layer減低對比，因此保留細節。為了實現快速分解到兩個層級，和避免光暈瑕疵(halo artifacts)，它展示一個快速且強健的邊緣保留過濾器(edge-preserving filter)。

l   Overview

n   這篇paper主要著重在發展一個快速且強健的邊界保留過濾器(edge-preserving filter)，也就是說，過濾器可以模糊訊號(雜訊或材質細節)的小變異，但是保留大的不連續(邊界)，然而它的應用卻不尋常，在雜訊(細節)是訊號中重要的資訊，因此一定要保留才是。

n   它建構在雙邊濾波(bilateral filtering)，是個非線性過濾器，由[Tomasi et al. 1998]引進，它源自高斯模糊(Gaussian blur)，但它藉由減少pixel權重(當強度差異太大的時候)來避免模糊邊界。[McCool 1999; Desbrun et al. 2000]，這樣技術的潛在應用超過對比減少(contrast reduction)的範疇。

l   這篇paper有以下的貢獻：

n   #Bilateral filtering and robust statistics:

重新塑造雙邊濾波(bilateral filtering)robust statistics的架構，關注在對離群值(outliers)不敏感的估量器，bilateral filtering是個估量器，考慮越過邊界的值為outliers，提供bilateral filtering廣闊的理論脈絡，而且使它跟異向擴散(anisotropic diffusion)有關。

n   #Fast bilateral filtering:

呈現兩個加速技術：1.線性化bilateral filtering，使得可以使用FFT和快速的convolution。2.縮減像素採樣(downsample)的關鍵操作。

n   #Uncertainty:

計算過濾器輸出的不確定性(Uncertainty)，允許可疑值的校正。

n   #Contrast reduction:

使用bilateral filtering顯示高動態範圍的影像，方法快速、穩定且不需要設定參數。

@Review of local tone mapping

Tone mapping的運算子可以分為global和local[Tumblin 1999; Ferwerda 1998; DiCarlo and Wandell 2000]，因為global對所有pixel使用同樣的mapping function，多數不會直接處理contrast reduction。一個有限的解決方法是使用S-shaped function[Schlick 1994; Tumblin et al. 1999]，靈感來自攝影，因此保留亮部和暗部的某些細節。很不幸地，contrast在這些區域嚴重地減少，有些作者提議，根據使用者的參與，來變化感興趣的區域(region of interest)的mapping[Tumblin et al. 1999]，而且可以使用圖形處理器[Cohen et al. 2001]。

一個值得注意的例外，是global histogram的調整[Ward Larson et al. 1997]，他們無視histogram中空的部份，結果contrast reduction很有效率，然而由於技術的global天性，當輸入展現uniform histogram就有所限制[DiCarlo and Wandell 2000]。

在contrast中，local運算子根據pixel的neighborhood來做mapping，這充分利用人類的視覺特性，主要敏感在local contrast。多數local tone-mapping techniques使用影像分解，分成不同的層級(layers)或尺度(scales)[除了Socolinsky 2000，使用variational technique]。contrast在每個scale被以不同的程度減少，而且最後的影像是在做完contrast reduction之後重新組合不同scales。local方法主要的缺陷是光暈偽物(haloing artifacts)的存在，當處理高動態範圍的影像，haloing議題更為關鍵。在8 bit的影像，在邊界的contrast被限制在約10的2次方幅度，直接限制halos的強度。

根據影像low-pass version變化增益，結果halos顯著[Chiu et al. 1993]。試著去變化空間上的mapping也有同樣的問題[Schlick 1994]。藉由應用相似技術在multiple scales減少halos，根據綜合精神生理發展的濾波器組使用multiscale分解影像，迄今，這個方法似乎是忠實於人類視覺，然而它仍然會呈現halos[Pattanaik et al. 1998]。

提議使用robust statistical估量器來增進當今的技術[DiCarlo et al. 2000]，雖然它們沒有提供細節描述，我們的方法遵從同樣的精神，而且著重在快速且實際方法的發展。

提議運算子使用在合成影像，利用人類視覺系統能力將場景分解為內在的[layersTumblin et al. 1999]，像是反射(reflectance)和照明(illumination)[Barrow and Tenenbaum 1978]。因為視覺主要對reflectance layers敏感，他們只有在illumination layer減少contrast，這個技術很不幸地只能應用在當已經知道3D場景的特徵的時候。我們將會看到，我們的成果可以被視為攝影的擴展，我們的two-scale分解跟紋理照度去耦技術(texture-illuminance decoupling technique)[Oh et al. 2001]。

建立anisotropic diffusion分解影像使用新low-curvature image simplifier(LCIS) [Tumblin 1999; Tumblin and Turk 1999]，他們得方法可以從高contrast影像中提取精緻的細節，很可惜地，偏微分方程的迭代過程緩慢，此外，diffusion equation的係數一定要去適應影像，使得這種方法很難使用，而且動畫序列(animated sequences)的擴展是不清楚的。我們建立不同的edge-preserving filter，可以很容易去控制且更適合加速。我們也將處理兩個問題：邊緣周圍的剩餘halos，而且需要滲漏固定器(leakage fixer)來阻止在不連續的diffusion。

※發現此篇paper有引用Ansel Adams的三本著作ADAMS, A. 1995. The Camera+The Negative+The Print. Little Brown and Co.。

此篇論文作者群相當細心且慷慨，在著作頁面上除了提供論文資料之外，還有提供相關論文可更進一步研讀，甚至連程式碼也一併公開來，所以想要親自嘗試論文方法的人可以去下載。

參考：Fast Bilateral Filtering for the Display of High-Dynamic-Range Images著作網頁。