研讀老師建議我看的paper – Example-Based Image Color and Tone Style Enhancement (2011),這是一篇跟Image Processing and Computer Vision領域相關的paper,提及的主題有Image Enhancement、Picture Style、Color Mapping、Gradient Mapping、Tone Optimization。
一打開這篇論文就會發現,它的影像做得相當漂亮,這是引我入勝之一:P
這篇paper的摘要:
l 目標:從範例學習隱含的色彩與色調的調整規則。
l 方法:在所有成對的影像中,發現相對應的像素之間潛在的數學關係且最佳地連結色彩與色調。
l 成功:
- 低品質的相片能藉由高階相機的風格來強化。
- 可使用從攝影師和設計師學來的風格來強化相片。
l 概觀:Example-based的架構需要training stage,從學習成對影像(例子)來建立color and tone mappings。一旦獲得這兩個mappings,就可以應用在新的影像來強化色彩與色調的風格,整篇論文幾乎都使用CIE L∗a∗b∗ color space。
→這裡說的成對影像,是指training stage時,需使用兩張由不同相機所拍攝的同一畫面(場景)的影像。
l 限制:
- data-driven的model需要training stage來進行優化。
- data-driven 的model的表現仰賴training data的quality和quantity。
- 想要拿來訓練的各成對影像需要pixel-level image registration,特別是由不同相機所拍攝的成對影像,然而現今存在的image registration algorithms很難達到理想的精準水平。因此必須仰賴使用者提供的限制來增強自動化的registration結果。
→Image registration is the process of transforming different sets of data into one coordinate system. Data may be multiple photographs, data from different sensors, from different times, or from different viewpoints.
我的想法:paper實做1 to 1的mapping,我們可以做all to 1,也就是所有低階相機對應單一高階相機的mapping,paper表明trainning stage需要十多張數十萬像素的相片來做訓練,image registration時我們可以平行化加速trainning stage,獲得color and tone mappings之後一旦有新的相片進來,做image style transfer時也可以平行化加速image enhancement。將來可以做到相機上去,即時讓剛拍的影像做image enhancement,像是使用相機功能中的情境模式那樣來拍攝,彌補低階相機色彩失真、對比誤差、雜訊、曝光誤差等缺點,尤其是在手機上,雖然智慧型手機中的相機已經做到相當高的畫素,然而在品質上卻遠不及高階相機如DSLR。
哈~好像想的太遠了,想論文題目應該要具體可行才是,創意的部份就留到畢業後再說吧~總覺得寫論文是條扼殺創意的不歸路,還是來寫遊戲比較好玩~
參考:WiKi – Image Registration、作者Yizhou Yu的網站、WiKi – CIE L*a*b* color space。






Comments on: "[paper] Example-Based Image Color and Tone Style Enhancement" (3)
[…] Example-Based Image Color and Tone Style Enhancement […]
讚讚
[…] Example-Based Image Color and Tone Style Enhancement […]
讚讚
[…] 當然我要閱讀跟我研究方向最相關的paper:Example-Based Image Color and Tone Style Enhancement仔細閱讀後發現paper中隱藏着許多技術細節,因為跟我的興趣攝影相關,所以我越是閱讀越是感興趣! […]
讚讚