閱讀論文的時候有兩個名詞我一直想不出來它在說什麼，當時我這麼翻譯「在給定一個固定數量的訓練例子，可能超過符合(overfit)一個過度大數量的子空間，或不足符合(underfit)一個不足夠數量的子空間。」
看到圖示之後，總算豁然開朗～原來跟偏差和變異之權衡 (Bias-Variance Tradeoff)有關！
論文超過符合(overfit)和不足符合(underfit)出現在這兩個部份：
- Example-Based Image Color and Tone Style Enhancement – 4.2
- Example-Based Image Color and Tone Style Enhancement – 6.1
低偏差的model在訓練集合上更加準確，低變異的model在不同的訓練集合上性能更加穩定。舉兩個極端的例子：
- 記住訓練集合上所有data的label，這樣的系統是低偏差、高變異。
- 無論輸入什麼data，總是預測一個相同的label，這樣的系統是高偏差、低變異。
因此在一個model的選擇上需要進行偏差和變異的權衡。
顯然複雜的模型能更好的擬合訓練集合能更好的擬合訓練集合上的點，但是同時高複雜度的模型泛化能力差，造成了高變異。
圖中橫坐標的右側是過度擬合overfit的情況，而左側是不足擬合underfit的情況。
過度擬合可以這麼解釋：
- 訓練樣本(train sample)得到的輸出和其期望的輸出基本一致，但是測試樣本(test sample)得到的輸出和其期望的輸出相差卻很大。
- 為了得到一致的假設，使得模型變得相當複雜。
想像某種學習算法產生了一個過度擬合的分類器，這個分類器能夠百分之百正確地分類樣本數據（即再拿樣本中的資料來給它分類，它也絕對不會分錯），但也就為了能夠對樣本完全正確的分類，使得它的構造如此複雜，規則如此嚴格，以至於任何與樣本數據稍有不同的資料它全都認為不屬於這個類別。
於是翻譯成這樣就很好理解，「在給定一個固定數量的訓練例子，一個過度大數量的子空間會造成超過擬合(overfit)，或一個不足夠數量的子空間會造成不足擬合(underfit)。」於是作者接著說，「為了達到好的近似(approximation)和泛化能力(peneralization capability)，他決定藉由確認平均相關性來決定子空間的數量，這個相關性是區域映射的輸入與輸出為所有子空間再次作典型相關分析(canonical correlation analysis)，像這樣相關性分析指明，當數量相對小時，平均相關性會隨著子空間的數量增加，但當數量超過門檻值時，傾向穩定。這在圖8呈現，指明子空間的數量應該選擇在200到300之間。」
參考：Bias-Variance Tradeoff、機器學習中的數學(2)-線性回歸，偏差、方差權衡、過擬合（overfit）與欠擬合（underfit）。
逍遙文工作室 
隨意留個言吧：）～