機器學習模型選擇與正則化課件.ppt

《機器學習模型選擇與正則化課件.ppt》由會員上傳分享，免費在線閱讀，更多相關內(nèi)容在教育資源-天天文庫。

1、機器學習之模型評估與模型選擇重慶大學余俊良摘要損失函數(shù)與風險函數(shù)經(jīng)驗風險最小化和結構風險最小化模型評估與模型選擇正則化與交叉驗證損失函數(shù)與風險函數(shù)損失函數(shù)與風險函數(shù)損失函數(shù)與風險函數(shù)損失函數(shù)與風險函數(shù)經(jīng)驗風險最小化和結構風險最小化經(jīng)驗風險最小化和結構風險最小化經(jīng)驗風險最小化和結構風險最小化模型評估與模型選擇訓練誤差與測試誤差模型評估與模型選擇訓練誤差與測試誤差模型評估與模型選擇過擬合與模型選擇模型評估與模型選擇過擬合與模型選擇模型評估與模型選擇過擬合與模型選擇模型評估與模型選擇過擬合與模型選擇模型評估與模型選擇過擬合與模型選擇模型評估與模型選擇過擬合與模型選擇正則化與

2、交叉驗證正則化與交叉驗證正則化與交叉驗證舉例上圖紅色小叉代表給出的樣本數(shù)據(jù)，我們看到了如果用一個二次函數(shù)來擬合這些數(shù)據(jù)，那么它給了我們一個對數(shù)據(jù)很好的擬合。然而，如果我們用一個更高次的多項式去擬合，最終我們可能會得到一個曲線，它能很好地擬合訓練集，但卻并不是一個好的結果，因為它過度擬合了數(shù)據(jù)，因此，一般性并不是很好。讓我們考慮下面的假設，我們想要加上懲罰項，從而使參數(shù)θ3和θ4足夠的小。正則化與交叉驗證舉例上圖的式子是我們的優(yōu)化目標，也就是說我們需要盡量減少代價函數(shù)的均方誤差。對于這個函數(shù)我們對它添加一些項，加上1000乘以θ3的平方，再加上1000乘以θ4的平方，1

3、000只是我隨便寫的某個較大的數(shù)字而已?，F(xiàn)在，如果我們要最小化這個函數(shù)，那么為了最小化這個新的代價函數(shù)，我們要讓θ3和θ4盡可能小。因為，如果你在原有代價函數(shù)的基礎上加上1000乘以θ3這一項，那么這個新的代價函數(shù)將變得很大，所以，當我們最小化這個新的代價函數(shù)時，我們將使θ3的值接近于0，同樣θ4的值也接近于0，就像我們忽略了這兩個值一樣。如果我們做到這一點（θ3和θ4接近0），那么我們將得到一個近似的二次函數(shù)。正則化與交叉驗證舉例因此，我們最終恰當?shù)財M合了數(shù)據(jù)，我們所使用的正是二次函數(shù)加上一些非常小，貢獻很小項（因為這些項的θ3、θ4非常接近于0）。顯然，這是一個更

4、好的假設。正則化與交叉驗證更一般地，這里給出了正規(guī)化背后的思路。這種思路就是，如果我們的參數(shù)值對應一個較小值的話（參數(shù)值比較?。?，那么往往我們會得到一個形式更簡單的假設。在我們上面的例子中，我們懲罰的只是θ3和θ4，使這兩個值均接近于零，從而我們得到了一個更簡單的假設，實際上這個假設大抵上是一個二次函數(shù)。但更一般地說，如果我們像懲罰θ3和θ4這樣懲罰其它參數(shù)，那么我們往往可以得到一個相對較為簡單的假設。實際上，這些參數(shù)的值越小，通常對應于越光滑的函數(shù)，也就是更加簡單的函數(shù)。因此就不易發(fā)生過擬合的問題。我知道，為什么越小的參數(shù)對應于一個相對較為簡單的假設，對你來說現(xiàn)在不

5、一定完全理解，但是在上面的例子中使θ3和θ4很小，并且這樣做能給我們一個更加簡單的假設，這個例子至少給了我們一些直觀感受。正則化與交叉驗證來讓我們看看具體的例子，對于房屋價格預測我們可能有上百種特征，與剛剛所講的多項式例子不同，我們并不知道θ3和θ4是高階多項式的項。所以，如果我們有一百個特征，我們并不知道如何選擇關聯(lián)度更好的參數(shù)，如何縮小參數(shù)的數(shù)目等等。因此在正則化里，我們要做的事情，就是把減小我們的代價函數(shù)（例子中是線性回歸的代價函數(shù)）所有的參數(shù)值，因為我們并不知道是哪一個或哪幾個要去縮小。因此，我們需要修改代價函數(shù)，在這后面添加一項，就像我們在方括號里的這項。當

6、我們添加一個額外的正則化項的時候，我們收縮了每個參數(shù)。正則化與交叉驗證下面的這項就是一個正則化項并且λ在這里我們稱做正則化參數(shù)。λ要做的就是控制在兩個不同的目標中的平衡關系。第一個目標就是我們想要使假設更好地擬合訓練數(shù)據(jù)。我們希望假設能夠很好的適應訓練集。第二個目標是我們想要保持參數(shù)值較小。（通過正則化項）而λ這個正則化參數(shù)需要控制的是這兩者之間的平衡，即平衡擬合訓練的目標和保持參數(shù)值較小的目標。從而來保持假設的形式相對簡單，來避免過度的擬合。對于我們的房屋價格預測來說，我們之前所用的非常高的高階多項式來擬合，我們將會得到一個非常彎曲和復雜的曲線函數(shù)，現(xiàn)在我們只需要使

7、用正則化目標的方法，那么你就可以得到一個更加合適的曲線，但這個曲線不是一個真正的二次函數(shù)，而是更加的流暢和簡單的一個曲線。這樣就得到了對于這個數(shù)據(jù)更好的假設。正則化與交叉驗證在正則化線性回歸中，如果正則化參數(shù)值λ被設定為非常大，那么將會發(fā)生什么呢？我們將會非常大地懲罰參數(shù)θ1θ2θ3θ4…也就是說，我們最終懲罰θ1θ2θ3θ4…在一個非常大的程度，那么我們會使所有這些參數(shù)接近于零。正則化與交叉驗證如果我們這么做，那么就是我們的假設中相當于去掉了這些項，并且使我們只是留下了一個簡單的假設，這個假設只能表明房屋價格等于θ0的值，那就是類似于擬合了一條水平