作者：Sourabh Bajaj

假如，你手頭上正有一個機(jī)器學(xué)習(xí)的項目。你通過各種渠道手機(jī)數(shù)據(jù)，建立你自己的模型，并且得到了一些初期的結(jié)果。你發(fā)現(xiàn)，在你的測試集上你只有80%的正確率，這遠(yuǎn)遠(yuǎn)地低于你的預(yù)期?，F(xiàn)在怎么辦，你怎么來改進(jìn)你的模型？

你需要更多的數(shù)據(jù)嗎？或者建立個更復(fù)雜的模型？還是說調(diào)整正則參數(shù)？加減特征？迭代更多次？不然全來一遍吧？

最近我的一個朋友也這么問我，他覺得改進(jìn)模型就是全憑運(yùn)氣。這促使我決定寫這篇文章，來告知應(yīng)該怎么做一個有信息量，有意義的舉措。

1. 偏差和方差

為了構(gòu)建一個準(zhǔn)確的模型，我們首先要了解模型帶來的各種誤差。

偏差：偏差誤差是來源于模型的期望（平均）預(yù)測數(shù)值與真實(shí)數(shù)值之間的差值。

方差：對于一個給定的數(shù)值，模型預(yù)測結(jié)果的變異（波動）程度。

1.1 數(shù)學(xué)定義

我們想要預(yù)測Y，我們的輸入是X。我們假設(shè)他們兩個直接有關(guān)系，比如，其中誤差項服從正態(tài)分布。

我們可能通過線性回歸或者其他建模方法得到一個估計，然后在點(diǎn)處的期望誤差的平方是：

這個誤差能夠被拆分成偏差和方差兩個組成部分：

必不可少的誤差來源于誤差項，任何模型都不能夠徹底地解決。只有給定問題本身的真實(shí)模型和無窮大的數(shù)據(jù)來修正它，我們能夠讓偏差和方差項都變成零。然而，在一個沒有完美的模型和無窮的數(shù)據(jù)的世界里，我們必須要在減小偏差和方差中權(quán)衡。

2. 什么是學(xué)習(xí)曲線

現(xiàn)在我們知道權(quán)衡偏差和誤差這件事了，但是如何改進(jìn)我們的模型仍然有待考究。我們的模型面對 嚴(yán)重偏離 和 高度變異 的時候應(yīng)該怎么處理？我們需要繪制模型的學(xué)習(xí)曲線來解答這個問題。

2.1 嚴(yán)重偏離

• 小訓(xùn)練樣本：很小，并且很大。
• 大訓(xùn)練樣本： 和都很大，并且兩者近似相等。

2.2 高度變異

• 小訓(xùn)練樣本：很小，并且很大。
• 大訓(xùn)練樣本：隨著訓(xùn)練集增加而變大，并且繼續(xù)減小，但是不會穩(wěn)定。，而且他們之間的差距很顯著。

3. 下一步做什么？

我們已經(jīng)明白，問題往往出在偏差或者方差上。這時候，我們要根據(jù)不同的情況，做出不同的抉擇。

3.1 嚴(yán)重偏離

• 選擇更復(fù)雜的特征，高階項或者增加節(jié)點(diǎn)。
• 減小正則參數(shù)。

3.2 高度變異

• 收集更多的訓(xùn)練數(shù)據(jù)來幫助模型得到更好的泛化。
• 減小特征集合的大小。
• 增大正則參數(shù)。

4. 機(jī)器學(xué)習(xí)流程

大多數(shù)的機(jī)器學(xué)習(xí)系統(tǒng)都是由一個模型鏈組成的。通常情況下都會有一種困境，你已經(jīng)有了一個機(jī)器學(xué)習(xí)的管道，但是接下來一步應(yīng)該做什么呢？上限分析在這里很有幫助。

上限分析每一次在管道中的某一部分中插入一個完美的版本，并且由此來測度我們所觀察到的完整的管道能夠有多大的提升。這種方法能夠幫助我們明白在整個模型鏈中，哪一步能夠帶來最可觀的優(yōu)化。

比如說上述的文字識別的管道（模型鏈），你發(fā)現(xiàn)一個完美的字符分割模型能夠給整個識別系統(tǒng)提升1%，但是一個完美的字符識別模型能夠提升7%。所以相比于改進(jìn)字符分割模型，我們應(yīng)該更關(guān)注字符識別模型的改進(jìn)。

本文轉(zhuǎn)載自：36大數(shù)據(jù)