對抗樣本是通過稍微修改實際樣本而構(gòu)造出的合成樣本，以便于一個分類器以高置信度認為它們屬于錯誤的分類。垃圾類的樣本（如fooling images）是病態(tài)樣本，即使它們不屬于任意一個類，分類模型也會把它們以高置信度劃分到某一個類別中去。

一個對抗樣本，修改一張熊貓的圖片，讓機器學習模型將它識別成一只長臂猿。

使用32位浮點值作為網(wǎng)絡(luò)的輸入來執(zhí)行修改，這個改變是如此的小以至于不會改變出版圖像的8位表示。更多細節(jié)請參考這篇論文。

這些錯誤抓住了公眾的想象力。在興奮之余，關(guān)于對抗樣本的一些誤解已經(jīng)廣泛傳播。在這篇博客中，我列出了其中的一些誤解。

1. 神話：對抗樣本并不重要，因為它們不會出現(xiàn)在實踐中。

事實：的確，對抗樣本不太可能自然發(fā)生。然而，對抗樣本至關(guān)重要，因為訓(xùn)練一個模型來抵制它們，可以提高其非對抗樣本的準確性。對抗樣本也可能在實踐中發(fā)生，如果它們的確是對抗性的。例如垃圾郵件發(fā)送者試圖騙過垃圾郵件檢測系統(tǒng)。

訓(xùn)練一個網(wǎng)絡(luò)來正確分類對抗樣本，降低它在訓(xùn)練數(shù)據(jù)集上的錯誤率，即使測試數(shù)據(jù)集的樣本沒有被擾動。這種技術(shù)提升了在MNIST數(shù)據(jù)集上的最高水平。

2. 神話：深度學習比其他類型的機器學習更容易受到對抗樣本的干擾。

事實：到目前為止，我們已經(jīng)能夠為我們測試過的每一個模型生成對抗樣本，包括像最鄰近這樣的最傳統(tǒng)的機器學習模型。深度學習是目前為止對對抗訓(xùn)練最有抵抗性的技術(shù)。

3. 神話：對抗樣本是由極度非線性深度模型導(dǎo)致。

事實：我們最近的實驗表明，深度模型的表現(xiàn)是非常線性的。線性模型在外推遠離訓(xùn)練數(shù)據(jù)的區(qū)域有著極度的優(yōu)勢。這也解釋了對抗性和垃圾分類樣本中發(fā)生的很多錯誤。

我們可以描繪出一個輸入空間中的線性路徑，通過對一張清晰的汽車圖像添加不同的對抗性微擾。這里，我們將比例因子范圍從-10到+10來繪制出這條線性路徑。我們看到，網(wǎng)絡(luò)的logits輸出在遠離數(shù)據(jù)的地方表現(xiàn)為線性。這將導(dǎo)致網(wǎng)絡(luò)的預(yù)測變得極端，垃圾類輸入數(shù)據(jù)以高置信度歸為有意義分類。

4. 神話：對抗樣本在小數(shù)據(jù)中很難找到或發(fā)生。

事實：空間中的大多數(shù)任意點都被誤判。例如，我們測試的一個網(wǎng)絡(luò)，把大約70%的噪聲樣本以高置信度歸類為馬。

5. 神話：我們能做到最好的是識別和拒絕處理對抗樣本。

事實：拒絕處理對抗樣本比將它錯誤分類要好，不過這不是一個令人滿意的解決方案。如果真是一個對抗樣本，如垃圾郵件發(fā)送者，對抗樣本仍然可以通過產(chǎn)生系統(tǒng)拒絕分類的樣本而占優(yōu)勢。我們知道這可能是正確分類的對抗樣本，因為人們不會被它們迷惑，這也是我們設(shè)計模型的目標。

6. 神話：攻擊者必須訪問到模型才能產(chǎn)生對抗樣本。

事實：對抗樣本在整個網(wǎng)絡(luò)中擴散，用來訓(xùn)練執(zhí)行相同的任務(wù)，即使這些模型有不同的架構(gòu)，由不同訓(xùn)練數(shù)據(jù)集訓(xùn)練。這意味著攻擊者可以訓(xùn)練自己的模型，產(chǎn)生對抗模型來對抗目標模型，然后將這些對抗樣本部署到他們不能訪問的模型中。

7. 神話：對抗樣本可以很容易地用標準正則化技術(shù)解決。

事實：我們已經(jīng)測試了幾種傳統(tǒng)的正則化策略，包括均化多重模型，均化圖像多采樣觀測（multiple glimpses），用時延權(quán)重或噪聲訓(xùn)練模型，通過生成模型的推斷進行分類，結(jié)果均以失敗告終。

8. 神話：沒人知道人腦是否也會犯相似的錯誤。

事實：神經(jīng)學家和心理學家通常研究幻覺和認知偏差。雖然我們無法進入我們的大腦，但是我們可以確認我們沒有像現(xiàn)代機器學習那樣被同一種對抗樣本所影響。如果我們的大腦和機器學習模型一樣犯了同樣的錯誤，那么由于交叉模型的泛化屬性，機器學習模型的對抗樣本將會使我們產(chǎn)生視覺錯亂。

總之，對抗樣本是一個頑固的問題，研究如何克服它們可以幫助我們避免潛在的安全問題，并且會讓機器學習算法對所要解決的問題有一個更準確的了解。

推薦閱讀

• 60款頂級大數(shù)據(jù)開源工具
• Excel最常用的79個快捷鍵
• 大數(shù)據(jù)的十大局限
• 不同領(lǐng)域開發(fā)工具 Top 50