1/ 做不了什么?這值得我們列一個(gè)清單,把嘗試過的失敗總結(jié)出來,以更好地指導(dǎo)開發(fā)。
2/ 對(duì)于輸入數(shù)據(jù)的細(xì)微抖動(dòng),深度學(xué)習(xí)就會(huì)出現(xiàn)算法失效的情況。想象一下,當(dāng)顏色互換時(shí),目標(biāo)識(shí)別系統(tǒng)的崩潰程度。
3/ 基于梯度的學(xué)習(xí)相當(dāng)緩慢,算法需要下降很多很多的梯度才能學(xué)會(huì)模式,用于高維預(yù)測(cè)則相當(dāng)艱難。
4/ 深度學(xué)習(xí)在處理約束條件方面表現(xiàn)很差。不同于線性規(guī)劃,深度學(xué)習(xí)不容易找到能滿足約束條件的解決方案。
5/ 復(fù)雜模型的訓(xùn)練很不穩(wěn)定。神經(jīng)圖靈機(jī)和生成式對(duì)抗網(wǎng)絡(luò)訓(xùn)練起來很難,它們過于依賴隨機(jī)函數(shù)的初始化。
6/ 不像圖形模型,深度網(wǎng)絡(luò)不擅長(zhǎng)跟真實(shí)世界建立聯(lián)系,無法提取出因果模型。
7/ 比如,要考慮關(guān)鍵影響者的監(jiān)測(cè)問題。深度還不清楚如何來檢測(cè)參議員投票數(shù)據(jù)集中的關(guān)鍵影響者。
8/ 強(qiáng)化學(xué)習(xí)方法過于挑剔。其性能太過依賴于調(diào)參技巧,盡管這一問題是特有的。
9/ 深度學(xué)習(xí)無法對(duì)未知的實(shí)體進(jìn)行推斷。考慮棒球賽的場(chǎng)景:屏幕上的擊球手與屏幕外的投球手。
10/ 目前還不清楚如何用深度神經(jīng)網(wǎng)絡(luò)技術(shù)來推斷不在視頻中的投球手的存在。
11/ 在線訓(xùn)練深度網(wǎng)絡(luò)是不可能的,文章一開始就提到了訓(xùn)練緩慢的問題,因而動(dòng)態(tài)反應(yīng)很難實(shí)現(xiàn)。
12/ 一般來說,智能行為的訓(xùn)練只能離線進(jìn)行。
13/ 人們經(jīng)常提及深度網(wǎng)絡(luò)的可解釋性問題。我個(gè)人認(rèn)為該問題遠(yuǎn)沒有人們所想的那樣嚴(yán)重。
14/ 但是,對(duì)深度網(wǎng)絡(luò)進(jìn)行審查也相當(dāng)困難。我們?nèi)绾尾拍艽_保偏見、種族主義不被深度學(xué)習(xí)學(xué)會(huì)?請(qǐng)參考word2vec的種族主義文章。
15/ 深度神經(jīng)網(wǎng)絡(luò)不能簡(jiǎn)單用來解決邏輯問題。3SAT求解器是有很強(qiáng)的能力,但很難被部署到深度網(wǎng)絡(luò)內(nèi)。
16/ 深度神經(jīng)網(wǎng)絡(luò)在高維特征的處理上很糟糕,這一點(diǎn)不像算法強(qiáng)健的隨機(jī)森林,它需要重度調(diào)參。
17/ 超參數(shù)搜索依舊很難用。從業(yè)者需要處理繁重的計(jì)算,或者對(duì)架構(gòu)作大量的手工調(diào)整。
18/ 這絕對(duì)不是一份詳盡的問題列表。上述問題都值得進(jìn)一步思考與深入研究。
19/ 其中至關(guān)重要的一點(diǎn)是:到底這些難題是深度網(wǎng)絡(luò)所固有的缺陷?還是屬于我們要在工程上去克服的挑戰(zhàn)?
20/ 說實(shí)話,這很難回答。其中一些問題可能被很快解決。如部署更多的硬件,就有可能實(shí)現(xiàn)自動(dòng)化超參數(shù)搜索。
21/ 在架構(gòu)方面,還有一些自動(dòng)歸一化和處理高維數(shù)據(jù)的早期嘗試,所以特征處理也有可能得到改善。
22/ 然而,邏輯、約束條件、隱藏結(jié)構(gòu)和審查方面的問題,則要隱藏得更深。
23/ 不過我更希望被打臉,深度學(xué)習(xí)領(lǐng)域的人們往往天賦異稟,且極具想象力。
24/ 此外,GPU版的摩爾定律依然在起作用(至于說能持續(xù)多久,TPU和定制硬件是否真能幫我們解決問題,只有到時(shí)候才能知道了)。
25/ 所以,我對(duì)這些挑戰(zhàn)持相對(duì)樂觀的態(tài)度。盡管如此,我還是懷疑深度網(wǎng)絡(luò)不足以實(shí)現(xiàn)通用。
26/ 當(dāng)然這可能是我個(gè)人的偏見。專家們?cè)诩夹g(shù)細(xì)節(jié)上研究多了,往往會(huì)在預(yù)測(cè)大局上表現(xiàn)拙劣。
27/ 從而導(dǎo)致我一葉障目,不見泰山。
28/ 我在拼命抑制把這推文風(fēng)暴寫成正式文章的沖動(dòng)。畢竟,我不知道是否還存在未能觸及的潛在話題。
29/ 最后,這里的探索和分析就先留給那些有心的讀者來做練習(xí)。
本文轉(zhuǎn)載自:煉數(shù)成金網(wǎng)
標(biāo)簽:
本站文章除注明轉(zhuǎn)載外,均為本站原創(chuàng)或翻譯。歡迎任何形式的轉(zhuǎn)載,但請(qǐng)務(wù)必注明出處、不得修改原文相關(guān)鏈接,如果存在內(nèi)容上的異議請(qǐng)郵件反饋至chenjj@fc6vip.cn