本月，谷歌逼走了一位著名的人工智能倫理研究人員，因?yàn)樗龑?duì)公司讓她撤回一篇研究論文表示不滿。該論文指出了語言處理人工智能的風(fēng)險(xiǎn)，這種人工智能用于谷歌搜索和其他文本分析產(chǎn)品中。其中的風(fēng)險(xiǎn)包括開發(fā)這類人工智能技術(shù)所帶來的巨大碳足跡。據(jù)一些人估計(jì)，訓(xùn)練一個(gè)人工智能模型所產(chǎn)生的碳排放，相當(dāng)于制造和駕駛五輛汽車在其一生中所需要的碳排放。

本文作者是一名研究和開發(fā)AI模型的研究人員，對(duì)AI研究中暴漲的能源和財(cái)務(wù)成本非常熟悉。為什么AI模型會(huì)變得如此耗電，與傳統(tǒng)的數(shù)據(jù)中心計(jì)算有什么不同？本文將會(huì)探討一下。

今天的培訓(xùn)是效率低下

在數(shù)據(jù)中心完成的傳統(tǒng)數(shù)據(jù)處理工作包括視頻流、電子郵件和社交媒體。AI的計(jì)算量更大，因?yàn)樗枰喿x大量的數(shù)據(jù)，直到學(xué)會(huì)理解這些數(shù)據(jù)。與人的學(xué)習(xí)方式相比，這種訓(xùn)練的效率非常低。現(xiàn)代人工智能使用的是人工神經(jīng)網(wǎng)絡(luò)，它是模擬人腦神經(jīng)元的數(shù)學(xué)計(jì)算。每個(gè)神經(jīng)元與鄰居的連接強(qiáng)度是網(wǎng)絡(luò)的一個(gè)參數(shù)，稱為權(quán)重。為了學(xué)習(xí)如何理解語言，網(wǎng)絡(luò)從隨機(jī)權(quán)重開始，并調(diào)整它們，直到輸出與正確答案一致。

訓(xùn)練語言網(wǎng)絡(luò)的一個(gè)常見方法是，從維基百科和新聞機(jī)構(gòu)等網(wǎng)站上給它輸入大量的文本，其中一些單詞被掩蓋掉，然后讓它猜測(cè)被掩蓋掉的單詞。一個(gè)例子是 "我的狗很可愛"，"可愛 "這個(gè)詞被掩蓋掉了。一開始，模型會(huì)把它們?nèi)颗e(cuò)，但是，經(jīng)過多輪調(diào)整后，連接權(quán)重開始變化，并在數(shù)據(jù)中發(fā)現(xiàn)了模式，網(wǎng)絡(luò)最終變得準(zhǔn)確。

最近的一個(gè)名為 "變形金剛雙向編碼器表示"（BERT）的模型使用了33億個(gè)英文書籍和維基百科文章中的單詞。而且，在訓(xùn)練過程中，BERT對(duì)這個(gè)數(shù)據(jù)集的閱讀不是一次，而是40次。相比之下，一個(gè)普通的學(xué)說話的孩子在5歲前可能會(huì)聽到4500萬個(gè)單詞，比BERT少3000倍。

尋找合適的結(jié)構(gòu)

讓語言模型的構(gòu)建成本更高的是，這個(gè)訓(xùn)練過程在開發(fā)過程中會(huì)發(fā)生很多次。這是因?yàn)檠芯咳藛T希望找到網(wǎng)絡(luò)的最佳結(jié)構(gòu)--有多少神經(jīng)元，神經(jīng)元之間有多少連接，學(xué)習(xí)過程中參數(shù)的變化速度應(yīng)該有多快等等。他們嘗試的組合越多，網(wǎng)絡(luò)達(dá)到高精度的機(jī)會(huì)就越大。相比之下，人類的大腦不需要找到一個(gè)最佳結(jié)構(gòu)--它們自帶一個(gè)經(jīng)過進(jìn)化磨練的預(yù)建結(jié)構(gòu)。

隨著公司和學(xué)術(shù)界在人工智能領(lǐng)域的競(jìng)爭(zhēng)，人們面臨的壓力是如何在技術(shù)狀態(tài)上進(jìn)行改進(jìn)。即使在機(jī)器翻譯等困難任務(wù)上實(shí)現(xiàn)1%的準(zhǔn)確性改進(jìn)，也被認(rèn)為是重要的，并會(huì)帶來良好的宣傳和更好的產(chǎn)品。但為了獲得這1%的改進(jìn)，一個(gè)研究者可能要對(duì)模型進(jìn)行數(shù)千次訓(xùn)練，每次都用不同的結(jié)構(gòu)，直到找到最好的模型。

馬薩諸塞大學(xué)阿默斯特分校的研究人員通過測(cè)量訓(xùn)練過程中常用硬件的功耗，估算了開發(fā)人工智能語言模型的能源成本。他們發(fā)現(xiàn)，訓(xùn)練一次 BERT 的碳足跡相當(dāng)于一名乘客在紐約和舊金山之間飛一個(gè)來回。然而，通過使用不同的結(jié)構(gòu)進(jìn)行搜索--也就是說，通過使用略微不同數(shù)量的神經(jīng)元、連接和其他參數(shù)對(duì)數(shù)據(jù)進(jìn)行多次訓(xùn)練，成本變成了相當(dāng)于315名乘客，或者整架747飛機(jī)的成本。

更大更熱

AI模型也比它們需要的大得多，而且每年都在增長。一個(gè)類似于 BERT 的最新語言模型，叫做 GPT-2，它的網(wǎng)絡(luò)中有 15 億個(gè)權(quán)重。GPT-3，今年因?yàn)槠涓邷?zhǔn)確度而引起轟動(dòng)，它有1750億個(gè)權(quán)重。

研究人員發(fā)現(xiàn)，擁有更大的網(wǎng)絡(luò)會(huì)帶來更好的準(zhǔn)確性，即使最終只有一小部分網(wǎng)絡(luò)是有用的。類似的事情也發(fā)生在兒童的大腦中，當(dāng)神經(jīng)元連接首先被添加，然后減少，但生物大腦比計(jì)算機(jī)更節(jié)能

AI模型是在專門的硬件上進(jìn)行訓(xùn)練的，比如圖形處理器單元，它們比傳統(tǒng)的CPU消耗更多的電力。如果你擁有一臺(tái)游戲筆記本電腦，它可能有一個(gè)這樣的圖形處理器單元，以創(chuàng)建高級(jí)圖形，例如，玩Minecraft RTX。你可能也會(huì)注意到，它們產(chǎn)生的熱量比普通筆記本電腦多得多。

所有這些都意味著，開發(fā)高級(jí)人工智能模型正在增加大量的碳足跡。除非我們改用100%的可再生能源，否則人工智能的進(jìn)步可能會(huì)與減少溫室氣體排放和減緩氣候變化的目標(biāo)背道而馳。開發(fā)的財(cái)務(wù)成本也變得如此之高，以至于只有少數(shù)選定的實(shí)驗(yàn)室能夠負(fù)擔(dān)得起，而他們將成為制定什么樣的人工智能模型得到開發(fā)的議程的人。

事半功倍

這對(duì)人工智能研究的未來意味著什么？事情可能并不像看起來那么暗淡。隨著更高效的訓(xùn)練方法被發(fā)明出來，訓(xùn)練的成本可能會(huì)下降。同樣，雖然數(shù)據(jù)中心的能源使用被預(yù)測(cè)會(huì)在近幾年爆炸式增長，但由于數(shù)據(jù)中心效率的提高，更高效的硬件和冷卻，這種情況并沒有發(fā)生。

訓(xùn)練模型的成本和使用模型的成本之間也有一個(gè)權(quán)衡，所以在訓(xùn)練的時(shí)候花費(fèi)更多的精力來得出一個(gè)更小的模型，實(shí)際上可能會(huì)讓使用模型的成本更低。因?yàn)橐粋€(gè)模型在它的一生中會(huì)被使用很多次，這就會(huì)增加大量的能源節(jié)約。

在實(shí)驗(yàn)室的研究中，我們一直在研究如何通過共享權(quán)重，或者在網(wǎng)絡(luò)的多個(gè)部分使用相同的權(quán)重來使AI模型變得更小。我們稱這些網(wǎng)絡(luò)為shapshifter網(wǎng)絡(luò)，因?yàn)橐唤M小的權(quán)重可以被重新配置成任何形狀或結(jié)構(gòu)的大網(wǎng)絡(luò)。其他研究人員已經(jīng)表明，在相同的訓(xùn)練時(shí)間內(nèi)，權(quán)重共享具有更好的性能。

展望未來，人工智能界應(yīng)該在開發(fā)節(jié)能的訓(xùn)練方案上投入更多。否則，就有可能讓人工智能被少數(shù)有能力設(shè)定議程的人所主導(dǎo)，包括開發(fā)什么樣的模型，用什么樣的數(shù)據(jù)來訓(xùn)練它們，以及模型的用途。

關(guān)于慧都大數(shù)據(jù)分析平臺(tái)

慧都大數(shù)據(jù)分析平臺(tái)，將學(xué)習(xí)、推理、思考、預(yù)測(cè)、規(guī)劃等能力賦予企業(yè)數(shù)據(jù)，讓數(shù)據(jù)驅(qū)動(dòng)決策，創(chuàng)造最高業(yè)務(wù)價(jià)值。

歡迎撥打慧都熱線023-68661681或咨詢，我們將幫您轉(zhuǎn)接大數(shù)據(jù)專業(yè)團(tuán)隊(duì)，并發(fā)送相關(guān)資料給您！