人工智能正面臨“可復(fù)現(xiàn)性”危機(jī)
神經(jīng)網(wǎng)絡(luò)是一種技術(shù)，這種技術(shù)讓我們制造出了 Go-mastering 機(jī)器人，以及能創(chuàng)作中國(guó)古典詩(shī)歌的文本生成機(jī)器人，但這種技術(shù)通常被稱(chēng)作黑盒子，因?yàn)樗鼈冞\(yùn)轉(zhuǎn)的原理非常神秘。想讓它們運(yùn)作良好可謂是一門(mén)藝術(shù)，它涉及許多媒體沒(méi)有報(bào)道的微調(diào)操作。網(wǎng)絡(luò)也在變得越來(lái)越大、越來(lái)越復(fù)雜，加上龐大的數(shù)據(jù)集和龐大的計(jì)算機(jī)陣列，使得復(fù)現(xiàn)和研究這些模型變得非常昂貴，只有資金最充足的實(shí)驗(yàn)室才能承擔(dān)這樣的研究。來(lái)自麥吉爾大學(xué)（McGill）的計(jì)算機(jī)科學(xué)教授若埃爾·皮諾（Joelle Pineau）正試圖改變這種局面。本文介紹了當(dāng)前深度學(xué)習(xí)領(lǐng)域的一個(gè)主要問(wèn)題，即研究?jī)?nèi)容的可復(fù)現(xiàn)性，可復(fù)現(xiàn)性好的研究，這對(duì)于技術(shù)發(fā)展是很重要的，并介紹了學(xué)術(shù)界對(duì)此所做的努力和討論。
Facebook 的研究人員表示，他們發(fā)現(xiàn)要復(fù)現(xiàn) DeepMind 的 AlphaGo 程序 ‘就算能做到，也是非常困難的’ 。圖片制作：GETTY IMAGES
幾年前，麥吉爾大學(xué)（McGill）的計(jì)算機(jī)科學(xué)教授若埃爾·皮諾（Joelle Pineau）在幫助學(xué)生設(shè)計(jì)新的算法，她的學(xué)生們當(dāng)時(shí)陷入了困境。她的實(shí)驗(yàn)室研究強(qiáng)化學(xué)習(xí)，這是人工智能的一種，用于幫助虛擬角色（“半獵豹”和“螞蟻”的虛擬角色很受歡迎）自學(xué)如何在虛擬世界中移動(dòng)。這是制造自動(dòng)機(jī)器人和汽車(chē)的先決技術(shù)條件。皮諾的學(xué)生希望改進(jìn)實(shí)驗(yàn)室的另一個(gè)系統(tǒng)。但首先他們必須重建它；不知道出于什么原因，他們的設(shè)計(jì)未能達(dá)到預(yù)期的效果，直到學(xué)生們嘗試了一些其他實(shí)驗(yàn)室的論文中沒(méi)有提過(guò)的“創(chuàng)造性的操作”。
瞧，這個(gè)系統(tǒng)開(kāi)始像宣傳的那樣運(yùn)行了。皮諾表示，這種幸運(yùn)的突破是一種讓人困擾的趨勢(shì)的征兆。神經(jīng)網(wǎng)絡(luò)是一種技術(shù)，這種技術(shù)讓我們制造出了 Go-mastering 機(jī)器人，以及能創(chuàng)作中國(guó)古典詩(shī)歌的文本生成機(jī)器人，但這種技術(shù)通常被稱(chēng)作黑盒子，因?yàn)樗鼈冞\(yùn)轉(zhuǎn)的原理非常神秘。想讓它們運(yùn)作良好可謂是一門(mén)藝術(shù)，它涉及許多媒體沒(méi)有報(bào)道的微調(diào)操作。網(wǎng)絡(luò)也在變得越來(lái)越大、越來(lái)越復(fù)雜，加上龐大的數(shù)據(jù)集和龐大的計(jì)算機(jī)陣列，使得復(fù)現(xiàn)和研究這些模型變得非常昂貴，只有資金最充足的實(shí)驗(yàn)室才能承擔(dān)這樣的研究——如果能夠承擔(dān)的話(huà)。
“那還算是研究嗎？”馬薩諸塞大學(xué)機(jī)器學(xué)習(xí)研究員安娜·羅杰斯（Anna Rogers）問(wèn)道。“也搞不清楚你是在展示模型的優(yōu)越性，還是在展示你預(yù)算的優(yōu)越性。”
皮諾正試圖改變這種局面。她是頂級(jí)人工智能會(huì)議 NeurIPS 的可復(fù)現(xiàn)性主席。在她的監(jiān)督下，會(huì)議現(xiàn)在要求研究人員提交一份“可復(fù)現(xiàn)性清單”，其中包括一些經(jīng)常從論文中省略的信息，比如在選出“最佳”模型之前訓(xùn)練過(guò)的模型數(shù)量、使用的計(jì)算能力，以及代碼和數(shù)據(jù)集的鏈接。這是該領(lǐng)域的一次變革——這個(gè)領(lǐng)域的參與者聲譽(yù)建立在排行榜的基礎(chǔ)之上（排行榜決定了誰(shuí)的系統(tǒng)是某項(xiàng)特定任務(wù)的“最先進(jìn)水平”），并提供了大量激勵(lì)，讓人們掩蓋得出這些驚人結(jié)果背后他們所經(jīng)歷的曲折。
皮諾說(shuō)，這個(gè)想法是為了鼓勵(lì)研究人員為其他人提供一個(gè)復(fù)制自己工作的路線(xiàn)圖。新文本生成器的口才或電子游戲機(jī)器人的“超人”敏捷性的確令人驚訝，但即使是最老練的研究人員也對(duì)它們的工作原理知之甚少。復(fù)現(xiàn)這些人工智能模型不僅對(duì)找出研究的新途徑很重要，而且也是一種研究算法的方式，這類(lèi)算法能夠增強(qiáng)，并且在某些情況下能夠取代人類(lèi)做出決策，例如決定誰(shuí)呆在監(jiān)獄，多長(zhǎng)時(shí)間批準(zhǔn)抵押貸款等。
其他人也在著手解決這個(gè)問(wèn)題。谷歌的研究人員提出了所謂的“model cards”，來(lái)詳細(xì)說(shuō)明機(jī)器學(xué)習(xí)系統(tǒng)是如何被測(cè)試的，包括指出具有潛在偏差的結(jié)果。其他人則試圖證明”最先進(jìn)“這個(gè)表述有多脆弱，因?yàn)獒槍?duì)排行榜中使用的數(shù)據(jù)集而進(jìn)行優(yōu)化的系統(tǒng)，換到其他環(huán)境中就變得非常不可靠。上周，艾倫人工智能研究所（Allen Institute for Artificial Intelligence，簡(jiǎn)稱(chēng) AI2）的研究人員發(fā)表了一篇論文，旨在將皮諾的可復(fù)現(xiàn)性清單擴(kuò)展到實(shí)驗(yàn)過(guò)程的其他部分。他們稱(chēng)之為“展示你的作品”。
“從一個(gè)人停下的地方開(kāi)始是如此痛苦，因?yàn)槲覀儚膩?lái)沒(méi)有完整地描述過(guò)實(shí)驗(yàn)設(shè)置，”AI2 研究員杰西道奇 (Jesse Dodge) 說(shuō)，他是這項(xiàng)研究的合著者之一。“如果我們不談?wù)撐覀兯龅氖虑椋藗兙蜔o(wú)法復(fù)現(xiàn)我們所做的事情。他補(bǔ)充說(shuō)，當(dāng)人們公開(kāi)系統(tǒng)構(gòu)建過(guò)程的基本細(xì)節(jié)時(shí)，大家都會(huì)感到驚訝。去年一項(xiàng)關(guān)于強(qiáng)化學(xué)習(xí)論文的調(diào)查發(fā)現(xiàn)，只有大約一半的論文包含代碼。
有時(shí)基本信息會(huì)丟失，因?yàn)樗撬接械?mdash;—這對(duì)工業(yè)界的實(shí)驗(yàn)室來(lái)說(shuō)尤其是個(gè)問(wèn)題。但道奇說(shuō)，這更多是表明該領(lǐng)域未能跟上不斷變化的方法。研究人員為了改善他們的研究結(jié)果而做了哪些改變，這在十年前是能比較直觀(guān)的看到的。相比之下，神經(jīng)網(wǎng)絡(luò)則比較講究；要獲得最佳效果，通常需要調(diào)節(jié)數(shù)千個(gè)節(jié)點(diǎn)，道奇稱(chēng)之為是一種“黑魔法”。選出最佳模型往往需要大量的實(shí)驗(yàn)。這種魔法成本變高，速度也變得更快了。
就連大型工業(yè)界實(shí)驗(yàn)室也發(fā)出了警報(bào)，它們擁有著設(shè)計(jì)最大和最復(fù)雜系統(tǒng)的資源。當(dāng) Facebook 試圖復(fù)制 AlphaGo 時(shí)，研究人員似乎被這項(xiàng)任務(wù)搞得筋疲力盡。AlphaGo 是 Alphabet 旗下 DeepMind 開(kāi)發(fā)的一個(gè)系統(tǒng)，用來(lái)讓機(jī)器掌握古老的圍棋游戲。Facebook 在 5 月份發(fā)表的一篇論文中寫(xiě)道，龐大的計(jì)算需求——在數(shù)千臺(tái)設(shè)備上運(yùn)行數(shù)百萬(wàn)次的實(shí)驗(yàn)，加上不可獲得的源代碼，使得該系統(tǒng)“即使不是不可能，也很難復(fù)制、研究、改進(jìn)和擴(kuò)展”。（Facebook 團(tuán)隊(duì)最終成功了。)
AI2 的研究為這個(gè)問(wèn)題提出了一個(gè)解決方案。這個(gè)想法就是提供更多的實(shí)驗(yàn)數(shù)據(jù)。你仍然可以報(bào)告你在 100 個(gè)實(shí)驗(yàn)之后得到的最佳模型——這個(gè)結(jié)果可能被聲稱(chēng)為“最先進(jìn)的”——但是你也可以說(shuō)明，如果你只有嘗試 10 次或者僅僅一次的預(yù)算時(shí)，你所期望的性能范圍會(huì)是怎樣的。
道奇說(shuō)，復(fù)現(xiàn)性的重點(diǎn)不是準(zhǔn)確地復(fù)現(xiàn)結(jié)果，因?yàn)榭紤]到神經(jīng)網(wǎng)絡(luò)代碼中的隨機(jī)因素，以及具體硬件和代碼運(yùn)行的不同，這幾乎是不可能的。相反，這個(gè)想法是提供一個(gè)路線(xiàn)圖，以達(dá)到與原版的研究相同的結(jié)論，特別是涉及到?jīng)Q定哪個(gè)機(jī)器學(xué)習(xí)系統(tǒng)最適合某一特定任務(wù)時(shí)，復(fù)現(xiàn)性就尤為重要。
道奇解釋說(shuō)，這可能有助于提高研究效率。當(dāng)他的團(tuán)隊(duì)重建一些流行的機(jī)器學(xué)習(xí)系統(tǒng)時(shí)，他們發(fā)現(xiàn)在預(yù)算約束下，較為陳舊的方法比更酷炫的方法更有意義。這一想法旨在幫助規(guī)模較小的學(xué)術(shù)實(shí)驗(yàn)室，讓他們大致了解如何讓他們的資金得到最大回報(bào)。他補(bǔ)充說(shuō)這樣做的一個(gè)附帶好處是，考慮到訓(xùn)練大型模型可能需要的能源相當(dāng)于一輛汽車(chē)的終生排放量（https://twitter.com/strubell/status/1129408199478661120?lang=en），這種方法還會(huì)促使研究變得更為環(huán)保。
皮諾說(shuō)，她很高興看到其他人試圖“開(kāi)放模型”，但她不確定是否大多數(shù)實(shí)驗(yàn)室會(huì)利用這些節(jié)省成本的好處。許多研究人員在壓力下還是會(huì)使用更多的計(jì)算機(jī)來(lái)保持領(lǐng)先地位，之后才會(huì)考慮效率這件事。她還補(bǔ)充說(shuō)，要為研究人員報(bào)告結(jié)果的方式做出規(guī)范也是很棘手的。AI2 的“展示你的作品”方法可能掩蓋了研究人員選擇最佳模型過(guò)程的復(fù)雜性。
這些方法上的差異，部分地解釋了為什么 NeurIPS 復(fù)現(xiàn)性檢查表需要是一個(gè)自愿的行為。尤其對(duì)工業(yè)實(shí)驗(yàn)室來(lái)說(shuō)，一個(gè)絆腳石是其代碼和數(shù)據(jù)的私有性。比如說(shuō)，如果 Facebook 正在對(duì)你的 Instagram 照片進(jìn)行研究，那么公開(kāi)分享這些數(shù)據(jù)就會(huì)有問(wèn)題。涉及健康數(shù)據(jù)的臨床研究是另一個(gè)癥結(jié)所在。“我們不想切斷研究人員與社區(qū)的聯(lián)系，”她說(shuō)。
換句話(huà)說(shuō)，很難在不限制研究人員的情況下開(kāi)發(fā)出可復(fù)現(xiàn)性的標(biāo)準(zhǔn)，尤其是在方法快速發(fā)展的情況下難度更大。但皮諾很樂(lè)觀(guān)。NeurIPS 可復(fù)現(xiàn)性工作的另一個(gè)挑戰(zhàn)是要求其他研究人員復(fù)現(xiàn)已接受的論文。與其他領(lǐng)域相比（如生命科學(xué)，其中舊的方法會(huì)持續(xù)使用很久），這個(gè)領(lǐng)域中的研究人員更習(xí)慣于身處那種靈敏而快速變化的環(huán)境中。她表示：“無(wú)論是從人才還是技術(shù)角度來(lái)看，這個(gè)領(lǐng)域都很年輕，擋在路上的慣性思維更少。”
Gregory Barber 是 WIRED 網(wǎng)站的一位專(zhuān)職作家，撰寫(xiě)區(qū)塊鏈，AI 和技術(shù)策略方面的文章。他是哥倫比亞大學(xué)計(jì)算機(jī)科學(xué)和英語(yǔ)文學(xué)專(zhuān)業(yè)的學(xué)士，現(xiàn)居于舊金山。
原文鏈接：
https://www.wired.com/story/artificial-intelligence-confronts-reproducibility-crisis
來(lái)源 | AI前線(xiàn)
