麻省理工學(xué)院 | 解決大腦動(dòng)力學(xué)問(wèn)題產(chǎn)生了靈活的機(jī)器學(xué)習(xí)模型
指南者留學(xué)
2022-11-16 12:27:53
閱讀量:1303
<p><img src="https://info.compassedu.hk/sucai/content/1668573366214/1668573366214.png" width="808" height="454" /></p>
<p>去年,麻省理工學(xué)院的研究人員宣布,他們已經(jīng)建立了“液體”神經(jīng)網(wǎng)絡(luò),靈感來(lái)自小型物種的大腦:一類靈活、健壯的機(jī)器學(xué)習(xí)模型,可以在工作中學(xué)習(xí),并能適應(yīng)不斷變化的條件,用于現(xiàn)實(shí)世界的安全關(guān)鍵任務(wù),如駕駛和飛行。這些“液體”神經(jīng)網(wǎng)絡(luò)的靈活性意味著增強(qiáng)我們與世界相連的血脈,為許多涉及時(shí)間序列數(shù)據(jù)的任務(wù)提供更好的決策,如大腦和心臟監(jiān)測(cè)、天氣預(yù)報(bào)和股票定價(jià)。</p>
<p> </p>
<p>但隨著神經(jīng)元和突觸數(shù)量的增加,這些模型的計(jì)算成本變得昂貴,需要笨拙的計(jì)算機(jī)程序來(lái)解決其潛在的復(fù)雜數(shù)學(xué)問(wèn)題。所有這些數(shù)學(xué)問(wèn)題,就像許多物理現(xiàn)象一樣,用規(guī)模來(lái)解決變得更加困難,這意味著計(jì)算許多小步驟才能得到一個(gè)解決方案。</p>
<p> </p>
<p>現(xiàn)在,同一組科學(xué)家發(fā)現(xiàn)了一種緩解這一瓶頸的方法,即通過(guò)突觸求解兩個(gè)神經(jīng)元相互作用背后的微分方程,從而解鎖一種新型快速高效的人工智能算法。這些模式具有與液體神經(jīng)網(wǎng)絡(luò)相同的特征——靈活、因果性、魯棒性和可解釋性——但速度要快幾個(gè)數(shù)量級(jí),而且可擴(kuò)展。因此,這種類型的神經(jīng)網(wǎng)絡(luò)可以用于任何需要長(zhǎng)期洞察數(shù)據(jù)的任務(wù),因?yàn)榧词菇?jīng)過(guò)訓(xùn)練,它們也非常緊湊和適應(yīng)性強(qiáng)——而許多傳統(tǒng)模型都是固定的。</p>
<p> </p>
<p>該模型被稱為“封閉連續(xù)時(shí)間”(CfC)神經(jīng)網(wǎng)絡(luò),在一系列任務(wù)中優(yōu)于最先進(jìn)的同類模型,在從運(yùn)動(dòng)傳感器識(shí)別人類活動(dòng)、模擬步行機(jī)器人的物理動(dòng)力學(xué)建模和基于事件的順序圖像處理方面具有更高的速度和性能。例如,在一項(xiàng)醫(yī)療預(yù)測(cè)任務(wù)中,新模型對(duì)8000名患者的采樣速度要快220倍。</p>
<p> </p>
<p>一篇關(guān)于這項(xiàng)工作的新論文今天發(fā)表在《自然機(jī)器智能》雜志上。</p>
<p> </p>
<p>麻省理工學(xué)院計(jì)算機(jī)科學(xué)和人工智能實(shí)驗(yàn)室(CSAIL)主任、這篇新論文的資深作者Daniela Rus教授說(shuō):“我們稱之為‘CfC’的新機(jī)器學(xué)習(xí)模型,用一個(gè)封閉的近似形式取代了定義神經(jīng)元計(jì)算的微分方程,保留了液體網(wǎng)絡(luò)的美麗屬性,而不需要數(shù)值積分。”“CfC模型是因果的、緊湊的、可解釋的,訓(xùn)練和預(yù)測(cè)是有效的。它們?yōu)榘踩P(guān)鍵應(yīng)用打開(kāi)了可信賴的機(jī)器學(xué)習(xí)之路。”</p>
<p> </p>
<p><strong><span class="h1">保持流動(dòng)性</span></strong></p>
<p> </p>
<p>微分方程使我們能夠計(jì)算世界的狀態(tài)或一種現(xiàn)象的演變,但不是整個(gè)時(shí)間的全部——只是一步一步的。為了建模自然現(xiàn)象,了解過(guò)去和未來(lái)的行為,比如人類活動(dòng)識(shí)別或機(jī)器人的路徑,該團(tuán)隊(duì)從一袋數(shù)學(xué)技巧中找到了門(mén)票:一個(gè)“封閉形式”的解決方案,在一個(gè)單一的計(jì)算步驟中建模整個(gè)系統(tǒng)的整個(gè)描述。</p>
<p> </p>
<p>根據(jù)他們的模型,人們可以在未來(lái)的任何時(shí)候計(jì)算這個(gè)方程,也可以在過(guò)去的任何時(shí)候計(jì)算這個(gè)方程。不僅如此,計(jì)算速度也快得多因?yàn)槟悴恍枰徊揭徊降亟馕⒎址匠獭?lt;/p>
<p> </p>
<p>想象一下,一個(gè)端到端神經(jīng)網(wǎng)絡(luò)可以從安裝在汽車上的攝像頭接收駕駛信息。這個(gè)網(wǎng)絡(luò)經(jīng)過(guò)訓(xùn)練,可以產(chǎn)生輸出,比如汽車的轉(zhuǎn)向角度。2020年,該團(tuán)隊(duì)通過(guò)使用19個(gè)節(jié)點(diǎn)的液體神經(jīng)網(wǎng)絡(luò)解決了這一問(wèn)題,因此19個(gè)神經(jīng)元加上一個(gè)小型感知模塊可以駕駛一輛汽車。微分方程描述了系統(tǒng)的每個(gè)節(jié)點(diǎn)。對(duì)于封閉形式的解,如果你把它替換到這個(gè)網(wǎng)絡(luò)中,它會(huì)給出精確的行為,因?yàn)樗芎玫亟屏讼到y(tǒng)的實(shí)際動(dòng)力學(xué)。因此,他們可以用更少的神經(jīng)元數(shù)量來(lái)解決這個(gè)問(wèn)題,這意味著它將更快,計(jì)算成本更低。</p>
<p> </p>
<p>這些模型可以接收時(shí)間序列(時(shí)間中發(fā)生的事件)的輸入,可用于分類、控制汽車、移動(dòng)人形機(jī)器人或預(yù)測(cè)金融和醫(yī)療事件。使用所有這些不同的模式,它還可以提高準(zhǔn)確性、魯棒性和性能,重要的是,還可以提高計(jì)算速度——這有時(shí)是一種權(quán)衡。</p>
<p> </p>
<p>解決這個(gè)方程對(duì)推進(jìn)自然和人工智能系統(tǒng)的研究都有深遠(yuǎn)的意義。“當(dāng)我們對(duì)神經(jīng)元和突觸的通信有了一個(gè)封閉的描述時(shí),我們就可以建立具有數(shù)十億細(xì)胞的大腦計(jì)算模型,由于神經(jīng)科學(xué)模型的高度計(jì)算復(fù)雜性,這一能力在今天是不可能實(shí)現(xiàn)的。封閉形式的方程可以促進(jìn)這種大層次的模擬,因此為我們理解智能打開(kāi)了新的研究途徑,”麻省理工學(xué)院CSAIL研究附屬機(jī)構(gòu)Ramin Hasani說(shuō),他是這篇新論文的第一作者。</p>
<p> </p>
<p><strong><span class="h1">便攜式學(xué)習(xí)</span></strong></p>
<p> </p>
<p>此外,早期的證據(jù)表明,Liquid CfC模型可以在一個(gè)環(huán)境中從視覺(jué)輸入學(xué)習(xí)任務(wù),并將它們學(xué)到的技能轉(zhuǎn)移到一個(gè)全新的環(huán)境中,而無(wú)需額外的訓(xùn)練。這就是所謂的分布外泛化,這是人工智能研究中最基本的開(kāi)放挑戰(zhàn)之一。</p>
<p> </p>
<p>“基于微分方程的神經(jīng)網(wǎng)絡(luò)系統(tǒng)很難解決,而且難以擴(kuò)展到數(shù)百萬(wàn)乃至數(shù)十億個(gè)參數(shù)。獲得神經(jīng)元如何相互作用的描述,而不僅僅是閾值,而是解決細(xì)胞之間的物理動(dòng)力學(xué),使我們能夠建立更大規(guī)模的神經(jīng)網(wǎng)絡(luò),”Hasani說(shuō)。“這個(gè)框架可以幫助解決更復(fù)雜的機(jī)器學(xué)習(xí)任務(wù)——實(shí)現(xiàn)更好的表示學(xué)習(xí)——并應(yīng)該成為未來(lái)任何嵌入式智能系統(tǒng)的基本構(gòu)建模塊。”</p>
<p> </p>
<p>波音公司Aurora Flight Sciences的人工智能和機(jī)器學(xué)習(xí)小組負(fù)責(zé)人Sildomar Monteiro沒(méi)有參與這篇論文,他說(shuō):“最近的神經(jīng)網(wǎng)絡(luò)架構(gòu),如神經(jīng)ode和液體神經(jīng)網(wǎng)絡(luò),都有由代表無(wú)限潛在狀態(tài)的特定動(dòng)力系統(tǒng)組成的隱藏層,而不是明確的層堆棧。”“這些隱式定義的模型顯示了最先進(jìn)的性能,而所需的參數(shù)比傳統(tǒng)架構(gòu)少得多。然而,由于訓(xùn)練和推理所需的高計(jì)算成本,它們的實(shí)際應(yīng)用受到了限制。”他補(bǔ)充說(shuō),這篇論文“顯示了這類神經(jīng)網(wǎng)絡(luò)在計(jì)算效率方面的顯著改進(jìn)……(并且)有潛力使更廣泛的實(shí)際應(yīng)用與安全關(guān)鍵的商業(yè)和國(guó)防系統(tǒng)相關(guān)。”</p>
<p> </p>
<p>Hasani和麻省理工學(xué)院CSAIL的博士后Mathias Lechner在Rus的監(jiān)督下撰寫(xiě)了這篇論文,與他們一起撰寫(xiě)論文的還有麻省理工學(xué)院CSAIL的博士后Alexander Amini;Lucas Liebenwein碩士'18,博士'21;麻省理工學(xué)院電氣工程和計(jì)算機(jī)科學(xué)博士生、CSAIL會(huì)員Aaron Ray;丹麥奧爾堡大學(xué)計(jì)算機(jī)科學(xué)副教授Max Tschaikowski;以及維也納大學(xué)數(shù)學(xué)教授Gerald Teschl。</p>
<p> </p>
<blockquote>
<p>注:本文由院校官方新聞直譯,僅供參考,不代表指南者留學(xué)態(tài)度觀點(diǎn)。</p>
</blockquote>