【資料圖】
去年,麻省理工學院開發了一種人工智能/ML算法,能夠在工作中學習和適應新的信息,而不僅僅是在其最初的訓練階段。這些 "液體 "神經網絡(在李小龍的意義上)簡直就是在下4D棋--它們的模型需要時間序列數據來運行--這使它們成為用于時間敏感任務的理想選擇,如心臟起搏器監測、天氣預報、投資預測或自主車輛導航。但是,問題是,數據吞吐量已經成為一個瓶頸,從計算上來說,擴展這些系統已經變得非常昂貴。
周二,麻省理工學院的研究人員宣布,他們已經為這一限制設計了一個解決方案,不是通過拓寬數據管道,而是通過解決一個自1907年以來一直困擾數學家的微分方程。具體來說,該團隊解決了 "兩個神經元通過突觸相互作用背后的微分方程......以解鎖一種新型的快速和高效的人工智能算法。"
"麻省理工學院教授和CSAIL主任丹妮拉-魯斯(Daniela Rus)在周二的一份新聞聲明中說:"我們稱之為"CfC"[閉式連續時間]的新機器學習模型用閉式近似代替了定義神經元計算的微分方程,保留了液體網絡的美麗特性,而不需要進行數字整合。"CfC模型是有因果關系的,緊湊的,可解釋的,并能有效地訓練和預測。它們為安全關鍵型應用開辟了值得信賴的機器學習之路"。
因此,對于我們這些沒有真正的硬數學博士學位的人來說,微分方程是可以描述一個系統在整個過程中各個離散點或步驟的狀態的公式。例如,如果你有一個機器人手臂從A點移動到B點,你可以使用微分方程來知道它在整個過程中的任何給定步驟中處于空間的兩點之間。然而,為每一步解決這些方程很快也會變得計算昂貴。麻省理工學院的 "封閉式 "解決方案通過在單一計算步驟中對系統的整個描述進行功能建模來解決這個問題。麻省理工學院的團隊解釋說。
想象一下,如果你有一個端到端的神經網絡,從安裝在汽車上的攝像頭接收駕駛輸入。該網絡被訓練來產生輸出,如汽車的轉向角。2020年,該團隊通過使用具有19個節點的液體神經網絡來解決這個問題,因此19個神經元加上一個小型感知模塊可以驅動一輛汽車。一個微分方程描述了該系統的每個節點。有了閉合式解決方案,如果你在這個網絡里面替換它,它就會給你準確的行為,因為它是系統實際動態的良好近似。因此,他們可以用更少的神經元數量來解決這個問題,這意味著它將更快,計算成本更低。
通過在神經元水平上解決這個方程,該團隊希望他們能夠構建以數百萬神經連接為單位的人腦模型,這在今天是不可能的。該團隊還指出,這種CfC模型可能能夠將它在一個環境中學習到的視覺訓練應用到一個全新的環境中,而不需要額外的工作,這就是所謂的分布外泛化。這不是目前的模型所能做到的,這將被證明是向未來的通用人工智能系統邁出的重要一步。