原創 Stephen Ornes 神經現實 收錄于合集#深度 | Deep-diving 410 個 #神經科學 88 個

理解大腦如何組織和訪問空間信息，例如“我們在哪里”、“拐角處有什么”、“如何到達那里”，仍是一項巨大的挑戰。該過程涉及從上百億個神經元中調取一系列的記憶及存儲其中的空間數據，而每個神經元又連接著上千個其他神經元。神經科學家已經確認了空間認知的關鍵元素，例如映射位置的網格細胞[1]。然而，要想對此進行更深入的研究，事情就變得棘手了：研究人員想要觀察基于位置的有關圖像、聲音、和味道的記憶是如何流動和互相連接的，卻不可能通過取出并研究人的大腦灰質切片來達此目的。

人工智能為此提供了另一條出路。多年來，神經科學家們利用了多種類型的神經網絡（神經網絡為大多數深度學習的應用提供了動力）來模擬大腦中神經元的放電。于近期的研究中，研究人員發現海馬體作為一個對記憶至關重要的腦部結構其實是一種變相的特殊神經網絡，這種神經網絡被稱為Transformer[2]。他們的新模型以一種類似大腦內部運作的方式來追蹤空間信息，并且已經取得了顯著成效。

- Kristina Armitage -

同時就職于斯坦福大學和牛津大學蒂姆·貝倫斯（Tim Behrens）實驗室的認知神經科學家詹姆斯·惠廷頓（James Whittington）說：“現在我們知道了，這些大腦模型與Transformer模型相當，這就意味著我們的模型表現得更好并且更容易訓練。”

惠廷頓及同事所做的研究提示我們，Transformer可以極大地促進神經網絡模型模擬網格細胞及大腦其他部分進行運算的能力。惠廷頓表示，這些模型可以推動我們對人工神經網絡的工作原理、甚至對大腦運算機制的理解。

在谷歌大腦（Google Brain）研究Transformer模型的計算機科學家大衛·哈（David Ha）表示：“我們并不是在嘗試重新建造一個大腦，但我們能否創造出足以復制大腦所作所為的機制呢？”

Transformers在2017年作為一種處理語言的新型AI模型首次出現。這一模型是BERT[3]和GPT-3等引人注目的能夠補全句子的程序中的秘密武器，而這些程序可以生成以假亂真的歌詞、創作莎士比亞十四行詩并模仿客服代表。

Transformer的工作原理是一種被稱為“自注意力”（self-attention）的機制，其中每個輸入，不管是一個單詞、一個像素、還是序列中的一個數字，總是與其余每個輸入相連。而別的神經網絡僅將輸入與某些特定的輸入相連。雖然Transformers最初是為語言任務而設計的，但后來它們在別的任務（比如圖像分類和如今的大腦建模）中都表現得相當出色。

- Avalon Nuovo -

在2020年，由奧地利林茨大學（Johannes Kepler University Linz）的計算機科學家塞普?霍克瑞特（Sepp Hochreiter）帶領的團隊用Transformer改造了一個強大的、存在已久的記憶檢索模型。這個被改造的模型名叫Hopfield網絡（Hopfield network），在40年前由普林斯頓的物理學家約翰·霍普菲爾德（John Hopfield）首次提出。這些網絡遵循一條通則：同時活躍的神經元在彼此之間建立更牢固的連接。

霍克瑞特和他的合作者留意到研究人員一直在尋找更好的記憶檢索模型，在此之后，他們發現了一類新型Hopfield網絡[4]檢索記憶的方式和Transformers執行注意力的方式之間的聯系。這些新型Hopfield網絡由MIT-IBM沃森人工智能實驗室（MIT-IBM Watson AI Lab）的霍普菲爾德和德米特里·克羅托夫（Dmitry Krotov）開發。與標準的Hopfield網絡相比，新型Hopfield網絡由于有更高效的連接而可以存儲和檢索更多的記憶。霍克瑞特的團隊通過添加一個類似Transformers里注意力機制的規則來升級這些網絡。

之后，在今年早些時候[5]，惠廷頓和貝倫斯進一步改進了這種方法。他們修改了這些Transformer，使得模型不再將記憶視為線性序列（就像句子里的一串單詞那樣），而是將它們編碼為高維空間中的坐標。研究人員口中的這一“扭轉”進一步提升了模型在神經科學任務中的表現。他們還表明，該模型的數學基礎和神經科學家在功能性磁共振成像（fMRI）掃描中觀測到的網格細胞放電模式的模型一致。

貝倫斯（左）和惠廷頓（右）幫助證明了我們大腦中的結構在數學上與“Transformer”相似。

—

(left) Louise Bold; Tongyun Shang

倫敦大學學院的神經科學家卡斯維爾? 巴里（Caswell Barry）說道：“網格細胞有這種令人激動的、美麗的、規則的結構，并具有那些不太可能隨機產生的、醒目的放電模式。”上述的新研究則向我們展示了Transformer如何精確地復刻這些在海馬體觀測到的模式。巴里說：“他們認識到，Transformer可以根據以前的狀態及其移動情況確定位置，而這正是傳統的網格細胞模型描述的定位方式。”

近期的其他研究表明，Transformer也可以促進我們對大腦中其他功能的理解。2021年，麻省理工學院的計算神經科學家馬丁·施林普夫（Martin Schrimpf）分析了43例不同種類的神經網絡模型[6]，來觀察它們在預測由fMRI和腦皮層電圖報告的人類神經活動測量結果上表現如何。他發現Transformer作為目前領先的、最先進的神經網絡，幾乎可以預測神經成像報告的所有變化。

此外，哈和計算機科學家同事Yujin Tang最近設計了一個模型[7]，該模型可以通過Transformer有意地以一種隨機、無序的方式發送大量數據，來模擬人體向大腦傳遞感覺信號。他們的Transformer可以像我們的大腦一樣成功處理無序的信息流。

Yujin Tang表示：“神經網絡只能硬性地接收特定的輸入。”但在現實生活中，數據集通常變幻莫測，而大多數的AI模型無法據此調整。“我們想要試驗一種具有快速適應性的架構。”

論文題目：

The Sensory Neuron as a Transformer: Permutation-Invariant Neural Networks for Reinforcement Learning

DOI：

https://doi.org/10.48550/arXiv.2109.02869

盡管存在這些進步的跡象，貝倫斯認為Transformer只是我們向最精確的大腦模型邁出的一步而已，而非探索的終點。他說：“我在這里必須要做一個持懷疑態度的神經科學家。例如，我不認為Transformers最終會是我們在大腦中處理語言的方式，即使它們是當前最好的語句模型。”

巴里說：“在預測‘我在哪兒’以及‘我將會看到什么’這方面，Transformer會是那個最高效的機制嗎？老實說，現在就下定論還為時尚早。”

施林普夫也指出，即便是表現最好的Transformers也是有局限的。例如，它們在單詞和短語方面表現良好，但在像講故事這種更大規模的語言任務中卻并不出色。

施林普夫說：“我感到這種Transformer的架構已經讓我們處于理解大腦結構的正確框架中了，并且它還可以隨著訓練得到改善。這是一個很好的方向，只是這個領域太過復雜。”

講座預約

新腦論壇：腦機接口，商業化難題何解？ 神經現實×果殼硬科技聯合主辦，10月22日，本周六下午兩點半，邀請你和專家學者一起探討腦機接口已存應用以及未來的發展機遇；希望與你一起探索，在與元宇宙和人工智能交叉之外，腦機接口能激發的更多可能。點擊上方視頻號預約按鈕預約觀看。

參考文獻

[1]https://www.quantamagazine.org/the-brain-maps-out-ideas-and-memories-like-spaces-20190114/

[2]https://www.quantamagazine.org/will-transformers-take-over-artificial-intelligence-20220310/

[3]https://www.quantamagazine.org/machines-beat-humans-on-a-reading-test-but-do-they-understand-20191017/

[4]https://papers.nips.cc/paper/2016/hash/eaae339c4d89fc102edd9dbdb6a28915-Abstract.html

[5]https://openreview.net/forum?id=B8DVo9B1YE0

[6]https://www.pnas.org/doi/10.1073/pnas.2105646118

[7]https://arxiv.org/abs/2109.02869

作者：Stephen Ornes l 譯者：Lemon l 校對：P

編輯：M.W. l 排版：海星 l 封面：Koma Zhang

原文：

https://www.quantamagazine.org/how-ai-transformers-mimic-parts-of-the-brain-20220912/

閱讀原文