原創(chuàng) 傅渥成 集智俱樂部

導(dǎo)語(yǔ)

2024年諾貝爾物理學(xué)獎(jiǎng)為何會(huì)頒給機(jī)器學(xué)習(xí)領(lǐng)域的研究者？這一決定令許多人感到意外，甚至產(chǎn)生了疑問(wèn)：機(jī)器學(xué)習(xí)與物理學(xué)之間真的有如此深刻的聯(lián)系嗎？難道這不應(yīng)該是計(jì)算機(jī)領(lǐng)域的獎(jiǎng)項(xiàng)嗎？香港浸會(huì)大學(xué)助理教授、集智科學(xué)家唐乾元（傅渥成）從人工神經(jīng)網(wǎng)絡(luò)開始，探討了物理學(xué)與機(jī)器學(xué)習(xí)之間的緊密聯(lián)系。物理學(xué)與AI領(lǐng)域的雙向互動(dòng)不僅促進(jìn)了物理學(xué)和機(jī)器學(xué)習(xí)的融合，也加速了對(duì)復(fù)雜系統(tǒng)的理解。

集智俱樂部聯(lián)合紐約州立大學(xué)石溪分校教授汪勁、德累斯頓系統(tǒng)生物學(xué)中心博士后研究員梁師翎、香港浸會(huì)大學(xué)助理教授唐乾元（傅渥成），共同發(fā)起「非平衡統(tǒng)計(jì)物理」讀書會(huì)，關(guān)注非平衡統(tǒng)計(jì)物理的前沿理論進(jìn)展、生命和熱力學(xué)、統(tǒng)計(jì)物理與機(jī)器學(xué)習(xí)交叉三個(gè)大的主題方向，涵蓋熱機(jī)優(yōu)化問(wèn)題、漲落相關(guān)的熱力學(xué)、反常熱力學(xué)現(xiàn)象、信息視角下的熱力學(xué)、生命系統(tǒng)的景觀和流理論、活性物質(zhì)、生命系統(tǒng)、種群動(dòng)力學(xué)、機(jī)器學(xué)習(xí)和人工智能等前沿話題。

研究領(lǐng)域：統(tǒng)計(jì)物理，機(jī)器學(xué)習(xí)，人工神經(jīng)網(wǎng)絡(luò)，能量景觀，人工智能，復(fù)雜系統(tǒng)

傅渥成 | 作者

2024年諾貝爾物理學(xué)獎(jiǎng)授予了John Hopfield 和 Geoffrey Hinton，以表彰他們“利用人工神經(jīng)網(wǎng)絡(luò)進(jìn)行機(jī)器學(xué)習(xí)的奠基性發(fā)現(xiàn)和發(fā)明”，這向大家展示了物理學(xué)與機(jī)器學(xué)習(xí)之間的緊密聯(lián)系。Hopfield 與 Hinton 的工作集中在將統(tǒng)計(jì)物理的概念與方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)和優(yōu)化上。二者榮獲本次諾獎(jiǎng)反映出諾貝爾獎(jiǎng)委員會(huì)對(duì)于將物理學(xué)原理（如能量最小化、概率建模和優(yōu)化技術(shù)）應(yīng)用于人工智能算法方面的高度認(rèn)可。John Hopfield 和 Geoffrey Hinton 的貢獻(xiàn)不僅加深了物理學(xué)與機(jī)器學(xué)習(xí)之間的聯(lián)系，推動(dòng)了兩個(gè)領(lǐng)域的發(fā)展，還展現(xiàn)了跨學(xué)科方法在理解復(fù)雜系統(tǒng)中的巨大潛力。

人工神經(jīng)網(wǎng)絡(luò)

Hopfield 網(wǎng)絡(luò)

John Hopfield 在20世紀(jì)80年代初的工作開創(chuàng)性地引入了現(xiàn)在被稱為 Hopfield 網(wǎng)絡(luò)的概念——一種可以通過(guò)能量景觀來(lái)分析的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（Hopfield, 1982）。這些網(wǎng)絡(luò)仿照許多物理系統(tǒng)通過(guò)穩(wěn)定狀態(tài)來(lái)存儲(chǔ)一些“模式”（例如手寫數(shù)字）。這種神經(jīng)網(wǎng)絡(luò)與熱力學(xué)之間的聯(lián)系為理解學(xué)習(xí)和記憶提供了數(shù)學(xué)框架，表明神經(jīng)網(wǎng)絡(luò)中的學(xué)習(xí)類似于物理系統(tǒng)朝向最低能量狀態(tài)演化的過(guò)程。他的研究不僅在理論上帶來(lái)了對(duì)人工神經(jīng)網(wǎng)絡(luò)如何儲(chǔ)存和重構(gòu)信息的全新視角，也為計(jì)算神經(jīng)科學(xué)提供了重要的理論工具、幫助科學(xué)家探索大腦如何實(shí)現(xiàn)高效的計(jì)算和記憶。Hopfield 的工作還激發(fā)了后續(xù)關(guān)于關(guān)聯(lián)記憶、模式識(shí)別和聯(lián)想過(guò)程的大量研究，為理解大腦中的計(jì)算過(guò)程奠定了基礎(chǔ)，也為后來(lái)出現(xiàn)的各種神經(jīng)網(wǎng)絡(luò)架構(gòu)、類腦計(jì)算等提供了理論依據(jù)。

[1] Hopfield, John J. Neural networks and physical systems with emergent collective computational abilities. Proceedings of the national academy of sciences 79.8 (1982): 2554-2558.

https://www.pnas.org/doi/abs/10.1073/pnas.79.8.2554

玻爾茲曼機(jī)

另一位獲獎(jiǎng)?wù)?Geoffrey Hinton 進(jìn)一步擴(kuò)展了這些想法，參與提出了 Boltzmann 機(jī)的概念，這也是一種借鑒了統(tǒng)計(jì)物理概念的神經(jīng)網(wǎng)絡(luò)（Ackley, Hinton, & Sejnowski, 1985）。在 Boltzmann 機(jī)中，學(xué)習(xí)被建模為一種概率采樣和能量最小化的過(guò)程，類似于物理系統(tǒng)中的粒子如何相互作用并達(dá)到平衡狀態(tài)。在物理中，系統(tǒng)總是傾向于找到能量最低的穩(wěn)定狀態(tài)，例如小球會(huì)滾到山谷底部，因?yàn)槟抢锬芰孔畹汀Ｍ瑯?，Boltzmann 機(jī)的目標(biāo)是通過(guò)調(diào)整各個(gè)神經(jīng)元之間的連接權(quán)重（類似于物理系統(tǒng)中的粒子通過(guò)調(diào)節(jié)其相互作用），最終找到一種狀態(tài)，使得在這種狀態(tài)下模型對(duì)訓(xùn)練數(shù)據(jù)的匹配度最高，而系統(tǒng)的能量最低，從而找到對(duì)輸入數(shù)據(jù)最合適的表示。

此外，作為深度學(xué)習(xí)的奠基人之一，Hinton 的另外一項(xiàng)代表性的工作是由他參與發(fā)展的反向傳播法。該方法基于簡(jiǎn)單的梯度計(jì)算法則，能夠有效地更新網(wǎng)絡(luò)權(quán)重，被廣泛應(yīng)用于多層神經(jīng)網(wǎng)絡(luò)的優(yōu)化中（Rumelhart, Hinton, & Williams, 1986）。這項(xiàng)技術(shù)為深度神經(jīng)網(wǎng)絡(luò)賦予了從海量數(shù)據(jù)中學(xué)習(xí)的強(qiáng)大能力。

[2] Ackley, David H., Geoffrey E. Hinton, and Terrence J. Sejnowski. A learning algorithm for Boltzmann machines. Cognitive science 9.1 (1985): 147-169.

https://www.sciencedirect.com/science/article/abs/pii/S0364021385800124

[3] Rumelhart, David E., Geoffrey E. Hinton, and Ronald J. Williams. Learning representations by back-propagating errors. nature 323.6088 (1986): 533-536. https://www.nature.com/articles/323533a0

深度學(xué)習(xí)

Hinton 一直活躍于人工神經(jīng)網(wǎng)絡(luò)研究的第一線，并在2000年代深度學(xué)習(xí)的復(fù)興中發(fā)揮了關(guān)鍵作用（Hinton, Osindero, & Teh, 2006）。深度學(xué)習(xí)基于多層疊加的人工神經(jīng)網(wǎng)絡(luò)，但它又不僅僅是簡(jiǎn)單的疊加。在一個(gè)多層的深度信念網(wǎng)絡(luò)（Deep Belief Networks, DBNs）中，網(wǎng)絡(luò)能夠逐步提取到更為抽象和復(fù)雜的特征，從而從大量數(shù)據(jù)中提取出有意義的信息，這使得深度學(xué)習(xí)成為解決許多現(xiàn)實(shí)問(wèn)題的關(guān)鍵工具。通過(guò)有效的訓(xùn)練和優(yōu)化，一個(gè)包含天文數(shù)字參數(shù)的模型依然能夠有很好的泛化表現(xiàn)，可以學(xué)習(xí)到高維數(shù)據(jù)中的低維特征（這其中可能還蘊(yùn)含著更深刻的物理問(wèn)題）。

深度神經(jīng)網(wǎng)絡(luò)具有前所未有的解決的問(wèn)題的能力，從而實(shí)現(xiàn)了眾多人工智能應(yīng)用的突破?？梢哉f(shuō)，深度學(xué)習(xí)領(lǐng)域的革命在很大程度上是由 Hinton 等研究者的相關(guān)工作推動(dòng)的，他們的研究對(duì)計(jì)算機(jī)視覺、自然語(yǔ)言處理以及廣泛的人工智能應(yīng)用產(chǎn)生了深遠(yuǎn)的影響。

[4] Hinton, Geoffrey E., Simon Osindero, and Yee-Whye Teh. A fast learning algorithm for deep belief nets. Neural computation 18.7 (2006): 1527-1554. https://direct.mit.edu/neco/article-abstract/18/7/1527/7065/A-Fast-Learning-Algorithm-for-Deep-Belief-Nets

[5] Hinton, G. E., & Salakhutdinov, R. R. (2006). Reducing the dimensionality of data with neural networks. Science, 313(5786), 504-507.

[6] Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). ImageNet classification with deep convolutional neural networks. Advances in Neural Information Processing Systems, 25, 1097-1105.

物理學(xué)與機(jī)器學(xué)習(xí)的聯(lián)系

物理學(xué)是研究物質(zhì)、信息、能量等對(duì)象及其相互作用的基本規(guī)律的學(xué)科，它既包括對(duì)具體現(xiàn)象的探索，比如理解自由落體、天體運(yùn)動(dòng)、電磁波的傳播、量子糾纏，也包括對(duì)描述和預(yù)測(cè)復(fù)雜行為的抽象模型的研究，如理解社會(huì)集體行為、設(shè)計(jì)優(yōu)化人工神經(jīng)網(wǎng)絡(luò)等等。以物理學(xué)家的思維方式解決來(lái)源于各種不同學(xué)科中具有普適性的科學(xué)問(wèn)題，使物理學(xué)的邊界超越了傳統(tǒng)領(lǐng)域，讓物理學(xué)與越來(lái)越多的學(xué)科產(chǎn)生了交叉。這些交叉又帶來(lái)了越來(lái)越多的新科學(xué)問(wèn)題，讓物理學(xué)的工具得以發(fā)揮，同時(shí)也讓物理學(xué)的深度和廣度都在不斷拓展。

物理學(xué)與機(jī)器學(xué)習(xí)之間有許多緊密的聯(lián)系，許多物理學(xué)中的概念可以直接應(yīng)用于神經(jīng)網(wǎng)絡(luò)的訓(xùn)練和優(yōu)化，以下是幾個(gè)例子：

1. 能量景觀與概率建模：在物理學(xué)中，系統(tǒng)傾向于朝向能量較低的狀態(tài)演化，使用概率來(lái)描述系統(tǒng)狀態(tài)的思想在統(tǒng)計(jì)物理學(xué)和機(jī)器學(xué)習(xí)中同樣重要。神經(jīng)網(wǎng)絡(luò)通過(guò)最小化損失函數(shù)進(jìn)行訓(xùn)練，這類似于物理系統(tǒng)最小化能量的過(guò)程。能量景觀的概念用于描述物理系統(tǒng)，幫助我們理解神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中如何優(yōu)化參數(shù)，尋求最小誤差狀態(tài)。機(jī)器學(xué)習(xí)中的概率模型通過(guò)量化不確定性并基于不完全數(shù)據(jù)進(jìn)行預(yù)測(cè)，類似于物理學(xué)家使用概率來(lái)描述粒子行為。

2. 統(tǒng)計(jì)物理與統(tǒng)計(jì)推斷：機(jī)器學(xué)習(xí)模型，尤其是那些涉及大型網(wǎng)絡(luò)的模型，可以被視為由許多相互作用的元素組成的復(fù)雜系統(tǒng)，類似于物理系統(tǒng)中的粒子。統(tǒng)計(jì)力學(xué)提供了理解這些系統(tǒng)行為的工具，包括概率采樣、相變和平衡態(tài)。Boltzmann 機(jī)直接利用了熱力學(xué)中的玻爾茲曼分布來(lái)建模系統(tǒng)處于特定狀態(tài)的概率。統(tǒng)計(jì)推斷與統(tǒng)計(jì)力學(xué)密切相關(guān)，是訓(xùn)練和評(píng)估機(jī)器學(xué)習(xí)模型的核心，對(duì)數(shù)似然函數(shù)本身就可以被視作一種“能量”。

3. 正則化與泛化：機(jī)器學(xué)習(xí)中的正則化技術(shù)類似于物理學(xué)中的自由能極小化。在訓(xùn)練過(guò)程中最小化損失函數(shù)可以被看作是最小化系統(tǒng)能量，而正則化旨在保持一定的熵水平，促進(jìn)泛化。這兩個(gè)目標(biāo)可以看作是最小化模型的自由能，其中自由能代表了在很好地?cái)M合數(shù)據(jù)（最小化損失）與保持足夠的熵以避免過(guò)擬合之間的平衡。這種類比對(duì)于理解正則化為何能夠有效提高機(jī)器學(xué)習(xí)模型的魯棒性至關(guān)重要。

4. 臨界性與Scaling Laws：在統(tǒng)計(jì)物理學(xué)中，臨界性描述了系統(tǒng)在相變點(diǎn)附近的行為特征。當(dāng)系統(tǒng)處于臨界狀態(tài)時(shí)，其對(duì)擾動(dòng)異常敏感，一些微小的變化都可能引起顯著的效應(yīng)。同樣，在機(jī)器學(xué)習(xí)中，神經(jīng)網(wǎng)絡(luò)在訓(xùn)練過(guò)程中也可能表現(xiàn)出類似臨界性的行為，參數(shù)的微小調(diào)整可能導(dǎo)致性能的劇烈變化。Scaling Laws 描述了系統(tǒng)的不同性質(zhì)如何隨規(guī)模而變化，這在物理學(xué)和機(jī)器學(xué)習(xí)中都很重要。在現(xiàn)代機(jī)器學(xué)習(xí)中，Scaling Laws 已經(jīng)在大型語(yǔ)言模型中得到了驗(yàn)證，隨著模型規(guī)模和多樣化數(shù)據(jù)規(guī)模的增加，性能也呈現(xiàn)出可預(yù)測(cè)的提升。這一觀測(cè)也與物理學(xué)中通過(guò)縮放理解處在臨界態(tài)的物理系統(tǒng)在不同尺度的普適行為類似。

Physics of AI, AI for Physics

除了上述具體的例子以外，物理學(xué)與機(jī)器學(xué)習(xí)之間還有更多內(nèi)在的聯(lián)系。更一般地來(lái)說(shuō)，物理學(xué)和機(jī)器學(xué)習(xí)都在探索由眾多相互作用元素組成的復(fù)雜系統(tǒng)，這些系統(tǒng)表現(xiàn)出涌現(xiàn)行為和普適性，可以用相同的模型來(lái)研究和分析。通過(guò)運(yùn)用物理概念和思想，物理學(xué)家為機(jī)器學(xué)習(xí)做出了重要貢獻(xiàn)，為解決各種跨學(xué)科科學(xué)問(wèn)題提供了新的框架。這種合作超越了傳統(tǒng)物理學(xué)的邊界，推動(dòng)了新領(lǐng)域的發(fā)展。

如今，越來(lái)越多的物理期刊關(guān)注機(jī)器學(xué)習(xí)中的物理問(wèn)題，也有越來(lái)越多的物理學(xué)家積極投身于機(jī)器學(xué)習(xí)研究，不僅利用他們?cè)诮y(tǒng)計(jì)力學(xué)、優(yōu)化和復(fù)雜系統(tǒng)建模方面的專長(zhǎng)推動(dòng)人工智能的發(fā)展，還利用AI方法來(lái)解析物理問(wèn)題，形成了“Physics of AI”和“AI for Physics/Science”的雙向互動(dòng)。這種雙向互動(dòng)不僅為物理學(xué)和機(jī)器學(xué)習(xí)的融合提供了更多機(jī)會(huì)，也加速了對(duì)復(fù)雜系統(tǒng)的理解。

未來(lái)，隨著物理學(xué)和機(jī)器學(xué)習(xí)的進(jìn)一步融合，我們可以期待更多的突破和創(chuàng)新。這種融合將不僅改變科學(xué)研究的方式，還可能改變我們看待世界的方式，通過(guò)構(gòu)建更強(qiáng)大的工具來(lái)理解自然現(xiàn)象和復(fù)雜系統(tǒng)的本質(zhì)。物理學(xué)家和機(jī)器學(xué)習(xí)專家之間的合作，可能將推動(dòng)人工智能和基礎(chǔ)科學(xué)同時(shí)邁向新的高度。

本文首發(fā)于作者知乎：

https://www.zhihu.com/question/777943030/answer/4502570056

作者簡(jiǎn)介

唐乾元，香港浸會(huì)大學(xué)助理教授，集智科學(xué)家，集智-凱風(fēng)研讀營(yíng)學(xué)者。南京大學(xué)物理學(xué)博士，曾是是日本理化學(xué)研究所博士后。研究方向：數(shù)據(jù)驅(qū)動(dòng)的復(fù)雜系統(tǒng)研究；生物醫(yī)學(xué)領(lǐng)域的人工智能；蛋白質(zhì)進(jìn)化和動(dòng)力學(xué)；生物系統(tǒng)的復(fù)雜性和臨界性

原標(biāo)題：《2024年諾貝爾物理學(xué)獎(jiǎng)為何授予機(jī)器學(xué)習(xí)領(lǐng)域？》

閱讀原文