撰稿 | 黃威、張佳琦（鵬城實驗室訪問學(xué)生）

人工智能的蓬勃發(fā)展推動了其在各個領(lǐng)域的廣泛應(yīng)用，在機器視覺、自動駕駛、棋盤游戲和臨床診斷等各個領(lǐng)域取得了巨大的成功，但數(shù)據(jù)量的飛速增長使智能實現(xiàn)面臨速度慢、能耗高的問題。馮·諾依曼架構(gòu)的摩爾定律逐漸不再有效，集成電子電路算力也慢慢無法應(yīng)對未來數(shù)據(jù)量爆炸性的增長，海量數(shù)據(jù)洪流的時代漸漸淘汰舊的芯片規(guī)則約束，正催生芯片架構(gòu)進行一次巨大的革新。

光學(xué)計算利用光場仿真人工智能的實現(xiàn)過程，相較于電子計算，具有高速、高寬帶、低功耗的優(yōu)點，為解決這一瓶頸問題提供了一種獨特的方式。比如通過光頻梳對不同波長的數(shù)據(jù)或權(quán)重進行編碼，單個時間步長的操作可以自然而然地同時應(yīng)用于數(shù)千甚至數(shù)百萬個不同信道。得益于現(xiàn)代圖形處理器（GPU）強大的運算和并行計算能力以及廣泛開源的數(shù)據(jù)集，模擬人工智能的光學(xué)計算成為可能。

在即將到來的第五代移動通信技術(shù)(5G)時代，大量的傳感器和互聯(lián)網(wǎng)連接設(shè)備每秒都會產(chǎn)生大量的數(shù)據(jù)，這些數(shù)據(jù)需要由人工智能以盡可能快的速度處理。神經(jīng)網(wǎng)絡(luò)是由成千上萬個甚至數(shù)百萬個相互連接的多層神經(jīng)元組成的典型的人工智能模型，可以學(xué)習(xí)具有多層次抽象特征的數(shù)據(jù)，結(jié)構(gòu)也在變得越來越復(fù)雜。

為了解決這一公認(rèn)的困難，近年來研究者在電子架構(gòu)創(chuàng)新方面進行了各種努力，以加速低功耗下的人工智能推理和訓(xùn)練。近期，來自清華大學(xué)、香港科技大學(xué)和鵬城實驗室的科研工作者回顧并總結(jié)了實現(xiàn)人工智能模擬的光學(xué)計算在不同人工智能模型中的最新突破，主要涵蓋了模擬前饋神經(jīng)網(wǎng)絡(luò)、蓄水池神經(jīng)網(wǎng)絡(luò)和脈沖神經(jīng)網(wǎng)絡(luò)相關(guān)的光計算，討論了當(dāng)前技術(shù)的可行性，并指出了不同領(lǐng)域的各種挑戰(zhàn)。

其綜述以 “Analog optical computing for artificial intelligence”為題發(fā)表于中國工程院的院刊 Engineering，該論文的共同第一作者是清華大學(xué)的吳嘉敏博士，林星博士和郭雨晨博士，共同通訊作者是清華大學(xué)戴瓊海院士和方璐教授以及鵬城實驗室焦述銘博士，此外香港科技大學(xué)的劉軍偉老師也參與了論文的撰寫。

光模擬人工智能模型進展

1. 前饋光神經(jīng)網(wǎng)絡(luò)(ONN)

前饋神經(jīng)網(wǎng)絡(luò)采用一種單向多層結(jié)構(gòu)，其中每一層包含若干個神經(jīng)元，在這種人工神經(jīng)網(wǎng)絡(luò)中，相鄰層的所有神經(jīng)元都通過不同的突觸權(quán)值相互連接，各神經(jīng)元可以接收前一層神經(jīng)元的信號，并傳送到下一層。其特點在于整個網(wǎng)絡(luò)中沒有反饋，信號從輸入層向輸出層單向傳播，可以用一個有向無環(huán)圖表示。

圖1.前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

目前，基于前饋神經(jīng)網(wǎng)絡(luò)進行的光計算研究主要集中在以下四個方面進行的：光學(xué)線性加權(quán)總和、光學(xué)線性卷積、光學(xué)非線性激活函數(shù)和光學(xué)系統(tǒng)上的在線網(wǎng)絡(luò)訓(xùn)練。

對于全連接神經(jīng)網(wǎng)絡(luò)的光學(xué)實現(xiàn)，需要在光學(xué)上執(zhí)行加權(quán)求和運算或向量矩陣乘法運算。到目前為止，已經(jīng)有幾種不同的光學(xué)加權(quán)求和的實現(xiàn)方式，具體來說有以下幾種。

第一種，級聯(lián)馬赫·曾德爾干涉儀類光網(wǎng)絡(luò)。網(wǎng)絡(luò)中多個馬赫·曾德爾干涉儀相互級聯(lián)，構(gòu)成一個矢量矩陣乘法的光學(xué)計算裝置。馬赫·曾德爾干涉儀的基本概念可以追溯到1994年的早期工作，最初主要被用來作為光纖中的波分復(fù)用器。在最近的研究中，研究人員提出了一個包含56個硅光子集成電路的可編程納米光子處理器，每個子處理器相當(dāng)于一個馬赫·曾德爾干涉儀，每個干涉儀又包含兩個分束器和兩個可調(diào)的移相器，這樣的光學(xué)網(wǎng)絡(luò)可以等效數(shù)學(xué)中的奇異值分解的矩陣運算。需要注意的是，一個馬赫·曾德爾干涉儀并不等同于人工神經(jīng)網(wǎng)絡(luò)中的一個神經(jīng)元，但一個級聯(lián)馬赫·曾德爾干涉儀網(wǎng)絡(luò)可以在同一網(wǎng)絡(luò)中的兩層神經(jīng)元之間執(zhí)行等效的線性向量-矩陣乘法運算，如下圖所示。

圖2. 級聯(lián)馬赫·曾德爾干涉儀網(wǎng)絡(luò)圖

計算某一組向量矩陣相乘時，所構(gòu)造的級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格架構(gòu)并不是唯一的，這樣就允許我們?yōu)橄嗤南蛄烤仃囉嬎阍O(shè)計兩個不同的級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格，各自分別的特征可以是可調(diào)性更強或容錯性更強。通過3D打印加工光波導(dǎo)，級聯(lián)馬赫·曾德爾干涉儀系統(tǒng)可以從二維擴展到三維，以實現(xiàn)更高的計算能力。除此之外，復(fù)數(shù)計算操作也可以通過級聯(lián)馬赫·曾德爾干涉儀有效地實現(xiàn)。級聯(lián)馬赫·曾德爾已被嘗試用于多種人工智能任務(wù)，如語音識別、花卉數(shù)據(jù)分類和葡萄酒數(shù)據(jù)分類等。

第二種，深度光衍射神經(jīng)網(wǎng)絡(luò)（D2NN）。在D2NN網(wǎng)絡(luò)結(jié)構(gòu)中，多層級聯(lián)光衍射調(diào)制板垂直于光的傳播方向并以一定的空間間隔平行放置，輸入平面和輸出平面上的空間光強分布分別對應(yīng)于輸入向量和輸出向量，如下圖所示。

圖3.深度衍射神經(jīng)網(wǎng)絡(luò)圖

入射光場在自由空間中向前傳播，并由每個調(diào)制板依次調(diào)制。所有衍射光學(xué)元件的像素值（相位、振幅或復(fù)振幅）通過類似于深度學(xué)習(xí)中對應(yīng)的誤差反向傳播算法進行優(yōu)化。優(yōu)化后的整個系統(tǒng)從輸入光場到輸出光場進行線性變換，實現(xiàn)向量矩陣乘法。通常，一個多層級聯(lián)衍射調(diào)制板系統(tǒng)的信息處理能力與總的層數(shù)正向關(guān)聯(lián)。該系統(tǒng)可以作為光學(xué)線性分類器，并已被證明能夠?qū)NIST數(shù)據(jù)集中的數(shù)字圖像進行光學(xué)分類，并在Fashion- MNIST數(shù)據(jù)集中對服裝圖像具有中等較高的分類精度。在后續(xù)的工作中，D2NN神經(jīng)網(wǎng)絡(luò)系統(tǒng)從不同的方面得到了改進和提升。最初D2NN由太赫茲光源驅(qū)動，后來尺寸更小的紅外和可見光光源系統(tǒng)也被使用。D2NN的實現(xiàn)也不局限于單色相干光照明，寬帶D2NN還可以實現(xiàn)用于光譜濾波和波長解復(fù)用應(yīng)用。有的研究人員將D2NN與數(shù)字處理器或數(shù)字神經(jīng)網(wǎng)絡(luò)相結(jié)合以提高預(yù)測性能。仿照殘差深度學(xué)習(xí)網(wǎng)絡(luò)的殘差D2NN也被提出來，并用多個反射鏡簡單地實現(xiàn)了輸入和輸出之間的直接快捷連接。有研究人員針對訓(xùn)練集圖片進行幾何變換后訓(xùn)練D2NN系統(tǒng)，結(jié)果表明D2NN可對于圖像的平移、旋轉(zhuǎn)和縮放有一定魯棒性。大量的研究結(jié)果表明，一個D2NN系統(tǒng)可以處理多樣化的計算機視覺任務(wù)，除目標(biāo)分類之外，還有圖像分割、圖像顯著性檢測以及圖像超分辨。

除了傳統(tǒng)的機器學(xué)習(xí)任務(wù)外，還有研究人員將D2NN應(yīng)用于其他光計算和光信號處理任務(wù)，比如激光雷達的智能光束轉(zhuǎn)向、圖像加密、光邏輯門、脈沖整形和模分復(fù)用光纖通信中的模式識別/復(fù)用/解復(fù)用等等。

第三種，基于空間光調(diào)制器和透鏡的光學(xué)計算。與之前兩種基于相干光設(shè)計的架構(gòu)不同，這種基于空間光調(diào)制器和透鏡的架構(gòu)可以使用相干或非相干光照明。入射光在空間光調(diào)制器平面的強度分布相當(dāng)于輸入向量值，根據(jù)加權(quán)系數(shù)對空間光調(diào)制器的不同像素進行編碼，光束依次通過空間光調(diào)制器和透鏡聚焦到焦點。將探測器放置于透鏡焦點上，然后收集空間光調(diào)制器平面上的總光強，其結(jié)果相當(dāng)于輸入向量和加權(quán)系數(shù)向量之間的內(nèi)積。該架構(gòu)如下圖4（a）所示，類似于光學(xué)成像中的單像素成像的概念。

圖4.實現(xiàn)復(fù)數(shù)矩陣乘法的方法圖

通過使用不同類型的透鏡，可以有多種方法來實現(xiàn)復(fù)數(shù)矩陣乘法，如使用一個傅立葉透鏡得到輸出光的總和，或使用柱面透鏡。柱面透鏡只在水平方向或垂直方向上對平行光和會聚光之間進行轉(zhuǎn)換。輸入向量由沿水平方向像素化陣列的光強分布表示。兩個柱面透鏡在空間光調(diào)制器平面上執(zhí)行一維輸入陣列的復(fù)制和一維加權(quán)求和，如圖4 (b)所示，輸出結(jié)果最后通過焦平面上沿垂直陣列的光強分布來表示，這實現(xiàn)了多個線性加權(quán)求和操作的并行處理。此外，向量矩陣乘法可以通過簡單地用單個傅里葉透鏡多次重復(fù)加權(quán)求和運算來實現(xiàn)。

基于空間光調(diào)制器和透鏡的架構(gòu)，可以很容易與冷原子系統(tǒng)相結(jié)合以實現(xiàn)一個同時具有線性和非線性變換的全光學(xué)深度神經(jīng)網(wǎng)絡(luò)。基于該架構(gòu)，有研究人員構(gòu)建出一個具有174個光學(xué)神經(jīng)元的大規(guī)模可編程全光深度神經(jīng)網(wǎng)絡(luò)。與其他體系結(jié)構(gòu)相比，這種實現(xiàn)方式對于不同的任務(wù)完全可重復(fù)編程，而無需改動物理器件。

第四種，波分多路復(fù)用(WDM)實現(xiàn)線性加權(quán)總和。輸入向量中的每個元素都由一個具有特定頻率（或波長）的光波強度表示，然后通過通常由微環(huán)諧振器(MRRs)構(gòu)造的光子權(quán)重陣列對其進行不同的光譜濾波，從而對輸入信號進行加權(quán)。最終如下圖所示，平衡光電二極管(BPD)通過采集不同波段中所有信號的總光功率實現(xiàn)加權(quán)線性求和。這種體系結(jié)構(gòu)被認(rèn)為可能與主流的硅光子器件平臺兼容。在最近的工作中，WDM架構(gòu)與基于光子芯片的微頻梳相結(jié)合，可以顯著提高數(shù)據(jù)處理速度和容量。非易失性相變材料也被集成到波導(dǎo)上以實現(xiàn)在芯片上局部存儲加權(quán)值。最近發(fā)表在Nature上論文展示基于這一框架的光向量卷積加速器每秒可以執(zhí)行超過10萬億次的操作。

圖5.波分復(fù)用實現(xiàn)線性加權(quán)總和圖

另外，光的向量矩陣乘法運算，也可以通過光在納米光子介質(zhì)的傳播實現(xiàn)，進入介質(zhì)的輸入光強空間分布表示輸入圖像模式。光場通過介質(zhì)后的輸出強度空間分布表示計算結(jié)果（如圖像分類結(jié)果）。介質(zhì)由主體材料和不同折射系數(shù)的摻雜物組成，摻雜物對光的散射更強。通過適當(dāng)優(yōu)化摻雜物的位置和形狀，可以將介質(zhì)內(nèi)的光場散射，實現(xiàn)矢量與權(quán)重矩陣的乘法。

與全連接的神經(jīng)網(wǎng)絡(luò)相比，卷積神經(jīng)網(wǎng)絡(luò)(CNN)中的神經(jīng)元的連接更稀疏。此外，多個連接可以共享相同的權(quán)重值。CNN中相鄰兩層神經(jīng)元之間的向量矩陣乘法運算本質(zhì)上是一種卷積運算。在數(shù)學(xué)上，輸入圖像和核之間的卷積等價于輸入圖像的傅里葉濾波。在光學(xué)中，包含圖像信息的輸入光場的傅里葉變換和傅里葉反變換可以很容易地通過4f雙透鏡系統(tǒng)來實現(xiàn)。根據(jù)卷積核而設(shè)計的濾波掩膜可以放置在4f設(shè)置的傅里葉平面上。一些研究中也中進一步實現(xiàn)了在傅里葉域內(nèi)進行卷積的廣義光子張量操作處理器。卷積操作也可以通過其它方式實現(xiàn)，如級聯(lián)聲光調(diào)制器陣列、波分復(fù)用加光延遲線或色散誘導(dǎo)延遲等。

如果一個神經(jīng)網(wǎng)絡(luò)是完全線性的，沒有任何非線性激活函數(shù)，那么即使物理上存在多層線性變換，其有效的計算也只等價于單層，因為多個矩陣的乘法結(jié)果仍然是一個單一的矩陣。為了實現(xiàn)全光深度神經(jīng)網(wǎng)絡(luò)，實現(xiàn)非線性激活函數(shù)是必不可少的。但光學(xué)中的非線性過程不容易通過實驗實現(xiàn)，這使得以可行方式實現(xiàn)非線性激活功能成為光學(xué)神經(jīng)網(wǎng)絡(luò)研究中最具挑戰(zhàn)性的問題之一。

在許多光學(xué)神經(jīng)網(wǎng)絡(luò)研究中，只有線性操作是光學(xué)實現(xiàn)，非線性操作通常是模擬實現(xiàn)的。一般來說，非線性激活函數(shù)可以由電子元件和光學(xué)元件組成的混合系統(tǒng)實現(xiàn)，但由于光學(xué)信號和電子信號之間的相互轉(zhuǎn)換，這種方法不可避免地降低光學(xué)計算的性能。理想的方案是使用純光學(xué)元件實現(xiàn)非線性激活函數(shù)，最近研究中，電磁誘導(dǎo)透明(EIT)的使用證明了光學(xué)實現(xiàn)非線性層的實際可行性。如下圖所示,EIT是指一束光在介質(zhì)中的穿透能力由另一束光所控制的非線性光學(xué)現(xiàn)象。理論上，EIT可以發(fā)生在任何具有三重態(tài)的真實材料系統(tǒng)中，其中不同狀態(tài)之間的躍遷概率振幅取決于它們的粒子分布。

圖6.電磁誘導(dǎo)透明原理示意圖

一個深度學(xué)習(xí)網(wǎng)絡(luò)通常首先需要大量的樣本進行訓(xùn)練，以優(yōu)化所有的權(quán)重系數(shù)。經(jīng)過訓(xùn)練后，網(wǎng)絡(luò)可以對樣本有效地執(zhí)行一定的預(yù)測任務(wù)。在許多光學(xué)神經(jīng)網(wǎng)絡(luò)的相關(guān)研究中，訓(xùn)練在計算機上完全數(shù)字化離線進行，只有光學(xué)神經(jīng)網(wǎng)絡(luò)的預(yù)測操作是通過光學(xué)實驗進行的。事實上，對光學(xué)神經(jīng)網(wǎng)絡(luò)在線訓(xùn)練在一定程度上也可以實現(xiàn)。

目前很多關(guān)于級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格的在線訓(xùn)練研究已經(jīng)在進行之中。誤差反向傳播是數(shù)字深度神經(jīng)網(wǎng)絡(luò)中應(yīng)用最廣泛的訓(xùn)練算法，在設(shè)計算法時，伴隨變量法經(jīng)常用于推導(dǎo)級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格的反向傳播算法。在訓(xùn)練中，梯度可以通過級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格不同節(jié)點上的光強度來測量。另外，可以使用前向傳播和沒有反向傳播的有限差分法對級聯(lián)馬赫·曾德爾干涉儀系統(tǒng)進行片上在線訓(xùn)練。

很多研究者使用遺傳算法和粒子群優(yōu)化兩種進化算法，對在線訓(xùn)練的級聯(lián)馬赫·曾德爾干涉儀網(wǎng)格參數(shù)進行優(yōu)化。這些全局優(yōu)化算法是無梯度的，可以避免陷入局部最優(yōu)解的問題。

而對于D2NN結(jié)構(gòu)，在線訓(xùn)練方法目前也被廣泛研究。深度神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)訓(xùn)練算法是基于誤差反向傳播，而通過光路可逆和相位共軛原理，通過測量前向和后向傳播的光場強度，也可以在線獲得梯度值。每一層靜態(tài)光衍射器件可以被替換為一個空間光調(diào)制器，用于動態(tài)訓(xùn)練和參數(shù)更新。實際輸出光場與目標(biāo)光場之間的殘差可以由一個復(fù)振幅光場生成器產(chǎn)生，用于光場反向傳播。仿真結(jié)果表明，與離線計算機訓(xùn)練相比，在線訓(xùn)練方案可以明顯降低計算成本。

對于其他的光學(xué)神經(jīng)網(wǎng)絡(luò)架構(gòu)，如果有適當(dāng)?shù)膬?yōu)化算法、準(zhǔn)確的實驗測量和動態(tài)編碼的光學(xué)元件，也可以實現(xiàn)光學(xué)系統(tǒng)上的在線訓(xùn)練。

2. 光蓄水池計算(RC)

與前饋神經(jīng)網(wǎng)絡(luò)相比,遞歸神經(jīng)網(wǎng)絡(luò)因為內(nèi)部反饋回路的存在,具有記憶和聯(lián)想的能力,可用于時序信息處理。蓄水池神經(jīng)網(wǎng)絡(luò)就是遞歸神經(jīng)網(wǎng)絡(luò)的一種,它由回聲狀態(tài)網(wǎng)絡(luò)和液體狀態(tài)機發(fā)展而來。由于其在處理時間序列數(shù)據(jù)方面的特殊優(yōu)勢，該架構(gòu)在執(zhí)行時序信號預(yù)測和語音識別等任務(wù)時顯示出了較好適應(yīng)性。蓄水池神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)通常由一個固定的非線性系統(tǒng)組成，如蓄水池節(jié)點，它允許輸入信號在高維空間中轉(zhuǎn)換為時空狀態(tài)。通過訓(xùn)練一個儲存態(tài)的讀取器來確定蓄水池動態(tài)，從而獲得蓄水池的時間輸出數(shù)據(jù)。蓄水池神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)如下圖所示。

圖7.蓄水池神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖

蓄水池神經(jīng)網(wǎng)絡(luò)由三層神經(jīng)元構(gòu)成,分別為輸入層、中間層和輸出層,中間層也被稱為蓄水池。蓄水池層是整個神經(jīng)網(wǎng)絡(luò)中最復(fù)雜也是最重要的部分,其內(nèi)部神經(jīng)元的互連有著“稀疏、隨機且固定”的特點:稀疏是指蓄水池層內(nèi)的一個神經(jīng)元不需要與其他神經(jīng)元一一完全連接;隨機是指不需要特意為蓄水池內(nèi)部神經(jīng)元設(shè)計互連架構(gòu),實際上,蓄水池內(nèi)部的連接狀態(tài)可以是未知的;固定是指在蓄水池訓(xùn)練過程中,不需要改變其內(nèi)部神經(jīng)元的互連權(quán)值。蓄水池的這些特點充分模擬了人類大腦中生物神經(jīng)元的互連方式和動態(tài)特性。目前，關(guān)于蓄水池神經(jīng)網(wǎng)絡(luò)的光計算的研究主要集中在兩個方向，一種是全光學(xué)類的蓄水池計算，另一種是光電類蓄水池的計算。所謂全光類蓄水池，就是在蓄水池神經(jīng)網(wǎng)絡(luò)中的蓄水池的實現(xiàn)是完全模擬光的傳播過程，光電類蓄水池的計算即表示結(jié)合光電的方法實現(xiàn)蓄水池模型。RC的全光和光電實現(xiàn)之間的差異取決于不同類型的蓄水池和輸入層。

超高速計算和低功耗是全光RC系統(tǒng)的主要優(yōu)點。常見的基于全光結(jié)構(gòu)RC可以分為兩種：空間分布的RC和基于延遲線的RC。

利用衍射光學(xué)元件是實現(xiàn)空間分布的光子RC的一種方法。2015年，Bruner和Fischer提出的垂直腔表面發(fā)射激光器(VCSELs)網(wǎng)絡(luò)就是典型的空間分布的RC，如下圖所示。該RC結(jié)構(gòu)中，VCSEL陣列晶格間距與成像透鏡焦距的組合可以在相鄰激光器的主射線之間形成一個角度，通過透鏡的焦距來調(diào)節(jié)，從而調(diào)節(jié)衍射光學(xué)元件實現(xiàn)激光的耦合和衍射復(fù)用。

圖8. 衍射光學(xué)元件實現(xiàn)蓄水神經(jīng)網(wǎng)絡(luò)圖

為了簡化光子系統(tǒng)的復(fù)雜硬件，科研工作者們引入了一種新型的基于延遲線RC的光學(xué)系統(tǒng)，這種全光學(xué)神經(jīng)網(wǎng)絡(luò)通常需要結(jié)合半導(dǎo)體激光器、半導(dǎo)體光學(xué)放大器或者無源光腔來實現(xiàn)。他們將一個反饋結(jié)構(gòu)分成一系列虛擬節(jié)點和一個非線性節(jié)點形成一個循環(huán)。與具有高網(wǎng)絡(luò)自由度的空間分布式RC相比，這類蓄水池是固定的，因此一般在更傳統(tǒng)的光通信硬件中運用較多。半導(dǎo)體光放大器具有豐富的內(nèi)部動態(tài),且其增益容易飽和的特點可以為神經(jīng)網(wǎng)絡(luò)提供非線性層。

在研究全光類蓄水池神經(jīng)網(wǎng)絡(luò)的同時，科研工作者也在關(guān)注將光和電相結(jié)合，以設(shè)計可應(yīng)用于不同場合的光電蓄水池神經(jīng)網(wǎng)絡(luò)，綜述中將光電類蓄水池神經(jīng)網(wǎng)絡(luò)分為兩類：片上蓄水池神經(jīng)網(wǎng)絡(luò)和自由空間蓄水池空間網(wǎng)絡(luò)。目前，基于光電系統(tǒng)的蓄水池模型在語音識別、混沌時間預(yù)測和雷達信號預(yù)測等領(lǐng)域得到了廣泛的應(yīng)用。目前的光電蓄水池神經(jīng)網(wǎng)絡(luò)處理速度已經(jīng)實現(xiàn)了兆赫茲的速度，并在可預(yù)見的未來，具有達到千兆赫茲速度的潛力。

片上蓄水池，顧名思義，就是結(jié)合硬件芯片模擬蓄水池神經(jīng)網(wǎng)絡(luò)。基于硅基底的片上蓄水池神經(jīng)網(wǎng)絡(luò)在2008年就被比利時根特大學(xué)的Vandoorne等人提出，整個網(wǎng)絡(luò)模型由波導(dǎo)、光學(xué)組合器和光分波器三部分組成。研究人員發(fā)現(xiàn)，通過標(biāo)準(zhǔn)的快速光電二極管可以在片上蓄水池神經(jīng)網(wǎng)絡(luò)中可以進行檢測，并解決非線性問題。然而，由于這類系統(tǒng)依賴于探測器中的光電轉(zhuǎn)換，因此它不能進行全光學(xué)操作。

在設(shè)計片上蓄水池神經(jīng)網(wǎng)絡(luò)時，經(jīng)常會考慮使用無源組件，其優(yōu)點在于帶寬較寬，甚至可以同步地將多個波長發(fā)送到系統(tǒng)中，從而實現(xiàn)頻率復(fù)用。但其缺點是隨著芯片擴展到更多的節(jié)點，光損耗可能相當(dāng)大，很難實現(xiàn)所有節(jié)點的并行測量。在無源組件網(wǎng)絡(luò)中，輸入信號時鐘的頻率和內(nèi)存時間尺度依賴于分離節(jié)點之間的傳播延遲，這將要求高達數(shù)百個Gbit/s的高注入頻率。

基于硬件的蓄水池神經(jīng)網(wǎng)絡(luò)的輸入和輸出層通常是通過計算機離線仿真的，為了在未來可以開發(fā)更為復(fù)雜的蓄水池計算機，目前科研人員已經(jīng)開始嘗試通過硬件模擬實現(xiàn)三層蓄水池神經(jīng)網(wǎng)絡(luò)包括蓄水池部分。如下圖就是一個使用硬件模擬蓄水池計算機的案例，其輸入層可以通過具有兩種不同正弦頻率的掩模來實現(xiàn)。輸出層分別通過馬赫-澤德調(diào)制器(MZM)獲得光蓄水池中的信號和 RLC濾波器對平衡光電二極管的輸出信號進行濾波，整個模擬系統(tǒng)的輸出通過蓄水池計算機的終端輸出。

圖9.硬件模擬三層蓄水池神經(jīng)網(wǎng)絡(luò)圖

實現(xiàn)光電類蓄水池神經(jīng)網(wǎng)絡(luò)也可以通過光的自由空間傳播實現(xiàn)，比如通過空間可擴展的數(shù)字微鏡器件和空間光調(diào)制器實現(xiàn)蓄水池神經(jīng)網(wǎng)絡(luò)。2018年，Bueno等人證明了包含空間光調(diào)制器、衍射光學(xué)元件和相機的光學(xué)系統(tǒng)可以存儲多達2500個衍射耦合光子節(jié)點的網(wǎng)絡(luò)。Dong等人通過數(shù)字微鏡器二元編碼輸入光強信息并調(diào)控蓄水池。后來，他們應(yīng)用相同的方法，使用純相位空間光調(diào)制器獲得了一個大規(guī)模的光蓄水池網(wǎng)絡(luò)。利用空間相位分布，蓄水池網(wǎng)絡(luò)可以引入輸入和蓄水池信息。2020年，Rafayelyan等人的科研成果表明，強散射介質(zhì)在光網(wǎng)絡(luò)中起著關(guān)鍵作用，以保證眾多光子節(jié)點之間的隨機耦合權(quán)重以及網(wǎng)絡(luò)中的并行處理。多維大型混沌系統(tǒng)的預(yù)測任務(wù)已經(jīng)在其大型系統(tǒng)中得到了驗證，其具有較高的預(yù)測精度和相對較高的速度以及較低的功耗。該網(wǎng)絡(luò)已經(jīng)證明了處理更大數(shù)據(jù)集的潛在可擴展性能力。

隨著納米光子學(xué)和蓄水池神經(jīng)網(wǎng)絡(luò)的復(fù)合結(jié)構(gòu)的出現(xiàn)，一種新的光學(xué)信息處理框架正在引領(lǐng)這一領(lǐng)域，其相對于傳統(tǒng)方法具有低功耗和超快計算速度的優(yōu)點。超高速光學(xué)非線性和超低功耗光學(xué)器件也可能為光子蓄水池帶來光明的未來，提升蓄水池在速度和功率效率方面的性能。此外，具有多節(jié)點蓄水池的光子芯片的可擴展性還需要在未來進一步研究。

3. 脈沖神經(jīng)網(wǎng)絡(luò)

脈沖神經(jīng)網(wǎng)絡(luò)(SNNs)被認(rèn)為是生物學(xué)和神經(jīng)科學(xué)的交叉學(xué)科，其結(jié)構(gòu)包括前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)和遞歸神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。與前饋神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)相比，SNNs在神經(jīng)形態(tài)計算中得到了更廣泛的應(yīng)用。除了meta模型外，SNNs中的神經(jīng)元只有在其膜電位達到閾值時才會被激活。當(dāng)一個神經(jīng)元被激活時，一個信號被產(chǎn)生并傳遞來改變級聯(lián)神經(jīng)元的膜電位。在SNNs中，神經(jīng)元當(dāng)前的激活水平通常被建模為一個微分方程。激活水平在刺激峰值到達后上升，并持續(xù)一段時間，然后逐漸下降。

SNNs增強了處理時空數(shù)據(jù)的能力。一方面，SNNs中的神經(jīng)元只與附近的神經(jīng)元連接，并進行單獨處理，以增強處理空間信息的能力。另一方面，由于訓(xùn)練依賴于脈沖間隔，因此可以從脈沖的時間信息中檢索到二進制代碼中丟失的信息，從而提高了處理時間信息的能力。事實表明，脈沖神經(jīng)元是傳統(tǒng)人工神經(jīng)元更好的計算單元。然而，由于SNNs的訓(xùn)練和物理實施方面的困難，它們尚未得到廣泛應(yīng)用。

大多數(shù)關(guān)于SNNs的研究工作仍然集中在理論分析和簡單結(jié)構(gòu)的驗證上，包括SNNs的訓(xùn)練算法和光學(xué)硬件實現(xiàn)。

2016年，普林斯頓大學(xué)的Prucnal研究小組提出了一種基于可激活的石墨烯光纖激光器的脈沖處理系統(tǒng)。該系統(tǒng)包含一個摻鉺光纖（增益部分），一個石墨烯飽和吸收器（損耗部分），一個980nm吸收器作為泵浦源，以及一個1480nm激光器，攜帶脈沖激勵信號來刺激系統(tǒng)產(chǎn)生觸發(fā)脈沖神經(jīng)元反應(yīng)。2018年，該研究團隊提出了一種基于分布式反饋(DFB)激光結(jié)構(gòu)的神經(jīng)形態(tài)光子集成電路。此外，研究小組還討論了構(gòu)建可編程和可級聯(lián)光子神經(jīng)網(wǎng)絡(luò)的可行方案，包括傳播-加權(quán)(B&W)網(wǎng)絡(luò)原型和相干光學(xué)架構(gòu)。其中，B&W網(wǎng)絡(luò)原型是一種能夠支持大規(guī)模光子脈沖神經(jīng)元并行互連的網(wǎng)絡(luò)架構(gòu)。SNNs的訓(xùn)練方法主要遵循監(jiān)督學(xué)習(xí)算法，包括：①SpikeProp算法,它利用梯度下降，通常用于多層前饋人工神經(jīng)網(wǎng)絡(luò)；②Tempotron 算法，利用脈沖序列輸出與預(yù)期序列之間的差值來改變網(wǎng)絡(luò)的權(quán)重；③基于突觸等質(zhì)體的算法，如赫邊學(xué)習(xí)算法;④遠(yuǎn)程監(jiān)督學(xué)習(xí)算法，如Resume算法；和⑤基于脈沖序列卷積的監(jiān)督學(xué)習(xí)算法，如SPAN算法和PSD算法。

2019年，F(xiàn)eldmann等人提出了另一種基于相變材料的脈沖神經(jīng)網(wǎng)絡(luò)方案，并采用該方案對光子神經(jīng)元進行非線性變換。光控相變是一種工作狀態(tài)，晶體和非晶材料之間的工作狀態(tài)由輸入光功率控制。當(dāng)輸入的光功率低于閾值時，相變材料處于晶體狀態(tài)，并吸收大量的光強。當(dāng)輸入光功率高于閾值時，相變材料處于非晶態(tài)，大部分光功強可以通過閾值。因此，將材料集成到光傳輸介質(zhì)中可以根據(jù)輸入的光強來改變材料的光透導(dǎo)率。這樣，它就能夠作為光學(xué)神經(jīng)元的激活函數(shù)。

與TrueNorth、神經(jīng)網(wǎng)格和SpiNNaker等電子實現(xiàn)的SNN相比，光子實現(xiàn)的SNN利用光處理信息，有更高的帶寬和數(shù)據(jù)吞吐量以及更低的延遲。很多研究成果表明，使用硅/III-V混合平臺的光電SNN可達到20GHz的處理速率，比純電子SNN高出6個數(shù)量級以上。由于能量主要由激光源消耗，無源濾波器損耗的電流很低，硅/III-V混合平臺的能量效率為0.26pJ，大約比電子神經(jīng)網(wǎng)絡(luò)高3個數(shù)量級，比SpiNNaker高6個數(shù)量級以上。通過使用優(yōu)化的亞波長結(jié)構(gòu)（如光子晶體）和波長多路復(fù)用，可以進一步提高神經(jīng)形態(tài)光子平臺的計算性能。

展望

雖然光計算在不同的AI模型中得到了廣泛的應(yīng)用，但也面臨著各種挑戰(zhàn)，實際應(yīng)用中尚未獲得明顯優(yōu)于傳統(tǒng)電子處理器的性能證明。例如：如何在響應(yīng)時間短、對探測光功耗要求低、數(shù)據(jù)并行的情況下獲得比較強的光學(xué)非線性特性？如何在不同架構(gòu)中優(yōu)化非線性表征？如何在低功耗的芯片上實現(xiàn)高速大規(guī)模可重構(gòu)計算？如何將不同的光學(xué)器件集成到單個芯片上，特別是與外部器件連接?如何為不同的任務(wù)設(shè)計具有自動化設(shè)計軟件的光學(xué)神經(jīng)網(wǎng)絡(luò)？盡管未來仍有許多問題有待解決，但目前的光學(xué)模擬計算技術(shù)在速度、數(shù)據(jù)并行和功耗方面已經(jīng)表現(xiàn)出了光技術(shù)的獨特潛力。

下一步，作者認(rèn)為需要進一步努力克服光計算的關(guān)鍵缺陷，并在不同的實際應(yīng)用中展示光學(xué)計算相對于電子學(xué)計算的優(yōu)越性。如上所述，不同的架構(gòu)可能適合于專門的特定任務(wù)。光學(xué)計算中對自由空間中部分相干光場的傳播和調(diào)制模型的建立有助于計算機視覺中對數(shù)據(jù)的高速處理。由于自動駕駛等自然場景中的大部分光線是非相干的，目前相干的衍射神經(jīng)網(wǎng)絡(luò)模型難以發(fā)揮作用。由于非線性特性在深度神經(jīng)網(wǎng)絡(luò)中起著至關(guān)重要的作用，因此，采用低功耗、低延遲的光學(xué)方式實現(xiàn)非線性激活函數(shù)可以顯著提升當(dāng)前神經(jīng)網(wǎng)絡(luò)的精度。存儲和訪問是擴展神經(jīng)形態(tài)處理器所需的基礎(chǔ)技術(shù)，構(gòu)建具有極快讀寫速度的光學(xué)隨機存儲器一直是一個挑戰(zhàn)，這為光計算和存儲的特殊材料的發(fā)展提供了巨大機遇。盡管使用了龐大的系統(tǒng)，但自由空間的光學(xué)計算可能會加速不需要便攜式系統(tǒng)的各種數(shù)據(jù)中心的云計算。我們期待更先進的具有更高的迭代速度（高達MHz和千兆像素數(shù)）的空間光調(diào)制器出現(xiàn)。高速和低功耗光電轉(zhuǎn)換在目前的過渡階段變得越來越重要，其在實際應(yīng)用中需要光子學(xué)和電子學(xué)的發(fā)展。現(xiàn)狀表明，在不久的將來，光學(xué)計算會有越來越多的突破。

此綜述回顧了近些年光學(xué)計算在用于實現(xiàn)人工智能專用硬件方面的發(fā)展。主要介紹了幾個在不同架構(gòu)下具有代表性和獨特優(yōu)勢的光學(xué)模擬人工智能模型。盡管大多數(shù)模型仍處于概念驗證的初級階段，但我們預(yù)期這些架構(gòu)在未來實際應(yīng)用中將在計算速度或功耗方面取得數(shù)量級的改進。我們相信，隨著光子學(xué)、電子學(xué)、材料學(xué)、制造學(xué)、計算機科學(xué)和生物學(xué)等不同領(lǐng)域研究者的不斷努力，作為通向全光計算機的過渡階段，使用光電混合計算機來加速人工智能訓(xùn)練和推理將很快成為現(xiàn)實。

論文信息：

Please cite this article as: J. Wu, X. Lin, Y. Guo, J. Liu, L. Fang, S. Jiao, Q. Dai, Analog Optical Computing forArtificial Intelligence, Engineering (2021)

https://doi.org/10.1016/j.eng.2021.06.021

監(jiān)制 | 趙陽

編輯 | 趙唯

歡迎課題組投稿——新聞稿

轉(zhuǎn)載/合作/課題組投稿，微信：447882024

帶您每天讀1篇文獻！加入>Light讀書會