注：本文由論文作者投稿

| 導讀 | 

自圖靈測試被提出以來，人類一直都希望制造出像人腦一樣思考、具有自我意識的智慧機器，即人工智能。作為一種人工智能的核心計算框架，電子人工神經網絡已經在諸多領域廣泛應用，比如人臉識別、語音識別、智能制造和臨床診斷等。不過，集成電子電路的算力慢慢接近其物理極限。

光子代替電子，是實現高速、大規模并行和低功耗人工智能計算的一個很有潛力的途徑。最近，由級聯的相位面元件組成的全光衍射神經網絡已經實現多種機器學習的復雜功能。然而，現有的架構往往工作在非光學波段且由笨重的部件組成，最關鍵的是，它們不能模仿人腦進行多任務處理。

鑒于此，近日，湖南大學科研團隊聯合德國斯圖加特大學、同濟大學等機構的科研人員，提出了一種基于超構表面的全光衍射神經網絡，它可以在可見光下執行多通道傳感和多任務處理。

研究團隊利用亞波長超構表面單元的偏振復用方案構建多通道分類器的框架，實現了對手寫數字和時尚物品的并行識別。超構神經元的面密度達到6.25×10?/mm2，并隨著通道數成倍增加。此外，超平超薄的超構表面器件與 CMOS 圖像傳感器 3D 集成，提供了一個芯片級的多任務智能傳感新架構，可以直接在物理層處理光學信息，有望應用于機器視覺、自動駕駛和精準醫療中的低功耗和快速的圖像處理。

該成果以“Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible”為題發表在 Light: Science & Applications。

湖南大學碩士畢業生羅栩豪同學和胡躍強副教授為該工作共同第一作者，通訊作者為湖南大學胡躍強副教授和段輝高教授。該工作得到德國斯圖加特大學劉娜教授、湖南大學潘安練教授和同濟大學程鑫彬教授的指導。該項目在國家自然科學基金委、湖南省自然科學基金委、深圳市科技創新委員會和摩擦學國家重點實驗室等機構的資助下完成。

人工智能（AI）是一種模擬和擴展人類智能的技術，其中人工神經網絡（ANN）是在電子設備中實現的最廣泛的框架之一。ANN 以數字方式抽象地學習數據并快速執行某一個特定單一任務，如圖像識別、語音識別等。然而，人腦作為一個多通道系統工作，包括視覺、聽覺、嗅覺、味覺和觸覺，甚至視覺系統本身還包含了多個子通道，如圖1所示。

圖1 多通道的人類感知系統

因此，為了實現類人腦的通用人工智能（AGI），不同的能力需要在一個人工智能系統中被復用（multiplexing）形成多技能AI（multi-skilled AI，擴展閱讀：multi-skilled AI 入選MIT Technology Review “十大突破性技術” ），這在智能家居、自動駕駛和體感交互中具有廣泛的應用潛力。同時，復用的人工智能系統可大大增加計算規模和并行維度。

光學神經網絡（ONN）由于其與電子神經網絡相比具有高速度、高并行性和低能耗的特點而備受關注。作為光學神經網絡中的一種，全光衍射神經網絡可以通過訓練衍射相位面構成級聯的物理網絡，執行特定功能。盡管如此，現有的衍射神經網絡設備，像傳統的神經網絡一樣，不能進行多路信息處理。此外，它們通常是在大波段實現的，具有笨重的光源和探測器；全光計算的優勢也無法與成熟的CMOS圖像傳感器芯片結合以模仿視覺系統進行圖像處理。

鑒于上述問題，研究人員提出了偏振復用的超構表面衍射神經網絡（MDNN），并將其與 CMOS 圖像傳感器集成，創建了可見光下的片上多任務處理架構。

如圖2所示，該物理架構主要由三部分組成，即由承載待識別物體信息的偏振平面波（比如，X偏振下的手寫數字和Y偏振下時尚物品）作為輸入層，由雙折射納米柱作為神經元構成的偏振復用的超構表面層作為隱含層，以及 CMOS 芯片上圖像傳感器的探測區域作為輸出層。其中，每個偏振通道下超構神經元的相位分布是網絡需要訓練的參數，根據惠更斯-菲涅爾原理，在計算機上通過誤差反向傳播和隨機梯度下降算法獲得。輸出層的整個探測區域被劃分為多個小的區域，每一個對應一個分類目標，如果預期區域的強度高于其它所有區域，就認為識別是成功的。

圖2 超構表面賦能的片上復用衍射神經網絡工作原理

研究人員通過電子束直寫套刻等工藝制作了一個單隱含層的偏振復用超構表面衍射神經網絡的器件，以驗證其雙通道識別能力及衍射傳播特性。圖3a顯示了加入一層包覆層后的兩組輸入掩模（手寫數字 "0 "和 "1"，以及時尚物品 "T恤 "和 "運動鞋"）作為網絡的輸入層，和最終加工完成的器件的光學顯微圖像。圖3b顯示了該器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像。

圖3 偏振復用超構表面衍射神經網絡的加工。
（a）掩模輸入層和制備完成的MDNN器件；
（b）MDNN器件的俯視、斜視和截面的掃描電子顯微鏡（SEM）圖像

最后，研究人員將能夠執行復雜識別任務的偏振復用的超構表面衍射神經網絡與一個商業 CMOS 傳感器芯片集成在一起，形成一個超緊湊的多通道傳感和計算一體的芯片架構（圖4a-c）。通過從仿真識別正確的圖像集中選擇 160 組統計其性能，發現對于手寫數字和時尚產品，實驗和仿真上的匹配度分別達到了 93.75% 和 95%。

圖4 片上集成的偏振復用超構表面衍射神經網絡的實驗結果。
（a）MDNN芯片集成示意圖；
（b）MDNN芯片實物圖和（c）局部放大圖；
（d）MDNN芯片在兩個偏振通道識別不同字母和時尚物品的結果；
（e）識別的統計結果。

該工作通過理論和實驗展示了基于偏振復用超構表面的全光衍射神經網絡，其可以在可見光波段執行多通道的識別任務。利用超構表面的超平超薄特點，研究人員將該物理網絡與 CMOS 成像傳感器縱向集成，形成了小型化和便攜式的感算一體芯片。

因為超構表面的制備與半導體工藝兼容，該器件有望在半導體制造廠與 CMOS 芯片一起進行大規模生產。未來，在該架構中引入可調諧超構表面及光學非線性效應，有望實現可編程或更加復雜的。作為一類新型的并行處理的機器學習芯片，超構表面神經網絡器件與光學成像傳感器相結合，可以廣泛應用于工業視覺、自動駕駛和精準醫療等領域的低功耗和極速的圖像處理，并開辟出新一代的光學多任務人工智能芯片。

| 論文信息 | 

Luo, X., Hu, Y., Ou, X. et al. Metasurface-enabled on-chip multiplexed diffractive neural networks in the visible. Light Sci Appl 11, 158 (2022). 

https://doi.org/10.1038/s41377-022-00844-2

監制 | 趙陽

編輯 | 趙唯

閱讀原文