隨著現(xiàn)代圖形處理單元的處理能力和并行計(jì)算能力的提升，基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的深度學(xué)習(xí)得到迅速發(fā)展，為人工智能的多種應(yīng)用提供了有效的解決方案。然而，龐大的算力需求和數(shù)據(jù)量以及計(jì)算延時(shí)等問題，限制了 CNN 應(yīng)用于便攜、節(jié)能、高效的邊緣系統(tǒng)中。

近年來(lái)，光學(xué)計(jì)算被認(rèn)為可以突破電子計(jì)算的瓶頸限制，光的并行性、高速度和低損耗可以極大提高計(jì)算速度、降低能耗與延遲。然而，目前絕大部分光神經(jīng)網(wǎng)絡(luò)計(jì)算需要相干激光作為光源，必須搭建獨(dú)立的光學(xué)系統(tǒng)才能夠工作，因此很難適用于非相干光環(huán)境，尤其是在自然光照?qǐng)鼍跋码y以與成熟的機(jī)器視覺系統(tǒng)直接結(jié)合。

為了進(jìn)一步提高實(shí)用性，綜合利用光與電的計(jì)算優(yōu)勢(shì)，科學(xué)家們提出了前端為光，后端為電的光電混合神經(jīng)網(wǎng)絡(luò)。但是，主要基于透鏡組的光電混合神經(jīng)網(wǎng)絡(luò)硬件系統(tǒng)（如4f系統(tǒng)）具有尺寸龐大的外形，難以部署在如自動(dòng)駕駛、機(jī)器人或其他物聯(lián)網(wǎng)外圍設(shè)備中。

近日，來(lái)自清華大學(xué)的 陳宏偉 教授團(tuán)隊(duì)提出了一種用于機(jī)器視覺任務(wù)的無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)（LOEN）架構(gòu)，該架構(gòu)利用成像光路中插入的無(wú)源掩模版在光域執(zhí)行卷積運(yùn)算，解決了自然場(chǎng)景中非相干光源和寬帶光信號(hào)處理帶來(lái)的挑戰(zhàn)。同時(shí)，將整個(gè)鏈路中產(chǎn)生、接收、處理、決策的各個(gè)環(huán)節(jié)（光學(xué)端、圖像數(shù)字處理、電神經(jīng)網(wǎng)絡(luò)）相結(jié)合，面向特定視覺任務(wù)聯(lián)合優(yōu)化，實(shí)現(xiàn)了全鏈路功耗和體積的“極簡(jiǎn)化”。

圖1. LOEN：無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)應(yīng)用示意

該研究成果以“LOEN: Lensless opto-electronic neural network empowered machine vision”為題在線發(fā)表在 Light: Science & Applications。清華大學(xué)博士研究生史宛鑫、黃錚為共同第一作者，陳宏偉教授為通訊作者。

相比于傳統(tǒng)機(jī)器視覺的硬件架構(gòu)，本文提出用光學(xué)振幅掩模版取代透鏡組，緊貼傳感器放置。根據(jù)光直線傳播的理論，空間場(chǎng)景可以看成一組發(fā)光點(diǎn)，光信號(hào)經(jīng)過掩模版的空間調(diào)制，在圖像傳感器上實(shí)現(xiàn)移位疊加的卷積操作。實(shí)驗(yàn)證明，光學(xué)掩模版可以代替卷積神經(jīng)網(wǎng)絡(luò)（CNN）的部分卷積層，實(shí)現(xiàn)光域上的特征提取。

圖2. 光域卷積原理

研究團(tuán)隊(duì)以手寫數(shù)字識(shí)別任務(wù)驗(yàn)證了該架構(gòu)中光學(xué)卷積的性能，使用單核掩模版的手寫數(shù)字識(shí)別準(zhǔn)確率可以達(dá)到 93.47%。為進(jìn)一步提高識(shí)別精度，在掩模版上并行排列多核實(shí)現(xiàn)單層多通道卷積運(yùn)算，識(shí)別精度可提升至 97.21%。相比傳統(tǒng)機(jī)器視覺鏈路，可節(jié)省大約 50% 的能耗。

圖3.  LOEN系統(tǒng)裝置示意圖

更進(jìn)一步，擴(kuò)大光學(xué)掩模版的維度，使得圖像經(jīng)過光域卷積，在傳感器上呈現(xiàn)出人眼不可辨認(rèn)的混疊圖像，可以天然地實(shí)現(xiàn)對(duì)場(chǎng)景中隱私信息的加密。研究團(tuán)隊(duì)以人臉識(shí)別任務(wù)驗(yàn)證了該架構(gòu)中光學(xué)加密的性能，相比于未經(jīng)優(yōu)化（由隨機(jī)M序列生成pattern）的掩模版，使用端到端的無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化后的掩模版的人臉識(shí)別精度可提升超過 6%，實(shí)現(xiàn)隱私保護(hù)加密的同時(shí)，基本可以達(dá)到與無(wú)加密人臉識(shí)別相近的精度。

圖4. 無(wú)透鏡光電神經(jīng)網(wǎng)絡(luò)聯(lián)合優(yōu)化流程圖

該工作提出了一種針對(duì)機(jī)器視覺系統(tǒng)“極簡(jiǎn)化”的有效方案，不僅實(shí)現(xiàn)了自然場(chǎng)景下光電融合神經(jīng)網(wǎng)絡(luò)計(jì)算，而且打通光電全鏈路完成聯(lián)合優(yōu)化，實(shí)現(xiàn)面向某一特定視覺任務(wù)的最佳效果。未來(lái)，隨著對(duì)非線性材料的進(jìn)一步研究，將光學(xué)掩模版與非線性材料結(jié)合有可能實(shí)現(xiàn)全自然光神經(jīng)網(wǎng)絡(luò)，使計(jì)算速度進(jìn)一步提高、能耗進(jìn)一步降低。

論文信息

Shi, W., Huang, Z., Huang, H. et al. LOEN: Lensless opto-electronic neural network empowered machine vision. Light Sci Appl 11, 121 (2022).

https://doi.org/10.1038/s41377-022-00809-5

閱讀原文