【儀表網 研發快訊】6月20日，華中科技大學集成電路學院繆向水、李祎教授團隊與清華大學集成電路學院錢鶴、吳華強教授團隊于《科學進展》(Science Advances)合作發表了憶阻存算一體技術的最新研究成果“Memristive floating-point Fourier neural operator network for efficient scientific modeling”。該論文報道了國際上首個基于憶阻器的浮點精度神經網絡求解系統，實現了高精度、高能效、低延時的智能科學計算。
 

　　科學計算建模是現代科學研究與工程設計中的重要基礎問題。隨著傳統數值求解器在復雜建模問題中(如非線性微分方程模型)的求解延時難以滿足需求，以傅里葉神經算子(Fourier Neural Operator，FNO)為代表神經網絡求解器開始受到廣泛關注。神經網絡求解器的訓練與部署依賴高能效、大算力的先進計算平臺?；趹涀杵鞯拇嫠阋惑w芯片與系統為突破馮·諾依曼瓶頸，實現神經網絡的高效訓推提供了一種有潛力的解決方案。然而，與分類、識別等端側神經網絡應用不同的是，FNO等神經網絡求解器的訓推通常需要單浮點計算(FP32)精度以滿足求解需求。憶阻陣列的模擬計算精度限制、器件實現高精度“寫-驗證”編程的時間與功耗開銷等因素進而成為制約實現浮點精度神經網絡求解器訓推的關鍵瓶頸。
 

　　針對上述問題，華中科技大學研究團隊在前期憶阻高精度科學計算系統研究基礎上，與清華大學團隊合作構建了一套基于憶阻器的浮點精度神經網絡求解系統，實現了FNO網絡的高精度訓練與高效推理。合作團隊對算法、系統與電路進行全層次協同優化設計：電路層面，提出了混合二值憶阻單元與多值憶阻單元的浮點矩陣乘法電路，通過調控浮點數據的片上映射構成，滿足不同求解任務的能效與精度需求；系統層面，構建了“通用數字處理單元-專用數字處理單元-憶阻存算一體單元”的超異構計算系統，在訓練階段啟用通用數字處理單元配合憶阻器芯片實現高精度訓練，在推理階段則啟用專用數字處理單元實現高能效推理；算法層面，利用FNO網絡“動態權重+固定權重”的構成特性，在訓練中進行靈活部署，提高訓練準確率的同時，降低系統功耗開銷。
 

圖1. FNO網絡與憶阻存算一體硬件系統
 

　　合作研究團隊在180 nm憶阻器芯片測試系統(集成了8塊4 Kb憶阻器芯片)上完成了1-D和3-D FNO網絡的訓練與部署實測(圖1)。針對基于1-D網絡的Burger’s方程求解任務，憶阻計算系統實現了99.6%的求解準確率，相對FP32精度的數字計算系統，精度損失僅0.2%，推理能效提升約116倍。針對基于3-D FNO網絡的三維熱傳導問題求解任務，異構訓練方法相對全精度數字計算在節約22%的訓練時間的同時，訓練精度損失僅為7.3×10-4，相較全憶阻原位訓練則可將訓練延時與功耗開銷降低至1/4(圖2)。研究成果驗證了憶阻存算一體技術在高精度神經網絡求解器中的應用潛力，為推動發展面向AI-for-Science領域的非馮計算系統提供了重要基礎。
 

　　圖2. 基于憶阻智能計算系統的FNO訓練，實現Burger’s方程及3D熱導問題的高精度高能效求解
 

　　華中科技大學集成電路學院李祎教授和清華大學集成電路學院高濱教授為論文的共同通訊作者。華中科學大學集成電路學院博士畢業生李健聰(現于香港科技大學從事博士后研究)、博士生田婧和清華大學集成電路學院博士后林鈺登為論文共同第一作者，香港智能晶片與系統研發中心陳佳博士、華中科技大學集成電路學院何毓輝教授等人參與了本工作。
 

　　該工作得到了科技創新2030“腦科學與類腦研究”重大研究計劃、科技部國家重點研發計劃、湖北省杰出青年基金、華中科技大學基礎研究支持計劃等項目的資助，以及華中科技大學國家集成電路產教融合平臺、北京未來芯片技術高精尖創新中心的支持。