【儀表網 研發快訊】當前，邊緣智能硬件系統正越來越多地將各種類型的視覺傳感器集成于一體以提升系統性能。在邊緣智能系統上對不同傳感器輸出的多模態數據進行分析，對各種新型應用如增強現實/虛擬現實、無人機等較為重要。這對軟硬件系統提出了挑戰。目前，多模態信號在數據結構上的異構性導致邊緣系統開發具有較高復雜性，傳統數字硬件的性能受限于物理分離的存儲與計算單元以及晶體管尺寸縮放的物理極限。隨著模型規模持續擴大，其復雜的訓練過程加劇了上述限制。
 

　　近日，中國科學院微電子研究所研究員尚大山與南方科技大學博士王中銳合作，通過軟硬件協同設計，開發出基于隨機阻變存儲器的深度極限點云學習機系統。該研究提出了新穎的軟硬件協同設計系統——基于隨機電阻存儲器的深度極限點云學習機(DEPLM)，可支持高效統一的點集分析。在數據層面，研究將多模態數據統一表示為點集，實現了通用化處理；在軟件層面，研究提出深度極限點云學習機，同時大部分權重無需訓練，降低了訓練復雜度；在硬件層面，阻變存儲器可以實現存儲與計算一體化，并可以利用其固有的編程隨機性生成DEPLM的隨機稀疏權重，從而抑制讀取噪聲的影響。
 

　　進一步，該研究在多種數據類型和兩類學習任務中驗證了這一系統的普適性。與傳統數字硬件系統相比，該協同設計系統實現了能效提升并降低了訓練成本。
 

　　這一基于隨機阻變存儲器的深度極限點云學習機，有望為跨模態、跨任務的高能效、易訓練邊緣智能系統開辟新路徑。
 

　　相關研究成果發表在《自然-通訊》(Nature Communication)上。研究工作得到科學技術部、國家自然科學基金委員會、中國科學院及香港研究資助局的支持。
 

基于隨機阻變存儲器的深度極限點云學習機軟硬件設計