【儀表網 研發快訊】智能制造的核心是通過數據驅動的模型和決策，來實現預測性維護、工藝優化、智能質檢、能源管理、供應鏈管理等任務。上海科技大學創意與藝術學院智造系統工程中心武穎娜課題組聚焦工業場景下的產品智能質檢系統，針對產品信息捕捉不全、功能異常無法識別等自動化質檢的痛點問題，構建了基于多傳感器融合、動態交互進行異常推理判斷的智能系統，并于近日公開了針對工業場景下異常檢測任務的首個多模態數據集MulSen-AD和首個視頻數據集Phys-AD。相關的兩篇文章同時被IEEE國際計算機視覺與模式識別會議(IEEE  Conference on Computer Vision and Pattern Recognition, CVPR 2025)接收。
 

　　多傳感器目標異常檢測：外觀、幾何與內部屬性的統一表征
 

　　針對單一傳感器在同時捕捉產品外觀、尺寸、內部屬性等信息時存在顯著局限性的問題，課題組提出了基于多傳感器融合的工業異常檢測方法。為了獲得產品的全面信息，建立了首個面向工業應用的高分辨率、多模態異常檢測數據集MulSen-AD(Multi-Sensor Anomaly Detection)。針對15種產品類別，設計了孔洞、折痕、異物、劃傷、折彎、內部裂紋等14種真實缺陷，共計2035個樣本；通過RGB圖像、三維點云、紅外圖像三種形式的數據分別呈現產品的外觀缺陷、幾何變形以及內部淺表損傷等異常。本研究還提出了融合多傳感器數據的決策級融合算法MulSen-TripleAD，結合 RGB 紋理、紅外熱信號和 3D 點云信息，在無監督異常檢測任務中取得了當前最好的性能，為現有復雜工業異常檢測任務提供了新的研究思路。該成果以 “Multi-Sensor Object Anomaly Detection: Unifying Appearance, Geometry, and Internal Properties” 為題，被 CVPR 2025會議接收。
 

基于決策層融合的多傳感器異常檢測網絡
 

　　上?？萍即髮W為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生鄭博中、密歇根大學徐曉豪為共同第一作者，武穎娜研究員與高盛華教授為共同通訊作者。
 

　　面向真實世界物理動態的視覺理解與推理：基于物理先驗的異常檢測
 

　　針對工業異常檢測算法大多依賴于靜態、語義簡單的數據集，難以識別產品功能異常的問題，課題組提出了首個大規模、交互驅動的工業異常檢測視頻數據集Phys-AD(Physics Anomaly Detection)，旨在提升算法基于物理先驗知識來理解、推理和判斷功能異常的能力。通過機械臂、電機等與產品進行交互，設計并采集了6400個視頻；針對22種產品類別，設計了機械故障、運動異常等47種功能異常的場景。Phys-AD的任務更強調視覺推理，要求算法結合物理先驗知識與視頻內容，判斷產品是否存在功能異常。在進行基準測試的同時，本研究還引入 PAEval 評測指標，衡量算法在檢測異常的同時解釋其物理原因的能力，推動異常檢測算法向更具物理推理能力的方向發展。該成果以“Towards Visual Discrimination and Reasoning of Real-World Physical Dynamics: Physics-Grounded Anomaly Detection”為題，被CVPR 2025會議接收。
 

基于物理先驗的物體異常檢測類人決策過程
 

Phys-AD視頻數據集
 

　　上海科技大學為第一完成單位，2022級碩士研究生李文嶠、2023級碩士研究生谷峣、2024級碩士研究生陳鑫濤為共同第一作者，武穎娜研究員為通訊作者。