【儀表網(wǎng) 研發(fā)快訊】近期，廈門大學(xué)信息學(xué)院王程教授和溫程璐教授團隊，在激光雷達人體動作和場景捕捉領(lǐng)域取得重要進展，相關(guān)研究成果以“HiSC4D: Human-centered Interaction and 4D Scene Capture in Large-scale Space Using Wearable IMUs and LiDAR”為題發(fā)表在IEEE Transactions on Pattern Analysis and Machine Intelligence(DOI: 10.1109/TPAMI.2024.3457229)。
 

 

　　為適應(yīng)開放的城市環(huán)境，智能體需要實時捕捉周邊人群的肢體動作和場景的結(jié)構(gòu)。基于慣性傳感器和相機的傳統(tǒng)感知手段，分別存在長時間數(shù)據(jù)漂移和對光照及環(huán)境動態(tài)變化敏感等問題，難以滿足智能駕駛、服務(wù)機器人、體育訓(xùn)練等應(yīng)用領(lǐng)域?qū)?fù)雜環(huán)境人體動作和場景捕捉的需求。自2022年起，王程教授和溫程璐教授團隊在國際上首先提出了激光雷達(LiDAR)人體動捕技術(shù)(LiDARCap, CVPR 2022; HSC4D, CVPR 2022; Sloper4D, CVPR 2023)。在本次發(fā)表的成果HiSC4D中，團隊突破了在大規(guī)模室內(nèi)外開放場景中，捕捉第一人稱視角下的多樣化雙人交互動作和三維場景的方法。該方法通過融合慣導(dǎo)和激光雷達數(shù)據(jù)，構(gòu)建了多階段聯(lián)合優(yōu)化框架，有效解決了慣導(dǎo)帶來的漂移問題，并顯著提升了場景重建精度，擴展了空間、人體動作和互動捕捉的范圍。同時發(fā)布了首個多模態(tài)雙人交互數(shù)據(jù)集，涵蓋不同場景類型和多樣化人體動作，為相關(guān)研究領(lǐng)域提供訓(xùn)練數(shù)據(jù)資源。HiSC4D技術(shù)以激光雷達為核心傳感器，同時重建人體動作和三維場景，為具身智能走向廣闊戶外、融入人群開辟了新的思路。
 

　　該論文由戴雨笛博士生、王志勇碩士生、林希平碩士生在溫程璐教授、王程教授、沈思淇副教授、上?？萍即髮W(xué)許嵐研究員、馬月昕研究員共同指導(dǎo)下完成。該研究工作得到了國家自然科學(xué)基金項目(62171393)等項目的支持。