機器人多模態感知及靈巧操作是邁向下一代類人及通用機器人技術研究的關鍵內容，在工業生產、醫療康復及航天航空等領域具有廣泛的應用前景。但在多模式視觸覺感知方面，相比于視覺傳感器及感知算法的飛速進展，觸覺傳感技術發展緩慢，進一步遲滯著機器人多模態感知及接觸-豐富操作任務中的操作技能學習。
 

　　傳統的觸覺傳感器多為貼片式陣列傳感器，通常將觸摸信號轉化為不同電信號，進而從電信號分布中間接恢復出其他不同的接觸模式信息，如接觸力、接觸形狀。這類觸覺傳感器具有集成簡易、采樣率高等優勢，但因為制作工藝復雜也存在著空間分辨率不高、成本高昂及容易損壞等問題，嚴重阻礙了其大規模應用。近年來，以GelSight傳感器為代表的視觸覺傳感技術在觸覺精密測量、機器人抓取與靈巧操作等領域受到廣泛關注，它們將觸覺信息轉化為膠體層的形變進而使用視覺算法獲取多模式觸覺信息。此類傳感器突破了大多數技術路線無法獲取稠密接觸幾何形狀的難題，但因為光度立體算法的使用，對光源結構要求較高，且光照分布一致性的要求阻礙了其在多曲率仿生指尖結構中的部署，在具體應用場景中依然受限。
 

　　針對上述問題，自動化所智能機器人系統研究部提出基于雙目視覺的視觸覺傳感技術路線——GelStereo系列，嘗試解決因光度立體算法的使用帶來的光源及結構設計問題，并實現了包括接觸幾何形狀重建、滑動檢測、稠密三維力測量等在內的高精度多模式觸覺感知功能，拓寬技術應用場景，推動多模式視觸覺傳感領域發展。
 

　　GelStereo系列采用立體視覺技術捕捉接觸膠體層的形變信息，進而通過不同的視覺算法與接觸模型相結合實現各類高級觸覺感知功能。具體而言，GelStereo采用視覺算法捕捉標記點(高于1mm空間分辨率)位移場變化實現對接觸表面滑動場的測量，并通過有限元分析與接觸力模型結合實現對稠密陣列三維力的測量。該研究目前已成功應用于不同Gripper指尖并完成抓取物體姿態估計、插拔旋擰等各類機器人感知與靈巧操作任務。
 

　　此外，該系列采用自監督學習的方式實現了對整個接觸表面的深度重建，具有結構泛化性，使其可以應用于多曲率接觸表面，拓寬了視觸覺傳感器在高精度觸覺幾何形狀測量領域的使用前景，即將應用于腕部觸覺傳感器、多指靈巧手仿生指尖等更具有挑戰性的集成場景，在精密觸覺測量、機器人交互感知、靈巧抓取與操作領域具有潛在應用價值。