近日，上海交通大學電子資訊與電氣工程學院約翰·霍普克羅夫特計算機科學中心在電腦網絡領域物聯網方向取得突破性進展，研究成果MagX: Wearable，Untethered Hands Tracking with Passive Magnets（MagX:基於永磁鐵的可穿戴、無束縛的手部跟踪科技）被網路系統領域頂級會議International Conference on Mobile Computing and Networking（ACM MobiCom 2021）錄用。該研究提供了一種完全不受約束的人體手部跟踪系統Mag-X。該項目由上海交通大學與密西根大學安娜堡分校共同完成，上海交通大學為第一單比特，電院助理教授陳東堯為第一作者，其餘主要參與者均為交大在校學生。
MobiCom由ACM SIGMOBILE贊助，致力於解决網路通信和移動計算方向的挑戰性難題。該會議有非常嚴格的審稿過程：每篇論文在接收前要經過2輪雙盲評審，之後在程式委員會再次盲審討論後才有機會被錄用。作者必須嚴格按照所有審稿意見對論文進行修改，在程式委員會一致同意後才正式錄用論文。ACM MobiCom的論文錄取率通常在15%左右，2021年全球僅錄用59篇文章。
陳東堯團隊
研究成果
作為身體最靈活自由的部位之一，手能够以一種自然的管道與機器以及周圍的環境進行互動。精確的手部追跡科技能够通過改善互動的沉浸感來幫助提升用戶體驗，這在蓬勃發展的VR/AR或元宇宙（Metaverse）應用場景中是至關重要的。此外，手部動作通常與精神壓力（如無意識地抓頭髮、摸嘴唇、咬指甲）和身體健康（洗手和摸臉）有關。許多先前的研究傾向於使用相機或IMU（Inertial Measurement Unit，慣性量測單元）感測器來追跡用戶的手部運動。現時，基於相機的方法已經實現了高精度的手部分割和跟踪。然而，視線遮擋、耗能高、計算複雜度大以及隱私洩露等問題限制了這些方法在現實生活中的使用。IMU數據則存在著較嚴重的漂移問題，隨著使用時間的增長其誤差也會越來越大。
陳東堯團隊及其合作者提供了一種完全不受約束的人體手部跟踪系統Mag-X，該系統利用無源磁鐵和一種新型的磁感應平臺實現。由於無源磁鐵無需維護，因而它們可以永久地戴在用戶手上，並且，系統中只有感測器需要充電，與智慧手錶類似。
Mag-X使用永磁鐵，同時提供了一個可穿戴且不受束縛的傳感模塊，且該模塊具有可定制的陣列尺寸和多功能外形
研究團隊使用Mag-X進行了一系列實驗，通過這些實驗發現了一種可穿戴感測器陣列，該陣列能够獨立地對兩塊磁鐵進行毫米級精度地自由度跟踪。例如，在11釐米處，6cmX6cm的感測器陣列所對應的跟踪誤差（包括位置誤差和方向誤差）為0.76 cm和0.11 rad，在21cm處所對應的跟踪誤差為2.65 cm和0.41 rad。此外，Mag-X可以使用更大的感測器陣列來實現遠距離跟踪，例如，對於27cm處的兩塊磁鐵，9.8cm X 9.8cm的感測器陣列可以實現2.62 cm和0.55rad的跟踪效能。這種高魯棒性的跟踪效能可以促使磁跟踪普遍應用於各種應用。最後，Mag-X可以在本地執行所有計算，並且在進行實时跟踪時只需要0.38W（感測器平臺的220mW與計算單元的159mW之和）的功耗，這使得Mag-X基於典型的智慧手錶大小的電池即可提供全天且完全不受約束的操作。
研究團隊以摸臉行為監測為例來驗證Mag-X的效能。值得一提的是，人平均每小時會不自覺地摸臉23次，這會導致細菌和病毒通過粘膜進入身體從而導致葡萄球菌和其他嚴重的呼吸道感染（如新型冠狀肺炎）。囙此，檢測並减少摸臉行為可以極大地限制這些疾病的傳播。
Mag-X實現了全新的帽子和徽章佩戴形態。在此形態下，感測器陣列和磁體應分別置於使用者的胸前和手腕上。為了尋找指尖的位置，磁鐵的北極應指向放鬆狀態下指尖的自然朝向。通過這種管道，食指指尖的位置就可以通過磁體的位置、方向以及放鬆手掌的長度來近似獲取。下圖動態展示了徽章形態的跟踪效能。
臉部觸摸跟踪展示
下圖展示了臉部動作跟踪的精度，其中LC、LE、M、N、RC、RE和No來分別表示左臉頰、左眼、嘴、鼻、右臉頰、右眼和無觸碰。
Mag-X的精度數據
Mag-X還可以用於其他多種應用場景，來彌補傳統的“視覺+機器學習”解決方案的顯著不足。例如增強現實（AR）應用中，使用者可以佩戴Mag-X在黑夜或視線受遮擋的情况下依然實現精准的手部動作跟踪。
AR手部跟踪展示
教師名片
陳東堯，中心助理教授。他在美國密西根大學安娜堡分校計算機科學與工程系獲得博士學位，導師是Kang G. Shin教授。研究領域主要為物聯網（IoT）系統和安全，探索機器學習與現實生活的結合。其研究成果的主要應用場景是下一代智慧交通與醫療，其中汽車+IoT相關研究已經在現實生活中得到了應用並積累了接近10000公里的真實世界駕駛數據。他在國際頂級學術會議如MobiCom，MobiSys，CCS，UbiComp，以及CoNEXT上發表過多篇論文。同時，他也擔任國際知名會議和期刊如UbiComp，ICCPS，IEEE Transactions on Mobile Computing，Service Computing，Vehicular Technology，以及ACM Transactions on Privacy and Security的審稿人。
本文版權歸原作者所有，文章內容不代表平臺觀點或立場。如有關於文章內容、版權或其他問題請與我方聯系，我方將在核實情况後對相關內容做删除或保留處理！聯繫郵箱：yzhao@koushare.com