技術名稱 基於多視角RGB相機之輕量化即時3D人體動作捕捉系統
計畫單位 國立清華大學
計畫主持人 胡敏君
技術簡介
本輕量化動捕系統專注於部署輕量、操作簡易和快速執行。有別於傳統昂貴且操作複雜的動捕系統,系統採用消費級運動相機,並設計基於時間關聯性的融合模型架構來實現輕量化且精準的AI姿態估計方法,實現了靈活、快速且場域不限的動作捕捉流程,讓非職業聯盟的球隊或一般團體均有機會用較低的成本實現專業且科學的運動訓練。
科學突破性
現有的2D人體姿態估計模型,精準但推論時間長,在進行多人或多視角影片預測時fps會顯著下降。對此,我們採用GRU架構來結合大模型和小模型的優勢:大模型精準估計,小模型快速推理,再讓GRU利用大模型的結果,透過人體骨架在時序上的關聯來幫助修正小模型的估計,使本系統在多人影片中也能即時估計每個人的姿態。
產業應用性
本動捕系統可重建立體人體骨架,且搭配不同的2D物件偵測模型亦可補捉人物以外的物件3D位置資訊。以棒球為例,本系統可偵測人體、球棒和球的3D座標,讓教練無限次數、任意角度觀看球員動作,協助進行姿勢分析。簡言之,任何需要人體姿態辨識的場合,皆可使用本技術,達到較低成本但高精準度的輕量化動作補捉與分析。
關鍵字 多相機控制系統 多相機時間同步與空間校正 基於時間關聯性的2D人體姿態估計融合模型 3D姿態重建與視覺化 輕量化動作捕捉系統
備註
  • 聯絡人
  • 胡敏君