本技術開發一結合多模感測器之虛擬樂器表演引擎，基於手指追蹤與專業指法之深度 學習訓練，研發各適用於大型實時虛擬樂團表演之虛擬樂器組。研發成果證明，多模 信號與深度學習的結合除了能夠彌補單一景深攝影機資訊特徵不足之問題，也擴大了 機器對於新樂曲演奏學習之能力，能夠藉由加強指法訓練而讓能演奏之曲目更為多樣化。

本虛擬樂團技術提出之虛擬引擎為人機互動與互動科技領域上之一大突破，結合多模 感知器及使用標準指法辨識模組實現與研發一套結合各核心虛擬樂器鼓、剛琴、木琴 等等結合數位 MIDI 之表演引擎。本技術提出之虛擬表演引擎，搭配多模感測器與機 器學習，提供樂手們於虛擬樂團中以貼乎實際之空手標準演奏手勢完成虛擬演奏。

本虛擬樂團的指法辨識技術不僅提供一使用手勢操控虛擬樂器之技術，適用於開發各 項虛擬樂器如鋼琴、鼓、木琴之虛擬樂器演奏軟體或是一整合各項樂器之表演系統，亦可加入人文藝術與互動科技之視覺，供大型展演使用。除此之外，指法辨識能夠搭配多模感測器，應用在工業 4.0 系統，藉由真實手指與機台元件的觸碰行為錄製與訓練。