技術名稱 智慧語音強化與聲音追蹤技術
計畫單位 國立成功大學
計畫主持人 劉璟鋒
技術簡介
如何在複雜人聲及環境噪聲中,提高目標語音訊號的訊噪比,對發展人機溝通、機器聽覺及先進聽覺溝通輔具為關鍵重要技術及方向。團隊發展新一代語音處理科技,在混合多人聲及其他干擾環境噪聲下,能即時分離目標語音並將其強化。這項創新科技,參考人類聽覺處理模式,整合電腦視覺、聲源定位、波束成型、深度學習及自適應濾波技術等各式訊號處理技術,並在硬體上開發專用新型態麥克風陣列及微型計算電路,建立特定目標語音分離與即時降噪的處理系統,使用非同步更新演算法在電腦視覺與深度學習技術的高運算時間下,依舊能保持不延遲的即時語音處理與輸出。
科學突破性
智慧語音強化及聲音追蹤技術,利用「電腦視覺分析技術」、「波束成型微型硬體設計」與「即時語音降噪的深度神經網路設計」等三大核心技術,藉由新型態麥克風陣列設計,實現在多人語音噪聲環境下,進行即時目標語音強化、追蹤及噪聲抑制。開發之微型計算電路,將相關的軟硬體整合至穿戴式裝置,藉以實現邊緣計算及即時輸出。
產業應用性
得應用於聽覺科技輔具,並帶動相關產業發展。更可延伸使用於人工電子耳之病人之耳前端訊號處理,運用此新技術可強化患者在噪聲環境下對語音的辨識與理解。並且可發展至機器聽覺,透過強化語音辨識,增強機器語意理解,進而衍生出更多的智慧應用,諸如:AI管家、智慧音箱、會議系統、人機互動、家庭娛樂互動、擴增實境等。
關鍵字 盲目來源分析 雞尾酒會問題 波束成形 深度學習 非同步更新演算法 電腦視覺分析技術 波束成型微型硬體設計 即時語音降噪的深度神經網路設計 語音降噪 機器聽覺
備註
附件資料:https://drive.google.com/drive/folders/1osiRvfagfAH6xH2uDlpPmF1yeb1GNCFV?usp=sharing
技術影片:
場景一 雙人對話,手動選擇聆聽目標 , 請見於 https://youtu.be/HhbnCd-SnKU
場景二 對移動目標語音 自動追蹤強化 , 請見於 https://youtu.be/wQH5d4zvJw4
場景三 環境音樂噪聲及三人同時說話情境,對目標語音強化和噪聲抑制, 請見於 https://youtu.be/ygjYefQdhmc
  • 聯絡人
  • 盧韋智
其他人也看了