技術名稱 | 360° 居家照護助理: 基於多模態表徵學習實現魚眼影像辨識及語音互動 | ||
---|---|---|---|
計畫單位 | 國立清華大學 | ||
計畫主持人 | 孫民 | ||
技術簡介 | 為了提供更好的老人居家照護,我們透過俯視360° Fisheye Camera辨識使用者日常行為,並且能準確的使用語音系統提供協助。 |
||
科學突破性 | 本產品透過嵌入式系統接收影像資訊,傳至本地端電腦,經本地端電腦進行訓練以及推理後,在將推理結果傳到嵌入式系統上進行語音互動。旨在將收到的影像內容透過少量資料辨識後,透過語音與使用者互動,直接從使用者端獲得結果,並作為標註回傳到系統中,藉此增強系統的學習效率。 |
||
產業應用性 | 目前將此技術運用於居家環境,並針對年長者族群進行相關應用設計。根據研究指出65歲以上的長者跌倒的機會變高,後續帶來的影響極大.本產品專注於異常通報,當家中長者出現常見異常行為時,系統在所見範圍內偵測到後會以語音方始與長者互動,確認是否需要協助通報。 |
||
關鍵字 | 邊緣運算 語音互動 場景語義分割 物體偵測 人體姿態偵測 360° Fisheye Camera影像辨識 虛擬資料蒐集系統 遷移學習 行為辨識 智慧家庭助理系統 |