隨著人工智慧高度發展，整合性技術將是提供下世代應用的關鍵。無論是以人為本的情感計算、非接觸的生理訊號偵測裝置、多媒體推薦系統皆在業學界受到高度重視。然而目前多面向技術整合阻礙了產業應用且難以落實於生活中，如現今推薦系統僅考量使用者歷史紀錄，卻未整合觀者行為及情感反應而限縮應用多元性及準確性，因此本展覽將展示基於整合性計畫研發多面向技術呈現綜合應用成果。
本團隊展覽技術為「基於情緒反應辨識及生理訊號偵測技術建構下世代多媒體推薦系統」，主要針對多媒體觀影者反應資料庫建構情緒及行為模型，同時計算臉部表情、呼吸、心跳等多模態統計數值，並整合於推薦系統以利深度個人化服務。
而本次展示的技術架構中主要包含三大方向，其一為情緒辨識模組，利用多模態影音特徵計算電影內容並配合臉部特徵點計算觀影者臉部變化，結合情緒預測機率值，產生量化之情緒及行為特徵，加以電影種類群內最小化投影學習整合觀影者表情及內容之表徵，用於推薦系統之機器學習模型。其二為非侵入式行為分析，藉由引入毫米波雷達訊號，進行非接觸式的個人微幅肌肉移動與生理徵兆估測。體表的位移改變主要是由於物理機制，因此在GHz頻段中可以毫米波雷達進行如胸腔振幅的變化或呼吸心跳等生理訊號的量測。此技術不但屬於非接觸的方式，也具備保護隱私的優點，同時不易受到環境光線的影響。本系統將毫米波所反饋的生理相關訊號，視為情緒反應的輔助特徵，能夠從不同面向瞭解觀眾，進而協助影音多媒體進行精準之個人電影推薦。其三為個人化推薦系統，本系統旨在利用網宇及實體資訊，進行多模態個人化特徵的提取，以提供影片、社交、內容的評價和推薦。該多模態特徵不僅包含傳統由問卷及使用者回饋所取得之顯性且具結構性的特徵，亦包含由影像、語音及毫米波雷達的時序訊號所取得有關情緒及生理狀態之隱性特徵。本團隊首先研發一個以多模態特徵預測使用者電影喜好程度(分數)的模型，此模型不僅考量影片本身的受歡迎程度，更透過使用者在觀看過程中的情緒和生理反應，搜尋其同好，並依此獲得更精確的個人化評價預測和推薦。此作法可避免預測結果受到使用者對不同電影類別偏好之評價偏差所造成的影響。透過上述分析，本系統亦可更精確地為使用者進行社群交友的推薦，而找到情緒內涵貼近的同好者。最後，本系統透過整合電影內涵與情緒及生理反應的關係量化影片受歡迎程度，將有助電影產業及多媒體娛樂產業發展，提升用戶體驗並創造商業價值。

本展出為三項重點科技突破之整合，包刮情緒多媒體與行為反應模型、非侵入式生理行為分析技術、個人化推薦系統。情緒行為反應辨識模組利用多模態影音學習電影種類最佳化表徵，結合即時毫米波雷達訊號為生理行為建模，並強化個人化推薦系統。各演算法在票房預測、使用者評分及推薦任務中皆達高準確率，也驗證多前瞻技術突破。

推薦系統及情緒辨識在線上平台、廣告、電影及遊戲娛樂產業的發展多元應用，各領域國際企業皆投入人工智慧研發以擴展應用市場。迪士尼分析觀眾看電影的表情而Snap偵測無聊的表情以更新媒體內容。本展出的情緒及行為整合推薦系統可以加值當前服務，創在多媒體製作端及消費端雙方需求，藉以幫助產業升級、形成產業生態系。