O2O全通路新零售日益興盛，但異質品線上對線下採購過程中卻常遭遇網購照片與實品不一致的退貨問題。因此，本團隊發展之全通路物流異質性產品挑選技術，可改善全通路新零售面臨之問題。
本技術運用AI深度學習影像辨識技術進行線下實際食品與線上圖片相似度辨識作業，首先以YOLO作為食品類別偵測器，考慮影像讀取、輸入延遲時間後偵測速度為每秒12.33幀，平均準確率為99.49%。進而，本技術採取YOLO所偵測及擷取後之食品影像作為模式訓練及驗證數據庫，再藉由三元應射網路(Triplet Mapping Network)，以若干卷積核構成之卷積神經網路以及全連接層將食品影像特徵提取至較低維度，以利映射至特徵空間並計算Triplet loss。為避免深度學習網路過度依賴訓練資料，本技術採用資料增廣、批次正規化(Batch Normalization)及隨機拋棄神經網路中神經元(Drop out)等方式提升模式的強健性(robustness)。本技術於相似度分析作業中亦針對食品圖像測試數據庫進行資料增廣，例如:亮度及對比度調整、影像角度調整及水平翻轉等，用以模擬不同行動設備拍攝結果，本技術隨機組成並測試三元組(Triplet pair)100次，將偵測圖像及其對應之正樣本間之特徵距離進行紀錄並平均，以觀測各圖像相似性之平均距離分布情形，將其作為食品相似度判斷依據。綜上所述，本技術將平均距離分布進行正規化，依據各相似程度之分布情形分析其對應之百分比，以判斷各食品線上圖片及實際圖片相似程度。
本團隊研發之線上線下食品影像相似度辨識績效可高達95%。本技術可讓物流士至實體店面進行線上與線下之影像比對，以符合消費者線上網購照片的食品。

影像細粒度分析曾應用於身分驗證、人臉識別、相貌相似性分群，而食品細粒度分析曾應用於貨架商品及食堂餐點分類。然而，上述技術尚未被整合應用於線上線下之新零售生態系統。本技術成功地整合YOLO食品類別偵測器以及三元應射網路，具備物件偵測技術及食品細粒度能力，可有效地分析線上網路照片與線下實際商品相似程度。

O2O全通路新零售日益興盛，但異質品線上對線下採購過程中卻常遭遇網購照片與實品不一致的退貨問題。本團隊發展AI深度學習神經網路之線上與線下食品相似度偵測技術，可有效解決解決線上圖片與線下實際食品不一致的問題，作為餐飲店家食品品質控管工具，讓物流業有效地運用物流資源，為全通路新零售開創新穎之發展效益。