我們提出一個能夠以人工智慧電腦視覺技術自動化剪輯職業棒球賽事投打對決影像片段,自動分析並且記錄攻守數據的智能化 AI 球探與 AI 數據記錄員,經過適當的調整與訓練,此項技術將可以廣泛地運用於各國職棒賽事轉播上,就相當於我們利用人工智慧全天候地監看世界各國職棒賽事,並且加以記錄。
其中影片以及打席結果剪輯的部份,我們是以遷移式學習為基礎的人工智慧電腦視覺技術,針對職業棒球賽事轉播進行智能剪輯,將其中投打的逐球對決畫面以及打席結果剪出,該系統能夠自動地從一部棒球比賽中剪輯出所有的投打畫面,平均能夠節省職棒球探或情蒐人員將近 90% 的影片剪輯時間。
技術上,我們以 InceptionResNetV2 預訓練模型出發,使用從 CPBL TV 所取得之影音片段,以及台體大團隊的人工標記為基礎,在不使用大量數據的前題下,將預訓練模型進一步訓瀲為可以從職棒賽事影像中提取圖像特徵並且辨識賽事場景的電腦視覺技術;為了進一步提升系統效能,其中,我們還使用物件辨識模型 Yolov4 抓取預測片段中的特殊物件,並且使用貝茲曲線優化剪及效果,如此,我們的系統一方面可以判斷過濾每個預測片段將智能剪輯的結果最佳化,另一方面還能抓出所有片段的棒球數據資訊,並且進行自動記錄。
而在逐球分析與打席結果分析上,我們則以既有的物件辨識技術如 Yolov4 為基礎,搭配各種後處理以及分析程式,將投打對決或打席結果片段中發生的事情,直接轉換成數據,或者藉由 Sequence-to-sequence 技術轉換成為文字紀錄後,再行轉換成為數儲存,此項系統可以供給職棒隊伍情蒐對手、或外國球員,也可以用於國家隊情蒐國外在小聯盟打拼的潛在對手,同時省去大量繁雜的影片剪輯工作,令專業球探以及情蒐人員可以將其精力專注於其專業分析之上。 |