本平台「結合語音辨識及物件辨識之智慧英語學習物聯網」,透過多項數位學習的整合,讓使用者不再只是用傳統的英文學習方法,許多人學習語言必須在全外語的環境下才能融入其中,而傳統的學習方式,往往都是較單一性的教學,並沒有做到互動式的交流,因此本團隊將語音辨識及影像辨識做整合應用,透過語音辨識去判斷使用者的發音是否正確,也可利用裝置相機去拍攝實體物件,系統透過影像辨識去分析物件後,顯示正確的單字與唸法,再搭配其他互動教材做輔助,呈現一個高智慧的英文學習平台。
本平台的系統功能一「語音學習」,利用智慧音箱當作媒介,本功能提供兩種互動方式,主要為針對口說的部分進行測驗,平台會提出物件圖卡,使用者需要唸出該物件的發音,智慧音箱接收到音訊後進行語音辨識,去判斷使用者的發音是否正確,如發音不正確則主動告知,並說出正確唸法,再來是使用者可直接向智慧音箱詢問物件的英文唸法為何,此功能目的是訓練使用者的口說能力,透過此功能達到互動學習的成效。 系統功能二「影像辨識學習」,使用者直接利用行動裝置上的鏡頭,對物件進行拍照,系統將圖片存入後台,利用Yolo V3進行影像辨識去預測圖片物件,將預測好的結果顯示該物件的英文單字與發音,透過此功能可取代傳統查單字的方式,利用AI人工智慧輔助學習,使用者欲想知道物件資訊只需要拍照即可學到英文發音。 系統功能三「電子書學習」,利用InDisgn製作有聲電子書,依據不同主題做區分的故事內容{動物、食物、生活用具、交通工具},透過有聲圖片、單字及句子的搭配,使得電子書變得更有趣,讓單字不再只是死板的文字,希望藉由畫面與聲音的組合,提升使用者的學習興趣。 系統功能四「圖卡學習」,平台也提供有聲圖卡供使用者一次瀏覽全部物件單字,分為四大類型{動物、食物、生活用具、交通工具},使用者可點擊圖卡播放相對應的英文唸法,提升使用者對物件的聯想力。 系統功能五「成果測驗」,使用者可透過此功能來驗收自我的學習成效,總共為不重複20題的題目,每次測驗的題目均不固定,測驗類型細分為{中翻英、英翻中、圖卡選英文、英文選圖卡},答題完畢送出後,平台會顯示答錯題目的正確解答,反覆練習提升自我的英文程度。 |