技術名稱 深度學習模型的稀疏化方法
計畫單位 國立臺灣大學
計畫主持人 林守德
技術簡介
先進的深度神經網路模型包含了大量的參數,當中所產生的沈重運算量造成訓練上的負擔,使用者往往需要花大筆金錢購置許多硬體設備,例如高階的圖形運算單元(GPU)。而訓練出來的模型往往非常龐大。在本技術設計了一「稀疏化」類神經網路的方法,並期望能藉由導入模型的稀疏性來減輕計算量,但又不失深度學習原先的傑出表現。
科學突破性
我們使用了L1-正則化(regularization)之技巧於稀疏化深度類神經網路,並設計了一套特殊的學習演算法用於最佳化(optimization)的過程。根據目前的實驗結果,我們所提出的模型稀疏化方法能讓常見的VGG等深度類神經網路的參數大量減少,進而大幅降低了所需的浮點數計算量以及儲存空間。
產業應用性
此稀疏化方法可以被廣泛地用於各領域之應用上,例如數位影像辨識、數值預測等等。其減少計算量之特性將可幫助並有利於推廣許多如各式感測器等物聯網終端設備,以及家用等級之智慧型設備運行已學習之類神經網路模型。基於此應用,計畫主持人也共同成立了一間公司動見科技(Omnieyes)從事Edge AI相關的視訊資料分析。
關鍵字 機器學習 深度學習 稀疏化模型 邊緣人工智慧 人工智慧應用 視訊資料分析 物聯網 類神經網路 資源有限情況 巨量資料探勘
備註
基於本項技術成立之新創公司網頁:
http://www.theomnieyes.com/
  • 聯絡人
  • 楊鈞百
其他人也看了