馬可夫遞迴神經網路將馬可夫屬性引入遞迴神經網路的隱藏狀態，並將一系列隱藏狀態視為馬可夫鏈。該隨機模型遵循每個時間點的轉移機率，並用不同的轉移函數對時序性數據進行編碼。學習複雜的潛在語義和階層式的時序性特徵。馬可夫遞迴神經網路不僅考慮遞迴神經網 路中的彈性地非線性映射，還考慮具有離散隨機變數的狀態轉換。

通過在多路徑表示引入馬爾可夫鏈來研究混合信號和分離信號間的回歸映射，而開發了RNN中的隨機轉移。 引入Gumbel-softmax採樣器以推斷每幀的隨機馬爾可夫狀態，測量回歸成本並最小化單聲道源分離。在不同數量的馬爾可夫狀態下學習複雜的潛在信息，並確保了隨機馬爾可夫RNN中參數消耗的效率。

自然語言處理是現代技術最重要的組成部分之一，包含機器翻譯（Machine Translation），信息檢索及自動問答，計算機影像辨識必須計算出影像中各個對象的運動狀況、環境的影像復原和重建，因此計算過程較為複雜，常見的應用包含車牌辨識