我們發現一種被稱為「神經元消失」的現象會使神經網路的訓練更加困難。當神經網路的深度增加，網路內的神經元冗餘程度會提高，網路的表現能力會消失。我們把這個問題稱為「神經元消失」。藉由神經網路的相關參數來對神經元消失的程度做推算；結果可以得出神經元消失的程度與網路深度成正比、與網路寬度成反比。

我們發現了除了廣為人知的「梯度爆炸/消失」以外，另一種使神經網路訓練更加困難的問題，並加以分析。藉由理論分析，可以得出神經元消失的程度與網路深度成正比、與網路寬度成反比。我們也提出證明：神經元消失是除了梯度爆炸/消失以外，訓練深層神經網路的另一道難關。

我們提出了一個神經元消失指標(Vanishing node indicator, VNI) 來檢驗神經網路的神經元消失程度。神經元消失指標可以呈現出網路表現能力的退化程度。藉由理論分析，可以得出神經元消失指標與網路深度成正比、與網路寬度成反比。