02 youtube官網網頁版優化差分析方差累計(常用優化器算法歸納介紹)

梯度更新規則:

超參數設定值:

建議

示例一

示例二

示例三

上面情況都可以看出，Adagrad, Adadelta, RMSprop 幾乎很快就找到了正確的方向并前進，收斂速度也相當快，而其它方法要么很慢，要么走了很多彎路才找到。

由圖可知自適應學習率方法即 Adagrad, Adadelta, RMSprop, Adam 在這種情景下會更合適而且收斂性更好。

如果數據是稀疏的，就用自適用方法，即 Adagrad, Adadelta, RMSprop, Adam。

RMSprop, Adadelta, Adam 在很多情況下的效果是相似的。

Adam 就是在 RMSprop 的基礎上加了 bias-買粉絲rrection 和 momentum，

隨著梯度變的稀疏，Adam 比 RMSprop 效果會好。

整體來講，Adam 是最好的選擇。

很多論文里都會用 SGD，沒有 momentum 等。SGD 雖然能達到極小值，但是比其它算法用的時間長，而且可能會被困在鞍點。

如果需要更快的收斂，或者是訓練更深更復雜的神經網絡，需要用一種自適應的算法。

各種優化器Optimizer原理：從SGD到AdamOptimizer

深度學習——優化器算法Optimizer詳解（BGD、SGD、MBGD、Momentum、NAG、Adagrad、Adadelta、RMSprop、Adam）

spss因子分析中方差累計貢獻率84%能不能用？

能用了，貢獻率80%以上就好了。

迭代次數可以根據樣本量調整，如果本身很小，你可以設置的少一些，可以加快運算時間，而且次數多的話，后面的迭代也沒有什么變化。如果樣本量大，就可以增大迭代次數，獲得更好的擬合效果。

很赞哦!（6）