优化器就是向模型打包传递参数，什么参数呢，就是我们训练时使用到的诸如，学习率，衰减，momentum，梯度下降得到若干种方式，用不用动量等等。你可以在一开始传入这个值，然后就一直使用这个值训练，也可以在训练时根据epoch调整参数。

optimizers的两种使用方式

一，在使用compile调用之前就生成自定义的optimizer实例，这种给用户的自由最大，但是同样的你也需要定义很多个参数：

二，在complie的时候使用预定义的快捷optimizers参数：

对于方法一，你有若干可以填写的参数。

通用参数：梯度裁剪参数。抑制梯度爆炸，两种方式抑制：

1.所有参数的向量模长

2.每个参数的绝对值

同时，keras还提供了各种各样的梯度下降方式，比如：

等等，事实上官方提供了很多很全的document中文版，建议看看。

总结如下：

1.sgd:随机梯度下降优化器。

2.RMSprop:这个优化器通常是训练循环神经网络RNN的不错选择。

3.Adagrad: Adagrad 是一种具有特定参数学习率的优化器，它根据参数在训练期间的更新频率进行自适应调整。参数接收的更新越多，更新越小。

4.Adadeltaz:Adadelta 是 Adagrad 的一个具有更强鲁棒性的的扩展版本

5.Adam:本质上是 RMSProp 与动量 momentum 的结合

6.Nadam:Nadam 是采用 Nesterov momentum 版本的 Adam 优化器。

?

?

上一篇：优化算法的复杂度分析

下一篇：支持刚性和改善性住房需求我市进一步调整优化房地产政策