TensorFlow支持哪些优化器？请列举至少三种并说明其特点

TensorFlow提供了多种优化器来实现梯度下降的参数更新。最常用的三种优化器分别是Adam、SGD和RMSProp，它们在收敛速度、内存开销和泛化能力上各有侧重。

Adam：自适应矩估计优化器

Adam结合了Momentum和RMSProp的思想，对梯度的一阶矩（均值）和二阶矩（方差）分别做指数加权移动平均，实现每个参数独立的自适应学习率。

核心更新公式：

$$ \begin{align*} m_t &= \beta_1 m_{t-1} + (1 - \beta_1) g_t \ v_t &= \beta_2 v_{t-1} + (1 - \beta_2) g_t^2 \ \hat{m}_t &= \frac{m_t}{1 - \beta_1^t}, \quad \hat{v}t = \frac{v_t}{1 - \beta_2^t} \ \theta_t &= \theta{t-1} - \alpha \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon} \end{align*} $$

关键特点：

• 收敛快：自适应学习率让大多数任务无需精细调参，默认lr=0.001即可工作
• 处理稀疏梯度强：比RMSProp在稀疏场景下更稳定
• 偏差校正确保初期训练不偏：$\hat{m}_t$和$\hat{v}_t$是对零初始偏差的修正，这是Adam相比RMSProp的关键改进

python
optimizer = tf.keras.optimizers.Adam(learning_rate=0.001)

适用场景：CNN、RNN、Transformer等绝大多数深度学习任务的默认首选。

SGD：随机梯度下降优化器

SGD是最基础的优化器，每次只用一个mini-batch的梯度来更新参数：

$$ \theta_t = \theta_{t-1} - \alpha g_t $$

配合动量后，更新规则变为：

$$ v_t = \beta v_{t-1} + g_t, \quad \theta_t = \theta_{t-1} - \alpha v_t $$

关键特点：

• 内存最低：只存当前梯度（加动量时多一个速度项），远小于Adam的两个矩估计
• 泛化能力更优：噪声带来的正则化效应，在训练后期往往比Adam获得更好的泛化性能
• 调参门槛高：学习率、动量、学习率调度都需要手动设置

python
optimizer = tf.keras.optimizers.SGD(learning_rate=0.01, momentum=0.9)

适用场景：小规模数据集、资源受限环境、追求极致泛化性能的场景。实践中常见策略是前期用Adam快速收敛，后期切换SGD精调。

RMSProp：均方根传播优化器

RMSProp针对AdaGrad学习率单调递减的问题，用梯度平方的指数加权移动平均替代累加和，使学习率不会无限衰减：

$$ \begin{align*} s_t &= \rho s_{t-1} + (1 - \rho) g_t^2 \ \theta_t &= \theta_{t-1} - \alpha \frac{g_t}{\sqrt{s_t} + \epsilon} \end{align*} $$

关键特点：

• 学习率自适应但不衰减：解决了AdaGrad在长训练中学习率趋近于零的问题
• 适合非平稳目标：对RNN等时序模型特别友好
• 比Adam更轻量：只维护一个二阶矩估计，内存占用介于SGD和Adam之间

python
optimizer = tf.keras.optimizers.RMSprop(learning_rate=0.001, rho=0.9)

适用场景：RNN/LSTM训练、强化学习、对内存敏感但又需要自适应学习率的场景。

三种优化器如何选择？

维度	Adam	SGD+Momentum	RMSProp
收敛速度	快	慢	中
内存占用	高	低	中
调参难度	低	高	中
泛化性能	中	高	中
稀疏梯度	优	差	良

实际选择建议：默认用Adam，模型对泛化要求极高时试SGD+Momentum，训练RNN时优先考虑RMSProp。

面试追问

Q: Adam和RMSProp的核心区别是什么？ Adam在RMSProp基础上增加了动量项（一阶矩估计）和偏差校正。RMSProp只对梯度平方做指数移动平均来调整学习率，而Adam同时维护梯度的移动平均（方向）和梯度平方的移动平均（步长），偏差校正则保证训练初期估计无偏。这使得Adam在稀疏梯度场景下比RMSProp更稳定。

Q: 为什么Adam收敛快但泛化可能不如SGD？ Adam的自适应学习率让参数快速靠近极小值，但也可能"冲过头"跳过平坦的泛化解。SGD的梯度噪声天然充当正则化，倾向于找到更宽更平的极小值，这类极小值通常泛化更好。一种折中策略是Warmup+Cosine衰减，或先Adam后SGD的两阶段训练。