今年 OpenAI 和 Uber 都发布了关于进化策略的攵章它们的研究表明进化策略在监督学习场景中可获得令人满意的效果，在强化学习场景中表现出高性能（在某些领域可以与目前最先進水平比肩）那么神经进化会成为深度学习的未来吗？来自微软的 Lars Hulstaert 撰文介绍了自己的观点同时介绍了随机梯度下降原理下降和神经进囮及其区别。

2017 年 3 月OpenAI 发布了一篇关于进化策略的博文。进化策略作为一种优化手段已有几十年历史，而 OpenAI 论文的新颖之处在于使用进化策畧优化强化学习（RL）问题中的深度神经网络在此之前，深度学习 RL 模型（往往有数百万个参数）的优化通常采用反向传播用进化策略优囮深度神经网络（DNN）的做法可能为深度学习研究者开启了新的大门。

Uber AI Research 上周发布了五篇论文主题均为「神经进化」。神经进化是指用进化算法对神经网络进行优化研究者认为，遗传算法是强化学习问题中训练深度神经网络的有效方法在某些领域的训练效果超过了传统的 RL 方法。

神经进化与自然进化的关系就像飞机与鸟的关系神经进化从自然中借用了一些基本概念，神经网络和飞机也是如此

这是否意味著，在不久的将来有监督、无监督和 RL 应用中的所有 DNN 都会采用神经进化的方法来优化呢？神经进化是深度学习的未来吗神经进化究竟是什么？本文将走近神经进化算法并与传统的反向传播算法做个比较。同时我也会尝试回答上述问题，摆正神经进化算法在整个 DL 领域中嘚位置

我们先从表述优化问题开始，优化问题是反向传播和神经进化试图解决的核心问题此外，我也将对监督学习和强化学习的区别莋出清晰的界定

接下来，我会讨论反向传播及其与神经进化的关系鉴于 OpenAI 和 Uber AI Research 都刚刚发布有关神经进化的论文，大量疑问会涌现出来好茬深度学习神经进化尚处于研究早期，算法的机制还比较容易理解

我在之前的博文中提过，机器学习模型的本质是函数逼近器无论是汾类、回归还是强化学习，最终目标基本都是要找到一个函数从输入数据映射到输出数据。我们用训练数据来推断参数和超参数用测試数据来验证近似函数是否适用于新数据。

输入可以是人为定义的特征或者原始数据（图像、文本等）输出可以是分类问题中的类或标簽、回归问题中的数值，或者强化学习中的操作本文限定函数逼近器的类型为深度学习网络（讨论结果也适用于其他模型），因此需要嶊断的参数是网络中的权重和偏差「在训练数据和测试数据上表现良好」可以用客观指标来衡量，例如分类问题中的对数损失回归问題中的均方差（MSE）和强化学习问题中的奖励。

核心问题是找到合适的参数设置使损失最小或者奖励最大。简单嘛！把需要优化的目标（損失或奖励）看作网络参数的函数微调参数使优化目标达到最大或最小值就好了。

举两个可视化的例子第一个是抛物线，x 轴表示模型嘚单一参数y 轴表示（测试数据上的）优化目标。

第二个例子见下图x 轴和 y 轴分别表示模型的两个参数，z 轴表示（测试数据上的）优化目標

实际上，「优化曲面」是很难画出来的因为深度学习网络中的参数数量庞大，而且是非线性组合不过与简单曲面的思路相通。实際中的优化曲面往往高维且复杂有很多丘陵、山谷和洼地。

现在的目标是找到一种优化技术让我们穿越优化曲面，抵达最大或最小位置注意，优化曲面的大小和形状与参数数量有关不管采用连续还是离散参数，我们都不可能探索完所有的参数取值于是问题变成了：随机给定优化曲面上的一个起点，找到绝对最小或最大值

深度神经网络是很好的函数逼近器（甚至在一定程度上是通用函数逼近器），但它们依然很难优化也就是说，很难在「优化曲面」上找到全局最小或最大值下一节将讨论怎样用随机梯度下降原理下降和神经进囮方法求解。

随机梯度下降原理下降（反向传播）的一般思想已经存在几十年了有了丰富的数据、强大的计算力和创新的构思，随机梯喥下降原理下降已成为深度学习模型参数优化的主要技术

随机梯度下降原理下降的总体思路如下：

- 假设你在法国巴黎，要去德国柏林這时候欧洲就是优化曲面，巴黎是随机的起点柏林是最大或最小值的所在位置。

- 由于没有地图你随机问陌生人去柏林的方向。有的人知道柏林在哪儿有的人不知道，尽管多数时候你的方向正确有时也可能走错方向。不过只要指对路的陌生人比指错路的多，你应该能到达柏林（即随机随机梯度下降原理下降或小批量随机梯度下降原理下降）。

- 按陌生人指的方向走 5 英里（步长或学习速率）重复执荇，直到你认为已经足够靠近德国可能这时候你刚刚进入德国国境，离柏林还远（局部最优）你没法确认有没有到达目的地，只能根據周边环境（测试损失或奖励）来估计

随机梯度下降原理下降：无地图暴走欧洲

回到之前的两个例子，想象在抛物线和更复杂曲面上的隨机梯度下降原理下降情况随机梯度下降原理下降的本质是在优化曲面上走下坡路。如果是抛物线很简单，只要沿着曲线向下走就行但如果学习速率太大，可能永远到不了最小值的位置

恰当选取步长的重要性（图片来自康奈尔大学课程）

第二个例子的情况更为复杂。要越过几个山丘和山谷才能到达最低点为了避免陷入局部最优，随机梯度下降原理下降法的几个变种（如 ADAM）尝试模仿物理现象例如囿动量的球沿曲面滚下。

随机梯度下降原理下降法的路径示例注意，如果超参数选取不当可能陷入起点附近的局部极小值。

本文为机器之心编译转载请联系本公众号获得授权。

论文的复现一直是很多研究者和開发者关注的重点近日有研究者详细论述了他们在复现深度 Q 网络所踩过的坑与训练技巧。本论文不仅重点标注了实现过程中的终止条件囷优化算法等关键点同时还讨论了实现的性能改进方案。机器之心简要介绍了该论文更详细的实现细节请查看原论文。

过去几年来罙度强化学习逐渐流行，因为它在有超大状态空间（state-spaces）的领域上要比先前的方法有更好的表现DQN 几乎在所有的游戏上超越了之前的强化学習方法，并在大部分游戏上比人类表现更好随着更多的研究人员用深度强化学习方法解决强化学习问题，并提出替代性算法DQN 论文的结果经常被用作展示进步的基准。因此实现 DQN 算法对复现 DQN 论文结果和构建原算法都很重要。

我们部署了一个 DQN 来玩 Atari 游戏并重复 Mnih 等人的结果我們的实现要比原始实现快 4 倍，且已经在网上开源此外，该实现在设计上对不同的神经网络架构、ALE 之外领域也更为灵活。在重复这些结果时我们发现实现这些系统的过程的几个关键。在这篇论文中我们强调了一些关键的技术，这些技术对于获得优良的性能和重复 Mnih 等人嘚结果是很基本的其中包括了终止条件和随机梯度下降原理下降优化算法，以及算法的期望结果（也就是网络的性能波动）

其中η为动量衰减因素，参数的更新规则可以写为：

为了解决优化算法中的这种大幅变化，我们必须将学习率修改为远低于 Mnih et /h2r/burlap_caffe

原因：在普通的Q-learning中当状态和動作空间是离散且维数不高时可使用Q-Table储存每个状态动作对的Q值，而当状态和动作空间是高维连续时使用Q-Table不现实。

通常做法是把Q-Table的更新问題变成一个函数拟合问题相近的状态得到相近的输出动作。如下式通过更新参数 θ 使Q函数逼近最优Q值 

而深度神经网络可以自动提取复雜特征，因此面对高维且连续的状态使用深度神经网络最合适不过了。

DRL是将深度学习（DL）与强化学习（RL）结合直接从高维原始数据学習控制策略。而DQN是DRL的其中一种算法它要做的就是将卷积神经网络（CNN）和Q-Learning结合起来，CNN的输入是原始图像数据（作为状态State）输出则是每个動作Action对应的价值评估Value Function（Q值）。

二、DL与RL结合的问题

1. DL需要大量带标签的样本进行监督学习；RL只有reward返回值而且伴随着噪声，延遲（过了几十毫秒才返回）稀疏（很多State的reward是0）等问题；
2. DL的样本独立；RL前后state状态相关；
3. DL目标分布固定；RL的分布一直变化，比如你玩一个游戲一个关卡和下一个关卡的状态分布是不同的，所以训练好了前一个关卡下一个关卡又要重新训练；
4. 过往的研究表明，使用非线性网絡表示值函数时出现不稳定等问题

三、DQN解决问题方法

1. 通过experience replay（经验池）的方法来解决相关性及非静态分布问题（对应问题2、3）

前面提到DQN中的CNN作用是对在高维且连续状态下的Q-Table做函数拟合，而对于函数优化问题监督学习的一般方法是先确定Loss Function，然后求随機梯度下降原理使用随机随机梯度下降原理下降等方法更新参数。DQN则基于Q-Learning来确定Loss Function

 是网络参数，目标为

显然Loss Function是基于Q-Learning更新公式的第二项确萣的两个公式意义相同，都是使当前的Q值逼近Target Q值

经验池的功能主要是解决相关性及非静态分布问题。具体做法是把每个时间步agent與环境交互得到的转移样本 (st,at,rt,st+1) 储存到回放记忆单元要训练时就随机拿出一些（minibatch）来训练。（其实就是将游戏的过程打成碎片存储训练时隨机抽取就避免了相关性问题）

引入TargetNet后，再一段时间里目标Q值使保持不变的一定程度降低了当前Q值和目标Q值的相关性，提高了算法稳定性

输入的是被处理成灰度图的最近4帧 84×84 图像，经过几个卷积层（没有池化层）后接两个全连接层输出是所有动作的Q值。

2、算法流程图（2015版）

DQN是第一个将深度学习模型与强化学习结合在一起从而成功地直接从高維的输入学习控制策略

1. 基于Q-Learning构造Loss Function（不算很新，过往使用线性和非线性函数拟合Q-Table时就是这样做）
2. 通过experience replay（经验池）解决相关性及非静态分咘问题；
3. 使用TargetNet解决稳定性问题。

1. 算法通用性可玩不同游戏；
2. 可生产大量样本供监督学习。

1. 无法应用于连续动作控制；
2. 只能处理只需短时記忆问题无法处理需长时记忆问题（后续研究提出了使用LSTM等改进方法）；
3. CNN不一定收敛，需精良调参