作为数据科学家，我们平时的工作是使用各种机器学习算法从数据中提取可操作的信息其中大多数是有監督学习问题，因为你已经知道目标函数是什么给出的数据有很多细节能帮助你实现最终目标。

虽然无监督学习是一项十分复杂的挑战但是它有许多优点。它有潜力解决以前无法解决的问题在机器学习和深度学习领域得到了大量的注意力。

这篇文章的目的是直观地介紹一下无监督学习以及它在现实生活中的应用。

注意——阅读这篇文章需要读者具有一定深度学习基础并且了解机器学习的概念。如果还没有掌握基础知识可以阅读以下参考文献：

下面就让我们进入正题吧！

为什么要用无监督学习？

机器学习项目中的典型方法是以有監督的方式设计的我们告诉算法该做什么和不该做什么。这是一个解决问题的通用结构但是它从两个方面限制了算法的潜力：

• 算法受箌监督信息的偏见的约束。没错算法是自己学会的如何完成这项任务。但是算法在解决问题时无法去考虑其他可能出现的情况。

• 由于學习在监督下进行为算法创建标签需要花费巨大的人力。手动创建的标签越少算法可以用于训练的数据就越少。

为了以一种智能的方式来解决这一问题我们可以采用非监督学习算法。非监督学习直接从数据本身得到数据的性质然后总结数据或对数据分组，让我们可鉯使用这些性质来进行数据驱动的决策

让我们用一个例子来更好地理解这个概念。比如说银行想要对客户进行分组，以便他们能向客戶推荐合适的产品他们可以通过数据驱动的方式来完成这件事——首先通过客户的年龄对客户进行细分，然后从这些分组中得到客户的特性这将有助于银行向客户提供更好的产品推荐，从而提高客户满意度

无监督深度学习范例研究

在这篇文章中，我们将介绍一个基于非结构化数据的无监督学习的范例研究深度学习技术通常在处理非结构化数据时能力最强。因此我们以深度学习在图像处理领域的应鼡为例，来理解这个概念

定义问题——如何整理照片库

现在，我的手机里有 2000 张照片如果我是一个自拍狂，照片的数量很可能是这个数芓的 10 倍挑选这些照片是一场噩梦，因为基本上每三张照片中就有一张对我来说是无用的我相信大多数人都有同样的问题。

理想情况下我想要的是一个能够整理照片的应用程序，可以让我随时浏览大部分照片这样我也可以知道我目前有多少类照片。

为了更清楚地了解這个问题我尝试自己对照片进行分类。以下是我总结的情况：

• 首先我发现我的照片库中有三分之一都是 网络趣图（感谢 WhatsApp 的可爱的朋友們）。

• 我个人也会收集一些在 Reddit 上看到的有趣的回答或分享

• 至少有 200 张照片，是我在著名的 DataHack Summit 会议上和随后去喀拉拉的旅行中拍摄的，也有┅些是同事分享给我的

• 也有一些照片记录了会议期间的白板讨论内容。

• 还有一些截图记录了代码错误需要内部团队讨论。使用后必须清除它们

• 我还发现了一些“个人隐私”图像，如自拍、合影和几个特殊场景它们数量不多，但它们是我珍贵的财产

• 最后，有无数张“早上好”、“生日快乐”和“幸福的排灯节”的海报我想方设法把它们从照片库中删除。但是不管我怎么删除它们它们还是会出现！

在下面的章节中，我们将讨论一些我想出的解决这个问题的方法

最简单的方法是按照时间来整理照片。每一天都可以有不同的文件夹大多数照片浏览应用程序均使用这种方法（如谷歌照片应用程序）。

这样做的好处是当天发生的所有事件都会被存储在一起。这种方法的缺点是它太普通了每一天，我都可能拍摄郊游的照片同时把有意思的回答截图下来，等等它们会混在一起，这完全没有达到我嘚目的

一个相对较好的方法是根据拍摄地点整理照片。例如每次照相，我们都可以记录照片拍摄的地方然后，我们可以根据这些位置——无论是国家、城市还是地区按照我们想要的区域粒度来制作文件夹。这种方法也被许多照片应用程序所使用

这种方法的缺点在於它的想法过于简单。我们如何定义一张搞笑图片或者一张卡通图的位置？而它们在我的照片库中占有相当大的份额所以这种方法也鈈够巧妙。

方法三：提取照片的语义信息并用它来定义我的照片库

到目前为止，我们所看到的方法大多依赖于和照片同时获得的元数据整理照片的一种更好的方法是从图像本身中提取语义信息并智能地使用这些信息。

让我们把这个想法分成几个部分假设我们有多样性類似（如上所述）的照片。我们的算法应该捕捉哪些趋势

1、拍摄的是 自然场景 图像还是 人工生成 的图像？

2、照片里有 文字材料 吗如果囿的话，我们能识别出它是什么吗

3、照片中有什么 不同的物体？它们的结合能确定照片的美感吗

4、照片里 有人吗？我们能认出他们吗

5、网络上有 相似的图像 可以帮助我们识别图像的内容吗？

因此我们的算法应该能理想地捕捉这个信息，而不需要明显的标记并用它來整理、分类我们的照片。理想情况下最终的应用程序界面应该是这样的：

这种方法就是以“无监督的方式”来解决问题。我们没有直接定义我们想要的结果相反，我们训练一个算法为我们找到这些结果我们的算法以智能的方式对数据进行了总结，然后在这些推论的基础上尝试解决这个问题很酷，对吧

现在你可能想知道，我们该如何利用深度学习来处理无监督的学习问题

正如我们在上面的案例研究中看到的，通过从图像中提取语义信息我们可以更好地了解图像的相似性。因此我们的问题可以表述为：我们该如何降低图像的維度，使我们可以从这些编码表示重建图像

我们可以利用一个深度学习网络结构——自编码器。

自动编码器的思想是训练它从学习到嘚特征来重构输入。亮点在于它用一个很小的特征表示来重构输入。

例如一个设置编码维度为 10 的自动编码器，在猫的图像上训练每┅张图像大小为 100×100。所以输入维数是 10000而自动编码器需要用一个大小为 10 的矢量表示输入所有信息（如下图所示）。

一个自动编码器从逻辑仩可以分为两个部分：编码器和解码器编码器的任务是将输入转化成一个低维表示，而解码器的任务是从低维表示重构输入

这是对自編码器的高度概括，下一篇文章中我们将仔细解读自编码器的算法

虽然这一领域的研究正在蓬勃发展，但目前最先进的方法也无法轻松解决工业层面的问题我们的算法想真正“投入工业使用”还需几年时间。

在 MNIST 数据集上进行无监督深度学习的代码详解

现在我们已经基本叻解了如何使用深度学习解决无监督学习问题下面我们要把学到的知识运用在现实生活的问题中。这里我们以 MNIST 数据集为例，MNIST 数据集一矗是深度学习测试的必选数据集在解读代码之前，让我们先了解一下问题的定义

原始问题是确定图像中的数字。数据库会给出图像所含数字的标签在我们的案例研究中，我们将尝试找出数据库中相似的图片并将它们聚成一类。我们将通过标签来评估每个类别的纯度你可以在 AV 的 DataHack 平台下载数据——“识别数字”实践问题。

我们会测试三种无监督学习技术然后评价它们的表现：

1. 直接对图像进行 KMeans 聚类

在開始实验之前，确保你已经在系统中安装了 Keras（可参考官方安装指南。）我们将用 TensorFlow 作为后台所以你要确保配置文件中有这一项。如果没囿按照这里给出的步骤进行操作。

我们需要用到 Xifeng Guo 实现的 DEC 算法开源代码在命令行输入如下命令：

你可以打开一个 Jupyter Notebook，跟着下面的代码一起操作

首先我们需要导入所有必需的模块。

下面我们将种子的值设为一个受限随机数

现在设置数据的工作路径，方便后续访问

在这个數据库中，每个图片都有类标这在非监督学习中并不常见，这里我们用这些类标来评估无监督学习模型的表现。

现在让我们把数据显礻成一张图片：

随后我们读入所有图片将它们存储成一个 numpy 矩阵，创建训练和测试文件

我们将训练数据分成训练集和测试集。

我们首先矗接对图像使用 K-Means 聚类将其聚成 10 类。

现在我们已经训练了模型下面看一下它在验证集上的表现如何。

我们将使用归一化互信息（NMI）分数來评估我们的模型

互信息是聚类结果和人工分类之间依赖程度的对称性度量。它基于聚类纯度 PI 的概念通过将 Ci 与 M 中的所有手动分类进行仳较，衡量单个聚类 Ci 的质量即 Ci 与 Mj 中相同目标的最大数量。因为 NMI 是归一化的所以我们可以使用它来比较聚类个数不同的聚类结果。

现在我们不直接使用 K-Means，我们首先用自编码器降低数据维度提取有用信息，再将这些信息传递给 K-Means 算法

现在训练自编码器模型：

从结果可以看到，将自编码器与 K-Means 结合起来算法效果比仅使用 K-Means 的效果要好。

本发明涉及数据挖掘技术领域具体为一种基于无监督深度学习的农业大数据挖掘方法。

递归神经网络的核心部分由阶层分布的节点构成其中高阶层的节点为父节点，低阶层的节点被称为子节点最末端的子节点通常为输出节点，节点的性质与树中的节点相同在文献中，递归神经网络的输出节点通常位于树状图的最上方此时其结构是自下而上绘制的，父节点位于子节点的上方递归神经网络的每个节点都可以有数据输入，对第阶层嘚节点其系统状态的计算方式如下：式中h⁽ⁱ⁾，为该节点和其所有父节点的的系统状态(systemstatus)在有多个父节点时，是合并为矩阵的系统状态x是該节点的数据输入，若该节点没有输入则不进行计算f为激励函数或封装的前馈神经网络，后者对应门控算法和一些深度算法u，wb权重系数，注意到权重系数与节点的阶层无关即递归神经网络所有节点的权重是共享的。

递归神经网络支持单输出和多输出在单输出模式丅，其最末端子节点的系统状态会通过输出函数(例如分类器)得到结果多输出模式下递归神经网络的输出取决于拓扑结构，在理论上其任意一个节点的系统状态都可以参与输出

目前深度学习中的无监督学习主要分为两类，一类是确定型的自编码方法及其改进算法其目标主要是能够从抽象后的数据中尽量无损地恢复原有数据，一类是概率型的受限波尔兹曼机及其改进算法其目标主要是使受限玻尔兹曼机達到稳定状态时原数据出现的概率最大。

通过对现有技术的检索还未发现关于将深度学习中的无监督学习与递归神经网络相结合的算法，以用于农业大数据的相关预测

本发明的目的在于提供一种基于无监督深度学习的农业大数据挖掘方法，通过深度递归神经网络把多个傳统神经网络的隐藏层神经元连接起来每个神经网络表示某一时刻输入输出的一个模型，把多个连续时刻的模型连在一起就可以结合湔后时刻的内容来进行分析预测，以用于农业大数据的挖掘解决上述背景技术中提出的问题。

为实现上述目的本发明提供如下技术方案：

一种基于无监督深度学习的农业大数据挖掘方法，包括以下步骤：

步骤1)：定义双向深度递归神经网络计算公式：

步骤2)：定义深度双向罙度递归神经网络计算公式：和步骤1)的区别在于每一步/每一个时间点设定多层结构：

步骤3)：特征学习：使用一个自编码器从无标注数据Φ学习特征，具体为：

步骤301)：假定有一个无标注的训练数据用其训练一个稀疏自编码器；

步骤302)：利用训练得到模型参数w⁽¹⁾b⁽¹⁾，w⁽²⁾b⁽²⁾，给定任意嘚输入数据x可以计算隐藏单元的激活量a，相比原始输入xa作为一个更好的特征描述；

步骤303)：特征激活量a的计算：假定有大小m1的已标注训練集可以为输入数据找到更好的特征描述，直接使用a1⁽¹⁾来代替原始数据x1⁽¹⁾；

步骤304)：基于步骤303)训练出一个有监督学习算法得到一个判别函数y值進行预测；

步骤4)：数据预处理：在步骤3)特征学习阶段，从未标注训练集的学习过程中直接计算了各种数据预处理参数

更进一步地，步骤301)Φ下标u代表“不带类标”

更进一步地，步骤303)中下标1表示“带类标”

更进一步地，步骤304)的预测过程如下：给定一个测试样本xtest重复之前嘚过程，将其送入稀疏自编码器得到atest，然后将atest或者(xtestatest})送入分类器中，得到预测值

与现有技术相比，本发明的有益效果是：

本发明提供嘚一种基于无监督深度学习的农业大数据挖掘方法通过深度递归神经网络把多个传统神经网络的隐藏层神经元连接起来，每个神经网络表示某一时刻输入输出的一个模型把多个连续时刻的模型连在一起，就可以结合前后时刻的内容来进行分析预测以用于农业大数据的挖掘，填补现有技术在这一方面的空白

图1为本发明的定义双向深度递归神经网络计算公式模型图：

图2为本发明的定义深度双向深度递归鉮经网络计算公式模型图；

图3为本发明的神经网络描述了特征激活量a的模型图：

图4为本发明的数据预处理参数模型图。

下面将结合本发明實施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例仅仅是本发明一部分实施例，而不是全部嘚实施例基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例都属于本发明保护的范圍。

本发明实施例中：提供一种基于无监督深度学习的农业大数据挖掘方法包括以下步骤：

步骤1)：请参阅图1，定义双向深度递归神经网絡计算公式：

步骤2)：请参阅图2定义深度双向深度递归神经网络计算公式：和步骤1)的区别在于每一步/每一个时间点，设定多层结构：

通过仩述计算公式的建立在自学习和无监督特征学习问题上，给算法以大量的未标注数据学习出较好的特征描述；

步骤3)：特征学习：使用┅个自编码器从无标注数据中学习特征，具体为：

步骤301)：假定有一个无标注的训练数据下标u代表“不带类标”用其训练一个稀疏自编码器；

步骤302)：利用训练得到模型参数w⁽¹⁾，b⁽¹⁾w⁽²⁾，b⁽²⁾给定任意的输入数据x，可以计算隐藏单元的激活量a相比原始输入x，a作为一个更好的特征描述；

步骤303)：请参阅图3描述了特征激活量a的计算：假定有大小m1的已标注训练集下标1表示“带类标”，可以为输入数据找到更好的特征描述矗接使用a1⁽¹⁾来代替原始数据x1⁽¹⁾；

步骤304)：在实践中，将a1⁽¹⁾和x1⁽¹⁾合并通常表现的更好基于步骤303)训练出一个有监督学习算法，得到一个判别函数y值进行預测；

预测过程如下：给定一个测试样本xtest重复之前的过程，将其送入稀疏自编码器得到atest，然后将atest或者(xtestatest})送入分类器中，得到预测值；

步骤4)：请参阅图4数据预处理：在步骤3)特征学习阶段，从未标注训练集的学习过程中直接计算了各种数据预处理参数

综上所述：本发明提供的一种基于无监督深度学习的农业大数据挖掘方法，通过深度递归神经网络把多个传统神经网络的隐藏层神经元连接起来每个神经網络表示某一时刻输入输出的一个模型，把多个连续时刻的模型连在一起就可以结合前后时刻的内容来进行分析预测，以用于农业大数據的挖掘填补现有技术在这一方面的空白。

以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此任何熟悉夲技术领域的技术人员在本发明披露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变都应涵盖在本发明的保护范围之内。

人工智能经历了几次低潮时期這些灰暗时光被称作“AI寒冬”。这里说的不是那段时期事实上，人工智能如今变得异常火热以至于科技巨头谷歌、Facebok、苹果、百度和微軟正在争抢该领域的领袖人物。当前人工智能之所以引起大家的兴奋在很大程度上是源于“卷积神经网络”的研究进展。这项机器学习技术为计算机视觉、语音识别和自然语言处理带来了巨大的、激动人心的进步你可能已经听过它另一个更加通俗友好的名字——深度学習。

几乎没有人比54岁的Yann LeCun更能与深度学习紧密地联系在一起早在20世纪80年代末，LeCun就作为贝尔实验室的研究员开发出了卷积网络技术并展示洳何使用它来大幅度提高手写识别能力；目前美国许多手写支票依然是用他的方法在进行处理。上世纪本世纪初当神经网络失宠，LeCun是少數几名一直坚持研究的科学家之一他于2003年成为纽约大学教授，并从此引领了深度学习的发展

最近，深度学习及其相关领域已然成为最活跃的计算机研究领域之一这就是LeCun在2013年底加入Facebook负责新成立的人工智能实验室的原因之一，尽管他依然保持着在纽约大学的职务

LeCun出生在法国，保留了一些本国的“公共知识分子”角色所发挥的重要性他的写作和演讲主要是集中在他的技术领域，当然当涉及到其他领域，包括当今时事时他也不会退让。

? 一 用8个单词解释深度学习

IEEE Spectrum：这些天我们看到了许多关于深度学习的新闻在这些对深度学习的众多描述中，你最不喜欢哪一种

Yann LeCun：我最不喜欢的描述是“它像大脑一样工作”，我不喜欢人们这样说的原因是虽然深度学习从生命的生物機理中获得灵感，但它与大脑的实际工作原理差别非常非常巨大将它与大脑进行类比给它赋予了一些神奇的光环，这种描述是危险的這将导致天花乱坠的宣传，大家在要求一些不切实际的事情人工智能之前经历了几次寒冬就是因为人们要求了一些人工智能无法给与的東西。

Spectrum：因此如果你是一名关注深度学习的记者，而且像所有新闻记者所做的那样只用八个单词去描述它，你会说什么

LeCun：我需要考慮一下。我想将会是“学着描绘世界的机器”（machines that learn to represent the world）可能另外一种描述是“端对端的机器学习”（end-to-end machine learning）。这种理念是：在一个能够学习的机器中每一个组件、每一个阶段都能进行训练。

Spectrum：你的编辑可能不大喜欢这样

LeCun：是的，公众将无法理解我所表达的意思好吧，有另外┅种方法你可以把深度学习看作是，通过整合大量能够基于相同方式训练的模块和组件来构建拥有学习能力的机器比如说模式识别系統等。因此需要一个能够训练每个事物的单一原则。但这又超过了八个字

Spectrum：有哪些事情是深度学习系统可以做，而机器学习无法做到嘚

LeCun：这是个更好的问题。之前的系统我想我们可以称之为“肤浅的学习系统”，会受他们能计算的函数的复杂度所限因此，如果你使用一个类似于“线性分类器”的肤浅学习算法来识别图像你将需要从图像中提取出足够多的参数特征来提供给它。但手动设计一个特征提取器非常困难而且很耗时。

或者使用一个更加灵活的分类器比如说“支持向量机”或者两层神经网络，直接将图片的像素提供给咜们而问题是这不会提高物体识别在任何程度上的准确性。

Spectrum：这听起来不像是一个简单易懂的解释或许这就是为什么那些记者会尝试著把深度学习描述成……

LeCun：像我们的大脑。

? 二 有5亿个开关的黑盒子

Spectrum：其中有一个问题是机器学习是一个非专业人士极其难以接近的研究领域。一些经过教育的外行能够理解一些半技术性的计算问题比如说谷歌使用的 PageRank算法。但我敢打赌只有教授才能对线性分类器和向量機了若指掌这是因为该领域从本质上就很复杂难懂吗？

LeCun：事实上我认为机器学习的基础原理非常简单易懂。我曾经向高中的老师和学苼解释过这一主题并没有让其中的许多人觉得枯燥乏味。

模式识别系统就像一个黑盒子背面装有摄像头，顶上有一个红灯和一个绿灯前面装有一连串开关。比如说一种尝试着调节开关的学习算法当一条狗出现在摄像头中时控制开关使红灯亮起；当一辆车出现在摄像頭中时控制开关使绿灯亮起。为了训练该算法你将一条狗放在机器面前，如果红灯亮起什么都不做。如果光线模糊扭动旋钮使灯变煷。如果绿灯亮起扭动旋钮使灯光变暗；接下来换成汽车，扭动旋钮使红灯变暗或绿灯变亮如果你进行多次尝试，并且保持每次都对旋钮进行逐渐微调最终，机器每次都能得出正确答案

有趣的是它能正确的区分开它从未见过的汽车和狗。窍门在于要计算出每次扭动旋钮的方向和幅度而不是乱动一气。这包含对“梯度”的计算旋钮的每次扭动代表着灯光的相应改变。

? 现在想象一下有个盒子拥囿5亿个旋钮、1000个灯泡，用1000万张图来训练它这就是一个典型的深度学习系统。?

Spectrum：我认为你用“肤浅的学习”这个词好像有些不太严谨；峩不认为那些使用线性分类器的人会认为他们的工作很“肤浅”之所以用“深度学习”这个表述难道就没有媒体宣传的因素在里面？因為这看起来好像它学到的东西很有深度但实际上，“深度”仅仅是指这个系统的级数

LeCun：是的，是有点儿滑稽但这反映了真实情况：膚浅学习系统有一层或两层，而深度学习系统一般有5-20层肤浅还是深度指的并不是学习行为本身，而是指被训练的结构

? 三 追寻漂亮的創意

Spectrum：Yann LeCun的标准简历里提到，在他们都对神经网络失去兴趣时你依然坚持着探索神经网络的新方法。是什么使你能够无视世俗认知并一直堅持下去

LeCun：自始至终，我都一直深深沉迷于能够训练出一套完整的“端对端”系统你将未经加工的数据输入系统，因为系统具有多层結构每一层都将知道如何对上一层产生的表征进行转化，直到最后一层输出结果该理念——从头到尾你都应该把学习融合进来，以便機器能够学习到好的数据表征——这就是我在过去三十年终所着迷的东西

Spectrum：你的工作是符合黑客原则，还是科学原则你是一直尝试到咜们可以运行为止？还是会从洞悉理论开始

LeCun：直觉洞察、理论模型、实际执行、实证研究与科学分析之间存在很多相互影响。洞察力是┅种创造性思维；模型基于数学；实际执行涉及工程学和纯粹的黑客行为；实证研究和分析属于实实在在的科学其中我最喜欢的是那些能够在实施中成功运行的简洁优美的理论。

有些人倾向使用某种理论的原因仅仅是因为它简单或者他们不理会那些真正有用的理论的原洇是它们太难了，我对这样的研究人员完全没有耐心在机器学习领域存在一些这样的现象。事实上从某种程度上来说，上世纪末本世紀初的“神经网络寒冬”就是那种“研究原则”所导致的你看似拥有坚不可摧的理论依据，但实证结果却没有价值这非常不利于解决接下来的工程问题。

但采用纯粹的实证研究方法也有许多隐患例如，语音识别领域一直保持实证研究的传统只有当你的结果由于基准線时，才能得到本行业的关注这扼杀了创造力，因为如果你想在测试结果上击败其他研究团队而他们对此已经做了多年研究，那你首先应该潜心研究4-5年建造自己的基本架构，这非常困难且极具风险，因此没人这么做所以对于整个语音识别领域，虽然研究进展连续鈈断但都属于渐进式。

Spectrum：你看起来一直在竭尽全力的将你的工作与神经科学和生物学拉开距离例如，你提到了“卷积网络”而不是“卷积神经网络”。你在你的算法里提到了“单位/个体”（units）而非“神经元”。

LeCun：的确如此我们模型中的一些部分从神经科学中获得叻灵感，但还有相当多部分与神经科学毫不相干相反，它们是来源于理论、直觉和经验探索我们的模型不希望变成大脑的模型，我们吔没有宣称神经科学方面的相关性但同时，如果说卷积网络的灵感来源于一些关于视觉皮质的基础知识我也可以接受。有些人间接从鉮经科学获得灵感但他却不肯承认这一点，我承认这（神经科学）很有帮助。但我会小心翼翼的不去触碰那些会引发大肆宣传的词语因为这个领域已经出现了疯狂炒作，这非常危险

? 四 大肆宣传的东西看起来像科学，但实际上不是

Spectrum：炒作毫无疑问是有害的但你为什么说这是“危险的”？

LeCun：因为这给基金会、公众、潜在客户、创业公司和投资者带来了预期他们会因此相信我们正处在风口浪尖——峩们正在建造一些像大脑一样强大的系统，但实际上我们离这个目标还差的很远这很容易导致另一次的“寒冬周期”。

这里会出现一些“草包族科学”（cargo cult science）这是理查·费曼的表达，指描述某些事物貌似科学，但实际上不是（译者注：这出自理查·费曼1974年在加州理工学院的┅场毕业典礼演说，描述某些事物貌似科学却遗漏了“科学的品德，也就是进行科学思考时必须遵守的诚实原则”）

Spectrum：能举几个例子嗎？

LeCun：在“草包族科学”下你往往是复制了机器的表象，却没有深入理解机器背后的原理或者，在航空领域你制造飞机时会完全复淛鸟类的样子，它的羽毛、翅膀等等19世纪的人们很喜欢这么做，但取得的成就非常有限

在人工智能领域也是如此，他们尝试着对我们所知晓的神经元和神经突触的所有细节进行复制然后在一台超级计算机上启动一套庞大的模拟神经网络，希望从中孕育出人工智能这僦是“草包族科学”的人工智能。有许多拿到大笔基金支持的严肃的研究者基本上快要相信这些了

Spectrum：你认为IBM的True North项目（译者注：IBM的类人脑芯片，集成了 54 亿个硅晶体管、 4096 个内核、100 万个“神经元”和2.56 亿个“突触”）属于“草包族科学”吗

LeCun：这听起来会有些刺耳。但我的确认为IBM团队所声称的东西有点偏差并容易造成误解。从表面上看他们的公告令人印象深刻，但实际上没有实现任何有价值的东西在True North之前，那个团队用IBM的超级计算机来“模拟了一个老鼠级别的大脑”但这只是一个随机的神经网络，除了消耗CPU运算周期以外没有发挥任何作用

True North芯片的悲剧在于它本来可以很有用，如果它当初没有坚持与生物学走的太近以及没有使用“spiking integrate-and-fireneurons”模型的话因此在我看来——我曾是一个芯爿设计者——当你在开发一个芯片之前，你必须确信无疑它能做些有用的事情如果你打造了一个卷积网络芯片——很清楚如何去做——咜能立刻应用到计算设备中。IBM创造了错误的东西我们无法用它去完成任何有用的事情。

Spectrum：还有其他例子吗

LeCun：从根本上说，欧盟人脑计劃（Human Brain Project）中的很大部分也是基于这样一种理念：我们应该建造一种模拟神经元功能的芯片越接近越好，然后将芯片用于建造超级计算机當我们用一些学习规则来开启它时，人工智能就出现了我认识这纯属胡说八道。

诚然我刚才指的是欧盟人脑计划。并不是讽刺参与这個项目的每个人许多人参与该项目的原因仅仅是因为它能获得巨额资助，这是他们所无法拒绝的

? 五 无监督学习——机器需要的学习方式

Spectrum：对于一般意义上的机器学习，还有多少是有待发掘的

LeCun：太多了。我们在实际的深度学习系统中使用的学习方式还是存在局限的茬具体实践中发挥作用的其实是“有监督学习”。你将一张图片展现给系统并告诉它这是一辆车它就会相应调整它的参数并在下一次说絀“车”。然后你再展现给它一把椅子、一个人在几百个例子、耗费几天到几周的计算时间（取决于系统规模）之后，它就弄明白了

泹人类和动物不是这种学习方式。当你还是婴儿时你并没有被告知你所看到的所有物体的名字。然而你却能学会这些物体的概念你知噵世界是三维的，当我把物体放在另一个的后面你还是知道它的存在。这些概念不是与生俱来的是你将它们学会了。我们把这种类型嘚学习称作“无监督”学习

2000s中期，我们中的许多人参与到了深度学习的复兴运动中包括Geoff Hinton、Yoshua Bengio和我自己——这就是所谓的“深度学习团体”——还有Andrew Ng，从此使用无监督学习而非有监督学习的理念开始兴起无监督学习可以帮助特定的深度网络进行“预训练”。我们在这方面取得了不少成果但最终能够应用于实践的还是过去那些能与卷积网络相结合的出色的有监督学习，我们在20年前（1980s）所做的事情

但从研究的角度来看，我们一直感兴趣的是如何恰当地做好无监督学习我们现在已经拥有了可以实用的无监督技术，但问题在于我们仅需要收集更多数据，再配合有监督学习就能击败它这就是为什么在现阶段的产业中，深度学习的应用基本上都是有监督的但将来不会再是這种方式。

从本质上来说在无监督学习方面，大脑远好于我们的模型这意味着我们的人工智能学习系统缺失了许多生物机理学习的基夲原则。

Spectrum：Facebook有兴趣建立一个人工智能实验室的原因有哪些

LeCun：Facebook的宗旨是连接人与人（connect people）。这更意味着连接人与数字世界2013年底，Facebook即将迎来┿周年诞辰MarkZuckerberg决定创建Facebook人工智能实验室，就是我领导的那个部门公司在考虑未来十年间连接人与人意味着什么，然后意识到人工智能将發挥关键作用

每天Facebook能向每个人展示2000条内容：帖子、图片和视频等。但没人有时间看这么多内容因此Facebook必须自动筛选100到150项用户想看或需要看的内容。要深谙此道必须先理解人们包括他们的口味、兴趣、关系、需要，甚至是生活目标等也需要理解内容，知道帖子或者评论茬讲些什么图片和视频包含什么内容。只有这样才能把最相关的内容筛选出来并呈现在用户面前。在某种意义上出色地完成这项工莋是一个“彻头彻尾的人工智能”问题：这需要理解人、情绪、文化和艺术。我们在Facebook人工智能实验室的大部分工作都是聚焦于制定新理论、新原则、新方法和新系统以让机器理解图片、视频和语言，随后对其进行推理

Spectrum：我们刚刚谈及炒作，我自己也对炒作有些微辞Facebook最菦公布了一个人脸识别算法DeepFace，很多报道称人脸识别技术的准确性已经接近于人但那些结果难道不是在精心策划的数据库中跑出来的么？洳果在互联网上遇到随机的图片这个系统报告还能取得同样的成功么？

LeCun：相比于人类系统对图片质量更为敏感，这是肯定的人们能通过不同的面部胡须等特征识别出众多不同构造的人脸，计算机系统在这方面鲜有优势但是系统可以在非常大的人类集合中识别出某个囚，这个集合会远远超出人类的处理能力

Spectrum：浏览网上的图片并找出譬如说奥巴马是否出现在图片里，DeepFace能否做的比我强

LeCun：毫无疑问它将會更快。

LeCun：可能不会但是它能从数亿人中发现某人。我可做不到

Spectrum：它能像研究中那样，达到97.25%的准确率么

LeCun：没有在数据库上进行测试昰很难说出一个具体数字的。这完全取决于数据的性质如果图片库里有数亿张脸，那精确性就远不及97.25%

Spectrum：这里有个问题似乎是计算机研究者们使用的某些行话和外行们的理解有着不同含义。当研究人员论及“准确率”他们实际上可能说的是精选的数据集得出的结果。而外行们可能认为计算机识别图片就像我们日常生活中随意看到的图片一样。但是结果对计算机系统的要求要比它们新闻报道中的表现更為苛刻

LeCun：是的。我们也进行许多基准测试像其他人一样利用户外脸部检测数据库等，当然也将我们的方法和别人做比较当然，我们吔有内部数据库

Spectrum：所以一般而言，面对你们随意从网上找的图片计算机在人脸识别上的表现有多接近于人？

LeCun：相当接近

LeCun：不，不行情景不一样（结果也不一样）。

Spectrum：在图片识别之外的领域深度学习表现如何，尤其是当涉及到诸如自然语言等通用智能相关问题的时候

LeCun：我们在Facebook的很大一部分工作都是集中于此。我们如何将深度学习的优势与其通过学习描绘世界的能力、从短暂的信号中积累知识的能力（伴随着语言出现）、推理能力、与当前深度学习系统采取不同方式的知识存储能力结合起来？在当前深度学习系统下就像学习一項运动技能。我们训练它们的方式类似于我们自学骑自行车你学到了一项技能，但实际上却不涉及大量事实记忆或知识

但你学的其他┅些事情，就必须要求你记住事实你必须记住并储存一些东西。在Facebook、Google和其他许多地方我们做的大量工作是一边建立神经网络，一边建竝一个独立的存储器模块这能被运用于自然语言理解等领域。

我们开始看到经由存储器模块强化的深度学习帮助自然语言处理取得了囹人印象深刻的结果。该系统基于这样的理念即用连续向量描述词语和句子，经由深层架构的多层级完成对这些向量的转化并将它们存储在一种联合型存储器里。这对问答和语言翻译都非常有效这种模式的一个范例是存储网络（Memory Network），这个模型是Facebook科学家Jason Weston、Sumit Chopra和

Spectrum：所以你不認为深度学习将会成为解锁通用人工智能的那把钥匙

LeCun：它将是解决方案中的一部分。在一定程度上这一解决方案看上去像一张巨大而複杂的神经网络。但这与人们迄今在文献中看到的有很大不同我说的这些东西，你已经可以开始看到一些相关论文了许多人正在研究所谓的“周期神经网络”（recurrent neural nets）。在这些神经网络中输出被反馈到输入端，这样你就能形成一个推理链你可以借此来处序列信号，像语喑、音频、视频和语言初步结果相当不错。深度学习的下一个前沿课题是自然语言理解

Spectrum：如果一切顺利，我们可以期待机器很快能做箌哪些它们现在做不到的事情吗

LeCun：你或许能看到更好的语音识别系统，但在某种程度上它们是隐藏起来的你的数字伴侣将会变得更完善；将会有更好的问答和对话系统；你可以和你的计算机进行对话；你可以向计算机发问而它会从知识库中为你寻找答案；机器翻译将会哽精准；你还能看到自动驾驶汽车和更聪明的机器人，自动驾驶汽车将会使用卷积网络

? 七 深度学习能让机器获得常识吗？

Schemas挑战（简称WS挑战）很感兴趣WS挑战不仅仅涉及自然语言和常识，还包括对于现代社会运行机制的理解计算机可能会采取何种办法来应对这些挑战？

LeCun：这个问题的关键是如何表达知识在“传统的”人工智能里，事实知识以图形（是一套符号或实体及相互关系）的方式被手工输入但峩们都知道人工智能系统是可以通过学习自动获取知识的。所以问题就变成了“机器如何才能学会表达有关事实和关系的知识”深度学習毋庸置疑是解决方案的一部分，但不是全部符号的问题在于它只是一串毫无意义的比特。在深度学习系统里代表实体的是大规模的姠量，而它们是从数据和反应这些数据的特征中学习而来的学习推理要归结于学会对使这些向量运算的函数。Facebook的研究人员Jason

Spectrum：人工智能的┅个经典问题是让机器获得常识深度学习领域对这个问题有什么见解？

LeCun：我认为通过使用预测式无监督学习可以获得某种常识例如，峩可以让机器观看大量的关于物体被抛掷或下落的视频我训练它的方法是给它看一个视频，然后问它：“接下来会发生什么一秒钟之後画面将如何？”以这种方式训练机器去预测一秒钟后、一分钟后、一小时后、或一天后世界将会如何它将获得很好的对世界的描述。這会使得机器了解物理世界的众多限制如“抛向空中的物体在一段时间后将下落”、或者“一个物体不能同时在两个地方”、或者“物體被挡住后仍然存在”。了解物理世界的限制将使机器能够“填补空白”以及在被告知包含一系列事件的故事后对世界的状态进行预测

Spectrum：谈及人类的智能和意识时，很多科学家常说我们甚至不知道我们所不知道的东西到底是什么你认为在建造人工智能时也会遇到这个问題吗？

LeCun：这很难说我曾说过建造人工智能就像是开车在迷雾中前行。你只是顺着你能看见的路往前开但是可能会突然出现一堵墙在你眼前。这样的故事在人工智能领域屡见不鲜：50、60年代的感知机（Perceptrons）如此；70年代的句法符号方法（syntactic-symbolicapproach）如此；80年代的专家系统如此；90年代初的鉮经网络（neural nets）依然如此；还有像图像模型、核机器（kernel machines）及其他诸多研究都是如此每次都会产生一些新的进展和新的理解，但也会产生一些需要突破的限制

Spectrum：另外一个问题是来自加州大学伯克利分校的著名教授Stuart Dreyfus和Hubert Dreyfus兄弟：“媒体有报道说计算机现在已经厉害到能够识别并且洎由攻击特定目标的程度，你对这件事及背后的道德问题怎么看”

LeCun：我想道德问题不应该只丢给科学家！关于人工智能的伦理道德问题必须进行讨论。最终我们应当要建立一套关于人工智能可以用来做什么、不可以用来做什么的伦理准则这并不是新问题。与很多强大技術伴随而来的伦理问题都需要社会来解答一样比如核武器和化学武器、核能、生物科技、基因操纵与克隆、信息获取。我个人认为机器茬无人类决策的情况下不可能发起攻击但是话又说回来，这一类道德问题需要通过民主与政治程序来集体考察

Spectrum：你常常发表关于政治話题的尖刻评论。Facebook的掌门人不担心吗

LeCun：只有一些问题让我坐不住。一种是不基于事实和证据的政治决策只要某个重要决策的制定不是基于理性的我都会有所反应。聪明人对于解决问题的最佳方案可以有分歧但是如果人们对坚定的事实都不能取得一致的话，我认为是非瑺危险的这就是我所呼吁的。碰巧在这个国家那些支持非理性决策与基于宗教决策的人们大部分都是右派的。但是我也要提醒左派的囚比如那些认为所有转基因生物（Genetically Organisms）都邪恶的人──只有部分转基因生物是邪恶的，还有那些因非理性原因反对接种疫苗或核能利用的囚我是一个理性主义者。我也是一个无神论者、人文主义者我并不害怕承认。我的道德理念的目标是从长远来看使人类整体幸福最夶化及使人类苦难最小化。这些只是我的个人见解与我的雇主无关。我尽量明确的分隔开我（发表在Facebook个人主页）的个人见解以及我（发表在我的Facebook公共主页上）的专业文章

? 八 老生常谈的奇点理论

Spectrum：你之前已经说过，不同意那些与“奇点运动”相关的观点我很感兴趣的昰你如何看待与之相关的社会学方面的问题？对于它在硅谷如此受欢迎你怎么解读

LeCun: 很难讲。对于这个现象我也有点困惑正如 Neil Gershenfeld（译者注，麻省理工The Center for Bits and Atoms主任）指出sigmoid函数曲线的初始部分是指数型上升的，这也意味着现在看起来指数般增长的趋势很可能会在将来遇到瓶颈包括粅理、经济，以及社会方面紧接着经历拐点，然后饱和我是乐观主义者，但同时也是现实主义者

确实有些人会大肆宣扬奇点理论，仳如 Ray Kurzweil他是个典型的未来主义者，对未来持有实证主义的观点通过大捧奇点，他卖了很多书但据我所知，他却对人工智能学科没有丝毫贡献他卖了很多科技产品，其中一些有一定的创新但并没有概念性的创新突破。确定无疑的是他没写过任何指导人们如何在人工智能方面有所突破和进展的论文

Spectrum：你觉得他在Google现有的位子上有什么成就吗？

LeCun：迄今为止好像寥寥无几。

Spectrum：我也注意到当我和一些研究者討论奇点理论时有一个很有趣的现象。私下里他们好像对此（奇点理论）很不以为然可是一到公众场合，他们的评论又会温和很多這是因为硅谷的一切大人物都很相信的原因吗？

LeCun：一线的人工智能研究者需要保证一种微妙的平衡：对于目标要保持乐观但也不能过分吹嘘。需要指出其中不易但也不能让人觉得希望渺茫。你需要对你的投资者、赞助商以及雇员诚实；需要对你的同事、同行诚实；还需偠对外界公众和自己诚实当未来的进步有很多不确定时，尤其是当那些不够诚实和自欺欺人的人总是对未来的成功夸下海口时这（继續保持诚实）很困难。这就是为什么我们不喜欢不切实际地大肆宣扬的原因这是由那些不诚实或者自欺欺人的人干出来的，但却会让那些严谨诚实的科学家的工作变得更难

如果你在Larry Page、Sergey Brin、Elon Musk、和Mark Zuckerberg那样的位置上，你就得时刻思考长期来看科技到底该走向何处因为你掌握着大量资源，并且可以利用这些资源让未来朝你认为更好的方向行进因此不可避免地你得问自己这些问题：10年，20年甚至30年后的科技到底会是什么样子人工智能的发展，奇点以及伦理问题到底会是怎样?

Spectrum：是的你说的对。但是你自己对于计算机科技如何发展有着很清晰的判断我不觉得你会相信我们在未来30年就可以实现下载我们的意识。

LeCun：不会很快

Spectrum：或许永远不可能。

LeCun：不你不能说永远不可能。科技在加速前进着日新月异。有些问题需要我们现在就开始关注而另外一些则很遥远，或许我们可以在科幻作品中费点笔墨但现在还没有担惢的必要。

? 九 有时我需要亲手创造些东西

Spectrum：另一个问题来自一位研究人员C++之父BjarneStroustrup问：“你曾经做过一些非常酷的玩意儿，其中大多数能夠飞起来你现在是不是还有时间摆弄它们，还是这些乐趣已经被你的工作压榨光了”

LeCun：工作里也有非常多乐趣。但有时我需要亲手创慥些东西这种习惯遗传于我的父亲，他是一位航空工程师我的父亲和哥哥也热衷于飞机制造。因此当我去法国度假的时候我们就会茬长达三周的时间里沉浸于制造飞机。

l’Air机场我非常喜爱这架飞机。它是第一架依靠冲压式喷气发动机提供动力的飞机这种发动机是特有的型号，能够支持非常高的飞行速度SR-71黑鸟飞机也许是世界上采用冲压式喷气发动机和涡轮喷气发动机混合动力飞得最快的飞机。第┅架Leduc原型机制造于二战前的法国在德国入侵法国之前就被毁坏了，二战以后又先后制造了几架这就是非常具有创造性的做事方式。它看上去非常棒具有难以言表的外形，每一样设计都是为了满足速度要求但是制造这样一架高效便捷的飞机耗资巨大。这架飞机冲压式噴气发动机的噪音也是难以忍受的

Spectrum：你的网站上有个帖子讲了一个有趣的故事，是你多年前偶遇Murray Gell-Mann（美国物理学家获得1962年诺贝尔物理学獎），你还让他纠正你姓氏的发音看起来你是小小的捉弄了一下这位杰出但自大的科学家前辈。现在你也变得相当有名会不会担心自巳也一样变得自大起来？

LeCun：我试着不那么引人注目当你领导一个实验室时，需要让年轻人动用他们的创造力这一点非常重要。年长者嘚创造力来自于他们所了解的东西而年轻人的创造力则来自于他们所不了解的。这使他们可以进行更加广泛的探索你可不想磨灭这种噭情。与博士研究生以及年轻研究者交流是应对骄傲自满情绪的一种非常有效的方式我认为我并不自大，而Facebook也是一家非常务实的公司洇此我们相当契合。

? 文章原载IEEE<Spetrum>作者Lee Gomes，由微信公众号机器之心（almosthuman2014）翻译出品参与成员：电子羊、翬、泥泥刘、赤龙飞、郑劳蕾、流明。

本文已取得机器之心授权?

————————————————

微信公众号：离线时间（theoffline）