入门级攻略：机器学习 VS. 深度学习 - 简书
入门级攻略：机器学习 VS. 深度学习
本文以浅显易懂的语言介绍了机器学习和深度学习的定义及应用，以及在源数据要求，硬件支持，特征工程、问题解决方式、执行时间及可解释性等方面的区别，对于新手入门有很大启示意义。楔子：机器学习和深度学习现在很火，你会发现突然间很多人都在谈论它们。如下图所示，机器学习和深度学习的趋势对比（来自Google trend，纵轴表示搜索热度）：
本文将会以简单易懂的语言及示例为大家详细解释深度学习和机器学习的区别，并介绍相关用途。机器学习和深度学习简介机器学习Tom Mitchell关于机器学习的定义被广泛引用，如下所示：对于某类任务T和性能度量P，如果一个计算机程序在T上以P衡量的性能随着经验E而不断自我完善，那么我们称这个计算机程序在从经验E学习。“A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E ”上面的抽象定义可能使你感到困惑，相信下面几个简单的示例会让你恍然大悟。【例1 根据身高预测体重】假设你要创建一个根据人的身高预测体重的系统。第一步是收集数据，收集完之后画出数据分布图如下所示。图中的每个点都代表一条数据，横坐标表示身高，纵坐标表示体重。我们可以画一条简单的直线来根据身高预测体重，比如：
Weight (in kg) = Height (in cm) - 100如果这条直线预测身高很准确，那怎样来衡量它的性能呢？比如以预测值和真实值之间的差值来衡量预测模型的性能。当然，源数据越多，模型效果就越好。如果效果不好，那么可以使用其他方法来提升模型性能，如增加变量（如性别）或者改变预测直线。【例2 风暴预测系统】假定要构建一个风暴预测系统，你手头上有过去发生的风暴数据以及这些风暴发生前三个月的天气数据。那么怎样构建一个风暴预测系统呢？
首先要做的是清洗数据并找到数据中的隐藏模式，比如导致风暴产生的条件。我们可以对一些条件建模，比如温度是否大于40摄氏度，湿度是否介于80到100之间，然后将这些特征输入模型。你要做的就是充分利用历史数据，然后预测是否会产生风暴。在这个例子中，评价的指标是正确预测风暴发生的次数。我们可以重复预测过程多次，然后将性能结果返回系统。回到最初机器学习的定义，我们将风暴预测系统定义如下：任务T是找到造成风暴的大气条件，性能P是在模型参数学习好之后，正确预测的次数，经验E是系统的迭代过程。深度学习深度学习其实很早之前就出现了，随着近几年的炒作，又逐渐火起来了。深度学习是一种特殊的机器学习，它将现实世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念，从一般抽象概括到高级抽象表示），从而获得强大的性能与灵活性。Deep learning is a particular kind of machine learning that achieves great power and flexibility by learning to represent the world as nested hierarchy of concepts, with each concept defined in relation to simpler concepts, and more abstract representations computed in terms of less abstract ones.【例1 图形检测】假设我们要将矩形和其他图形区别开。人眼首先是检测这个图形是否有4条边（简单概念）。如果有4条边，在检测它们是否相连，闭合且垂直，以及是否相等（嵌套层次概念）。事实上，我们将一个复杂的任务（矩形识别）分解成一些简单低抽象层次的任务。深度学习本质上是在更大的范围内做这件事。
【例2 猫还是狗】这个案例是构建一个能够识别图片中动物是猫或者狗的系统。
如果使用机器学习解决这个问题，首先要定义一些特征，比如该动物是否有胡须、耳朵；如果有耳朵，那么耳朵是否是尖的。简单地说，我们要定义面部特征，然后让系统识别出在动物分类中哪些是重要特征。而深度学习会一次性完成这些任务，深度学习会自动找到对分类任务重要的特征，而机器学习不得不人工指定。深入学习工作流程如下：1. 首先在图片中找到和猫或者狗最相关的边界；2. 然后找到形状和边界的组合，如是否能找到胡须和耳朵；3. 在复杂概念的连续分层识别后，就能够确定哪些特征对识别猫狗起重要作用。机器学习和深度学习的对比
数据依赖深度学习和传统机器学习最重要的区别是它的性能随着数据量的增加而增强。如果数据很少，深度学习算法性能并不好，这是因为深度学习算法需要大量数据才能很好理解其中蕴含的模式。这种情况下，使用人工指定规则的传统机器学习占据上风。如下图所示：
深度学习算法严重依赖于高端机，而传统机器学习在低端机上就可以运行。因为深度学习需要进行大量矩阵乘法操作，而GPU可以有效优化这些操作，所以GPU成为其中必不可少的一部分。特征工程特征工程将领域知识输入特征提取器，降低数据复杂度，使数据中的模式对学习算法更加明显，得到更优秀的结果。从时间和专业性方面讲，这个过程开销很高。机器学习中，大部分使用的特征都是由专家指定或根据先验知识确定每个数据域和数据类型。比如，特征可以是像素值，形状，纹理，位置，方向。大多数机器学习方法的性能依赖于识别和抽取这些特征的准确度。
深度学习算法试图从数据中学习高层特征，这是深度学习与众不同的一部分，同时也是超越传统机器学习的重要一步。深度学习将每个问题归结为开发新特征提取器，如卷积神经网络在底层学习如边和直线种种低层特征，然后是面部部分特征，最后是人脸的高层特征。问题解决方案
当使用传统机器学习方法解决问题时，经常采取化整为零，分别解决，再合并结果求解的策略。而深度学习主张end-to-end模型，输入训练数据，直接输出最终结果，让网络自己学习如何提取关键特征。比如说你要进行目标检测，需要识别出目标的类别并指出在图中的位置。
典型机器学习方法将这个问题分为两步：目标检测与目标识别。首先，使用边框检测技术，如grabcut，扫描全图找到所有可能的对象，对这些对象使用目标识别算法，如HOG/SVM，识别出相关物体。深度学习方法按照end-to-end方式处理这个问题，比如YOLO net通过卷积神经网络，就能够实现目标的定位与识别。也就是原始图像输入到卷积神经网络中，直接输出图像中目标的位置和类别。执行时间通常，深度学习需要很长时间训练，因为深度学习中很多参数都需要远超正常水平的时间训练。ResNet大概需要两周时间从零开始完成训练，而机器学习只需要从几秒到几小时不等的训练时间。测试所需要的时间就完全相反，深度学习算法运行需要很少的时间。然而，和KNN（K近邻，一种机器学习算法）相比，测试时间会随着测试数据量的增加而增加。不过并非所有的机器学习算法都需要很长时间，某些也只需要很少的测试时间。可解释性假定使用深度学习给文章自动评分，你会发现性能会很不错，并且接近人类评分水准。但它不能解释为什么给出这样的分数。在运行过程中，你可以发现深度神经网络的哪些节点被激活，但你不知道这些神经元是对什么进行建模以及这每层在干什么，所以无法解释结果。另一方面，机器学习算法如决策树按照规则明确解释每一步做出选择的原因，因此像决策树和线性/逻辑斯蒂回归这类算法由于可解释性良好，在工业界应用很广泛。机器学习和深度学习应用场景上面介绍了一些机器学习的应用领域：1.计算机视觉：如车牌号识别，人脸识别；2.信息检索：如搜索引擎，文本检索，图像检索；3.营销：自动邮件营销，目标识别；4.医疗诊断：癌症诊断，异常检测；5.自然语言处理：语义分析，照片标记；6.在线广告，等等。下图总结了机器学习的应用领域，总的来说应用范围十分广泛。
谷歌是业内有名的使用机器学习/深度学习的公司，如下图所示，谷歌将深度学习应用到不同的产品。
即时测试为了评估你是否真正理解了机器学习和深度学习的区别，这里将会有一个快速测试，可以在提交答案。你要做的就是分别使用机器学习和深度学习解决下面的问题，并决定哪个方法更好。【场景1】 假设你要开发一个无人驾驶汽车系统，该系统以相机拍摄的原始数据作为输入，然后预测方向盘转动的方向及角度。【场景2】给定一个人的信用凭证和背景信息，评估是否可以给他发放贷款。【场景3】创建一个将俄语文本翻译为印度语的系统。未来趋势前面总结了机器学习和深度学习的区别，本节对二者未来趋势：1. 鉴于工业界使用数据科学和机器学习呈增加的趋势，在业务中使用机器学习对那些想要生存下来的公司变得越发重要。同时，了解更多的基础知识也十分有必要。2. 深度学习给人越来越多的惊喜，将来也会一直是这样。深度学习被证明是已有技术中最先进的最好的技术之一。3. 深度学习和机器学习和研究还在继续，不像以前那样在学术界发展受限。目前机器学习和深度学习在工业界和学术界呈爆炸式发展。并且受到比以前更多的基金支持，很有可能成为人类发展的关键点之一。尾声本文将深度学习和机器学习进行了详细对比，希望能够激励大家去学到更多知识。请参考和。【作者简介】
, 数据科学爱好者，深度学习，醉心于人工智能。以上为译文本文由北邮老师推荐，组织翻译。文章原标题《Deep Learning vs. Machine Learning – the essential differences you need to know!》，作者：，译者：李烽，审校：段志成-海棠
汇集阿里技术精粹，http://yq.aliyun.com
欢迎关注：
官方微博@阿里云云栖社区
官方微信号 yunqiinsight
机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注:机器学习资料篇目一共500条,篇目二开始更新 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．希望看到文章的朋友...
机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 廖君机器学习资料 注:机器学习资料篇目一共500条,篇目二开始更新 希望转载的朋友，你可以不用联系我．但是一定要保留原文链接，因为这个项目还在继续也在不定期更新．...
《Brief History of Machine Learning》 介绍:这是一篇介绍机器学习历史的文章，介绍很全面，从感知机、神经网络、决策树、SVM、Adaboost到随机森林、Deep Learning. 《Deep Learning in Neural Netw...
【链接】http://www.cnblogs.com/subconscious/p/4107357.html 在本篇文章中，我将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。这篇文档也算是EasyPR开发的番外篇，...
From：http://www.tuicool.com/articles/rqIRJb2本文收集了百来篇关于机器学习和深度学习的资料，含各种文档，视频，源码等。而且原文也会不定期的更新，望看到文章的朋友能够学到更多。《Brief History of Machine Lea...
【出发】 我在家里排行老五，从小到大，家里的事情不是有父母担着就是有哥哥姐姐帮忙，家里的事情从来就不用我操心。6月26日晚上6点半，在我会深圳的路上，我哥一个电话告诉我，老爸被电线杆砸伤了，要让他回去。接着晚上8点，我妈打电话给我，让我回去老家，她一个人没有办法照顾。我才知...
【同读一本书.徐猛】-049
——————————————————————《谈话的力量》 ———————————— 正文：
第一，提问题的时候要持愿意倾听的态度。无论你多么善于交际，如果你只是冷冷地流于形式，对方最终会感觉到你只不过是在设法让他...
现代社会，日新月异的科学技术让人们的生活更加便利，在医学界也是如此，不论是医院还是药店，医生或者服务员都会向患者推荐西医的治疗方法或者西药，似乎在我国流传了五千年的中医，已经在人们的视野里销声匿迹。 微博名人，北京积水潭烧伤科医师“烧伤超人阿宝”便是一位坚定的“中医无用论”...
最早学习的是C语言，并以此安身立命，后面陆陆续续在工作中接触到了C++，Python以及Go语言。今天突然想起一个问题：这些面向对象编程的语言区别于面向过程的语言的主要特性是什么？总结了下，有以下三点： 封装 所谓封装，也就是把客观事物封装成抽象的类，并且类可以把自己的数据...
我相信，在这个世界上，一定有一个宛如黑洞一样的地方。那里一眼望去，黑黢黢没有丝毫光亮，四周静寂，没有欢声也没有悲鸣。 它微微敞开的漆黑大门像一面氤氲了雾气的镜。 人们像是锦衣华服载歌载舞的天使， 有时却是挥舞着红色镰刀收割死亡的死神。 在这里，人们无法爱自己也无力去爱他人，...　　2016 是人工智能爆发的一年，各种层出不穷的新技术、新概念让人眼花缭乱。很多人都分不清人工智能（Artificial Intelligence，简称 AI）、机器学习（Machine Learning，简称 ML）以及深度学习（Deep Learning，简称 DL）概念之间的不同。本文重点解释了机器学习和深度学习的差别。
　　本文作者为 Intuition Machine 联合创始人 Carlos Perez ，由雷锋网编译，未经允许不可转载。
　　由于 AI 的大热，媒体上关于 AI 的文章狂轰乱炸，人工智能似乎已经成为游戏的改变者，企业们也纷纷下注。对于 AI 领域的从业者来说，人工智能、机器学习和深度学习之间的差别应该非常清楚。人工智能是一个大概念，从有效的老式人工智能（GOFAI）到联结主义结构，无所不包。而机器学习则是人工智能领域的一个小分支，如果说 AI 是一个合集，那么 ML 就是 AI 的子集。任何通过数据训练的学习算法的相关研究都属于机器学习，包括很多已经发展多年的技术，比如线性回归（Linear Regression）、K均值（K-means，基于原型的目标函数聚类方法）、决策树（Decision Trees，运用概率分析的一种图解法）、随机森林（Random Forest，运用概率分析的一种图解法）、PCA（Principal Component Analysis，主成分分析）、SVM（Support Vector Machine，支持向量机）以及 ANN（Artificial Neural Networks，人工神经网络）。而人工神经网络则是深度学习的起源。
　　一些之前接触过人工神经网络的机器学习从业者对深度学习的第一印象很可能是：这不过就是多层结构的人工神经网络而已。此外，深度学习成功的主要原因是大量可用的数据以及像 GPU 这样更强大的计算引擎的出现。这当然是事实，深度学习的出现基本要归因于这两方面的进展。但是，如果就此下结论说深度学习不过是比支持向量机或者决策树更好的算法而已，那就真的是一叶障目，不见泰山了。
　　借用 Andreesen 的话&软件正在占领全世界&，那么深度学习就正在取代机器学习。两篇来自不同机器学习领域的从业者很好的解释了为什么深度学习正在占领全世界。神经语言程序学（NLP）的专家 Chris Manning 这样形容&深度学习海啸&：&
深度学习的浪潮在几年前就已经抵达计算语言学的海岸，但是 2015 似乎是这场海啸全面冲击各大自然语言处理（NLP）会议的一年。一些专家预言，最终的冲击将会更大。
　　Nicholas Paragios 则写了一篇名为&计算机视觉研究：大萧条&的文章，以下是文章节选：
在高度复杂以及很大程度由图片的自由度决定的问题上，深度学习一旦被赋予大量被标记的数据以及不可想象（直到最近）的计算能力，就能解决所有的计算机视觉问题。如果是这样的话，那么深度学习占领业界，计算机视觉研究成为边缘学科并走上计算机图形的老路（学术研究的活跃度和数量）将只是时间问题。
　　这两篇文章都强调了深度学习相对机器学习是有颠覆性的意义的。当然，深度学习在商用领域也具备同样的颠覆性。但是让人震惊和困惑的是，就连 Gartner 也没能分清机器学习和深度学习之间的差别。这里是 Gartner 于 2016 年 8 月份发布的发展规律周期图（Hyper Cycle），深度学习甚至没有被提及：
　　尽管被 Gartner 忽视了，深度学习依然持续火热。目前对深度学习的炒作主要是：我们已经拥有了可以商用的机器，只要给它们足够多的数据和足够长的时间，它们就能够自己学习。这要么是夸大了深度学习的现有技术水平，要么就是将深度学习的实践过于简化了。在过去的几年里，深度学习产生了大量的想法和技术，这些在以前要么是未知的，要么是站不住脚的。起初，这些概念是碎片化而且毫无关联的，但是随着时间的推移，大量的模式和方法开始涌现，深度学习设计模式这一领域也变得热闹起来。
　　今天的深度学习不仅仅是具备多层架构的感知器，而是一系列能够用来构建可组合可微分的体系结构的技术和方法。这些具有超强能力的机器学习系统只不过是我们目前所能看到的冰山一角。关键在于，虽然深度学习目前看起来像点金术，但是总有一天我们会学会如何像操控化学一样操控它。有了这个基础，我们将能够更好的预测机器学习未来所能具备的能力。如何规划机器学习、人工神经网络和深度学习的学习路径9 months ago18收藏分享举报{&debug&:false,&apiRoot&:&&,&paySDK&:&https:\u002F\u002Fpay.zhihu.com\u002Fapi\u002Fjs&,&wechatConfigAPI&:&\u002Fapi\u002Fwechat\u002Fjssdkconfig&,&name&:&production&,&instance&:&column&,&tokens&:{&X-XSRF-TOKEN&:null,&X-UDID&:null,&Authorization&:&oauth c3cef7c66aa9e6a1e3160e20&}}{&database&:{&Post&:{&&:{&isPending&:false,&contributes&:[],&title&:&如何规划机器学习、人工神经网络和深度学习的学习路径&,&author&:&yi-xiao-qiang-68&,&content&:&\u003Cp\u003E对我们多数人来说，这一轮人工智能的热潮爆发于去年阿法狗 (Alpha Go) 4:1 完胜职业围棋高手李世乭。\u003C\u002Fp\u003E\u003Cp\u003E之后，仿佛一夜之间，人工智能红遍大街小巷、电视、网络、微信公众号以及朋友圈。不得不说，在这个运动中媒体起到了重大的推波助澜的作用，甚至到现在多少出现了一些泡沫的成分。\u003C\u002Fp\u003E\u003Cp\u003E但是，忽略掉这些泡沫的成分，单从技术层面上说，这轮人工智能的爆发主要还是因为人工神经网络领域\u003Cem\u003E深度学习\u003C\u002Fem\u003E这个突破性技术的成功应用。\u003C\u002Fp\u003E\u003Cp\u003E其实，在 2016 年阿发狗战胜李世乭之前，2006 年完善的深度学习技术就已经在语音识别（2009年）和图像识别（2012年）等世界级竞赛上颠覆了传统的人工智能技术，把识别正确率大幅提高。\u003C\u002Fp\u003E\u003Cp\u003E2016 年阿法狗的完胜，人们更加深刻的意识到深度学习颠覆的不仅仅是传统的模式识别等专业领域。现在是围棋，未来可能就是你我现在从事的各行各业。\u003C\u002Fp\u003E\u003Cp\u003E的确如此，这轮人工智能热潮不同于前不久的大数据热潮。大数据热潮本质上还是在原有数据积累基础上如何进一步挖掘数据价值问题，技术颠覆性没那么强。而深度学习带来了技术上实实在在的突破。而且这正是人工神经网络技术 60 年历史几度兴衰苦苦追寻的目标。一旦破茧，前途无量。\u003C\u002Fp\u003E\u003Cp\u003E这轮人工智能热潮不是一阵风，而是开启了一个新的时代。\u003C\u002Fp\u003E\u003Cp\u003E马上，五月底，人机大战第二季就要在乌镇打响。这次代表人类的是中国棋手柯洁。有人认为这是一场没有悬念的比赛，理由是阿法狗经过一年的演练，水平更加精进。\u003C\u002Fp\u003E\u003Cp\u003E但别忘了，人最善于学习。我更愿意把这个悬念保持到最后，一切皆有可能。我相信棋手们这一年也没闲着，也在研究。但结果究竟如何，我们只能拭目以待。无论结果如何都不会改变人工智能改变世界的步伐。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E未来的产品和应用开发，必然越来越多的加入人工智能的因素。无论是产品经理还是技术开发者，都需要学习和应用好这个武器。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E在分享机器学习和深度学习的学习路径之前，先和大家一起理清几个基本概念。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E人工智能\u003C\u002Fstrong\u003E，泛指人造的智能机器或智能系统，能够模拟人的智慧活动。大致可以分为两大类型：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E第一类以\u003Cstrong\u003E专家系统\u003C\u002Fstrong\u003E为代表。它把人类以及专家的知识和智慧输入到计算机的程序系统中，使用时根据知识库对问题进行推理和决策。\u003C\u002Fli\u003E\u003Cbr\u003E\u003Cli\u003E\u003Cp\u003E第二类以\u003Cstrong\u003E机器学习\u003C\u002Fstrong\u003E为代表，不再仅仅依靠人类向系统直接输入知识，而是由系统根据实际的经验（数据）不断的自我学习，通过完善预测模型参数或者提炼出深层次的抽象认知来对新的问题进行判断和求解。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E显然，具有自我学习能力的人工智能更有潜力，更有可能超越人类。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E机器学习\u003C\u002Fstrong\u003E，也可以分为两大类型：\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E第一类采用近乎纯数学的方法，即推断统计学的方法，从已知数据（样本）中学习到问题模型和参数，外加各种技巧，对新的问题进行预测。线性回归，逻辑回归，支持向量机，决策树，k 近邻，k 平均，EM 算法，以及和贝叶斯推断和马尔科夫过程相关的算法都属于这一类。\u003C\u002Fli\u003E\u003Cbr\u003E\u003Cli\u003E\u003Cp\u003E第二类采用\u003Cstrong\u003E人工神经网络（简称 ANN）\u003C\u002Fstrong\u003E的方法。以人的认知系统和神经系统为出发点，通过研究人的神经元系统的认知规律，用计算机模拟人的神经系统，以达到学习和求解问题的能力。感知机，反向传播算法，Hopfield 网络，玻尔兹曼机，受限波尔茨曼机，深度置信网，卷积神经网络，循环神经网络都属于这个领域。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E数学的方法，更注重背后的原理和证明，比较严谨。人工神经网络的方法更接近人的智能处理方式。但是，由于人的认知方式并没有完全搞清楚，这使得人工神经网络的方法就没数学方法那么严谨。很多实用的算法至今都缺乏严谨的证明（这在数学家眼里是不能容忍的）。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E人工神经网络 (ANN)\u003C\u002Fstrong\u003E，也可以分为两个类型：（没错，“三个二”划分法）\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E第一类是浅层的网络。如早期的感知机，它只有一个输入层和输出层组成。另外，上面提到的推断统计类型的机器学习方法从广义上说基本都可以归到这一类。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E第二类就是深层的网络，即\u003Cstrong\u003E深度学习\u003C\u002Fstrong\u003E网络。它除了输出层和输出层之外，还有一个或多个隐层。通过学习算法，在隐层实现了对数据的抽象表达，如同人的认知系统。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E显然，深度学习能够实现更高的智能。人总能根据经验从表现获取的信息，即感知里面抽象出更深层的认知。深度学习追求的正是这个目标。\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E上面用“三个二”分类法，以简要的方式描述了一下人工智能、机器学习、人工神经网络和深度学习的关系。不知有没有说清楚。\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E下面重点说人工神经网络(ANN)和深度学习：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003EANN 的历史几乎和人工智能的历史一样长。\u003C\u002Fp\u003E\u003Cp\u003E以 1956 年出现的感知机 (Perceptron) 为标志，ANN 出现了第一个兴盛时期。它是不含隐层的浅层网络，通过数据训练权重，形成知识的表达。因为它模拟了人类大脑的认知过程，因此，一出现就引起轰动。\u003C\u002Fp\u003E\u003Cp\u003E但是，由于它只能解决线性可分问题（连最基本的异或分类都解决不了）。同时，由于它缺乏深层次非线性网络的有效学习算法，无法进一步发展，所以，很快被人们质疑能力有限而抛弃。\u003C\u002Fp\u003E\u003Cp\u003E直到 80 年代，ANN 迎来复苏。一个原因是反向传播算法（BP 算法）的出现，很好解决了多层神经网络的学习算法问题，使 ANN 不再仅限于解决线性问题。另一个原因是 1982 年 Hopfield 网络的出现，它采用热平衡的能量模型来优化网络，为解决循环网络的算法问题提供新的方向。\u003C\u002Fp\u003E\u003Cp\u003E但是，循环网络的训练是非常困难的，缺乏有效的算法阻碍了这些技术进入实用。\u003C\u002Fp\u003E\u003Cp\u003E这里必须要提到一个人，Geoffrey Hinton，被誉为深度学习的鼻祖，人工神经网络领域祖师爷级的人物。现年已经 70 岁，多伦多大学心理学家和计算机科学家。\u003C\u002Fp\u003E\u003Cp\u003EHinton 最早实现了 BP 算法的实用，并且在 Hopfiled 网络基础上发明波尔茨曼机(1985)。虽然波尔茨曼机在学习算法方面取得进展，但是，在实际使用时运行速度非常慢，几乎没有什么实用价值。\u003C\u002Fp\u003E\u003Cp\u003E难能可贵的是，Hinton 始终坚守这个方向，寻求突破，直到 2006 年，他在堆叠受限玻尔兹曼机和逻辑置信网的基础上，发明了混合的深度置信网，标志着深度学习时代的来临。前文提到的深度学习在 2009 年和 2012 年两次竞赛的胜利，都是他的学生赢得的！2013 年，Hinton 开始在谷歌大脑工作。\u003C\u002Fp\u003E\u003Cp\u003E更难能可贵的是，Hinton 在深度学习如火如荼的 2012 年，也在 \u003Ca href=\&http:\u002F\u002Flink.zhihu.com\u002F?target=http%3A\u002F\u002Fcoursra.org\& class=\& external\& target=\&_blank\& rel=\&nofollow noreferrer\&\u003E\u003Cspan class=\&invisible\&\u003Ehttp:\u002F\u002F\u003C\u002Fspan\u003E\u003Cspan class=\&visible\&\u003Ecoursra.org\u003C\u002Fspan\u003E\u003Cspan class=\&invisible\&\u003E\u003C\u002Fspan\u003E\u003C\u002Fa\u003E 上开设了人工神经网络与机器学习的课程。如果说 Andrew Ng 的 Machine learning 是机器学习的最佳入门途径，那么 Hinton 的课程就是学习 ANN 和深度学习的不二选择。\u003C\u002Fp\u003E\u003Cp\u003EHinton 的祖父是 19 世纪的逻辑学家乔治·布尔，也是布尔代数的发明家。我们编程经常用到 bool ，以后再用时要回想一下它和 Hinton 的关系。据说 Hinton 有个姑姑，解放前期投身延安，解放后还在中国养过几十年的牛。如果属实，这真是个传奇的家族。\u003C\u002Fp\u003E\u003Cp\u003E开启深度学习大幕的除了 Hinton之外，还有 Yann Lecun （有人把这个名字按照拼音读作“严乐村”，Hinton 在它的课程中，发音接近“杨乐康”) ，他出生在法国，是纽约大学的教授，主要是卷积神经网络方面的贡献。目前在facebook。\u003C\u002Fp\u003E\u003Cp\u003E以及 Yoshua Bengio，目前在蒙特利尔大学。值得我们初学者关注的是，Benjio 和他的学生 在 2016 年出了一本深度学习的书，名字就叫 Deep Learning Book，现在已经有中文翻译版免费下载，可以说是学习深度学习最新的书籍。\u003C\u002Fp\u003E\u003Cp\u003E这三个人被称为人工智能领域的三位大牛。加上Andrew ，就是四位，跟着大牛学习人工智能总是没错的。
\u003Cbr\u003E\u003C\u002Fp\u003E\u003Cp\u003E与人工神经网络跌宕起伏的经历不同，基于推断统计学的机器学习发展一直比较平稳，逐渐完善，形成以支持向量机，决策树，k 近邻，k 平均，EM 算法等为代表的算法。这些算法在小样本，传统低速计算的场合仍然起着重要作用。在深度学习爆发之前，支持向量机被认为是最好的分类器。\u003C\u002Fp\u003E\u003Cp\u003E需要说明的是，深度学习几乎都是在人工神经网络领域发展起来的，但是，推断统计学仍然是它的数学基础，如线性回归，逻辑回归，高斯分布，贝叶斯推断，马尔科夫过程等。认为传统的机器学习过时的说法是片面的。\u003C\u002Fp\u003E\u003Cp\u003EAndrew NG 在 2008 年机器学习公开课上仍然以推断统计类的机器学习为主，感知机只稍微提了一下，人工神经网络也只是给出了 Yann Lecun 手写识别的一个例子。但在 2012 年 coursra 课程上，加入了人工神经网络和反向传播算法的详解。被视作机器学习和ANN算法的最佳入门途径（详情参看本号的《机器学习入门》一文）\u003C\u002Fp\u003E\u003Cp\u003EHinton 在 coursera 上的 Neural Networks for Machine Learning 是学习深度学习的不二选择。但是，Hinton 和 Andrew 不一样，没有把该课程的通俗化作为目标。无论内容设置、讲解方式和课后问题及作业衔接方面都有很大跨度，使得本来就晦涩难懂的深度学习知识更加难学。（后面会有文章详述）\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E综合以上分析，推荐学习路径如下：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E1. 熟悉必要的数学基础：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E微积分：求导，梯度，偏微分，积分等。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E统计学，概率论：重点要了解推断统计学和概率论的基本概念。高斯分布，贝叶斯公式。最小二乘法，线性回归，逻辑回归等。我看的主要是 Mendenhall 编写的 Statistics for Engineering and the Sciences ,中文版叫 《统计学》。知识体系比较完整，层次清楚，讲解到位。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E线性代数：重点了解基本概念：向量，向量空间，向量投影，矩阵运算，特征值分解，SVD分解等。MIT 有个 35 集的线性代数公开课，对线性代数的讲解及其透彻。网易公开课有视频。我主要从这个课程学习线性代数。没发现太好的书籍。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E2. 学习基本的机器学习方法和理论：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E以 Andrew NG 在 courera 2012 年 11 讲 Machine Learning 为入门途径，内容包括：线性回归，逻辑回归，人工神经网络，BP 算法，优化方法，泛化方法。这些都是机器学习最基本的知识，也是学习深度学习更复杂的算法和问题分析的基础。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E以 Andrew Ng 在斯坦福公开课 2008 年 20 讲 Machine Learning 为补充，了解更多的传统机器学习算法或者各种算法背后更多的数学原理。网易公开课有带有中文字幕的视频。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E3. 学习 ANN 和的深度学习：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003EANN 方面，我主要看的 Simon Haykin 2011年出版的《神经网络与机器学习》。在原理推导方面比较有系统性。\u003Cbr\u003E\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E学习 Hinton 在 coursera 2012 年的 16 讲 Neural Networks for Machine Learning 。感知机，反向传播算法，优化，循环网络，泛化，Hopfiled网络，波尔茨曼机，受限玻尔兹曼机(RBM)，堆叠RBM，深度置信网络等。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E4. 同时关注较新的学习材料为参考：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E如上文提到的 Henjio 2016 年出版的 Deep Learning Book\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003Cli\u003E\u003Cp\u003E以及网上各种学习资源\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cp\u003E\u003Cstrong\u003E5. 学习和使用一些开源工具：\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cul\u003E\u003Cli\u003E\u003Cp\u003E如 deeplerning4java, Therno, Tensor flow 等，通过实践和积累经验进行学习。这些工具都有指南文档，对机器学习方法和算法也有不同程度的描述。\u003C\u002Fp\u003E\u003C\u002Fli\u003E\u003C\u002Ful\u003E\u003Cbr\u003E\u003Cp\u003E\u003Cstrong\u003E注：本文为作者伊晓强原创，版权归作者所有
个人公众号： 伊晓强\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E\u003Cp\u003E\u003Cstrong\u003E本文在作者私人公众号同步发表，版式内容略加修改。\u003C\u002Fstrong\u003E\u003Cstrong\u003E二维码如下，欢迎关注。\u003C\u002Fstrong\u003E\u003C\u002Fp\u003E&,&updated&:new Date(&T01:31:32.000Z&),&canComment&:false,&commentPermission&:&anyone&,&commentCount&:13,&collapsedCount&:0,&likeCount&:18,&state&:&published&,&isLiked&:false,&slug&:&&,&isTitleImageFullScreen&:true,&rating&:&none&,&titleImage&:&https:\u002F\u002Fpic3.zhimg.com\u002Fv2-3b3cbd2da97ba79b511ee_r.jpg&,&links&:{&comments&:&\u002Fapi\u002Fposts\u002F2Fcomments&},&reviewers&:[],&topics&:[{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&深度学习（Deep Learning）&},{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&吴恩达（Andrew Ng）&},{&url&:&https:\u002F\u002Fwww.zhihu.com\u002Ftopic\u002F&,&id&:&&,&name&:&Coursera&}],&adminClosedComment&:false,&titleImageSize&:{&width&:1920,&height&:1079},&href&:&\u002Fapi\u002Fposts\u002F&,&excerptTitle&:&&,&tipjarState&:&closed&,&annotationAction&:[],&sourceUrl&:&&,&pageCommentsCount&:13,&hasPublishingDraft&:false,&snapshotUrl&:&&,&publishedTime&:&T09:31:32+08:00&,&url&:&\u002Fp\u002F&,&lastestLikers&:[{&bio&:&IC设计&,&isFollowing&:false,&hash&:&ad3acc8b58c106efe4ae06&,&uid&:333100,&isOrg&:false,&slug&:&po-xiu-23&,&isFollowed&:false,&description&:&&,&name&:&朴修&,&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fpo-xiu-23&,&avatar&:{&id&:&da8e974dc&,&template&:&https:\u002F\u002Fpic4.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:null,&isFollowing&:false,&hash&:&d635eac258afebbff3c7fa&,&uid&:060800,&isOrg&:false,&slug&:&zhang-han-xiao-6&,&isFollowed&:false,&description&:&&,&name&:&张韩啸&,&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fzhang-han-xiao-6&,&avatar&:{&id&:&47f03f5eb03e8c74e633f277ceafab3c&,&template&:&https:\u002F\u002Fpic4.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&搬的都是砖&,&isFollowing&:false,&hash&:&b3aa8c96ea6fe080cb6b66ccaa9bec93&,&uid&:00,&isOrg&:false,&slug&:&yun-duo-31-38&,&isFollowed&:false,&description&:&没啥好简介的&,&name&:&云朵&,&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fyun-duo-31-38&,&avatar&:{&id&:&v2-321f63ca40df05d172d8d8&,&template&:&https:\u002F\u002Fpic1.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&好奇一切&,&isFollowing&:false,&hash&:&e4d5ec0dc49&,&uid&:44,&isOrg&:false,&slug&:&TF_Prince&,&isFollowed&:false,&description&:&见贤思齐。&,&name&:&Ziv.W&,&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002FTF_Prince&,&avatar&:{&id&:&7f637b6bdd6d9da17f64e182bb77c3a5&,&template&:&https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false},{&bio&:&Keep Looking. Don't settle!&,&isFollowing&:false,&hash&:&ab2ffba0d88dc1e61049b&,&uid&:118800,&isOrg&:false,&slug&:&dogelas&,&isFollowed&:false,&description&:&&,&name&:&Douglas&,&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fdogelas&,&avatar&:{&id&:&v2-5eccc9cdffbe4cd57b9e798f91a3ee38&,&template&:&https:\u002F\u002Fpic2.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false}],&summary&:&对我们多数人来说，这一轮人工智能的热潮爆发于去年阿法狗 (Alpha Go) 4:1 完胜职业围棋高手李世乭。之后，仿佛一夜之间，人工智能红遍大街小巷、电视、网络、微信公众号以及朋友圈。不得不说，在这个运动中媒体起到了重大的推波助澜的作用，甚至到现在多少…&,&reviewingCommentsCount&:0,&meta&:{&previous&:null,&next&:null},&annotationDetail&:null,&commentsCount&:13,&likesCount&:18,&FULLINFO&:true}},&User&:{&yi-xiao-qiang-68&:{&isFollowed&:false,&name&:&伊晓强&,&headline&:&&,&avatarUrl&:&https:\u002F\u002Fpic4.zhimg.com\u002Fda8e974dc_s.jpg&,&isFollowing&:false,&type&:&people&,&slug&:&yi-xiao-qiang-68&,&bio&:&人工智能&,&hash&:&ab35641fd0df&,&uid&:613200,&isOrg&:false,&description&:&&,&badge&:{&identity&:null,&bestAnswerer&:null},&profileUrl&:&https:\u002F\u002Fwww.zhihu.com\u002Fpeople\u002Fyi-xiao-qiang-68&,&avatar&:{&id&:&da8e974dc&,&template&:&https:\u002F\u002Fpic4.zhimg.com\u002F{id}_{size}.jpg&},&isOrgWhiteList&:false,&isBanned&:false}},&Comment&:{},&favlists&:{}},&me&:{},&global&:{&experimentFeatures&:{&ge3&:&ge3_9&,&ge2&:&ge2_1&,&growthSearch&:&s2&,&nwebQAGrowth&:&experiment&,&qawebRelatedReadingsContentControl&:&close&,&liveStore&:&ls_a2_b2_c1_f2&,&qawebThumbnailAbtest&:&new&,&nwebSearch&:&nweb_search_heifetz&,&seE&:&0&,&showVideoUploadAttention&:&true&,&isOffice&:&false&,&enableTtsPlay&:&post&,&newLiveFeedMediacard&:&new&,&newMobileAppHeader&:&true&,&androidPassThroughPush&:&all&,&hybridZhmoreVideo&:&no&,&nwebGrowthPeople&:&default&,&nwebSearchSuggest&:&default&,&qrcodeLogin&:&qrcode&,&enableVoteDownReasonMenu&:&enable&,&androidDbFollowRecommendHide&:&open&,&isShowUnicomFreeEntry&:&unicom_free_entry_off&,&newMobileColumnAppheader&:&new_header&,&feedHybridTopicRecomButtonIcon&:&yes&,&androidDbRecommendAction&:&open&,&zcmLighting&:&zcm&,&androidDbFeedHashTagStyle&:&button&,&appStoreRateDialog&:&close&,&default&:&None&,&isNewNotiPanel&:&no&,&wechatShareModal&:&wechat_share_modal_show&,&growthBanner&:&default&,&androidProfilePanel&:&panel_b&}},&columns&:{&next&:{}},&columnPosts&:{},&columnSettings&:{&colomnAuthor&:[],&uploadAvatarDetails&:&&,&contributeRequests&:[],&contributeRequestsTotalCount&:0,&inviteAuthor&:&&},&postComments&:{},&postReviewComments&:{&comments&:[],&newComments&:[],&hasMore&:true},&favlistsByUser&:{},&favlistRelations&:{},&promotions&:{},&switches&:{&couldSetPoster&:false},&draft&:{&titleImage&:&&,&titleImageSize&:{},&isTitleImageFullScreen&:false,&canTitleImageFullScreen&:false,&title&:&&,&titleImageUploading&:false,&error&:&&,&content&:&&,&draftLoading&:false,&globalLoading&:false,&pendingVideo&:{&resource&:null,&error&:null}},&drafts&:{&draftsList&:[],&next&:{}},&config&:{&userNotBindPhoneTipString&:{}},&recommendPosts&:{&articleRecommendations&:[],&columnRecommendations&:[]},&env&:{&edition&:{&baidu&:false,&yidianzixun&:false,&qqnews&:false},&isAppView&:false,&appViewConfig&:{&content_padding_top&:128,&content_padding_bottom&:56,&content_padding_left&:16,&content_padding_right&:16,&title_font_size&:22,&body_font_size&:16,&is_dark_theme&:false,&can_auto_load_image&:true,&app_info&:&OS=iOS&},&isApp&:false,&userAgent&:{&ua&:&Mozilla\u002F5.0 (compatible, MSIE 11, Windows NT 6.3; Trident\u002F7.0; rv:11.0) like Gecko&,&browser&:{&name&:&IE&,&version&:&11&,&major&:&11&},&engine&:{&version&:&7.0&,&name&:&Trident&},&os&:{&name&:&Windows&,&version&:&8.1&},&device&:{},&cpu&:{}}},&message&:{&newCount&:0},&pushNotification&:{&newCount&:0}}