积极上进，爱好学习
经常帮助其他会员答疑
站长推荐 /6
about云|新出视频，openstack零基础入门，解决你ping不通外网难题
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
视频资料大优惠
大数据零基础由入门到实战
阶段1：hadoop零基础入门基础篇
阶段2：hadoop2入门
阶段3：大数据非hadoop系列课程
阶段4：项目实战篇
阶段5：大数据高级系列应用课程
阶段6：工作实用系列教程
等待验证会员请验证邮箱
新手获取积分方法
Powered by966,690 一月 独立访问用户
语言 & 开发
架构 & 设计
文化 & 方法
您目前处于：
深度学习之对抗样本问题
深度学习之对抗样本问题
日. 估计阅读时间:
不到一分钟
Author Contacted
相关厂商内容
相关赞助商
QCon北京-18日，北京&国家会议中心，
告诉我们您的想法
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
赞助商链接
架构 & 设计
文化 & 方法
<及所有内容，版权所有 &#169;
C4Media Inc.
服务器由 提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司
京ICP备号-7
注意：如果要修改您的邮箱，我们将会发送确认邮件到您原来的邮箱。
使用现有的公司名称
修改公司名称为：
公司性质：
使用现有的公司性质
修改公司性质为:
使用现有的公司规模
修改公司规模为：
使用现在的国家
使用现在的省份
Subscribe to our newsletter?
Subscribe to our industry email notices?
我们发现您在使用ad blocker。
我们理解您使用ad blocker的初衷，但为了保证InfoQ能够继续以免费方式为您服务，我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单，感谢您的理解与支持。格灵深瞳邓亚峰：如何让机器看得更真更远？深度学习算法、大规模数据和硬件平台_新芽NewSeed
格灵深瞳邓亚峰：如何让机器看得更真更远？深度学习算法、大规模数据和硬件平台
·　 钛媒体　 　
摘要邓亚峰具有14年人工智能特别是计算机视觉方向的研发经验。
“为什么深度学习方法能够这么成功呢？总结起来最重要的三个要素是：深度学习算法、大规模数据和硬件平台。”
邓亚峰具有14年人工智能特别是计算机视觉方向的研发经验。发表论文十余篇，获得专利授权95项。曾是深度学习研究院的科学家，带队开发出世界第一的人脸检测、人脸识别算法，开发出的算法和系统服务于亿级别用户产品。格灵深瞳是一家视频大数据产品和方案提供商，致力于将计算机视觉和深度学习技术应用于商业领域，产品包括皓目行为分析仪、威目视图大数据平台、威目车辆大数据系统、威目视频结构化系统、威目人脸识别系统、深瞳人眼摄像机等。
　　以下是邓亚峰在钛坦白的分享：
　　大家好，今晚我分享的题目是“如何让机器看得更真更远？”希望通过格灵深瞳在计算机视觉领域的一些尝试和经验与大家交流怎么能使得计算机视觉技术可以大规模应用。
　　先简单介绍下。格灵深瞳是2013年4月份由创始人在北京创立的，是一家同时具备计算机视觉技术、深度学习技术以及嵌入式硬件研发能力的公司，主要关注的领域包括公共安全、智能交通、金融安防等，同时公司在无人驾驶、机器人和智能医疗方面也进行了深入的布局。
　　计算机视觉的研究目标和应用趋势
　　大家知道，视觉是我们人类获取信息最主要的方式，在视觉、听觉、嗅觉，触觉和味觉中，视觉接受信息的比例大概是占到百分之八十几，处于绝对领先的地位。
　　远在1966年的时候，有一个人工智能领域的先叫Marvin Minsky，他是MIT的老师，他给他的本科学生部署了一个有趣的作业“Link a camera to a computer and get the computer to describe what it saw”，翻译成中文就是“让计算机看懂世界”。在当时，他认为这是一个本科生在一个暑假就能完成的作业。但是已经过去了50多年的时间，经过了无数学术界和工业界同仁的努力，我们发现，计算机视觉还是一个非常热但并没有真正成熟的领域。
　　对于计算机视觉系统而言，输入实际上是visual sensor（视觉传感器），包括比较常见的RGB传感器，也包括其他比如depth（深度）以及lidar（激光雷达）等传感器。计算机视觉系统接收一号输入之后，输出的是Understanding of the world，也就是对世界的理解，这实际上是计算机视觉的目标。
　　在当今这个时代，计算机视觉领域呈现出很多新的趋势，其中最为显著的一个，就是应用的爆炸性增长。除了手机、个人电脑和工业检测之外，计算机视觉技术在智能安防、机器人、自动驾驶、医疗、无人机、增强现实（AR）等领域都出现了各种形态的应用方式。计算机视觉迎来了一个应用爆炸性增长的时代。
　　计算机视觉技术面临的挑战和机遇
　　对计算机视觉来讲，虽然历经了六十年的发展，但是到今天为止，真正的大规模成熟应用还是屈指可数，比如指纹识别、车牌识别或者数码相机里面的一些人脸检测技术。这里面很大的原因是技术的局限。近几年，随着深度学习在视觉领域的应用，很多技术都取得了巨大的提升，但我们发现还面临着很多技术上的挑战。
　　比如说以ILSVRC2016（就是我们经常提到的ImageNet竞赛，它是视觉领域最重要的竞赛之一，每年会举办一次）的Object detection即物体检测任务为例，最好的结果MAP达到0.663，这实际上意味着，计算机自动给出图像中的各种物体的外边缘矩形框，这个结果的平均正确率是66%左右。这个结果实际上代表着世界范围内的最高水平，但我们知道这样的结果，还只能用于一些对准确率要求不是特别高的场景，还远没有达到大规模应用的程度。
　　同时，在应用层面，我们最终要实现的是用户价值，一方面只有视觉技术的话其实是不够的，另外一方面，也不需要等待视觉技术完全成熟才能够被使用。正是因为视觉技术的不成熟不完善，就必须和其它技术结合，必须和产品应用结合，才能使得视觉技术真正产生应用价值。
　　总结为一句话就是即使经过了60年的努力，我们依然，我们还没有真正达到目标。
　　计算机视觉领域近几年面临的机遇有：
　　第一，我们整个计算机视觉领域迎来了前所未有的关注和接踵而来的投资热潮。这些关注既来自于风险投资、互联网公司和传统公司，还吸引了国家政府前所未有的关注，甚至连普通民众也开始关注和讨论这个领域。这些关注和相继而来的投资必然会促进这个领域的技术进步和应用发展。
　　第二，计算机视觉领域的应用呈现了爆发式的增长态势。我们刚才已经提到在安防监控、高度的驾驶、增强现实、医疗图像、机器人工业视觉、移动互联网等领域都有众多的计算机视觉应用产生，这些应用里面产生的海量数据，将会促使计算机视觉技术加速发展，而技术和应用的结合也会推动技术的成熟落地。
　　第三，从世界范围来讲，我们华人在计算机视觉领域无论在学术影响上还是在创业公司领域都处于一个领先的地位，这使得我们有可能和美国一起去争夺这个世界人工智能的制高点，这是中国未来面临的一个非常巨大的机遇。
　　总之，对于我们这些做计算机视觉的人来讲，这是一个做计算机视觉最好的时代。
　　怎么样让机器看得更真更远？
如何让深度学习和数据形成良性的循环？
　　如果大家学过一门叫作《模式识别》的课程，第一节就会讲述一个基本的处理流程，里面包括三个方面的内容——原始数据的准备、特征提取、学习。特征提取里面可以细分为预处理、特征抽取、特征选择这样三个模块。这里面最明显的特征是，这个流程里面，特征和学习是分开的两个部分。这是传统的模式识别方法，换句话说是传统的计算机视觉图象识别的流程。而在深度学习的时代，最大的不同是什么呢？就是我们可以把特征和学习融合起来，变成特征学习，就是用基于深度学习的特征表示代替原来繁琐的预处理、特征抽取和特征选择以及学习的过程，这实际上是一个很巨大的进步。
　　这个进步的最大的好处就是，原来的特征完全是领域专家根据他对领域的理解去手工设计出来的，对不同的物体比如人脸和车牌，用的是完全不同的两种特征。一方面，需要为人脸或者车牌分别做两套方法，另外一方面，这个特征本身依赖于人对数据的理解，加上学习本身用的是非常浅层的表示，无法用复杂的非线性模型更好的刻画和表示数据，最终得到的表示能力并不是特别强，限制了算法的表现。而在深度学习时代，特征完全是基于数据去驱动，去学习出来的，对人或者对车而言，在架构或者方法上有可能做到非常相近甚至是完全一样的，这就使得这个系统变得非常的优雅。同时因为这个特征是由数据驱动去学习出来的，而且他是一层一层的非线性表示，这个层可以不断的添加，所以能够很方便的得到对一个数据非常强的表示。这实际上是深度学习最大的优势。
　　实际上2012年是深度学习在计算机视觉领域应用的一个节点。虽然从2006年左右开始，深度学习已始在语音识别方面得到应用，但是那个时候在计算机视觉领域大家都很置疑这个方法，原因是因为大家觉得他没有什么可解释性。但是真正的一个影响力的事件是在2012年的时候，深度学习的鼻祖之一Hinton让自己的学生Alex用深度学习方法最终在ImageNet竞赛上面使得错误率达到了15%。而在2011年的时候大概是25%的错误率，下降了10%，而在2010年的时候这个错误率大概是30%。
　　在传统方法时代，每年错误率的下降是非常小的，而真正用了深度学习之后，大家发现错误率的下降变得非常的快速。即使是在2012年之后，比如说到了2013年和2014年，大家发现在深度学习方法的推动下，这个错误率还会有非常明显的降低，可以达到每年百分之五十左右的一个相对错误率的降低。也就是说用了深度学习方法之后，大家发现在图像识别任务上，技术的推进变得比原来快得非常多。
　　另一个例子是人脸识别。人脸识别最早的一个著名方法叫特征脸，也就是PCA（主分量分析），是非常经典的方法，这大概是在1991年左右发明的方法。人脸识别领域有一个非常著名的数据集，叫作LFW（Labeled face in the wild），特征脸方法在这个数据集上面的错误率是40%。到了2013年的时候这个错误率大概是7%，是传统方法的最好水平。经过20年左右的努力，错误率下降了五倍多。在2014年的时候，深度学习方法开始应用到人脸识别上面，不到一年的时间，错误率一下子由7%下降到了3%，有超过50%的下降，到2015年这个错误率到了千分之六左右，不到两年下降了10多倍。可以看到用了深度学习方法以后，人脸识别领域的错误率下降也非常的明显。
　　总之，深度学习使得整个图像识别领域发生了一个翻天覆地的变化。
　　为什么深度学习方法能够这么成功呢？总结起来最重要的三个要素是：深度学习算法、大规模数据和硬件平台。深度学习算法大家比较好理解；关于数据，因为在传统的时代数据量很小，只有几千或者几万，即使用了非常强大模型，也会遇到过拟合的现象，表示能力强的模型需要大量的数据才能够训练好，否则就会出现过拟合现象；硬件平台方面，在深度学习出现之前，已经有人工神经网络的方法了，那是在九几年的时候，神经网络方法非常流行，当时训练一个人工神经网络，即使是很少量的数据，大概也要训练一个月到三个月的时间，非常难以忍受。而近年来，由于有了非常好的硬件平台，特别是GPU之后，大家发现训练一个很大的深度学习模型也可以很快训练完成，比如一周就可以出结果。这样使得这个方法容易被大家接受从而在工程上使用。
　　我们还可以以一个国际上通用的数据集的数据量的增长来看，在最早的时候，比如说像PASCAL 数据集的量级大概是一万左右的图像大概十类左右，那是2007年左右。而到了近期，比如讲ImageNet的数据量大概能够到100多万，然后类别的话大概是千的级别，这是这两个时期最著名的两个数据集。公开数据集数据量的提升本身也促进了深度学习方法的发展和迅速推广。
　　谈到深度学习对大规模数据的依赖，这并不是一个静态的过程。我们怎么样能够让深度学习和数据形成一种良性的循环呢？在初期，我们需要一些初始的数据，这个数据可能是几十万级别或者到几千万级别的数据，这个数据经过深度学习平台的训练，得到了一个模型，这个模型被应用到系统里边去，这个应用系统会反馈到那些最应该被标注或者最应该被使用的数据，这些数据经过标注之后再被当作训练数据反馈到系统里面去，这样形成从应用到数据到算法的正循环。这样可以达到一个由应用产生数据，数据推动模型的发展，模型再反过来促进应用的发展的正循环。
　　所以在这个时代，我们一提到计算机视觉，深度学习就已经成为标配。虽然大家在置疑说后面也许会有别的方法把深度学习的方法代替掉，或者深度学习的热潮会冷却下来，我承认深度学习领域不会一直如此快速的发展，也会遭遇低潮，也会出现更好的方法，但是深度学习代表了一种learning of representation的思想，这个思想是不会过时的，换句话讲，深度学习已经成为一个标配，哪怕后面的方法再变化也不会被完全的淘汰，只是会被发展会被继承。
深度学习遇到depth
　　在格灵深瞳，我们的目标是让计算机看懂世界。在一些复杂的场景下，我们怎么样去理解人的行为，是我们一直以来非常关心的一个问题。对于图像识别而言，我们最常用的传感器是RGB传感器。除此之外，还有一种传感器，不仅有RGB信息，还有depth信号，一般叫作RGBD传感器，基于RGBD信号的图像识别我们一般叫作3D图像识别。
　　对于纯粹的只利用RGB信息的方法我们叫2D的方法。2D的方法一般有几个缺陷：第一个是在没有可见光的情况，比如说特别黑的时候他就没办法工作；第二个，因为他缺少深度的信息，当我们拍一张照片的时候，会出现近处的车模会显得更大一些，远处的一个真实的车辆反而显得更小一些，这时候这个系统没有办法分清近的是车模还是远处的是车模，他把深度的信息丢失了。而且更重要的是他没有办法处理遮挡和交叠的情况。所以基于普通的RGB的输入，一般而言只能做一些非常特定的场景（比如垂直向下的人头计数等等），而且即使这样的情况下，也需要很巨大的运算量。哪怕是用了深度学习的方法能把效果做得很好，但运算量也会非常大。如果我们需要在嵌入式设备上做复杂的轨迹分析或者行为分析的话，只有深度学习其实是不够的。
　　在格灵深瞳，我们实际上是做了一套基于叫depth proposal的深度学习的物体检测方法。给大家简单地介绍一下这个方法：第一步我们基于depth输入来做前景提取的工作，得到里边潜在的目标区域，之后我们会做一个投影变换，因为我们知道了3D的信息之后，我们可以把潜在的目标投影到水平平面上去，之后我们结合RGB的方法产生一些proposal，因为实际中会产生一些干扰和误识别，我们后面使用深度学习的方法去做proposal的后处理过滤，这样的话就能做一个快速且效果好的多目标检测器，基于多目标检测和跟踪，可以进一步做比较复杂的行为分析的工作。
2403゜12232゜21312゜31283゜41233゜51059゜61036゜71016゜8984゜9963゜10
16709゜17091゜25250゜35194゜45050゜54812゜64791゜73132゜82952゜92868゜10深度学习：实际问题解决指南
发表于 08:42|
来源InfoWorld|
作者SriSatish Ambati
摘要：深度学习拥有解决大部分机器学习和人工智能领域问题的潜力，可以用来解决诸如语音识别、三维物体识别和自然语言处理等领域的难题。本文介绍了深度学习在解决实际问题中存在的优势与缺点。
当你想进行预测的时候，使用深度学习要比其他机器学习技术更快更有效。
深度学习是一门快速发展的学科，它将数据中高层次化的模式建模成复杂的多层网络。因为这是建模一个问题最一般的方法，深度学习拥有这解决大部分机器学习和人工智能领域问题的潜力。类似微软、谷歌这样的公司使用深度学习来解决诸如语音识别，图像识别，三维物体识别，和自然语言处理等领域的难题。
然而，深度学习需要进行大量的计算来构建一个有用的模型。到目前为止，计算成本和可用性限制了其实际应用。此外，研究人员缺乏理论基础和将深度学习运用到实际问题之中的经验知识。在有充足的时间和资源的情况下，其他的方法通常表现更好。
如今根据摩尔定律的发展，已经从根本上降低了计算成本。此外，创新算法提供了更快更有效训练模型的方式。随着经验和知识的积累，数据科学家从深度学习获得价值也有了更多的理论和实践指导。
然而媒体倾向于报道语音和图像识别这样的未来应用，但是数据科学家使用深度学习来解决企业各个方面非常实际的问题。例如：
支付系统提供商使用深度学习实时识别可疑交易。
具有大型数据中心和计算机网络的机构使用深度学习从日志中挖掘信息检测威胁。
汽车制造商和汽车运营商使用深度学习挖掘传感器数据预测部分车辆故障。
具有大型复杂供应链的公司使用深度学习预测延迟和生产瓶颈。
随着深度学习软件可用性的提高，你可以看到商业化应用在未来几年会迅速增长。
深度学习的强大力量
相对于其他机器学习技术而言，深度学习有四大关键优势：
它能从特征中检测复杂的相互作用。
它能从几乎没有处理的原始数据中学习低层次的特征。
它能处理高基数类成员。
它能处理未标记的数据。
综上所述，拥有这四个优势意味着深度学习可以得到有用的结果而其它方法得不到的有用结果；它能构建比使用其他方法更精确的模型；并且还能减少构建有用模型所需的时间。深度学习在变量间检测相互作用，这些相互作用可能并不明显。相互作用是两个或多个变量组合在一起时产生的效果。比如，假设某种药物在年轻妇女中会有副作用，但是在老年妇女中则没有。一个由性别和年龄组合影响构建的预测模型效果要比单单使用性别影响构建的模型好。
常规的预测建模方法可以度量这些影响，但这需要大量的手工假设检验。深度学习自动检测这些相互作用，不会依赖于分析师的专业知识或前期假设。它还会自动创建非线性相互作用，并且可以使用足够的神经元来逼近任意函数，特别是在使用了深度神经网络的时候这种效果尤为明显。
使用常规的预测分析方法，结果的好坏很大程度上取决于数据科学家使用特征工程准备数据的能力，而这一个步骤需要相当多的专业知识和技能。而且特征工程也很耗时。深度学习几乎不需要处理原始数据，并自动学习最有预测性的特征，而不需要对数据的正确分布做假设。
下图说明了深度学习的强大能力。这四幅图展示了不同技术是如何对复杂模式建模的。右下角的图，展示了一般线性模型如何用直线拟合数据。基于树的方法，例如随机森林和梯度提升机（分别是左下角和右上角的图）比一般线性模型更好。这些方法通过多条直线而不是一条直线来拟合数据，显著提高了模型的“拟合”性。左上角的图中，深度学习使用复杂曲线拟合数据，得到了精准的模型。
深度学习可以很好地处理数据科学家口中的高基数类成员，这是一种具有非常多离散值的数据类型。这类型问题的现实例子有语音识别，这段语音可能对应大量候选词里的某一个；图像识别，特定的图像对应大量图像的某一张；推荐引擎，最佳推荐项可能是诸多候选项之一。
深度学习的另一个强项就是可以从未标记的数据中学习。未标记的数据缺少与当前问题相关的明确“意义”。常见的例子有未标记的图像，视频，新闻报道，推文和电脑日志。事实上，如今信息经济产生的大多数据都是未标记的。深度学习可以在这类数据中检测基本模式，归类相似条目或者识别异常值。
深度学习的缺点
然而，深度学习也有一些缺点。相对于其他机器学习方法，使用深度学习生成的模型非常难以解释。这些模型可能有许多层和上千个节点；单独解释每一个是不可能的。数据科学家通过度量它们的预测结果来评估深度学习模型，但模型架构本身是个“黑盒”。
评论家有时候对深度学习的这方面特性持反对态度，但牢记分析的目的是重要的。例如，如果分析的主要目的是解释方差或者处理结果，选择深度学习可能是错误的。然而，也可以根据其重要性对预测变量排序，这也是数据科学家经常要实现的。部分依赖图可以为数据科学家提供可视化深度学习模型的功能。
深度学习同样也有其他机器学习方法的倾向，对训练数据过度学习。这意味着算法“记住了”训练数据的特征，在模型将要使用的生产环境中，这些被记住的特征可能会也可能不会被用到。这一问题并不只出现在深度学习之中，这可以通过独立验证来避免。
由于深度学习模型很复杂，它们需要大量的计算性能来构建。虽然计算成本已经大幅下降，但是计算仍旧不是免费的。对于小数据集的简单问题，在计算开销和时间相同的情况下，深度学习可能不会比更简单方法产生足够的额外效果。
复杂性同样是部署的一个潜在问题。NetFlix从来没有部署那个赢得了100万美元奖励的模型，因为工程成本太高了。在测试数据上表现良好但无法落实的预测模型是没有实际用途的。
深度学习并不是新鲜的技术，原始的深度学习技术早在上世纪50年代就出现了。但是随着计算成本的下降，数据量的提升，技术的进步，业界对深度学习的兴趣激增。无需专业知识，费时的特征工程，甚至大量的数据准备，深度学习可以发现大量数据集中隐藏的关系，它已经成为一种解决日益增长业务问题的引人注目的方法。
作者简介：SriSatish Ambati是H2O.ai的联合创始人及CEO。
原文链接：
（译者/刘翔宇&审校/赵屹华、朱正贵
责编/周建丁 原创/翻译投稿请联系：，微信号：jianding_zhou）&
关于译者：&
，中通软开发工程师，关注机器学习、神经网络、模式识别。&
将于-12日在北京隆重举办。在主会之外，会议还设立了16大分论坛，包含数据库、深度学习、推荐系统、安全等6大技术论坛，金融、制造业、交通旅游、互联网、医疗健康、教育等7大应用论坛和3大热点议题论坛，。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章