点击排行榜
栏目ID=20的表不存在(操作类型=0)同时，Geoffrey Hinton在多伦多大学也有新动作，近期，多伦多大学宣布成立一个专注于人工智能研究的独立研究机构—向量学院(Vector Institute)，作为多伦多大学计算机系名誉教授的Geoffrey Hinton被任命为首席科学...
在机器学习领域，多伦多大学有着举足轻重的地位，它的机器学习研究组云集了一批世界级的学者，在《科学》(Science)和《自然》(Nature)发表多篇开创性的论文，实属罕见。辛顿(Geoffrey Hinton)教授是伟大的思想家，更...
Krizhevsky，多伦多大学的博士研究生，凭此在ImageNet大赛上夺下了2012届的冠军。Alex提出了一个奇妙的模型，仅凭借两个GPU就取得了训练深层神经网络的极佳效果。江湖顿时为之轰动，于是引发了GPU训练神经网络的风潮...
此外，谷歌还投资了500万美元给今年多伦多大学新成立的AI研究实验室向量学院（Vector Institute），Geoffrey Hinton是这家机构的首席科学顾问 蒙特利尔大学和麦吉尔大学 2016年，Google宣布在蒙特利尔设立了新的人工...
雷锋网AI科技评论按：前段时间，多伦多大学成立了向量学院，以更好地扶植加拿大人工智能产业的发展。实际上这只是加拿大挽救人才流失的一个缩影：多年以来，由于美国硅谷的吸引，加拿大流失了大量人工智能领域的科学...
现在，你的愿望可能会成真了、据国外媒体报道，加拿大多伦多大学的研究人员最近开发出了能够自动谱写圣诞节歌曲的 AI 系统。首先，研究人员会让计算机产生一个和圣诞节有关的故事图片。随后研究人员选择每字一拍的...
多伦多大学的工程师团队进行了一项最新研究，使得我们离实现百分百安全的信息交流又近了一步。研究者的论文发表在《自然通信》(Nature Communications，《自然》期刊集团下属的网络期刊)上，文中介绍了一种全光子...
多伦多大学的工程师团队进行了一项最新研究，使得我们离实现百分百安全的信息交流又近了一步。研究者的论文发表在《自然通信》（Nature Communications，《自然》期刊集团下属的网络期刊）上，文中介绍了一种全光子...
计算机科学家和人工智能方面的领头专家Geoffrey Everest Hinton 已经成功帮助多伦多大学成为一个创新中心。在剑桥大学读本科的时候，Geoffrey Everest Hinton一直对人类大脑有着很多的思考。他想要更好地了解人类...
加拿大多伦多大学公民实验室的研究人员发表了一份研究报告，称百度浏览器存在安全与隐私问题。百度浏览器是基于Blink（Chrome）/Trident（IE）渲染引擎的浏览器，有移动版和桌面版，研究人员分析的是移动版本。他们...
最近几年时间里，多伦多大学 Geoffrey Hinton 加入谷歌，纽约大学的 Yann LeCun 到了 Facebook，斯坦福大学的吴恩达加入百度，卡耐基梅隆大学的 Alex Smola 加入亚马逊。上周，谷歌聘任了斯坦福大学 AI 实验室负责人...
最近几年时间里，多伦多大学 Geoffrey Hinton 加入谷歌，纽约大学的 Yann LeCun 到了 Facebook，斯坦福大学的吴恩达加入百度，卡耐基梅隆大学的 Alex Smola 加入亚马逊。上周，谷歌聘任了斯坦福大学 AI 实验室负责人...
本次课程来源于 Hinton 2012 年在多伦多大学的授课实录，适合于对 Machine Learning 有一定基础的同学来进一步学习研究。PS:出于对 Hinton 知识成果的尊重以及版权的需要，AI 研习社已经获得了 Hinton 教授的亲自...
加拿大多伦多大学的“公民实验室”调查认为，“飞马”由NSO集团开发，这家位于以色列的公司2010年被一家据称专门从事“网络战”的美国公司弗朗西斯科伙伴管理公司收购。文章说，“飞马”在利用零日漏洞、混淆技术、...
Effect和多伦多大学最新研究发现，市面上流行的健身追踪设备往往会泄露个人信息，它们发出的蓝牙信息容易被黑客跟踪，即使关闭蓝牙也无法解决问题。目前被发现存在这些问题的设备包括Basis，Fitbit，Garmin，Jawbone...
http://www.ri.cmu.edu/person.html?person_id=123 (85)多伦多大学教授：David J.Fleet: http://www.cs.toronto.edu/~fleet/(86)伦敦大学玛丽女王学院教授Andrea Cavallaro:http://www.eecs.qmul.ac.uk/~andrea/(87)...
所以，多伦多大学的一组教师和学生创建了这款名为IXmaps的新工具。该工具展现数据传递路径，比如流经ISP(互联网服务提供商)所用实体网络数据交换所，以及作为网络间流量传递中心的内容分发网络时的已知路径。IXmaps...
Hinton组成的多伦多大学团队在比赛中使用了深层神经网络技术，这种技术的算法可以让机器基于目前最大的图像数据库进行分类识别，而不是依靠人为制定的规则。多伦多大学团队使用非监督的逐层贪心训练算法取得的成果，...
加拿大多伦多大学教授Bianca Schroeder，与谷歌工程师 Raghav Lagisetty及Arif Merchant花费6年时间，研究了大量品牌的SSD硬盘，包括企业级和消费级产品，最终对SSD的使用寿命得出了一些结论，下面一起来了解一下。...
未解决问题？到论坛提问试试吧!
你可能感兴趣神经网络之父Geoffrey Hinton杰弗里·欣顿 跨过人工智能寒冬谈深度学习
秦陇纪10汇编，关注后菜单项科学Sciences分类页
(打赏后“阅读原文”可下37k字12图18页PDF)
简介：本文全方位介绍机器学习开创者、开辟机器学习子领域“深度学习”的“神经网络之父”、“加拿大黑手党”、人工智能领域教父、谷歌大脑团队神级人物、多伦多大学Vector Institute(向量学院)首席科学顾问、英国皇家学会FRS院士、美国人工智能协会AAAI院士——Geoffrey Hinton杰弗里·欣顿教授，国内媒体说的人工智能三大奠基人Geoffrey Hinton、Yann LeCun与Yoshua Bengio之一。AI时代即将开启，新来者犹可追赶。我们先了解一下这位业界教父传记，再看一下Geoffrey Hinton深度学习技术，以及Hinton教授深度学习论文单。
来源：多伦多大学、Geoffrey Hinton个人主页、维基百科Geoffrey Hinton、知乎、微信群公号等汇编，出处请看参考文献。版权声明：科普文章，公开资料(C)版权归原作者所有。仅供学习研究，请勿用于商业非法目的。如出处有误或侵权，请联系沟通、授权或删除事宜，联系邮箱：。
神经网络之父Geoffrey Hinton杰弗里·欣顿跨过人工智能寒冬谈深度学习[附深度学习论文表](19794字)1
1神经网络之父Geoffrey Hinton杰弗里·欣顿教授Biography传记(7468字)1
2Geoffrey Hinton杰弗里·欣顿跨过人工智能寒冬谈深度学习[17](11904字)8
3Geoffrey Hinton个人主页上的深度学习论文列表[30篇](383字)15
参考文献(569字)16
Appx(1030字).数据简化DataSimp社区会议,译文志愿者17
【“数据简化DataSimp、科学Sciences、知识简化”公众号希望聚集各专业领域一线研究员；研究技术时也传播知识、专业视角解释和普及科学现象和原理，展现自然社会生活之科学面；并在知识爆炸、信息爆炸的时代，做相应的力所能及的简化工作。公众号由秦陇纪发起，参与者约十人，尚未覆盖各领域科普及简化；空闲时间有限，每周只能发几篇文章。期待大家参与~】
神经网络之父Geoffrey Hinton杰弗里·欣顿跨过人工智能寒冬谈深度学习[附深度学习论文表](19794字)
1神经网络之父Geoffrey Hinton杰弗里·欣顿教授Biography传记(7468字)
AI时代即将开启，新来者犹可追赶。本文全方位介绍机器学习开创者、开辟机器学习子领域“深度学习”的“神经网络之父”、“加拿大黑手党”、人工智能领域教父、谷歌大脑团队神级人物、多伦多大学向量学院首席科学顾问、英国皇家学会FRS院士、美国人工智能协会AAAI院士——Geoffrey Hinton杰弗里·欣顿教授，国内媒体说的人工智能三大奠基人Geoffrey Hinton、Yann LeCun与Yoshua Bengio之一。
图1 神经网络之父Geoffrey Hinton杰弗里·欣顿
杰弗里·埃佛勒斯(珠穆朗玛峰)·欣顿(Geoffrey Everest Hinton)，是日英国出生的加拿大认知心理学家和计算机科学家，爱丁堡大学人工智能博士，目前是多伦多大学特聘教授，以他的人工神经网络(artificial neural networks)而出名，被称为“神经网络之父”、“深度学习鼻祖”。[14]2012年，Hinton获得加拿大基廉奖(Killam Prizes，有“加拿大诺贝尔奖”之称的国家最高科学奖)。2013年，Hinton加入谷歌AI团队，将神经网络带入应用一线、把他的成名作Back Propagation(反向传播)算法应用到神经网络与深度学习。“深度学习”从边缘课题变成谷歌等互联网巨头核心技术，从而使得业界掀起一轮又一轮争夺AI核心技术制高点的热潮。[15]截至2015年，他的工作时间花在了谷歌和多伦多大学。[16]他是第一个证明了广义反向传播算法(BP算法GeneralizedBackPropagationAlgorithm)训练多层神经网络的应用研究人员，是深度学习(deep learning)社区重要人物。[17][18][19]
1.1 传记Biography简介
Geoffrey Everest Hinton杰弗里·埃佛勒斯[世界最高峰珠穆朗玛峰]·欣顿[英格兰人姓氏]，日（今年70岁）[3]，伦敦London温布尔登Wimbledon出生，现在住在加拿大多伦多。研究领域：机器学习Machine learning，神经网络Neural networks，人工智能Artificial intelligence，认知科学Cognitive science，物体识别Object recognition[4]。机构：多伦多大学University of Toronto，谷歌Google，卡内基·梅隆大学Carnegie Mellon University，英国伦敦大学学院University College London。个人网站：www.cs.toronto.edu/~hinton/。
母校：剑桥的国王学院King's College,Cambridge(BA文学士)，爱丁堡大学University of Edinburgh(PhD博士)；毕业论文：放松及其在视觉中的作用Relaxation and its role in vision(1977)；博士生导师：克里斯托弗龙格-希金斯Christopher Longuet-Higgins[5][6][7]。
博士生(26名以上)：①David Ackley[7],②Peter Brown,③Richard Szeliski,④Mark Derthick[8],⑤Kevin Lang,⑥Steven Nowlan,⑦David Plaut,⑧Sidney Fels[5],⑨Sue Becker,⑩Richard Zemel[5][9], Carl Rasmussen[5], Chris Williams, Brendan Frey[10],Radford M.Neal[11], Radek Grzeszczuk, Brian Sallans, Sageev Oore, Alberto Paccanaro, Yee Whye Teh[5], Ruslan Salakhutdinov[12], Ilya Sutskever[13], George Dahl, Navdeep Jaitly, 其他著名学生：Yann LeCun(postdoc),Zoubin Ghahramani(postdoc)。后续篇章专门介绍其博后Yann le Cun大神。
成名作：反向传播B-P(Backpropagation可表示一种神经网络算法，例如：B-P网络)，波尔兹曼机Boltzmann machine，深度学习Deep learning。
著名奖项：Fellow of the Royal Society&英&皇家学会FRS院士(1998)[14]，美国人工智能协会AAAI Fellow院士(1990)，鲁梅哈特奖Rumelhart Prize(2001)，IJCAI Award for Research Excellence顶级优秀科研奖(2005)，&美&电器和电子工程师学会Institute of Electrical and Electronic Engineers弗兰克·罗森布拉特奖IEEE Frank Rosenblatt Award(2014)，西班牙对外银行基金会前沿知识奖BBVA Foundation Frontiers of Knowledge Award(2016)。
1.2 教育Education学习生涯
Geoffrey Hinton出生于温布尔登，在布里斯托尔长大，上的是英国公立学校，他表示“我在学校数学不是特别好。我喜欢物理学和足球。”1960年代高中时，一个朋友告诉他，人脑的工作原理就像全息图一样。创建一个3D全息图，需要大量记录入射光被物体多次反射的结果，然后将这些信息存储进一个庞大的数据库中。大脑储存信息的方式居然与全息图如此类似，大脑并非将记忆储存在一个特定的地方，而是在整个神经网络里传播。Hinton为此深深的着迷。对Hinton来说是他人生的关键，也是他成功的起点。
但Hinton求学、最求他的AI理想之路很不平坦。Hinton先入克利夫顿大学，毕业后进入剑桥的国王学院攻读物理和化学，但仅读了一个月后就退学了。他谈到：“我那时候18岁，第一次离开家自己生活。当时的工作十分繁重，周围没有任何女孩，我感到有些压抑。”一年后，他再次申请攻读建筑学，结果到建筑学上了一天课，他又转而攻读物理学和生理学，但发现物理数学太难又退学了。此后，他又改读哲学，转而把两年的课压到一年学习哲学。但因为与他的导师发生争吵而告终。在回忆这段经历的时候，Hinton表示“那一年对我来说受益良多。彼时我对哲学仿佛产生抗体，因而想了解思维是如何运转的。”随后，他研读心理学，发现“心理学对意识也一无所知。”1967年-1970年，剑桥大学国王学院(King's College,Cambridge)实验心理学荣誉学士(Bachelor of Arts in experimental psychology)毕业。[3]
他承认道：“我有一种教育上的多动症。”此后，Hinton并没有继续完成他的学业，而是退学后搬到了北伦敦的伊斯灵顿区成为一个包工木匠，那里当时混乱不堪。他说道：“我做过一些货架、悬吊门这些没什么特别的东西。人们都是靠做这类东西赚钱。”每个星期六早上，他都会去伊斯灵顿的埃塞克斯路图书馆，在他笔记本里匆匆记下关于大脑工作原理的理论。[38]
这样折腾了几年Hinton回到学术界。当了一年木匠之后，1972年开始在爱丁堡大学(the University of Edinburgh)继续他的神经网络研究探索，攻读爱丁堡大学Christopher Longuet-Higgins麾下人工智能博士学位。Christopher Longuet-Higgins桃李满天下，包括诺贝尔奖获得者John Polanyi，多伦多大学化学家和理论物理学家Peter Higgs等。Hinton当时就认为神经网络的概念会是大势，但导师依然站在传统的AI阵营里。“每周我和导师都会发生激烈争辩”Hinton说，“我一直坚持自己的想法，对导师说，‘好吧，再给我六个月，我会证明给你看的’。然后六个月过去了，我会说‘快了快了，再给我半年时间吧’。之后，我索性说‘再给我五年吧’，人们都说，你已经做了五年，但它并不管用。最终，它还是奏效了。”
Hinton从未对神经网络产生过怀疑“我从来没有怀疑过，因为大脑一定是以某种形式工作，而且并不根据既定的编程”。1975年获得由克里斯托弗·朗吉特·希金斯(Christopher Longuet Higgins)指导的人工智能博士(a PhD in artificial intelligence)。[5][20]
后来，他转到美国匹兹堡的卡内基梅隆大学继续进行他自己的研究，但很快意识到他所在院系及整个美国大部分AI研究工作是美国国防部(DoD)资助的。于是他毅然辞职抗议，并搬到基本无军事资助的加拿大。他表示：“我离开时带走了一美分硬币，并用一台施乐复印机将它放大，然后把它挂在了我的办公室门上。但是我把其中的G改成了D——上面那句话就变成了in DoD we trust(我们信赖国防部)。”[38]
1.3 职业生涯Career经历
博士毕业后，他在瑟赛克斯大学(the University of Sussex)、加利福尼亚大学圣地亚哥分校(the University of California, San Diego)，卡内基梅隆大学(Carnegie Mellon University)工作过。[3]他曾是英国伦敦大学学院(University College London)计算神经科学部(Computational Neuroscience Unit)盖茨比慈善基金会(the Gatsby Charitable Foundation)创始董事(the founding director)[3]，目前[21]，是多伦多大学(the University of Toronto)计算机科学系教授。他担任机器学习加拿大研究主席(a Canada Research Chair in Machine Learning)。他是加拿大高等研究所(the Canadian Institute for Advanced Research)资助的“神经计算和自适应感知(Neural Computation and Adaptive Perception)”项目主任。2012年，Hinton曾在教育平台Coursera上教授神经网络(Neural Networks)免费在线课程。[22]2013年3月Hinton的公司DNNresearch公司被谷歌收购，他也加入了谷歌。他计划把时间分配到他所在的大学的研究和在谷歌的工作”。[23]
Jan76-Sept 78研究员，苏塞克斯大学认知研究项目，英国
Oct78-Sept 80访问学者，加利福尼亚大学圣地亚哥分校认知科学项目，美国
Oct80-Sept 82科学主任(Scientific Officer)，剑桥大学MRC应用心理学单位，英国
Jan82-June 82客座助理教授，加利福尼亚大学圣地亚哥分校心理学系，美国
Oct82-June 87助理教授那副教授，卡内基梅隆大学计算机科学系，美国
Jul 87-June 98教授，多伦多大学计算机科学系，加拿大
Jul 98-Sep 01计算神经科学部创始主任，伦敦大学，英国
Oct01-now教授，多伦多大学计算机科学系，加拿大
Mar 13-sep 16杰出研究员，谷歌公司（兼职）
Oct 16-now工程副总裁，Google（兼职）
在美国几所学校辗转后，1987年Hinton到多伦多大学任教，主要基于两个考虑：首先是加拿大高级研究所的资助；另外则颇反战倾向“我不想从美国军方拿钱，美国研发AI的大部分资金来自军方”。
1.4 研究领域Research简述
Hinton教授是机器学习的开创者，使得计算机可以独立模拟出程序、自己解决问题。特别重要的是，他从中开辟了机器学习子领域——深度学习：让那些机器像一个蹒跚学步的孩子一样，模仿大脑的神经网络形式。这意味着计算机可以自动构建一层层智慧网络。随着近年强大处理技术的出现，这种深度学习框架经历了巨大的变革，现已成为主流方法：从我们的智能手机中的语音识别模式，到图像检测软件，再到亚马逊为用户推荐购买哪本图书，全都离不开深度学习。
人工智能寒冬：传统概念AI依赖逻辑和规则给计算机编程。1960年代，人工智能尝试依然处于理论阶段，远未开始实践。神经网络的想法并不受待见，Hinton表示“传统的思路无疑更受关注和信任”。1970年代导师都不看好的艰难时期，Hinton一直对神经网络保持信心。1980年代，Hinton参与使用计算机模拟大脑的研究，这也便是如今所说“深度学习”概念。然而学术期刊因为不认可神经网络这一理念而频频拒收论文，30多年漫长黑夜后，等到人工智能黎明。他将神经网络算法的演算过程与人脑思维方式相比拟，人工智能寒冬后再一次为人所知，并像电一样逐渐渗透入人们的生活。[33]
神经网络翻身仗：过去几年，随着计算能力大幅提升，学术界观念开始改变。2009年HintonHinton以及他两个研究生D.Mohamed等，用神经网络应用于语音的声学建模,在小词汇量连续语音识别数据库TIMIT上，获得了语音识别竞赛胜利，随后这项基于神经网络的方法被应用于谷歌安卓手机上。2012年他的另两个学生Alex Krizhevsky等，轻易地夺得ImageNet图像识别大赛冠军，达到了人类的水平，刷新了image classification记录，在这次竞赛中Alex所用的结构被称为AlexNet。[34]
从2009年到2013五年间，随着他学生还有无数研究者所做出的一系列贡献，Hinton在深度学习所做的研究开始为人所知并接受，也被人们推举为计算新时代领头人。神经网络现在几乎涵盖了所有的人工智能算法，并借助科技企业的各类应用传播开来。
Hinton为解释神经网络如何工作，以翻译程序为例，给计算机提供海量的单词及片段。系统会对句子的含义进行理解，随后输入另一个神经网络中，后者会输出另一种语言的句子。在这个过程中，系统不会涉及编程或语言规则，此外，神经网络甚至还能自行掌握主动句及被动句的区别。
神经网络特点：“并没有人告诉神经网络这两个概念是什么，就像小孩一样，你不会告诉他们‘这个是主动，这个是被动。’过段时间，他们自然就明白了。神经网络也是如此。”
Hinton的研究方法是基于神经网络的机器学习、记忆方法、认知和符号处理。他在这些领域中撰写或合著过200多篇同行评议的出版物。[4][24]他是最早使用广义反向传播算法(generalized back-propagation algorithm)训练多层神经网络(multi-layer neural networks)的研究人员之一，该神经网络已广泛应用于实际应用。他与大卫·艾克利(David Ackley)和特里·赛杰诺斯基(Terry Sejnowski)一起，发明了波尔兹曼机(Boltzmann machines)[25]
他对神经网络研究的其他贡献包括分布式表征(distributed representations)、时延神经网络(time delay neural network)、专家混合(mixtures of experts)、亥姆霍兹机器(Helmholtz machines)和专家产品(Product of Experts)。2007年Hinton合著了一篇题为“图像变换的无监督学习Unsupervised learning of image transformations”无监督学习论文。[26]在1992年9月和1993年10月Scientific American科学美国人杂志Geoffrey Hinton文章中，可以找到他研究相关的可访问介绍。
Hinton属于神级存在：他被人们誉为“人工智能(AI)教父”，而这项已经引发全球性变革的新技术背后，与其聪明才智密不可分。他带过的学生陆续被硅谷挖走，分别在苹果、Facebook和Google这类的科技巨头公司里领导着人工智能领域的研究工作，而他自己也被Google聘请为公司副总裁，主管工程设计部门。
尽管在北美呆了多年，Geoffrey Hinton教授仍旧操着一口标准英式口音说“被称为‘教父’我感觉有一些难为情。”他笑着表示“我对我自己的数据有一种里根式的笃信。”而正是Geoffrey Hinton对自己的工作成果不可动摇的信念，促使他从学术生涯多年的不得志走到了当前最热门的AI前沿。
Hinton及其同事们的工作挖掘出了机器学习的无限潜力，他们也被其竞争对手戏称为“加拿大黑手党”。
近期，Geoffrey Hinton带领谷歌大脑团队推出了新作：通过给个体标签建模来提高分类能力，同时也展示了通过采用这种标记方法我们提升了计算机辅助诊断糖尿病导致视网膜病变的准确度。谷歌大脑团队提供了一种创新的方法，以处理那些数量巨大的、需要借助专家来标记标签的现实数据。
同时，Geoffrey Hinton所在的多伦多大学宣布成立一个专注于人工智能研究的独立研究机构——向量学院(Vector Institute)。他作为多伦多大学计算机系名誉教授被任命为首席科学顾问将在这里开展人工智能研究，执掌多伦多新募集1.8亿美元资金的向量学院。Hinton所担负起的，是吸引更多人才并致力于将多伦多建设成一个全球人工智能的中心，以巩固这座城市在人工智能领域全球领导者的地位。
Hinton的这个团队也会是Google Brain的一个延伸，而恰巧在去年底，Google早已宣布在蒙特利尔开设了一个Google Brain的分部。Hinton博客自我介绍：I am an Engineering Fellow at Google where I manage Brain Team Toronto,which is a new part of the Google Brain Team and is located at Google's Toronto office at 111 Richmond Street.Brain Team Toronto does basic research on ways to improve neural network learning techniques.I am also the Chief Scientific Adviser of the new Vector Institute.介绍了他是Google多伦多脑科学团队工程师，该团队主要是做一下提高神经网络性能的基础研究。同时也是多伦多大学新成立的向量学院(Vector Institute)的首席科学顾问。
2017年Hinton一半时间在多伦多大学教书，一半时间在Google建设神秘的Google大脑。多伦多大学向量学院建成前，Hinton在多伦多大学及谷歌多伦多大学办公室同时进行授课及研究工作。虽然做出了划时代贡献，但他工作场所却依然简单——谷歌多伦多市中心总部办公室狭小而简朴，根本没有座椅，69岁的Hinton教授喜欢一直站着。桌子背后是一块写满公式的白板，记者到访的时候，甚至找不到一把多余椅子。采访中Hinton不愿意多费口舌，但却详细描述神经网络拥护者及传统人工智能支持者间的观点争论。[34]
Geoffrey Hinton教授有着所有英国学者的典型外貌特征：一头蓬乱的头发，皱巴巴的衬衫，像个不修边幅的人。衬衫前口袋里还插着一排圆珠笔，守着一个巨大且脏乱的白板，白板上写满了各种复杂难解的方程式。
尽管只要招聘到一名神经网络教授，用于人工智能研究的谷歌百万级经费就会拨到多伦多大学，但大学却迟迟没有这样做。传统的高校学术机构获得了大量的资源，也比之前有了更多的自由调配研究资金，目前研究者们似乎陷入了盲目追逐神经网络的潮流。“如今神经网络理论开始奏效，因而工业界及政府也开始将神经网络当作人工智能。以前整天嘲笑神经网络的AI研究者们也乐在其中，并计划从中分一杯羹。”Hinton教授在访谈期间喜欢摸鼻子（行为心理学上，这种行为有缓解个人情绪的作用。）他对特朗普做出了负面评论，又向旁边的谷歌公关表示歉意。[35]
1.5 荣誉和奖励Honours and awards及荣誉学位
2016年NEC公司C#和C语言奖；
2016年西班牙对外银行基金会BBVA Foundation知识前沿奖Frontiers of Knowledge Award(2016)，在信息和通信技术类“他的开创性的和极具影响力的工作”赋予机器学习的能力；
2016年IEEE/RSE杰姆斯·克拉克·麦克斯韦(James Clerk MaxwellAward)奖[31]；
2016年，国家工程院(a foreign member ofNational Academy of Engineering)的外籍院士，在人工神经网络及其应用、语音识别和计算机视觉中的理论和实践贡献。"For contributions to the theory and practice of artificial neural networks and their application to speech recognition and computer vision"[30]；
2014年IEEE弗兰克·罗森布拉特(Frank Rosenblatt medal）奖；
2013年谢布鲁克大学(University of Sherbrooke)荣誉博士学位；
2012年加拿大基拉姆(Killam Prize)工程奖；
2010年格哈德·赫茨伯格(Gerhard HerzbergGold Medal )加拿大理工科金奖[29]；
2011年瑟赛克斯大学(University of Sussex)科学博士荣誉学位；
2005年International Joint Conference on Artificial Intelligence国际人工智能联合会议IJCAI卓越研究终身成就奖；
2001年英国爱丁堡大学(University of Edinburgh)科学博士荣誉学位；
2001年戴维E.鲁梅哈特奖(The David E.Rumelhart Prize)首位获奖者[27]；
1998年IEEE神经网络先锋奖(Neural Networks Pioneer Award)；
1992年ITAC/NSERC学术优秀奖；
1990年IEEE信号处理学会(Signal Processing Society)高级奖；
团体Fellowship如下：
2016美国国家工程院名誉外国成员Honorary Foreign Member of the US National Academy of Engineering；
2015名誉外国成员的西班牙真正的学术工程Honorary Foreign Member of the Spanish Real Academia de Ingenieria；
2014加拿大高级研究所杰出研究员Distinguished Fellow,Canadian Institute for Advanced Research；
2003美国艺术和科学院名誉外国成员Honorary Foreign Member of the American Academy of Arts and Sciences；
2003认知科学学会研究员Fellow of the Cognitive Science Society；
1998皇家学会研究员Fellow of the Royal Society(FRS)[14]FRS当选证书写到：“Geoffrey E.Hinton is internationally distinguished for his work on artificial neural nets,especially how they can be designed to learn without the aid of a human teacher.This may well be the start of autonomous intelligent brain-like machines.He has compared effects of brain damage with effects of losses in such a net,and found striking similarities with human impairment,such as for recognition of names and losses of categorization.His work includes studies of mental imagery,and inventing puzzles for testing originality and creative intelligence.It is conceptual,mathematically sophisticated and experimental.He brings these skills together with striking effect to produce important work of great interest.[28]”；
1996加拿大皇家学会研究员Fellow of the Royal Society of Canada；
1991人，人工智能促进协会Fellow,Association for the Advancement of Artificial Intelligence；
1987名，加拿大高级研究所（年；年）Fellow,Canadian Institute for Advanced Research(04-2014)。
图5 在2016年从左到右Russ Salakhutdinov,Richard S.Sutton,Geoffrey Hinton,Yoshua Bengio和Steve Jurvetson
统计时间截止到2016年11月，Hinton署名文章报告共计327篇！
1.6 Geoffrey Hinton家族及其Personal life个人生活
Geoffrey Hinton出生于战后英国的温布尔登，他们一家都流淌着饱含聪明才智的DNA：叔叔Colin Clark是著名经济学家——发明GDP“国民生产总值”这个经济学术语，曾曾祖父George Boole是著名逻辑学家——提出的布尔代数(Boolean algebra)奠定了现代计算机科学基础。Hinton是布尔和外科医生和著作家James Hinton的增增孙(the great-great-grandson)。[32]父亲Howard Everest Hinton是英国昆虫学家，喜欢研究甲壳虫；[33]母亲Margaret是一位数学教师。他的中间名来自另一个亲戚George Everest。[34]
Hinton第一任妻子Ros在1994年因卵巢癌逝世，留下他独自抚养照顾他们收养的两个年幼的孩子。后来，他与其现任妻子Jackie再婚。据说Jackie现在被诊断出患有胰腺癌。
1.7 既担心AI恶果、也期望AI未来
开启人工智能时代，将改变我们的生活方式、利益分配方式。这些改变，有好也有坏。Hinton的2个担心：
一、相比人们对机器日益提升的智能程度担忧，对人类而言，Hinton表示更为紧迫的威胁是杀手机器人的开发。为强调这一点，116家AI公司创始人联合签署请愿书，呼吁禁止制作杀人机器人、当前研发“无人机群”等致命机器人武器。Hinton以前签署过Campaign to Stop Killer Robots请愿书，呼吁联合国禁止使用会对生命产生威胁的AI武器。其中这样写道“我认为这一点是最为耸人听闻的。而且不是发生于遥远的未来，而是近在咫尺”。还郑重地给英国国防部写信阐述他对此的担忧。他谈到：“(英国国防部)回复说现在还没必要对此做出什么处理，因为人工智能技术的发展仍任重而道远，而且不管怎么说，它们还有可能会带来很多益处。不过，他们肯定有能力做到这一点。”
二、他还担心人工智能会越来越多地被用于政府对平民的监视。他透露，曾因担心所在研究会被安全部门滥用，拒绝了一份在加拿大相当于美国国家安全局董事会的工作邀约。关于“AI是否会取代人类”问题，Hinton表示人类确实需要对AI做出一些限制。
Hinton相信AI产生的效益会给人类带来福音，尤其是在医疗和教育领域。AI成果将使医学变得更加高效。他设想，没多久，每个人都能100美元获取自己基因图谱(目前该项费用为1000美元)。对于放射科医生而言，AI的发展并不是个好消息，Hinton认为X射线检测工作可能很快就会被大量机器人取代。他预见，AI会在医生诊断疾病或皮肤癌等领域发挥良好的作用，而且它也会成为人类的好帮手，提醒你准时参加午餐会见，并用常识观察用户的行为，如果你忘记了日程内容，它可能会打算打断你手头的事情。
大量工作岗位将会消失，Hinton认为，确保人们不会被经济自动化浪潮抛下是政府和企业的工作和职责。他表示“一个分工明确的组织型社会，提高生产力将使每个人受益。问题不在于技术，而在于利益分配方式。”
大银行、有限电视及其它公司正在采用AI分析销售数据，并希望与客户产生良好的互动。从Facebook离职回多伦多创立Integrate.ai的Steve Irvine就在做类似的事情。他表示“我认为再多的赞美也毫不为过，他在AI的低谷期也一直不离不弃，看起来就像一个疯狂的科学家，而人们也从未预料到AI的今天会是如此……这些被我们谈论了20、30年的事情正在发生着，我觉得于他而言，是一个非常好的回馈。在这个世界里，他是当之无愧的教父。他的成功绝非一日之寒。”
即便是高瞻远瞩如Hinton，他也不知道人工智能革命接下来会将我们带向何处。他说“在这个领域，很难预测五年以后的事情，毕竟事情往往并不会像你期待的那样如期而至。”[35]
不过可以确定的是，正如科研人员所知，人工智能新世界的大门已经开启，正在各领域开疆拓土！
2Geoffrey Hinton杰弗里·欣顿跨过人工智能寒冬谈深度学习[17](11904字)
借助深度学习、多处理层组成的计算模型可通过多层抽象来学习数据表征（representations）这些方法显著推动了语音识别、视觉识别、目标检测以及许多其他领域（比如，药物发现以及基因组学）的技术发展。利用反向传播算法（backpropagation algorithm）来显示机器将会如何根据前一层的表征改变用以计算每层表征的内部参数，深度学习发现了大数据集的复杂结构。深层卷积网络（deep convolutional nets)为图像、视频和音频等数据处理上带来突破性进展，而递归网络（recurrent nets）也给序列数据（诸如文本、语言）的处理带来曙光。[35]本文是Hinton、LeCun、Bengio三巨头权威科普深度学习，类似美国Jordon泰斗分享的人工智能研究的几个技术方向（①机器学习，像聚类、分类、预测、维数缩减、优化等都是值得研究的方向；②规划，找出问题最佳解；③人机交互，机器独立工作，有效促进人机互动。），包括如何让机器主动向人类学习，众包来解决复杂问题，以及经济学和博弈论模型等。
机器学习为现代生活诸多方面带来巨大动力：从网页搜索到社交网络内容过滤再到电商网商推荐，在相机、智能手机等消费品中也越来越多见。机器学习系统被用来识别图像中的物体、将语音转为文本，根据用户兴趣自动匹配新闻、消息或产品，挑选相关搜索结果。这类被应用程序越来越多地采用的技术，叫做深度学习。
传统机器学习技术在处理原始输入的自然数据方面能力有限。几十年来，建构模式识别或机器学习系统需要利用严谨的工程学和相当丰富的专业知识设计出一个特征提取器，它能将原始数据（例如图像像素值）转化成适于内部描述或表征的向量（vector），在提取器中，学习子系统（通常是一个分类器）可以检测或分类输入模式。
表征学习（representation learning）是这样一套学习方法：输入原始数据后，机器能够自动发现检测或分类所需的表征信息。深度学习是一种多层描述的表征学习，通过组合简单、非线性模块来实现，每个模块都会将最简单的描述（从原始输入开始）转变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能学习非常复杂的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不相关变量非常关键。比如，图片最初以像素值的方式出现，第一特征层级中，机器习得的特征主要是图像中特定方位、位置边沿之有无。第二特征层级中，主要是通过发现特定安排的边缘来检测图案，此时机器并不考虑边沿位置的微小变化。第三层中会将局部图像与物体相应部分匹配，后续的层级将会通过把这些局部组合起来从而识别出整个物体。深度学习的关键之处在于：这些特征层级并非出自人类工程师之手；而是机器通过一个通用general-purpose学习程序，从大量数据中自学得出。
某些根深蒂固的问题困扰了人工智能从业者许多年，以至于人们最出色的尝试都无功而返。而深度学习的出现，让这些问题的解决迈出了至关重要的步伐。深度学习善于在高维度的数据中摸索出错综复杂的结构，因此能应用在许多不同的领域，比如科学、商业和政府。此外，除了图像识别和语音识别，它还在许多方面击败了其他机器学习技术，比如预测潜在药物分子的活性、分析粒子加速器的数据、重构大脑回路、预测非编码DNA的突变对基因表达和疾病有何影响等。也许，最让人惊讶的是，在自然语言理解方面，特别是话题分类、情感分析、问答系统和语言翻译等不同的任务上，深度学习都展现出了无限光明的前景。
在不久的将来，我们认为深度学习将取得更多成就，因为它只需要极少的人工参与，所以它能轻而易举地从计算能力提升和数据量增长中获得裨益。目前正在开发的用于深层神经网络的新型学习算法和体系结构必将加速这一进程。
监督式学习
不管深度与否，机器学习最普遍的形式都是监督式学习supervised learning。比如说，我们想构造一个系统，它能根据特定元素对图片进行分类，例如包含一栋房子、一辆车、一个人或一只宠物。首先，我们要收集大量包含有房子、车、人或宠物的图片，组成一个数据集data set，每张图片都标记有它的类别。在训练时，每当我们向机器展示一张图片，机器就会输出一个相应类别的向量。我们希望的结果是：指定类别的分数最高，高于其他所有类别。然而，如果不经过训练，这将是不可能完成的任务。为此，我们通过一个目标函数来计算实际输出与期望输出之间的误差或距离。接下来，为了减小误差，机器会对其内部可调参数进行调整。这些可调参数常被称为「权重」（weight），是实数，可看做定义机器输入-输出功能的「门把手」。在一个典型的深度学习系统中，可能存在着成千上亿的可调权重及用以训练机器的标记样本。
为了正确地调整权重矢量weight vector，学习算法会计算出一个梯度矢量gradient vector。对每一个权重，这个梯度矢量都能指示出，当权重略微增减一点点时，误差会随之增减多少量。接着，权重矢量就会往梯度矢量的反方向进行调整。
从所有训练范例之上，平均看来，目标函数objective function可被视为一片崎岖的山地，坐落于由权重组成的高维空间。梯度矢量为负值的地方，意味着山地中最陡峭的下坡方向，一路接近最小值。这个最小值，也就是平均输出误差最小之处。
在实践中，大多数业内人士都是用一种被称为随机梯度下降SGD-Stochastic Gradient Descent的算法（梯度下降Grident Descent是「最小化风险函数」以及「损失函数」的一种常用方法，「随机梯度下降」是此类下的一种通过迭代求解的思路——译者注）。每一次迭代包括以下几个步骤：获取一些样本的输入矢量input vector，计算输出结果和误差，计算这些样本的平均梯度，根据平均梯度调整相应权重。这个过程在各个从整个训练集中抽取的小子集之上重复，直到目标函数的平均值停止下降。它被称做随机Stochastic是因为每个样本组都会给出一个对于整个训练集training set的平均梯度average gradient的噪音估值noisy estimate。较于更加精确的组合优化技术，这个简单的方法通常可以神奇地快速地找出一个权重适当的样本子集。训练过后，系统的性能将在另外一组不同样本（即测试集）上进行验证，以期测试机器的泛化能力generalization ability——面对训练中从未遇过的新输入，机器能够给出合理答案。
很多当今机器学习的实际应用都在人工设定的特征上使用线性分类linear classifiers。一个二元线性分类器two-class linear classifier可以计算出特征向量的加权和weighted sum。如果「加权和」高于阈值，该输入样本就被归类于某个特定的类别。
二十世纪六十年代以来，我们就知道线性分类只能将输入样本划分到非常简单的区域中，即被超平面切分的半空间。但是，对于类似图像及语音识别等问题，要求输入-输出函数input–output function必须对输入样本的无关变化不敏感，比如，图片中物体的位置，方向或者物体上的装饰图案，又比如，声音的音调或者口音；与此同时「输入-输出函数」又需要对某些细微差异特别敏感（比如，一匹白色的狼和一种长得很像狼的被称作萨摩耶的狗）。两只萨摩耶在不同的环境里摆着不同姿势的照片从像素级别来说很可能会非常地不一样，然而在类似背景下摆着同样姿势的一只萨摩耶和一只狼的照片在像素级别来说很可能会非常相像。一个线性分类器linear classifier，或者其他基于原始像素操作的浅层shallow分类操作是无论如何也无法将后者中的两只区分开，也无法将前者中的两只分到同样的类别里的。这也就是为什么「浅层」分类器classifiers需要一个可以出色地解决选择性-恒常性困境selectivity–invariance dilemma的特征提取器feature extractor——提取出对于辨别图片内容有意义的信息，同时忽略不相关的信息，比如，动物的姿势。我们可以用一些常规的非线性特征来增强分类器classifiers的效果，比如核方法kernel methods，但是，这些常规特征，比如高斯核Gaussian Kernel所找出来的那些，很难泛化generalize到与训练集差别别较大的输入上。传统的方法是人工设计好的「特征提取器」，这需要相当的工程技巧和问题领域的专业知识。但是，如果好的「特征提取器」可以通过“通用学习程序General-Purpose learning procedure”完成自学习，那么这些麻烦事儿就可以被避免了。这就是深度学习的重要优势。
图1多层神经网路和反向传播
a.一个多层神经网络（如图所示相互连接的点）能够整合distort输入空间（图中以红线与蓝线为例）让数据变得线性可分。注意输入空间的规则网格（左侧）如何转被隐藏单元（中间）转换的。例子只有两个输入单元、两个隐藏单元和一个输出单元，但事实上，用于对象识别和自然语言处理的网络通常包含了数十或成千上万个单元。(本节引用改写自C.Olah的http://colah.github.io/.)
b.导数的链式法则告诉我们，两个微小增量（即x关于y的增量，以及y关于z的增量）是如何构成的。x的增量Δx导致了y的增量Δy，这是通过乘以?y/?x来实现的（即偏导数的定义）。同样，Δy的变化也会引起Δz的变化。用一个方程代替另一个方程引出了导数的链式法则the chain rule of derivatives，即增量Δx如何通过与?y/?x及?z/?x相乘使得z也发生增量Δz。当x,y和z都是向量时这一规律也同样适用（使用雅克比矩阵）。
c.这个公式用于计算在包含着两个隐层和一个输出层的神经网络中的前向传输，每个层面的逆向传递梯度都构成了一个模组。在每一层，我们首先计算面向每个单元的总输入值z，即上一层的输出单元的加权和；然后，通过将一个非线性函数f（.）应用于z来得出这个单元的输出。为了简化流程，我们忽略掉一些阈值项bias terms。在神经网络中使用的非线性函数包含了近些年较为常用的校正线性单元(ReLU)f(z)=max(0,z)，以及更传统的sigmoid函数，比如，双曲线正切函数,f(z)=(exp(z)-exp(-z))/(exp(z)+exp(-z))和逻辑函数f(z)=1/(1+exp(-z)).
d.该公式用于计算反向传递。在每一个隐藏层中，我们都会计算每个单元输出的导数误差，即上述层中上一层所有单元输入的导数误差的加权总和。然后，将关于输出的导数误差乘以函数f(z)的梯度gradient，得到关于输入的导数误差。在输出层中，通过对成本函数进行微分计算，求得关于输出单元的误差导数。因此我们得出结论yl-tl如果对应于单元l的成本函数是0.5（yl-tl)2（注意tl是目标值）。一旦?E/?zk已知，那么，就能通过yj?E/?zk调整单元j的内星权向量wjk。
图2卷积网络的内部
一个典型的卷积网络架构的每一层（水平）输出（不是过滤器）应用到一个萨摩耶犬的图像（图2左下方，红绿蓝RGB输入，下方右侧）。每一个长方形图片都是一张对应于学习到的输出特征的特征地图，这些特征可以在图片的各个位置被侦测到。信息流是从下往上的，低级的特征充作导向性边际检测因子edge detectors，每个输出图像类都会被计算出一个分值。ReLU，整流线性单元。
深度学习架构由简单模组多层堆叠而成，全部（或绝大部分）模组都从事学习，大部分会计算非线性的输入输出映射。堆叠架构中的每个模组都会转换它的输入，同时增强可选择性和所呈现状态的一致性。通过多个非线性层面（例如，深度5-20层），系统可以实现对于输入数据的极其微小细节的敏感性功能---例如，区别开白色的狼和萨摩耶犬---并且对于较大的无关变量会不敏感（例如，主体周围的环境、姿势、光照条件和周围物体。）
训练多层架构的反向传播算法
从最早的模式识别开始，研究者们就一直试图用可训练的多层网络代替人工设计特征，尽管这种解决方案很简单，直到20世纪80年代中期，它才得到人们的广泛认可。事实证明，多层架构可以通过简单的随机梯度下降法得以训练。只要模组是由它们的输入值及其内部权重构成的相对平滑的函数relatively smooth functions，人们就可以使用反向传播算法来计算梯度。20世纪70至80年代，几个不同的研究小组分别发现这一方法确实可行、有用。
计算一个目标函数关于一个多层堆叠模组的权重梯度的反向传播过程，只不过是导数链式法则的一个实际应用。其中关键之处在于，关于模组输入值的函数的导数（或梯度），可以借助关于该模组的输出值（或序列模组的输入值）的梯度反向计算出来（图1）。反向传播方程可在所有模组中传播梯度时被反复应用，从顶部top（神经网络产生预测的那一层）输出开始，一直到底部bottom（被接收外部输入的那一层）。这些梯度一经计算，就可直接计算出关于每个模组权重的梯度。
深度学习的许多应用，都会使用前馈神经网络架构feedforward neural network architectures（图1）——该架构可学习将一个固定大小的输入映射到（例如，一幅图像）到一个固定大小的输出上（例如，每种分类的概率）。从一层到下一层，单元组计算其前一层输入的加权总和，并通过一个非线性函数输出结果。目前，最受欢迎的非线性函数是整流线性单元（ReLU），一个简单的半波整流器f(z)=max(z,0)。在过去的几十年里，神经网络使用的是更平滑的非线性，比如，tanh（z）或1/（1+exp（-z）），但ReLU在多层网络中的学习速度通常更快，可允许在没有无监督预训练without unsupervised pre-training的情况下进行深度监督网络训练。不在输入或输出层中的单元通常被称为隐层单元hidden units。隐层可被看作是以非线性方式变换输入，从而使所有类别在最后一层变得线性可分linearly separable by the last layer（图1）。
20世纪90年代末，神经网络和反向传播被机器学习社区大量遗弃，同时也被计算机视觉和语音识别领域忽略。人们普遍认为，学习有用的、多层级的、几乎不靠先验知识的特征提取器并不现实可行。尤其是，人们通常认为简单的梯度下降法会深陷局部极小的泥潭——在这种权重配置当中，除非进行大的改动，否则很难降低平均误差。
实践中，对大型网络而言，局部极小几乎不构成问题。无论初始条件如何，系统基本总能得到质量非常相似的解决方案。最近的理论和实证研究结果均有力地表明，总的来说，局部极小不是一个严重问题。相反，解空间landscape充满了大量梯度为0的鞍点saddle points，且在多数维度中表面向上弯曲，少数维度中表面向下弯曲。分析结果似乎表明，向下弯曲的鞍点在整体中占比相对较小，但这些鞍点的目标函数值大多相近。因此，算法陷入这些鞍点（不能继续寻优），无关紧要。
2006年前后，加拿大高级研究所CIFAR聚集了一批研究人员，他们重燃了人们对深度前馈网络的兴趣。这些研究人员引入无监督学习程序——无需标记数据便可创建特征检测器层。各层特征检测器的学习目标便是在下一层重构或模拟特征检测器（或原始输入）的活动。利用这种重构学习目标来“预训练pre-training”几层复杂度递增的特征检测器，深层网络的权重可以被初始化为合理值。接着，最终层的输出单元可被添加到网络顶端，整个深度系统可被微调至使用标准的反向传播。在识别手写数字或检测行人时，特别是当标记的数据量非常有限的时候，这一程序非常有效。
这种预训练的方法的首次重要应用是在语音识别上，这之所以可行归功于便于编程的GPUs的诞生，它让研究人员可以用10到20倍的速度训练神经网络。2009年，这个方法被用来计算一段声音采样中提取短时系数窗口对应的一系列概率值，这些概率值反映出由窗口中帧表示语音各个段落的可能性。在小词汇表的标准语音识别测试上，这种方法的训练效果打破纪录，很快它又发展到打破大词汇表的标准语音测试纪录。
到2012年，2009年以来的各种深度网络一直的得到多个主要语音研究小组持续开发并被布局在安卓手机上。对于较小数据集来说，无监督预训练有助于防止过拟合overfitting,当标注数据样本小number of labelled examples is small或需要迁移in a transfer setting——有很多源领域的标注数据样本但缺少目标领域的标注数据样本——的时候，深度网络的泛化generalization效果显著提升。深度学习重新获得认识，人们发现，预训练阶段只是小规模数据集的必需品。
然而，还有一种特殊类型的深度前馈网络deep feedforward network，不仅更易训练而且泛化能力要比那些相邻两层完全相连的神经网络强大很多。这就是卷积神经网络ConvNet。在神经网络「失宠」的日子里，卷积神经网络在实践运用中获得许多成功，最近已被计算机视觉领域广泛采用。
卷积神经网络
卷积神经网络最初是用来处理多维数组数据，比如，一张由三个2D数组组成、包含三个彩色通道像素强度的彩色图像。大量的数据模式都是多个数组形式：1D用来表示信号和序列信号包括人类语言；2D用来表示图片或声音；3D代表视频或有声音的图像。卷积神经网络利用自然信号特征的核心理念是：局部连接local connections，权重共享，池化pooling和多网络层的使用。
典型的卷积神经网络的架构（图二）包括一系列阶段：最初的几个阶段由卷积层和池化层组成，卷积层的单元被组织到特征图feature map中，每个单元通过一组被称作滤波器filter bank的权值被连接到前一层的特征图的局部数据块。接下来，得到的局部加权和会传递至一个非线性函数，例如ReLU。同一个特征图中的所有单元共享相同的滤波器，不同特征图使用不同滤波器。采用这种架构有两方面的原因。首先，在诸如图像这样的数组数据中，数值与附近数值之间通常是高度相关的，容易生成易被探测到的局部特征motif。其次，图像和其他类似信号的局部统计特征通常又与位置无关，易言之，出现在某处的某个特征也可能出现在其他任何地方，因此，不同位置的单元会共享同样的权值并且可以探测相同模式。数学上，由一个特征图完成的过滤操作是一个离线的卷积，卷积神经网络由此得名。
和卷积层用来探测前一层中特征之间的局部连接不同，池化层的作用则是对语义相似的特征进行合并。由于构成局部主题的特征之间的相对位置关系不是一成不变的，可以通过粗粒度检测每个特征的位置来实现较可靠的主题识别。一个池化层单元通常会计算一个或几个特征图中一个局部块的最大值，相邻的池化单元则会移动一列或一行从小块读取输入，这种设计不仅减少了数据表征需要的维数，而且也能对数据小规模的偏移、扭曲保持不变。两到三个卷积层，非线性层和池化层被叠加起来，后面再加上更多的卷积和全连接层。在卷积神经网络的反向传播算法和在一般深度网络上一样简单，能让所有滤波器中的权值得到训练。
多数自然信号都是分级组合而成，通过对较低层信号组合能够获得较高层的信号特征，而深度神经网络充分利用了上述特性。在图像中，线条组合形成图案，图案形成部件，部件组成物体。类似的层次结构存在于由声音到电话中的语音及文本形成过程，音素组成音节，音节组成单词，单词组成句子。当输入数据在前一层中的位置有变化的时候，池化操作让这些特征表示对变化具有鲁棒性。
卷积神经网络中的层次的卷积和汇聚的灵感直接来源于视觉神经科学中的简单细胞和复杂细胞的经典概念，并且其整体架构让人想起视觉皮层腹侧通路的LGN-V1-V2-V4-IT层次结构。当向卷积神经网络模型和猴子同时展示相同的画面时，卷积神经网络的高级单元被激活，解释了猴子颞下皮层随机设置的160个神经元的变化。卷积神经网络有着神经认知机的基础，两者的体系结构有些类似，但是，卷积神经网络没有诸如反向传播的那种端对端的监督学习算法。原始的1D卷积神经网络被称为“延时神经网络time-delay neural net”，用于识别语音和简单的单词。
早在20世纪90年代初，卷积网络就已有非常广泛的应用，最开始延时神经网络被用在语音识别和文档阅读上。文本阅读系统使用了受过训练的延时神经网络以及一个实现了语言约束的概率模型。到20世纪90年代末，该系统能够读取美国超过十分之一的支票。随后，微软发明了许多基于卷积神经网络的光学字符识别和手写识别系统。卷积神经网络在20世纪90年代初就被尝试用于包括脸、手、面部识别的自然图像目标检测中。
使用深层卷积网络进行图像识别
从21世纪初开始，卷积神经网络就被成功用于检测、分割和物体识别以及图像各区域。这些应用都使用了丰富的标签数据，比如，交通标志识别、生物图像（特别是神经链接组学方面）分割、面部探测、文本、行人和自然图像中的人体的检测。近些年来，卷积神经网络的一项重要成功应用就是人脸识别。
值得注意的是，图像可以在像素级别上被标记，这样就能被用于诸如自主移动机器人autonomous mobile robots和无人驾驶汽车等技术中。像Mobileye和NVIDIA这些公司正在将这些基于卷积神经网络的方法应用于即将面世的汽车视觉系统中。其他重要的应用程序涉及到自然语言理解和语音识别。
尽管取得了这些成就，但在2012年ImageNet竞争之前，卷积神经网络在很大程度上并未获得主流计算机视觉和机器学习团体的青睐。当深层卷积网络被应用于来源于包含1000个不同类型约100万个图像的数据集中，它们取得了惊人的成果，错误率仅是当时最佳方法的一半。该成功源于高效利用了GPUs和ReLUs、一项新的被称为‘dropout’的正规化技术regularization technique以及分解现有样本产生更多训练样本的技术。成功给计算机视觉领域带来一场革命。如今，卷积神经网络几乎覆盖所有识别和探测任务，在有些任务中，其表现接近人类水平。最近一个令人震惊的例子，利用卷积神经网络结合递归网络模块来生成图像标题image captions（如图3）。
图3从图像到文本
将递归神经网络RNN生成的标题作为额外输入，深度卷积神经网络CNN会从测试图片中提取表征，再利用训练好的RNN将图像中高级high-level表征「翻译成」标题（上图）。当RNN一边生成单词（黑体所示），一边能将注意力集中在输入图像的不同位置（中间和底部；块状越亮，给予的注意力越多）的时候，我们发现，它能更好地将图像「翻译成」标题。
当前的卷积神经网络由10~20层ReLUs，数百万个权值及数十亿个连接组成。两年前，训练如此庞大的网络可能需要数周时间，而随着硬件、软件和算法并行化algorithm parallelization的进步，训练时间已经缩短至几个小时。
卷积神经网络的视觉系统良好表现促使包括谷歌、Facebook、微软、IBM、雅虎、推特和Adobe在内的多数主要科技公司以及数量激增的创业公司开始启动研发项目，部署基于卷积神经网络的图像识别产品和服务。
卷积神经网络易于在芯片或现场可编程门列阵FPGA中得以高效实现。为了实现智能手机、相机、机器人和无人驾驶汽车上的实时视觉应用，NVIDIA、Mobileye、因特尔、高通和三星等许多公司都正在开发卷积神经网络芯片。
分布式表征和语言处理
深度学习理论显示，与不适用分布式表征的经典学习算法相比，深度网络有两处异常明显的优势。这些优势源于节点权重the power of composition以及底层数据生成分布具有适当的组成结构。第一，学习分布式表征能够将通过训练而学习获得的特性值泛化为新的组合（例如，n元特征有2n组合可能）。第二，深度网络中的表征层相互组合带来了另一个指数级优势的潜力（指数性的深度）。
多层神经网络的隐藏层学会以一种易于预测目标输出的方式来再现网络输入。一个很好的示范就是训练多层神经网络根据局部文本中的前述语句预测下一个词。文本的每个词表示成网络中的N分之一向量，也就是说，每个成分的值为1，余下的为0。在第一层中，每个字创建一个不同模式的激活或单词向量（如图4所示）。在语言模型中，网络中的其他层学习如何将输入的单词向量转化成输出单词向量来预测下一个单词，也能用来预测词汇表中单词作为文本中下一个单词出现的概率。正如学习分布表征符号文本最初展示的那样，网络学习了包含许多激活节点active components、且每一个节点都可被解释成一个单词独立特征的单词向量。这些语义学特征并没有在输入时被清晰表现出来。而是在学习过程中被发现的，并被作为将输入与输出符号结构化关系分解为微规则micro-rules的好方法。当词序列来自一个大的真实文本语料库，单个微规则并不可靠时，学习单词向量也一样表现良好。当网络被训练用于预测新文本中的下一个词时，一些单词向量非常相似，比如Tuesday和Wednesday，Sweden和Norway。这种表征被称为分布式表征，因为它们的元素（特性）并非相互排斥，且它们构造信息与观测到的数据变化相对应。这些单词向量由所习得的特性组成，这些特性并非由科学家们事先决定而是由神经网络自动发现。现在，从文本中习得的单词向量表征被非常广泛地使用于自然语言应用。
表征问题是逻辑启发与神经网络启发认知范式争论的核心问题。在逻辑启发范式中，一个符号实体表示某一事物，因为其唯一的属性与其他符号实体相同或者不同。它并不包含与使用相关的内部结构，而且为理解符号含义，就必须与审慎选取的推理规则的变化相联系。相比之下，神经网络使用大量活动载体big activity vectors、权重矩阵和标量非线性，实现一种快速「直觉」推断，它是轻松常识推理的基础。
在介绍神经语言模型前，语言统计模型的标准方法并没有使用分布式表征：它是基于计算短符号序列长度N（称为N-grams，N元文法）出现的频率。N-grams可能出现的次数与VN一致，这里的V指的是词汇量的大小，考虑到词汇量大的文本，因此需要更庞大的一个语料库。N-grams把每一个词作为一个原子单位，因此它不能在语义紧密相关的单词序列中，一概而论，但是，神经语言模型可以实现上述功能，因为它们将每个单词与真实特征值的向量关联起来，并且语义相关的单词在该向量空间中更为贴近。（如图4）。
图4已完成学习的单词向量的可视化展现
（...略，完整版请看PDF，或下期）
深度学习的未来
无监督学习促进了人们重燃对深度学习的兴趣，但是，有监督学习的成功盖过了无监督学习。虽然我们没有关注这方面的评论，但是，从长远来看，我们还是期望无监督学习能够变得更加重要。（因为）人类和动物的学习方式大多为无监督学习：我们通过观察世界来发现它的结果，而不是被告知每个对象的名称。
人类视觉是一个智能的、基于特定方式的利用小或大分辨率的视网膜中央窝与周围环绕区域对光线采集成像的活跃的过程。我们希望机器视觉能够在未来获得巨大进步，这些进步来自于那些端对端的训练系统，并集合卷积神经网络（ConvNets）和递归神经网络（RNNs），利用强化学习来决定走向。结合了深度学习和强化学习的系统尚处在婴儿期，但是，在分类任务上，它们已经超越了被动视觉系统，并在尝试学习操作视频游戏方面，产生了令人印象深刻的结果。
未来几年，理解自然语言会是深度学习产生巨大影响的另一个领域。我们预测，当它们学习了某时刻选择性地加入某部分的策略，那些使用递归神经网络（RNNs）的系统将会更好地理解句子或整个文档。
最终，人工智能的重大进步将来自将表征学习与复杂推理结合起来的系统。尽管深度学习和简单推理已经用于语音和手写识别很长一段时间了，我们仍需要通过大量向量操作的新范式替换基于规则的字符表达操作。
3Geoffrey Hinton个人主页上的深度学习论文列表[30篇](383字)
略，详情看参考文献[1]
参考文献(569字)
[1]University of Toronto.．Geoffrey E.Hinton．[EB/OL]http://www.cs.toronto.edu/~hinton/，．
[2]Wikipedia．Geoffrey Hinton．[EB/OL]https://en.wikipedia.org/wiki/Geoffrey_Hinton，．
[3]HINTON,Prof.Geoffrey Everest..Who's Who.2015(onlineOxford University Pressed.).A&C Black,an imprint of Bloomsbury Publishing plc.(subion required)
[4]Geoffrey Hintonpublications indexed byGoogle Scholar
[5]Geoffrey Hintonat theMathematics Genealogy Project
[6]Geoffrey E.Hinton's Academic Genealogy
[7]Gregory,R.L.;Murrell,J.N.(2006)."Hugh Christopher Longuet-Higgins.11 April 1923--27 March 2004:Elected FRS 1958".Biographical Memoirs of Fellows of the Royal Society.52:149.doi:10.1098/rsbm..
[8]Derthick,Mark(1988).Mundane reasoning by parallel constraint satisfaction.(PhD thesis).Carnegie Mellon University.OCLC.
[9]Zemel,Richard Stanley(1994).A minimum deion length framework for unsupervised learning.(PhD thesis).University of Toronto.OCLC.
[10]Frey,Brendan John(1998).Bayesian networks for pattern classification,data compression,and channel coding.(PhD thesis).University of Toronto.OCLC.
[11]Neal,Radford(1995).Bayesian learning for neural networks.(PhD thesis).University of Toronto.OCLC.
（...略，完整版请看PDF，或下期）
[34]Smith,Craig S.(23 June 2017)."The Man Who Helped Turn Toronto Into a High-Tech Hotbed".The New York Times.Retrieved 27 June 2017.
[35]机器之心．Nature重磅：Hinton、LeCun、Bengio三巨头权威科普深度学习．[EB/OL]/article-7593-1.html，2015-07-16．
[36]图灵之心．机器学习大牛系列之Geoffrey Hinton[EB/OL]/s?id=8916，．
[37]奕欣．“神经网络之父”Geoffrey Hinton：寒冬之下的孤勇．[EB/OL]/news/201704/uPFYz5Wvpgf7tSlI.html，．
[38]陶婧婕．从“神经网络之父”到“人工智能教父”｜Geoffrey Hinton的传奇人生那才叫精彩．[EB/OL].cn/97419.shtml，．
[x]秦陇纪．数据科学与大数据技术专业概论；人工智能研究现状及教育应用；纯文本数据神经网络训练；大数据简化之技术体系[EB/OL]．数据简化DataSimp（微信公众号）http://www.datasimp.org，．
机器与未来息息相关。战争锻造出控制论一度成为预见未来的智能自动工具。《机器崛起——遗失的控制论历史》探讨了将控制交于机器，与机器交互或通过机器进行交互的含意。该书给予当下热门概念——人工智能的清晰历史脉络，以战争视角，从人机交互到人机共生、从自动化到人工智能、从机器崛起到机器陨落……章标题：1战争中的控制与通信（人机交互界面），2控制论（机器智能），3自动化，4有机体（人机交互的主体），5文化（人-机类比，潜意识），6空间（赛博空间），7无政府主义（加密无政府主义），8战争（控制论战争是自动化），9机器陨落（控制论战争迎来机器的陨落）。致谢、参考文献略。
维纳教授提出Sybernetics控制论，已渗入生活方方面面：互联网、机器人、VR(1961年就实现了p123)、电子货币，种种新鲜事物，无论多么具有颠覆性，而我们却浑然不知。回顾这段历史，不是怀旧，而是寻找通往未来的线索。机器能把人类从肮脏、重复的劳动中解放吗？能把人类从类似交通拥堵之类的事务中解脱出来，使得工作、生活和游戏更加社会化、互联化，更加安全和放心吗？
[赠书]【德】托马斯·瑞恩《机器崛起——遗失的控制论历史》机械工业出版社2017年5月首发。“科学Sciences”公号（文末可扫）前期《机器崛起：遗失的控制论历史、人工智能前传》文末留言，点赞最多5位读者将获赠《机器崛起》机械工业出版社活动赠书一书。09月09日23:55结束，9月10号周日统计结果、通过公众号回复功能，联系获奖读者的邮寄地址。欢迎数据简化DataSimp、科学Sciences、知识简化任一公号关注者，及其它读者热情参与。
Appx(1030字).数据简化DataSimp社区会议,译文志愿者
信息社会之数据、信息、知识、理论越来越多，远远超越个人认知学习能力、时间、精力。必须行动起来，解决这个问题。主要方法是数据简化(Data Simplification)：简化减少知识、媒体、社会数据，应对大数据时代的数据爆炸、信息爆炸、知识爆炸，使信息、数据、知识越来越简单，符合人与设备正常负荷。数据简化2017年会议(DS2017)聚焦数据简化技术等主题。数据简化技术(Data Simplification techniques)是对各类数据从采集、处理、存储、阅读、分析、逻辑、形式等方面做简化，应用于信息系统、大数据、自然语言处理、知识工程，数学统计，结构化数据库、机器学习技术、生物数据、信息系统、物理空间表征等领域。请关注公众号“数据简化DataSimp”、网站http://www.datasimp.org并投稿；通过DataSimp论文投稿网站https://easychair.org/cfp/DS2017或会议网站http://cfp.datasimp.org/ds2017提交电子版（最好有PDF格式）论文。
“数据简化DataSimp”社区志愿者工作：①至少一篇高质量原创投稿，正式成为数据简化DataSimp社区成员；②翻译美欧数据科学技术论文，IT大数据、人工智能、编程开发技术文章；③设计黑白静态和三彩色动态社区S圈型LOGO图标。
投稿、加入数据简化DataSimp社区，请公号留言或加微信QinlongGEcai（备注：姓名-单位-职务-手机号）。社区详情访问www.datasimp.org，或数据简化DataSimp社区及学会简介。
Data Simplification/SciencesPublicAccounts——,2017.9.9Sat,Xi'an,Shaanxi,China.
主编：秦陇纪(bf80)，IT科普者；数据简化DataSimp、科学Sciences、知识简化新媒体，www.DataSimp.org社区（筹技术、期刊）创始人；研究方向：大数据、人工智能、知识工程，数据挖掘与简化、信息抽取、教育技术、知识库构建。欢迎数据、智能、知识、语言处理等领域研究者加入“数据简化DataSimp”社区；贡献数据采集、处理、分析、简化、应用各环节开源代码。
【“数据简化DataSimp、科学Sciences、知识简化”公众号希望聚集各专业领域一线研究员；研究技术时也传播知识、专业视角解释和普及科学现象和原理，展现自然社会生活之科学面；并在知识爆炸、信息爆炸的时代，做相应的力所能及的简化工作。公众号由秦陇纪发起，参与者约十人，尚未覆盖各领域科普及简化；空闲时间有限，每周只能发几篇文章。期待大家参与~】
关注科普公众号：科学Sciences（搜名称也行，关注后有文章分类页菜单）：
关注“知识简化”知识教育公号：
（转载请写出处：秦陇纪10“数据简化DataSimp、科学Sciences、知识简化”汇译编，投稿反馈邮箱QinDragon@qq.com。欢迎传媒、技术伙伴投稿、加入数据简化社区！）
责任编辑：
声明：本文由入驻搜狐号的作者撰写，除搜狐官方账号外，观点仅代表作者本人，不代表搜狐立场。
今日搜狐热点