如何在数据结构和算法分析pdf有限的情况下利用深度学习

主题信息(必填)
主题描述(最多限制在50个字符)
申请人信息(必填)
申请信息已提交审核,请注意查收邮件,我们会尽快给您反馈。
如有疑问,请联系
CSDN内容运营,关注前端开发、用户体验技术领域,希望携手更多技术专家,共同推进两大领域的向前发展。研发心得、项目实战、前沿技术……,只要是技术干货,十分欢迎您投稿至chenqg#csdn.net。人人都是主编,这里就是你的舞台。曾负责CSDN知识库产品内容运营,致力于为大家提供精华、专业的内容服务。
IT出版旗舰品牌,由电子工业出版社计算机分社以专业化力量打造。以开发IT类图书选题为主业,散播专业知识,善待作者,尊重读者,诚邀天下技术精英加盟。
作为首位美国人工智能协会(AAAI)华人Fellow,唯一AAAI华人Councilor,国际顶级学术会议KDD、IJCAI等大会主席,香港科技大学计算机与工程系主任杨强教授在国内外机器学习界声誉卓著。在此前时,杨强介绍了他目前的主要工作——致力于一个将深度学习、强化学习和迁移学习有机结合的Reinforcement Transfer Learning(RTL)体系的研究。那么,这个技术框架对工业界的实际应用有什么样的实际意义?在本文中,CSDN结合杨强的另外一个身份——国内人工智能创业公司第四范式首席科学家进行解读。第四范式是原百度T10专家、杨强的弟子、迁移学习大牛戴文渊创立的公司,最初的定位是数据量丰富并且业务极为依赖数字化的金融领域,杨强在学术之余希望推广人工智能技术在国内的发展,参与了第四范式的创业。该公司最近发布了一个,自动化、智能化的机器学习全流程为一大卖点,核心技术就是RTL。杨强认为,人工智能成功的五个必要条件包括大数据、问题边界清晰、外部反馈、计算资源和顶级数据科学家,强化学习和迁移学习分别能够提供的反馈和适应性是单独的深度学习模型所不具备的,同时深度学习的重心已经到了从研究转向工业应用的时候。参与创业的初衷CSDN:您之所以参加第四范式的创业,除了师生关系,还有其他的驱动因素?杨强:其实我们一直热衷于一件事:让我们的技术走向社会。我们一直在研究人工智能和迁移学习,另外我们也看到了很多大公司的局限,很多大公司有自己的想法和目标,一个研究者并不能百分之百地发挥自己的想象力,所以我们就想自己做一个有情怀的公司,来支持我们自己做一些想做的事情。一个很好的例子就是Google的Deepmind,他们就是做他们想做的事情,这对我们来说是一个更重要的启发。在第四范式,我的主要工作涉及设计算法,包括强化学习、迁移学习的算法,而在工程方面团队有很多优秀的工程师已经在大公司受过很多的磨炼,所以我们是互补的。CSDN:第四范式公开介绍的核心技术,包括您说到的深度学习、迁移学习、强化学习,还有一个记忆网络,第四范式的技术体系和您研究的RTL体系是完全一致的吗?杨强:是一致的,当然是不是完全使用还看具体场景。我们比较认可的是强化学习、迁移学习,当用不同的结构把它们给组合起来,就是一种很新的好的学习方式。这种方式在现在还不是很流行,我们预计在今后几年都会用起来,也会通过我们的平台推动起来。深度学习的局限CSDN:您如何看待深度学习的优势和局限?杨强:深度学习的局限来自于几个方面:
表达能力的限制。因为一个模型毕竟是一种现实的反映,等于是现实的镜像,它能够描述现实的能力越强就越准确,而机器学习都是用变量来描述世界的,它的变量数是有限的,深度学习的深度也是有限的。另外它对数据的需求量随着模型的增大而增大,但现实中有那么多高质量数据的情况还不多。所以一方面是数据量,一方面是数据里面的变量、数据的复杂度,深度学习来描述数据的复杂度还不够复杂。
缺乏反馈机制。目前深度学习对图像识别、语音识别等问题来说是最好的,但是对其他的问题并不是最好的,特别是有延迟反馈的问题,例如机器人的行动,AlphaGo下围棋也不是深度学习包打所有的,它还有强化学习的一部分,反馈是直到最后那一步才知道你的输赢。还有很多其他的学习任务都不一定是深度学习才能来完成的。
CSDN:微软的深度残差网络是不是能解决表达能力的问题?杨强:那是一个很好的跃进,它的层数也很多,表达能力很显然往前推进了很多。但即使如此,它也没有解决所有的表达的问题。因为它增加的是层数、层和层之间的连接数,而不是变量数,所以在变量数上还是有局限的。我们认为深度稀疏网络在变量数的容纳能力方面更强。CSDN:迁移学习能解决哪些问题?杨强:它主要解决两个问题。
小数据的问题。比方说我们新开一个网店,卖一种新的糕点,我们没有任何的数据,就无法建立模型对用户进行推荐。但用户买一个东西会反应到用户可能还会买另外一个东西,所以如果知道用户在另外一个领域,比方说卖饮料,已经有了很多很多的数据,利用这些数据建一个模型,结合用户买饮料的习惯和买糕点的习惯的关联,我们就可以把饮料的推荐模型给成功地迁移到糕点的领域,这样,在数据不多的情况下可以成功推荐一些用户可能喜欢的糕点。这个例子就说明,我们有两个领域,一个领域已经有很多的数据,能成功地建一个模型,有一个领域数据不多,但是和前面那个领域是关联的,就可以把那个模型给迁移过来。
个性化的问题。比如我们每个人都希望自己的手机能够记住一些习惯,这样不用每次都去设定它,我们怎么才能让手机记住这一点呢?其实可以通过迁移学习把一个通用的用户使用手机的模型迁移到个性化的数据上面。我想这种情况以后会越来越多。
RTL的实践CSDN:第四范式的官方介绍是有100多个案例,不知道您参与了多少,强化学习和迁移学习遇到的实际的问题是什么?杨强:我不能一一地说,但有一些关键的案例我参与了,这里面用了很多不同的机器学习算法,深度学习和强化学习只是其中的一部分。我要说的一点是,我们在公司建立的初期用得比较多的就是大规模逻辑回归和深度学习。即使加上深度学习,这个学习模式也有它的缺陷——在很多情况下我们得到的反馈是延迟的,这种延迟反馈是深度学习所不能解决的。我们就引入了强化学习来解决它,是有一种自我学习的过程,类似AlphaGo自我对弈,不断地提高。迁移学习,比方说我们在一个金融领域已经建立了一个很好的模型,但我们遇到了一个新的领域怎么办呢?解决所谓的冷启动问题就是利用迁移学习,当数据收集得足够多了以后,我们再改用深度学习。强化学习CSDN:强化学习的应用应该关注哪些方面呢?杨强:强化学习的应用其实很广,最开始应用是在机器人上的应用,比方说你告诉Google AlphaGo到冰箱里给我拿一瓶牛奶过来,它就不会——路径的编程和怎么样打开冰箱都需要人写到程序里。怎么才能学会呢?这就需要强化学习来做,你让它试很多次,有时候拿到有时候没有拿到,通过例子,可以让强化学习的方法学习优化的路径。所以一开始强化学习是用在机器人的路径规划和任务完成上。但我们最近就发现,强化学习的应用面特别广,可以用在很多反馈上,但这个反馈不一定是马上可以得到的,比如医疗领域,对药品和医疗方案的反馈,就是一个很好的例子。CSDN:我们用到了Q Learning?杨强:用到了。但现在比较流行的做法是Deep Q Learning。CSDN:关于扩张和探索平衡您有什么见解?杨强:扩张和探索这个平衡一直是强化学习里面的一个大难题,现在没有特别好的通用做法,应该在不同的领域有不同的思路,在围棋领域尤其明显,比方说树搜索的宽度和深度之间就是一个平衡,但这个平衡AlphaGo做得很好。所以可能在机器人的领域,也需要引入这样的一个平衡点,这个平衡点也是需要去学习的。迁移学习CSDN:目前迁移能做到从金融领域迁移到其他领域么? 杨强:跨领域是比较难的,一般是比领域里不同的业务之间做迁移,跨领域在学术界有做的,比方说网络搜索可以迁移到推荐,图象识别可以迁移到文本识别,这些在学术界都有不错的工作,但是真的把它应用到工业界,还是拭目以待。CSDN:难点在哪里?杨强:跨领域的时候,我们需要另外的一种数据来帮助我们,这种数据就是衔接两个领域之间的桥梁数据。这种数据往往在工业界中是隐式的,存在人的脑袋里而没有被机器记录下来。所以我说人工智能的发展还在很初级的阶段,因为我们的数据没有连成片而是一个个孤岛,到了我们能连成片的阶段,有新的成果出来,会是一加一大于二的结果。CSDN:在每个行业都有一定的成熟的应用之后才能真正用起来?杨强:对,这个是要有耐心和足够的积累才可以发现不同领域之间的关联。以医疗企业为例,在基因检测领域已经有了很多的数据,体验有了很多的数据,但毕竟基因检测和体检是两个不同的领域,所以它们之间的关联很少,但当我们有了用户的行为数据,对用户有长期的跟踪,就可以把这两个数据关联起来。CSDN:除此之外迁移学习还需要关注哪些问题?杨强:有偏数据的处理。举一个例子,比方说我们知道在室外有GPS,室内没有,怎么办呢?我们要定位一个很大的商场,现在有一个办法是用Wifi来定位,拿一个手机APP收集很多的信号数据用来训练,但这个数据很容易偏——数据收集的时候和下一个分布是不一样的,我们是不是要重新地收集一遍?那样太麻烦了,不可能每个小时收集一遍室内的数据,所以我们的做法是收集一遍,过后用迁移学习把偏差给做掉,利用点到点的距离,利用校正的方法,在迁移学习里有一个算法也是我们发明的,叫做加权法,就是对过去的数据加权,使得过去数据和现在数据比较近的那些数据的权重比较大,比较远的数据的权重逐渐变小,在迭代多次以后,剩下的数据就是跟现在的数据类似的数据了,这种做法我们觉得行之有效。现在我们在室内定位的领域做了很多的实践。同时我要说明,这也是一种学术的做法,因为室内定位还不是到工业的水平,我们也在用机器学习做各种尝试。先知的实践CSDN:除了采用的学习方法,先知的定位,跟IBM、谷歌、微软的一些云服务或者是一些API有什么本质的区别呢?杨强:首先先知是在金融领域诞生的,对金融领域是特别适用的,金融领域的几个特点是通用的云平台所不能提供的。首先是变量特别多、问题特别复杂,其次是以流的形式输入的,流的量也特别多,另外有很多噪音,并不是所有的数据都跟它有反馈在一起。当然,通用型的云平台也很有必要,用来做一些通用的处理。CSDN:金融人工智能的两个常见场景,是风控和精准营销,能不能介绍其他的场景?杨强:风控和营销是现在第四范式比较成功的场景,已经有很重要的客户来买单了,这个本身就不容易,因为在金融领域对这些IT公司的要求是比较高的。我觉得再往下应该还有一些机会点:一个机会点就是投资顾问理财产品,怎么样能够让公司在第一线而不是在后台能够为投资人或者是理财人提供建议、提供顾问,这可能是一个比较重要的点;第二个点可能是文本的挖掘,公司的财报,社会网络的舆情都会对整个市场有影响,那么投资市场是怎样受到这些报道和新闻的影响的?这个规律是可以通过自然语言学习来得到的。CSDN:先知平台关注应用开发和算法开发,能介绍一下您能解决算法开发的哪些问题么?杨强:我们有几个重要的工作。
如何能够建立一个算法库和算法图书馆来帮助数据底层的清洗问题。实际应用中,数据和数据之间有很多的孤岛,孤岛之间的连接很难,因为有很多数据是缺失的。另外还会有很多错误数据,如何能够把数据改进和连接,这些都是数据清洗的一个范畴,所以对应这些问题就需要建立很多的算法库。
建立了算法库以后要把它归一到机器学习算法所需要的输入格式,即数据转换,这也是一个脏活、累活,很多算法公司不屑去做。在实际应用中我们发现这些活其实占了整个流程的80%,所以某种程度上重要的是如何能让算法更快更有效更及时,并且能够在线地对到来的数据进行分析,建立模型(建模是第三个层次,第四个层次就是强化学习的层次),能够让系统自学习而不是通过人来驱动,能通过它的错误和做对的地方,能够对它整个的流程进行补充、修正,是从下到上的四个阶段。
CSDN:数据免清洗是怎么做到的?杨强:系统有很多清洗的模块,清洗的动作一开始是由人通过一些工具来操纵这些模块,但当这种例子多了以后,我们就可以把这些例子作为机器学习的一个输入,学会一个模型,再由模型模仿人来做。CSDN:这是一个通用的模型还是需要跟具体的业务做结合?杨强:当然需要跟具体的业务做结合,因为不同的业务对数据质量的定义是不一样的,有些认为这些数据里面确实有很多需要清洗,有些应用就觉得不多。CSDN:具体业务的数据上数据能支持输入需求么?杨强:在成功的案例上,数据从量和质两方面都没问题。但我们要发现里面有很多地方需要人的聪明才智,也就是说,数据科学家的作用也是不可或缺的,怎么能让领域科学家把自己的经验转化成编程的动作。举一个例子,你要用深度学习模型会产生很多的特征,这些特征来自哪部分原始数据,什么样的特征才能解决业务的问题,就需要人的直觉和聪明才智,需要数据科学家和领域科学家的沟通。解决人才的难题CSDN:您强调了数据科学家的作用。机器学习领域目前有很多公开的论文,和开源的算法、开源的库/框架,我们的人才为什么还是稀缺的?杨强:这就是刚才说的脏活、累活大家都不愿意去做,因为发表文章和看法是很光荣的事,所以大家都集中做那些事情。我对业界的呼吁,也是希望大家能够把身段放下来,做一些基本数据的处理,把重点放在底层。这也是为什么第四范式真的是在做一些最基本的工作,而不是从第一天开始就急着做一些很上镜的事情。小结杨强认为,迁移学习应用的成熟是一个循序渐进的过程,预计RTL在今后几年的应用将会更加成熟。事实上,强化学习和迁移学习已经越来越受欢迎。中国工程院院士、中国人工智能学会理事长李德毅对“驾驶脑”的研究,就强调了反馈机制,除了将CNN用于形式化,采用强化学习的理念使驾驶脑越来越聪明也是一个特色。,以提升学习效率。而在微软研究院首席研究员俞栋与邓力合著的《解析深度学习:语音识别实践》一书中,多任务和迁移学习也占据了很大的篇幅。这表明,在深度学习最擅长的领域,强化学习和迁移学习依然有重要意义,深度学习也需要与这些算法结合使用。不过,杨强表示,之所以是RTL而不是DRTL,是因为并不是所有的应用都适用深度学习。题外话除了人工智能落地,杨强的另外一个心愿,就是提升华人研究者在国际人工智能领域的影响力。在由中国人工智能学会(CAAI)发起并主办、中科院自动化研究所与CSDN共同承办,将于8月26-27日举行的,杨强作为大会程序委员会共同主席,邀请到了国际人工智能促进会 (AAAI)主席、美国亚利桑那大学教授Rao Kambhapati来做主题报告,以强化国际交流。Rao Kambhapati的议题是“Challenges in Planning for Human-Robot Cohabitation”,大会上还会有,,感兴趣的读者请尽快。如何让深度学习突破数据瓶颈?
编者按:本文来源于微信公众号“机器之心”(ID:almosthuman2014),作者赵云峰,36氪经授权发布。
Demiurge Technologies 是一家位于瑞士的人工智能创业公司,他们致力于研究生物神经元的计算原理,开发下一代深度学习,以解决小样本学习和与物理世界交互的难题。他们的深度学习系统将应用于第四级别自动驾驶和探索机器人等领域。与大部分人工智能公司不同的是,Demiurge Technologies 希望从根源解决目前深度学习存在的问题,希望 Demiurge 的创业思路和运作模式能够给从业者带来灵感和启发。
瑞士,有着覆盖国土面积 60% 的阿尔卑斯山脉和超过 1,500 个湖泊,玛丽&雪莱所著的西方文学史上首部科幻小说《弗兰肯斯坦》就诞生于日内瓦湖畔,它讲述了一位天才科学家从零到一创造出智能生命体的故事,成为此后 200 年间讨论人类与机器、生命与智能的哲学模板。
Demiurge Technologies 也是一家希望从生命中获得线索并以此来开发通用人工智能的创业公司,位于瑞士一个依山傍湖的小镇——静谧但充满力量。
一、基于生物神经元的下一代深度学习
「虽然目前的深度学习在语音识别和图像识别方面取得了突破性进步,但如果把深度学习用于绝大多数的其他领域,比如说自动驾驶、实体机器人等,就会面临一个来自于真实世界的非常大的挑战,那就是训练数据量严重不足。」Demiurge 联合创始人、CTO 任志攀(Bragi Lovetrue)表示。
人工智能不同应用场景的数据需求和数据供给对比,图片来源 Demiurge Technologies
拿开发消费级别的全自动驾驶来说,最大挑战在于要开发出在交通事故的预判和预防上远超人类驾驶员的软件。
如果用现有的深度学习去实现这一点,那就需要大量的事故数据,但这方面的数据供给非常有限,而采集数据又难度很大。首先,没有人能够准确预测何时何地会发生何种事故,因此无法系统地提前部署以采集真实事故数据;其次,从法律上来说我们不能靠人为制造事故来采集数据;第三,也无法模拟数据,因为事故更多涉及实时的传感以及与物理世界的互动,模拟出来的数据与真实数据差距很大,这从 DARPA 机器人挑战赛就能看出来;最后,像 AlphaGo 那样,在规则定义明确的简单环境下自行创造大量训练数据的方式,在复杂的真实环境中难以发挥作用。
如果遇到数据量不足的情况,同时又很难通过之前那些行之有效的方式去增加数据供给,那就无法发挥出深度学习的优势。而更重要的是,我们还会遇到数据类型不一样的问题,物理世界中是不同传感器获取的实时数据流,而现在深度学习在信息世界中的应用,比如说图像识别,使用的数据都是基于图片的数据点,而非数据流,所以这也是将深度学习现有的成功延伸到真实物理世界应用的一个底层障碍。
基于这个原因,Demiurge 专注于开发一种系统方法从源头解决真实世界诸多领域中数据量严重不足的问题—— 既然很难有效增加数据供给,为何不设法大幅降低对数据的需求?
降低对数据量的需求、实现小样本学习甚至 one-shot learning,是目前深度学习研究中的关键问题,Yann LeCun、 Yoshua Bengio 等深度学习专家也多次在演讲中提到解决深度学习中 one-shot learning 问题的重要性。
在今年斯德哥尔摩的全球机器人顶级学术会议 ICRA 上,Bragi 在 Industry Forum 演讲中介绍了 Demiurge 的方法,从神经科学里寻找关键线索, 「比起深度学习的点神经元,生物神经元所擅长的是从多模的实时数据流中提取多维度的时空信息来实现 one-shot learning,这是现有的深度学习很难做到的。生物神经元不仅能够做这种特征提取,而且是以一种非常高效的方式,效果和效率都很出色。」
深度神经网络的确从神经科学领域的研究中获取了一些灵感,但其工作原理与人脑截然不同(诚然,我们对大脑的工作原理还没有弄清楚),Yann LeCun 表示,他最不喜欢的对深度学习的定义就是「它像我们的大脑」,谷歌 Jeff Dean 认为深度神经网络是对大脑神经网络的简单抽象,并非是模拟人类神经元如何工作。神经科学专注的点包括计算的细节实现,还有对神经编码以及神经回路的研究。然而,在机器学习领域,人工神经网络则倾向于避免出现这些,而是往往使用简单和相对统一的初始结构,以支持成本函数(cost funcion)的蛮力最优化。
Bragi 从历史的角度分析了深度学习和神经科学的关系,「现在的深度学习从神经科学中获得的灵感非常有限,这是因为深度学习的理论基础是上世纪 80 年代基本定型的,那时之前的神经科学也发展比较慢,无法为深度学习提供更多灵感。而从 80 年代至今,神经科学的发展速度远远超过了之前,过去 30 年产生的神经科学知识是 80 年代以前的 46 倍,而且现在每年神经科学获得新发现的速度是 80 年代以前的 100 倍。所以,对于深度学习来说,如今的神经科学已经是一个非常巨大的宝库,为提升现有深度学习的学习能力提供重要线索。」
Bragi 表示,越来越多的深度学习专家开始研究如何从神经科学中获取更多的线索,「 Yoshua Bengio 做的非常前沿,一方面研究深度学习的反向传播算法在生物神经元上是如何实现的,另一方面研究生物神经元的 STDP 学习算法如何提升现有的深度神经网络的学习能力 。位于深度学习与神经科学交汇的最前沿,我们很深刻地体会到现在正在发生着的转型,从深度学习和神经科学没有太大关系的这一代(深度学习1.0),过度到深度学习重新从神经科学获得重要启发的下一代(深度学习 2.0 )。」
深度学习 2.0 ,图片由来源 Demiurge Technologies
在近期谷歌 DeepMind 和 MIT 媒体实验室的合著论文《Towards an integration of deep learning and neuroscience》中提到,近期出现的结构化、成本函数和训练程度的复杂化这两项机器学习方面的进展或许会将神经科学和机器学习两个研究领域看似不同的视角连接起来。此外,硬件方面,IBM Zurich 在 8 月首次用低成本高性能的相变材料实现了生物神经元计算的关键机制——神经薄膜 。
更重要的是,面向物理世界的移动人工智能的各种应用需求(识别、避障、抓取等),与各类生物在物理环境的各种生存需求是高度吻合的。Bragi 表示,斯坦福大学人工智能实验室主任李飞飞教授就特别重视深度学习在机器人上的应用。
生物神经元,经过上亿年的演化,是自然找到的最优解决方案。对于 Demiurge 来说,理解生物神经元的计算模型是找到降低数据需求的通用算法,开发通用移动人工智能核心技术的关键。
这与其他解决数据量不足的思路有着本质不同。「比如说 UC Berkely 的 Pieter Abbeel 和 Google 的 Sergey Levine ,他们都是在用深度强化学习来开发基于自我监督学习(self-supervised learning)的通用算法,但这种自动的数据收集和标记本质上依然是增加数据供给。此外,NYU 的 Brenden Lake 等用贝叶斯程序学习的方法针对特定问题开发出专门的数学模型。虽然能够在特定任务中大幅降低了数据需求,实现了 one-shot learning , 但这不是通用方法,」Bragi 说,「实际应用中需要的是降低数据需求的通用方法,深度学习的通用性无疑是最佳的。对于深度学习来说,如果不从生物神经元原理入手的话,是很难解决这些问题的。」
Bragi 表示,目前深度神经网络与生物神经网络最本质的区别在于神经元的类型。目前深度神经网络用的是点神经元,其计算模型是把信号加权平均的结果输入到一个非线性函数。这种点神经元是对生物神经元的极度简化,没有基于时间的变量。而生物神经元则利用脉冲进行基于多维时空变量的计算。单个生物神经元的计算模型是神经科学领域的一个关键问题,而这个问题的答案正是设计下一代深度学习的关键线索。
点神经元和脉冲神经元,图片来源 Demiurge Technologies
这个模型的关键在于理解脉冲如何以非常少量的计算步骤和能耗能够准确抓取极高维度的时空信息。
「没有基于脉冲的计算模型—仅仅像 IBM TrueNorth 那样,简单模仿一些生物神经元的硬件特点,或者像 Numenta 和 Vicarious 的 HTM(Hierarchical Temporal Memory)那样,简单借鉴一些生物神经元的软件特点—消费级别大脑芯片的硬件开发也就无从谈起。 对于实现生物神经元计算模型的软硬件要求的掌握,是 Demiurge 最重要的核心优势。」
这种计算模型的提出是多尺度跨领域研发的结果,不仅需要对跨领域的基础理论和前沿算法进行研究,还要从应用角度来分析真实世界的需求和需要满足的限制,来缩小算法搜索的空间。因为真实世界中有很多限制,比如说提供的数据量非常少,但为了应用成功或者让物种生存,就必须快速学习来了解整个环境,而在整个过程中又不能耗能太多。
生物智能给 Demiurge 提供了非常重要的线索,他们从跨物种的通用智能系统出发,理解要满足什么样的条件才能最大化它们的生存,这是从生存追问的一种智能系统设计的思路。不管设计出何种模型,都要满足这些限制。
目前深度学习领域从实验室结果到产品级应用的演化进程,对于真实世界的诸多限制一开始是尽量回避的,即首先选择那些可以不太涉及物理限制的简单场景,尽力实现在该场景下深度神经网络的最优化表现后,再开始逐条考虑开发应用时必须面对的各种物理限制。
「这种演化可能适合学术研究,但不适合产品研发。Demiurge 的研发从一开始就充分考虑真实世界应用的所有限制,开发出来的计算模型和大脑芯片能在真实世界的各种限制条件下完成出色稳定的应用表现。 」Demiurge 联合创始人兼 CEO 刘思宜(Idonae Lovetrue)进一步解释这背后的决策依据。
由于采用了同时满足技术突破和应用表现的双重评估标准,Demiurge 的研发风格是极为大胆和严谨的。提出的计算模型首先要在从数学理论上完整论证,同时还要用神经科学最新的发现和数据去做验证。这部分数学理论与神经科学的验证之后, Demiurge 会开始软件的模拟和硬件的实施,最终把自动驾驶作为首个测试平台,通过实现第四级别的无人驾驶测试他们的大脑芯片产品在对交通事故的学习、预判和预防的表现。
Demiurge 虽然是从神经科学中寻找深度学习突破的密码,但他们所做的技术依然可以称之为深度学习,最终的产品形态也是利用深度神经网络,也利用很多的隐含层和反向传播算法,只不过是将深度神经网络中的点神经元替换成了脉冲神经元,是计算单元的区别,在整个计算架构上区别很少。
因此,可以在充分利用了生物神经元优势的情况下同时还继承了这代深度学习的所有优势,比如说具有通用性,以及从训练的角度上是 model-free ,这依然是一个以数据和经验来驱动的过程。
Bragi 说:「我们和 DeepMind 、OpenAI 等最大的区别是,我们很清楚脉冲神经网络在感知数据流计算上的巨大优势,并知道如何从软件上和硬件上实现它。对这一代深度学习来说,正如 Google 资深研究员 Greg Corrado 在 Brain Forum 上所说,他们尚不清楚如何利用脉冲进行计算,在算法层面和应用层面发挥脉冲的优势& 。我们与 IBM 区别是,IBM 的最新突破用 GST 相变材料首次完整第实现了单一神经薄膜,这是基于对生物神经元物理性质的深入理解与再现,但要开发应用于物理世界的大脑芯片, 仅靠复制生物神经元的物理性质是不够的,根本上仍然需要对生物神经元计算原理的掌握,后者是 Demiurge 的核心优势。」
二、游戏规则制定者
理解生物神经元的脉冲计算原理,是神经科学领域的世界级难题,同时对人工智能界的下一次突破也意义重大,面对这样一个不论是从科研还是从应用上都将带来巨大价值的命题,Demiurge 作为一个资源有限的创业公司是如何做到的?
「不应该是艾伦实验室、索尔科研究所、HBP 等世界级脑科学研究机构,或者谷歌、Facebook 等科技巨头才有动力和能力去解决这样一个世界难题吗?」我非常直接的向 Bragi 询问。
「就像阿基米德那个用杠杆去撬动地球的比喻,对于撬动这个世界级难题来说(理解生物神经元的脉冲计算原理),有很多不同支点(探索方法)可供选择。比如说各国脑计划的研究重点主要集中在提高探测设备和研究手段,使得我们能够尽可能收集从局部到全部、从单个时间点到更大时间尺度上的尽可能多的关于神经元的数据,他们大多是从收集数据的角度来努力。」
「艾伦研究所在这方面做了很多贡献,不仅提供了系统化数据收集的标准和数据收集的设备,同时还把收集上来的数据加以整理并免费开放,他们的思路是,更多的数据可能会帮助我们最终解决算法的问题,这是大数据驱动的对算法的理解。而欧盟脑计划(HBP)的思路不一样,他们认为,即便是收集足够多的数据,但缺少模拟的过程,对数据的利用效率也不够高,所以他们特别强调建立一个全尺度、高精度的虚拟大脑,这样就能保证在虚拟大脑里重现已经观察到的大脑的现象和特征,从而让我们更加准确的提出测试各类神经元的计算模型,这也是从蓝脑计划到欧盟人脑计划的一个重点。」Bragi 说。
Idonae 补充到:「以上这些研究更多的是提供了基础设施,支点都离问题比较远,而不是直接去解决这个问题。而 Demiurge 选择了最近的支点(完全专注于单个生物神经元),并打造出了最长的杠杆(提出了通用的脉冲计算模型),所以能够以有限的资源撬动无限的潜力。」。
她认为「下一代深度学习是一个底层应用问题,不是一个表层应用问题。底层问题则需要对多领域深入的理解和灵感来寻求突破,还需要对应用核心痛点的深入理解,所以预测和管理更具挑战性。而表层问题可以用循序渐进改良的方式推动,产出和时间相对容易预测。在学术界和大企业机构,相关评审机制的设计和运作有利于解决表层应用问题,但对解决底层应用问题的机制缺乏动力和经验。因此在解决底层应用问题上,Demiurge 量身打造的文化制度和评审机制就会显示出独特的优势。」
Demiurge 联合创始人、CEO Idonae Lovetrue 在 TEDx Hochschule Luzern 演讲
在此前的 TED 演讲上,Idonae 也提到了 Demiurge 相对于科技巨头的优势,「大企业显然有多种优势:充足的资源、雄厚的财力和强大的网路,但开发应用于物理世界的人工智能最重要的事情是生存本能,但这与大企业的属性相悖,企业一旦做大,保持其生存本能就会极其困难。但生存却是创业的一切,并且它在每个人的血管中流淌,我何时何地都能感受到它。」
「所以,Demiurge 为自己创造了一个非常独特的位置,掌握了一个从科学的利益和动力、产品的利益和动力的完美契合点,」Bragi 表示,「单个神经元计算模型这个问题既是从深度学习应用需求来说必须要解决的根本问题,同时也是神经科学领域一个诺贝尔奖级别的问题。比起学术界,Demiurge 离应用最近,可以获得一些额外的关键启发和应用场景下的限制条件, 更有能力去做这个事情。比起工业界,Demiurge 离科学最近,能够非常专注地去彻底解决应用的底层问题,更有定力去完成这个事情。」
而恰恰是因为 Demiurge 所坚持的这个目标也是神经科学家一直以来的终极目标,所以神经科学领域的顶尖机构和专家非常支持他们,为他们提供研究成果、数据和人才。所以从这方面来说,Demiurge 和神经科学领域的大机构是一种合作关系,而非直接的竞争关系,而这种合作关系也是平等的优势互补,这些科学家不是在通常情况下的单方面付出,而是可以获得反馈。
各类人才的汇集让 Idonae 充满信心,「我们只要坚持走在解决这个问题的路径上,最适合的人会一个一个陆续登场,而每个人都必然是在相关领域深耕良久,因为只有有了很深的积累之后才有足够的眼光看到我们解决这个问题的必然性。」
而对于 Demiurge 来说,他们不仅希望自己创造的这套新的游戏规则能够帮助他们解决具体问题,还希望这个规则本身可以为后来者提供一种史无前例的参照。
「我们在创造一个先例,从来没有人说过创业公司不可以通过解决一个诺贝尔奖级别的问题来直接开发出堪比互联网基础的人工智能技术,只不过是很少有人有勇气做这方面尝试,而我们非常清楚我们的目标是什么,我们存在的意义是什么。我们希望自己是启发性的,也可以让后面的人有一个新的参考体系。」Idonae 表示。
「为什么是我们?我们对现有的游戏规则很了解,并且非常清楚做到什么程度才算是真正的成功,」Idonae说,「通用人工智能的成功标准,高于在 ImageNet 竞赛中取得高分,高于实现完全的自动驾驶,而是能够实现人人可居的智慧城市,人人可获益的地外探索。」
Demiurge 基于生物神经元计算模型所提出的下一代深度学习及相关的软硬件平台, 可以做到高性能、低成本的解决小样本学习和自适应学习等人工智能在真实世界中所面临的诸多问题。从目前来看,这项技术最直接、也是最有市场需求的应用就是自动驾驶。
Bragi 和 Idonae 五月份的行程非常密集,他们需要去瑞士中部的卢塞恩进行 TED 演讲,然后当天赶到西南部城市洛桑参加 Brain Froum,会议结束后再返回公司。Bragi 驾驶着一辆 Model S 在四天里行驶了超过 800 英里,沿途再美的风景也会屈服于驾驶员的时间成本和精力消耗,这也是所有人期待自动驾驶早日实现并积极参与其中的原因。
从 20 世纪 80 年代卡耐基梅隆大学的 Navlab 计划,到谷歌自动驾驶项目,再到如今所有相关公司的强势布局,众多参与者都走在追求这个终极目标的路上,每个参与者都会基于自己的优势规划发展路径,神秘的自动驾驶创业公司 Drive.ai 就完全押宝于深度学习,将深度学习应用于全自动集成驾驶堆栈,改变用规则去应对各种场景,让汽车完全自行通过理解数据去学习。
而 Demiurge 的方案不是循序渐进, 而是从自动驾驶场景下的小样本学习和与真实物理世界交互的两大限制出发,用生物神经元的计算模型从根源上解决这个问题。
「比如说蝗虫,它们的翅膀非常孱弱,任何撞击对它们来说都是非常致命的,但它们在高速飞行中有着几乎完美的自动避障能力,这背后的机制如果用在自动驾驶汽车上,将会实现第四级别的自动驾驶。最令人吃惊的是,蝗虫的自动避障系统只用了两个生物神经元,一个用来探测障碍,一个用来执行避障的行为,这说明生物神经元在处理物理世界的任务时,从小数据和数据流中的学习和决策能力非常出色,这对我们降低数据需求提供了重要线索。」Bragi 说。
基于深度学习的自动驾驶和蝗虫自动避障的对比,图片来源 Demiurge Technologies
在产品方面,软件依然是第一位,但如果现有的自动驾驶平台无法与他们的软件相适应时,Demiurge 也会重新设计硬件,「我们要设计的深度学习芯片也是基于脉冲神经元,所以从硬件实施上也与现在的硬件有所不同」,但 Bragi 没有透露更多具体细节,「这两种方法都是可能的,至于选择哪一种,则是看工程上的需要。」
在众多自动驾驶领域的参与者中,Demiurge 认为公司最大的潜在竞争对手是特斯拉。特斯拉在去年 10 月通过软件升级增加了辅助驾驶功能,这个功能在研发时使用了特斯拉车主过去 18 个月积累的 7.8 亿英里行驶数据。在该功能上线后的短短六个月内就积累了 4,700 万英里数据,远远超过谷歌历时 6 年积累的 150 万英里,而近期特斯拉的这个数据已经增加到 1 亿英里。
Demiurge 把特斯拉视为头号竞争对手的原因在于,目前只有特斯拉充分认识到现有深度学习对于数据需求量过大的底层问题,并且后者正在用不同方式来逼近这个目标。
Bragi 说:「特斯拉在收集数据上有着垄断性的巨大优势,所以能够利用现有深度学习做自动驾驶,在与大多数同行竞争中已然遥遥领先。但特斯拉并没有满足这一状态,Elon Musk 同时通过成立 Open AI 在本质上寻求能够实现第四级别自动驾驶的下一代的深度学习算法,完全超越竞争,这和 Demiurge 的思路是一样的。」
&本文由机器之心原创,转载请联系本公众号获得授权。文章有删减。
参考阅读:
关注下,有惊喜!微信搜索公众号:meitianyixi
扫一扫有惊喜

我要回帖

更多关于 数据结构和算法分析pdf 的文章

 

随机推荐