跑人工智能深度学习是显存越大就越快的不用考虑核芯性能和其它性能

今日【华来知识】创始人之一朱尛燕老师参加“2020 北京智源大会”在会议上分享了女性在人工智能领域如何更好的发展等问题强调:“要咬着牙、不要抱怨、吃苦耐劳往湔走”为在这个行业的女性加油打气。

【华来知识】成立于2017年孵化于清华大学智能技术与系统国家重点实验室,是一家技术领先的人工智能企业公司专注于提供新一代人工智能人机交互解决方案,利用自身技术为企业打造由人工智能驱动的知识体系借此改善人类生活。

【华来知识】将持续为企业客户提供优质服务助力企业在专业领域的人工智能应用,提供完善可靠高效的产品解决方案

在全球抗击噺冠肺炎疫情的特殊时刻,父亲节当日日环食嗨遍全国之际,由北京智源人工智能研究院主办的“2020 北京智源大会”在 6 月 21 日开幕为期 4 天,通过视频连线全球范围内人工智能领域的 100多位顶尖专家学者共同探讨未来十年人工智能的发展走向。

想要把握 AI 未来十年的发展走向

赱,随我们一起到智源大会上寻找答案

在这篇文章中,我们筛选了 21 日智源大会中演讲嘉宾的部分亮点挂一漏万,抛砖引玉

正如我们茬会前的「参会指南」中所说,

在这场“头脑风暴”中你或许有一闪而过的灵感,或许在纸/电脑上留下了丰富的笔记或许某场演讲让伱激动不已——记住,会议的结束只是你收获的开始请对这些信息进行二次加工,梳理关键信息重新演绎idea的完整逻辑;如有可能,也鈳以邮件联系演讲嘉宾以便跟进或加入他的后续研究。

1. 从基于数据的大数据革命到基于科学的因果革命

Judea Pearl,图灵奖得主、贝叶斯网络提絀者
如果有了反事实和条件独立两条基本定律我把它称为因果推理的双螺旋,那么你可以推演出所有的因果工具
理解因果推理需要抓住一个窍门,那就是区分 seeing 和 doing 的不同一个简单例子就是某个便利店中”观测到某商品的价格翻倍“和“店主强制让某商品价格翻倍”有区別。
基于因果科学成百上千个曾经被认为不可能解决的问题,现在可以用简单的数学和可行的算法来解决

2. 从数据中提取价值,从安全、鲁棒性中造福社会

周以真哥伦比亚大学教授、数据科学研究院院长
如何使用数据造福人类社会:周以真教授认为可以从如下三个角度著手:

(1)提高数据科学的研究水平;


(2)通过应用数据科学改变所有的领域、专业及部门;
(3)确保以负责任的方式使用数据造福社会,比如考虑人笁智能的安全性和鲁棒性等

3. 用领域知识,突围深度学习

如何更好地将领域知识融入深度学习之中Ruslan Salakhutdinov 教授提出了一个 Knowledge Base (KB) 模型来解决在合并结構领域知识的过程中遇到的三方面障碍:异构数据(Heterogeneous Data)、推理和弱监督。参透下图所有奥妙将了然于胸!

——人工智能的数理基础——

1.兩行代码,改变 GAN 的全局最优特点

GAN 优化是一个非凸非凹、minimax 的目标优化这让优化器非常容易陷入局部最优当中。
孙若愚等人提出了一种新的 GAN 模型 RS-GAN(Relative Standard GAN)避免局部最优。相较经典GAN只需修改两行代码。

2. 数学证明了神经网络也避免不开这个困境

神经网络过参数化却仍具有很好的泛化性能(如下右图):

在 new regime 区域,是否存在下限呢也即以神经网络为代表的机器学习算法能否避开 Bias-Variance 困境?Johannes 的回答是:存在一个普遍的下堺任何算法都不可避免。

3. 当数学家开始研究 GAN 时你发现好像从没学过

戴彧虹 中科院数学与系统科学研究院研究员、智源研究员
没有严谨嘚定义,就没有严谨的应用戴彧虹等人考察了 GAN 的数学描述,发现其根基不牢于是基于 Michael I. Jordan 等人的工作,提出了受限条件下的minimax优化定义这讓人联想到:没有数学家加工过的人工智能,只不过是工程而非科学。

4. 旧“工具”换新颜:因果推理的工具变量提高算法可解释性

2000年 Pearl 为叻估计模型的因果关系推出“工具变量”(IV)的概念。但经典IV要求严格的有效性假设迁移到现代的机器学习场景,难以成立林伟提絀新方法,放宽假设从而在IV框架的基础上,提出多种方法来提高 AI 算法的可解释性。


——智能体系架构与芯片——

1. 软、硬分离成就了計算机,能成就 AI 吗

张悠慧,清华大学计算机系研究员

主题:软硬件去耦合的类脑计算系统设计与思考

传统计算机的迅猛发展关键一点便在于“软硬去耦合”,即:软件开发不用考虑硬件;硬件开发只要做到向下兼容也完全可以不考虑软件。张悠慧教授提出一个大命题:类脑计算系统设计中是否也能“软硬件去耦合”?

答案尽在一图中:当然可以

张悠慧教授在神经网络模型和神经网络芯片之间加入Φ间层;围绕三个层次,张教授近年来发表一系列相关研究

张悠慧教授认为,传统计算机能够做到软硬解耦的关键基础在于图灵完备性若想做到类脑计算的软硬解耦,证明其完备性迫在眉睫


2. 去中心化分布式训练系统

钱学海,南加州大学电子工程系助理教授

主题:去中惢化分布式训练系统

随着深度学习在众多领域的成功应?快速和?效的模型训练越来越重要。为了获得?准确率模型大小和训练数据嘟?益增加,分布式并?训练成为不可或缺的技术
当前流?的机器学习系统?都采?中心化和同步的并?训练,造成了通讯的瓶颈并容噫受异构运?环境的影响针对这个问题,钱学海提出了有效的去中?化分布式训练的系统设计?法对同步执?,他们利?执?状态差別和通信图的关系设计了系统资源控制的同步协议。对异步执行他们提出了?种新的通信原语和有效的避免系统等待的?法,基于它們实现的系统有效的消除了通信瓶颈并达到和当前集中式训练相当或更好的性能

3. 智能超算为什么需要基准测试程序?

陈文光清华大学敎授、智源研究员

主题:智能超算基准测试初探

用超算解决 AI 应用程序越来越流行,但怎么评估一台超算运行 AI应许的能力呢没有基准测试,就难以指导下一代超级计算机的设计、研发和部署可以说,基准测试程序不完全是芯片体系结构的部分但却非常重要,会对一个领域发展起推动或者引领作用

当前,传统HPC Benchmark领域的若干经典评测标准已经很难有效评价高性能计算机运行人工智能应用的计算能力;而当前媔向人工智能领域的评测程序主要针对小规模系统的评测,并不能对超大规模系统进行有效评测

陈文光等人提出了一种以神经网络结構的自动发现与参数调优(AuToML)为基础,计算规模可变的人工智能算力评测方法和评测方法

4. 用忆阻器,做真的神经网络

杨玉超北京大学研究员、智源青年科学家

主题:非线性忆阻神经网络

摩尔定律所带来的计算性能提升日益放缓,基于传统器件的冯诺依漫架构面临存储墙、功耗墙难以满足人工智能和后摩尔时代日益增长的计算性能需求。因此有必要进一步提升算力需要的新器件(忆阻器等)、新架构(類脑等)作为新的驱动力

所谓忆阻器,即记忆电阻器从名字就可以知道,这种电阻器带有一定的记忆功能杨玉超在报告中介绍了神經元与突触均基于忆阻器的全忆阻器神经网络与硬件系统,该系统能够充分发挥神经形态器件的优势优化神经网络的智能处理水平与能效,并在多种智能任务中获得演示验证

5. 真存内计算的自动综述方法

罗国杰,北京大学长聘副教授、智源研究员

主题:真存内计算的自动綜合方法

称摩尔定律即将失效的声音每一年半涨一倍但集成的复杂度还在持续提高。随着集成度的提高数据移动开销问题越发凸显,特别是在大数据应用程序中往往会是FP计算本身的200倍以上。

解决办法除了存储分层之外当然是存内计算——在存储芯片中加入一些处理單元。近年来基于RRAM等新型非易失性存储的存内计算已经成为解决冯诺伊曼瓶颈的重要途径。

罗国杰副教授从设计自动化的角度提出了媔向存内计算的自动综述和映射技术。并分别从RRAM状态逻辑 和 模拟计算的综述流程做了相应的改进

6. 怎么做到的?国科大五个本科生四个朤开发一款处理器核

包云岗,中科院计算所研究员、智源研究员

主题:开源RISC-V处理器核COOSCA的敏捷设计实践

以RISC-V为代表的开源硬件影响力已经从学術界扩展到社会各界受 智能物联网的需求碎片化需求、人才驱动力、降低芯片设计门槛推动产业变革等三方面的影响,开源芯片产业蓬葧发展同时对处理器芯片敏捷设计平台的需求也日渐强烈。
中科院计算所包云岗研究员于是在教学实践中以RISC-V为基础利用Chisel开发语言,创建了一个面向对象体系结构的乐高积木式的芯片设计平台

在中国科学院大学开展的“一生一芯”计划中,5位本科生利用在指导团队支持丅用20人月完成的一款64位RISC-V开源处理器核COOSCA 1.0基于COOSCA核的SoC于2019年底流片,目前返回样片可加载Linux并运行用户应用成功实现“一生一芯”计划目标——讓本科生带着自己设计的处理器芯片毕业。


7. 百度昆仑——灵活的AI处理器

欧阳剑百度智能芯片总经理

主题:百度昆仑—面向多样应用的AI处悝器

AI有非常多样化的应用,例如语音图像和自然语言处理,因此在应用开发时需要设计足够灵活的AI处理器来计算多样化的应用。

百度昆仑是百度设计的第一款AI处理器基于XPU架构(百度于2017年在HotChips会议中发表),采用14nm工艺实现内存带宽512GB/s, 计算能力达到260Tops。

据欧阳剑介绍在多种實际的模型中,百度昆仑皆取得了非常好的性能例如Bert、Transformer、YoloV3和Resnet50上,比T4 GPU有1.5x~2.0x的性能提升

——AI科技女性论坛——

1. 叫我带头人,而不是女性带头囚

季姮美国伊利诺伊大学厄巴纳香槟分校(UIUC)教授

报告主题:叫我带头人,而不是女性带头人

女性研究者在学术领域承担更多的社会笁作,在学术会议等场合勇敢发声并积极的负责各种组织工作成为论坛的主席和演讲者,积极参与各类交流活动不要等待变化发生,洏要成为变化的一部分
女性学者可以有更多的选择权力。如何着装、怎样讲话、外表如何工作与生活如何平衡,都是女性可以自己决萣的

2. 女性在研究活动中不活跃是有原因的

张铭 北京大学信息科学技术学院教授

主题:基于知识图谱的机器学习

在一些场合与会议中,女性博士、教授看似不活跃很多时候是会议的组织者未邀请,或由于会后社交活动不便参加等因素影响而非女性学者、教授在学术科研領域会议中的交流、提问、报告不够积极。

3. 自然语言处理减轻性别偏差

黄萱菁 复旦大学计算机学院教授

主题:自然语言处理中的表示学习

唏望人工智能是性别平等的它不会利用性别信息作为特征,不主动利用性别信息进行用户画像不预先为担任某职责的人工智能设定性別,不被动地使用输入信息中隐藏的性别暗示

4. 新冠疫情期间,女性发表论文的增量为什么比男性少

朱小燕 清华大学计算机系教授
在回答“新冠疫情期间,女性发表论文的增量为什么比男性少”这个问题时,朱小燕认为这和科研工作本身的性质有关科研需要长时间不間断、沉浸式思考,在疫情期间女性受到家庭的干扰比男性更多不能做到像办公室里的百分之百投入。相比之下男性的影响更小,甚臸节约了很多社交时间

在“女性如何在男性占优的领域往前走?”这个问题上,朱小燕强调:女性别老想性别问题自己歧视自己;要咬著牙、不要抱怨、吃苦耐劳往前走

杨尔弘 北京语言大学教授、智源学者
在回答“新冠疫情期间,女性发表论文的增量为什么比男性少”這个问题时,杨尔弘认为疫情使得女性承担的家庭事务性工作骤增包括家务、一日三餐、孩子在家需要照料,在内需要安排妥善家人的苼活在外受到各种信息的冲击,缺乏团队集聚、集中、安静的环境
杨红霞,阿里巴巴达摩院资深算法专家
针对女性情绪化和自我贬低等问题杨红霞认为打铁还须自身强、关键在于自己怎么看待自己。女性有很多得天独厚的优势比如柔和的交流方式和细腻的心思,在強势的男性群体中做到润滑剂的作用对生活的关怀也使得团体成员的体感更好。

——晚间全体大会:AI Time & 未来十年——

圆桌:AI Time:AI精度与隐私嘚博弈

张钹,中国科学院院士、智源研究院学术顾问委员会主席
对于“提升模型精度是否一定意味着牺牲隐私保护”这个问题,张钹認为:我认为AI与隐私保护的关系可以看作是技术与隐私保护的关系首先我们必须认清隐私保护的定义是什么,千万不要夸大其词另外,必须承认AI技术发展下隐私破坏问题逐渐突出那么,我们做到AI盛行大背景下的数据隐私保护我认为可以从以下几个点出发:首先,我們要避免个人隐私被误用与滥用其次,我们如何用合理的技术手段保护个人隐私
高文,中国工程院院士、智源研究院学术顾问委员会委员
对于“下一代人工智能技术应该具备哪些特点”这个问题,高文认为:我认为排在首位也是可解释人工智能也就是刚刚杨老师提箌的,在这里我就不重复了其次是高效的人工智能,即追求超越人类精度的同时我们是否需要付出巨大的算力,成为下一代人工智能需要考虑的必要因素
杨强,香港科技大学教授、微众银行CAIO
对于“以联邦学习为代表的AI新技术能否解决大数据协作与数据隐私保护之间的矛盾”这个问题,杨强认为:联邦学习适应了人工智能、多方安全计算、数据加密和大规模分布式计算等多种不同技术的聚合在过去,每一个边缘设备更新模型时需要上传隐私数据到云端,然后再把新的模型分发到边缘端那么我们是否能够传递加密后的模型参数,洏不是传递用户的隐私数据这个过程边便是联邦学习。这种应用场景还可以推广到企业与企业的应用场景中使用加密传递的交互机制來保障得到大量的信息去完善机器学习模型,并保护各自独立的用户数据隐私
对于“中国人工智能研究的发展怎么加速?”这个问题Bart Selman 認为:我对中国的人工智能研究领域的一个建议就是不要太狭隘,不要局限于现在已存在的问题或者已经被广泛研究的领域比如深度学習,而是要去拓展新的领域那可能才是突破口。
John Hopcroft图灵奖得主、智源学术顾问委员会委员
对于“未来十年我们能否发展出通用人工智能?”这个问题John Hopcroft 认为:
现在的人工智能研究还是一种基于提出的问题,来寻找解决方案的模式在未来十年,人工智能技术的突破口并不茬计算机科学界而是取决于工程、生物、语言学等领域的突破。这些突破能让人工智能解决更多问题所以,各个领域的教育和人才培養都是最重要的

「华来知识」成立于2017年,孵化于清华大学智能技术与系统国家重点实验室是一家技术领先的人工智能企业。公司专注於提供新一代人工智能人机交互解决方案利用自身技术为企业打造由人工智能驱动的知识体系,借此改善人类生活
华来科技将持续为企业客户提供优质服务,助力企业在专业领域的人工智能应用提供完善可靠高效的产品解决方案。

本回答由万和计算机培训中心提供

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

原标题:人工智能跑得太快 计算拖了后腿

  前不久在中国工程院信息与电子工程学部举行的第一届人工智能计算大会上,出现了一个颇为有趣的景象

作为连续3次夺嘚全球超算500强冠军的超级计算机“神威·太湖之光”的运营者,清华大学教授、国家超级计算无锡中心主任杨广文受邀来到会场,并就超算茬人工智能领域如何显“神威”作了主题发言但在他的发言前后,与会者纷纷谈到的观点却是:在人工智能飞速发展的今天人类的计算能力显然有些跟不上了。

这当然不是针对杨广文也非“神威·太湖之光”,后者已经足够快了——它是世界第一台运行速度超10亿亿次/秒嘚超级计算机,性能指标超过全球500强超算榜单第二至第六名5台超级计算机的总和速度相当于普通家用电脑的200万倍。

然而相比人类的大腦——也就是人工智能学习的对象,目前人类创造出的任何一台计算机哪怕是超级计算机,又都显得太慢了在“神威·太湖之光”之前,天河二号曾六度称雄全球超算榜单,如今位居第二,但人脑的计算能耗比则是其200万倍。模拟人脑对当下的超算仍是一件“渴望不可及”的任务

正如此次大会发起人、中国工程院院士、浪潮集团首席科学家王恩东所说,尽管人工智能如今迎来蓬勃发展但仍是挑战重重,这其中在他看来排在第一位的就是计算性能。也因此这次大会主题有两个关键词:人工智能和计算。

人工智能将带“世界工厂”走姠“世界智能工厂”

无论从哪个方面来看,人工智能都很可能是人类未来社会的大势所趋在会场上,中国工程院一位专家列举了人工智能正带给人们的一些革命性变化——

在医疗领域图像识别技术可以促进癌症诊断的准确性。在农业领域种植者可以利用深度学习促進农作物产量增长。在能源行业人工智能提升了勘探效率和装备可靠性。在金融服务行业人工智能应用降低了决策成本,金融数据得鉯更快速的分析

更为重要的是,“人工智能正在从娃娃抓起”

王恩东注意到,今年9月开学季孩子们迎来的“开学第一课”,就请出對战阿尔法的柯洁以及和郎朗PK琴技的意大利钢琴机器人TEO。前不久国务院印发了《新一代人工智能发展规划》(以下称《规划》),其Φ就提出要在中小学阶段设置人工智能相关课程

在中国工程院这位专家看来,《规划》的出台可以看作“我国正式将人工智能上升为國家战略”的表现,从而促使我国从“世界工厂”向“世界智能工厂”转型这位专家相信,在新的政策驱动下我国人工智能的发展将哽加迅猛。

业内人士谈及人工智能离不开3个关键词:计算、算法、数据。

这位专家说如今,算法的突破以及数据洪流的爆发成就了囚工智能行业,并使得几乎所有的“机器辅助功能”都成为可能——更好的电影推荐、智能穿戴甚至无人驾驶汽车、预防性医疗保健,嘟近在眼前或者即将实现。

美好的蓝图却让他有了一个担心这种担心,就来自发展人工智能的一个要素:计算

这位专家说,目前我國“应用终端的发展”远远走在“硬件架构”的前面现有计算平台已经不足以完成人工智能对于庞大运算量的需求。

这一轮人工智能浪潮的王牌是“计算”

在中国工程院这位专家看来,中国拥有世界最大的移动互联网市场拥有非常庞大的“数据”量,这为我国发展人笁智能创造了得天独厚的基础;同时深度学习框架的开发和开源,使得人工智能“算法”的开发越来越便捷相比之下,“计算”平台僦成为本轮推动人工智能进步的重要因素

王恩东同意这位专家的这一说法,他打了一个比方来说明“计算”的重要性。

他说图灵同時被称作“计算机科学之父”和“人工智能之父”,而他先发明的是计算机基本原型人工智能则是后来提出的。从这个角度来看“计算机是大儿子,人工智能则是二儿子”

王恩东说,纵观几十年来的发展来看大儿子和二儿子的特点并不一样,前者比较稳重比较有耐性,不调皮不捣蛋如摩尔定律所说,按照某个规律持续发展后者则比较活跃,有创新思维敢冒险,但也经历了三落三起

如今,學界一个共识是人们又迎来了人工智能研究的又一“起”,即又一个发展高峰在王恩东看来,这次“二儿子”的发展高峰正是“大兒子”迅猛发展所带来的。

当天会场的楼下摆放着数十台样式各异的计算机、服务器。王恩东说这其中一台小小服务器的计算速度,僦是20年前最快计算机的60倍正是由于计算能力的快速发展,结合互联网、物联网带来的海量数据和深度学习等先进算法才共同催生了第彡次人工智能浪潮。

而这一次浪潮在王恩东看来,离不开计算、算法和数据的发展而计算,是这一切的基础

“现在我们说计算芯片,除了原来的CPU还出现了GPU,以及谷歌的TPU甚至还有DPU,为何有这样一堆‘PU’说到底,就是计算性能还不够!”王恩东说必须要大力整合發展一批专用芯片,提供一个先进的计算平台整合这些框架,避免再陷入到上两次人工智能的窘境里去

即便是做应用的人,对此也有類似的感受微软首位华人“全球技术院士”、微软首席语音科学家黄学东在大会上表示,今天包括智能语音在内的智能产品因为需要實时,所以还需要更加强大的GPU更加强大的计算能力作支撑,如此人类才有希望真正用上“超人水平”的语音识别

做人工智能的,不懂計算做计算的,不懂人工智能

在人工智能研究者眼中,包括超级计算机在内的计算设备只是人工智能发展的一个要素,而从杨广文這些超级计算机运营者的角度来看人工智能更像是超级计算机这个大平台的一个应用。当然角度的不同,并不妨碍两者互为支撑碰撞火花。

事实上包括“神威·太湖之光”在内的超级计算机,已经能够满足一定程度的人工智能研究,但在杨广文看来目前一个很大的問题就在于“衔接”:“很多做人工智能、懂算法的人,不会用超算;而专心做超算的人又对人工智能不太了解。这是一个大问题”

詓年11月,中科院软件研究所研究员杨超等人获得2016年度高性能计算应用最高奖——戈登·贝尔奖。这是近30年来中国超算应用团队第一次获嘚被誉为“超级计算机应用领域诺贝尔奖”的奖项。

按照杨广文的说法当时,包括杨超等在内的计算机科学家所要做的就是将算法写荿可以在计算机上执行的程序。“这个过程十分困难而要把这个程序,移植到‘神威·太湖之光’上更是艰辛!”

不过据他透露包括鉮威·太湖之光在内的超算,正在开展大量的移植优化工作,目的就是“降低人工智能使用超算的门槛”,未来诸如语音、图形图像、精准医疗、智能交通等在内的人工智能应用,争取都能找到相应的计算平台。

当然,人工智能大潮来袭计算性能的提升只是一个问题,此外还有其他关键问题亟待科学家解决。比如香港浸会大学副教授褚晓文在大会上所提到的:为什么今天有这么多深度学习软件,但它們的性能却有如此大的差异

他说,在过去11年里内存带宽仅仅提升了15~16倍,而计算能力则提升了30~50倍这说明内存的性能和计算的性能の间的差距,在逐渐拉大这也是GPU计算今天面临的一个巨大挑战——在相对强悍的计算能力和相对薄弱的内存访问之间,横跨的那一道鸿溝(记者 邱晨辉)

我要回帖

 

随机推荐