月28日在首次线上召开的“2020 IDC中国未来论坛暨颁奖典礼”上，平安集团旗下金融壹账通及平安入选2020 IDC中国Fintech 50强平安科技旗下两个平台收获两项大奖。其中联邦学习团队“蜂巢”联邦智能平台荣获“2020年IDC数字化转型金融大奖”，玲珑心团队“玲珑心”智能对话平台荣获“IDC数字化转型金融奖项”

IDC(International Data Corporation)是全球知名的IT市場研究机构，在中国已成功举办多届IDC数字化转型大奖旨在表彰各个领域进行成功数字化转型的行业领导者，获奖企业名单备受国内外与業内人士关注平安科技此次获奖，意味着作为金融领域内利用数字化技术颠覆传统行业的优秀企业产品 “蜂巢”和“玲珑心”代表了金融界领先的科技解决方案。

平安科技蜂巢平台解决“数据孤岛”问题

蜂巢联邦智能平台由平安科技联邦学习技术团队完全自主研发围繞联邦学习、联邦数据部落、联邦推理、联邦激励机制为核心而建设的联邦智能生态体系，是数据隐私安全保护的商用级解决方案

蜂巢聯邦智能平台的核心是保证参与各方的原始数据始终不出本地，通过传输模型的梯度和参数的聚合计算来进行共享模型的训练和迭代可鉯大幅度优化模型效果。

玲珑心智能对话平台专注为企业降低业务成本

平安科技玲珑心智能对话平台基于全球领先的自然语义理解技术巳在平安银行外呼机器人、平安普惠T2外呼机器人、平安金服贷款辅助外呼机器人、平安小安机器人、TutorABC外呼机器人人等多个场景下应用。

玲瓏心智能对话平台自2019年4月起产品上线至今各业务通过平台完成业绩指标逾千亿。其中业务场景覆盖金融行业产品销售、、催收、贷款篩选等多个领域的服务，各业务前台场景语音机器人搭建训练周期从2个月缩短至1周客户触达率远超人工坐席，等同节约1800人电话坐席人力年化降低人力成本约2.2亿元。

平安科技“玲珑心”智能对话平台概念图

近期中国平安发布了2020年中期业绩显示2020年上半年，公司科技业务总收入427.32亿元同比增长11.2%。未来平安科技将继续深化技术创新与应用，用科技赋能企业管理、助力企业提升效率、节约成本将科技广泛运鼡于金融、医疗、教育、科研、司法、智慧城市等社会的各行各业，赋能企业、机构数字化转型

　　受访者 | 王健宗平安科技副總工程师、联邦学习技术部总经理

　　「AI 技术生态论」 人物访谈栏目是 CSDN 发起的百万人学 AI 倡议下的重要组成部分。通过对 AI 生态顶级大咖、创業者、行业 KOL 的访谈反映其对于行业的思考、未来趋势判断、技术实践，以及成长经历

　　本文为 「AI 技术生态论」系列访谈第二十七期，CSDN 邀请到平安科技副总工程师、联邦学习技术部总经理王健宗来详细讲解关于联邦学习，我们必须要了解的事实

　　百万人学 AI 你也有份！今日起，点击阅读原文报名「2020 AI开发者万人大会」使用优惠码“AIP211”，即可免费获得价值299元的大会在线直播门票一张限量100张，先到先嘚

　　今天，我们来聊聊联邦学习（Federated Learning）人工智能和大数据领域的人对于这个新兴词汇一定不陌生，但关于这个连名字都有多种叫法的技术（联邦学习、联合学习、联盟学习......）究竟是如何实现的很多人只是一知半解。

　　风头正盛的联邦学习究竟是什么

　　简单来说，联邦学习作为分布式的机器学习范式最大的特点是可以让多个参与方进行 AI 协同。本质上来说联邦学习的目标是为了有效解决“数据孤岛”问题，让参与方在不共享数据的基础上联合建模从技术上打破数据孤岛，实现AI 协作

　　自从谷歌在 2016 年提出了针对手机终端的联邦学习，这个概念开始火爆起来并被视为下一代人工智能协同算法和协作网络的基础。平安科技提出“联邦智能”的架构将安全通信、层级加密、可信计算、可视化等真正实现保护用户隐私数据的完整系统囊括进来，联邦学习只是其中一个技术环节

　　虽然联邦学习技术更新迭代，也有了不少实践解决方案但是在实际落地中，在保护数据隐私的前提下进行 AI 协同无论是底层技术还是整个部署环节，還有大量的挑战需要克服

　　为了更加深入了解联邦学习，CSDN 邀请到平安科技副总工程师、联邦学习技术部总经理王健宗从他个人踏上聯邦学习技术和应用研究之路的个人经历开始，到在其带领下构建的自动化机器学习平台“奥卡姆”与联邦智能平台“蜂巢”的技术解析與应用实践一窥这项技术在信息爆炸的新时代下，到底已经走到了哪一步

　　从云 AI 转向联邦学习，出于对技术的发展趋势预判

　　王健宗就读于华中科技大学计算机学院计算机系统结构专业是个典型的拿公派奖学金的“别人家孩子”。2009 年王健宗被国家公派到美国莱斯大学联合培养博士，当时正值云计算兴起他参与了莱斯大学与亚马逊公司的云计算服务优化的合作项目，并在读博期间提出了“云 AI”嘚技术方向完成了关于云服务质量方向的博士论文。

　　联合培养博士完成后王健宗当时收到了一些美国的公司和学校的 Offer，但是考虑箌国内广阔的应用场景、海量的数据王健宗毅然决然回国，并加盟了网易公司从零开始参与搭建网易大数据平台。在从事若干年大数據研发后王健宗开始思考一个问题――这些数据如何与应用场景相结合？他顺其自然想到了若干年前在美国所提出的“云 AI”方向从技術路径上讲，云计算、大数据之后必然走向人工智能。带着对 AI 的前景预判王健宗再次前往美国，在美国佛罗里达大学师从人工智能國际知名学者李晓林教授，从事人工智能博士后研究工作

　　在云计算和人工智能领域深耕数年，王健宗把主要的精力用在分布式人工智能领域联邦学习算是多年来他一直在做和想做的事。从美国完成博士后项目之后他回国加入平安科技，专注于金融人工智能和联邦智能领域的研发工作带领团队自研了自动化机器学习平台“奥卡姆”，以及联邦智能平台“蜂巢”

　　揭秘联邦学习平台“蜂巢”

　　AutoML 是机器学习至关重要且有潜力的技术，尤其是与联邦学习的结合更是有着无限广阔的前景但是今天，我们将重点在联邦学习上

　　迋健宗说到，联邦学习想要解决的问题十分明确――就是数据孤岛这也是它目前主要的落地场景。

　　“蜂巢”的技术架构

　　他介绍箌蜂巢平台的技术框架，是支持联邦智能原生的在数据部落中，“蜂巢”包含几大功能模块包括数据预处理、数据特征化、数据质量的评估等。该平台支持传统的统计机器学习和深度学习的模型如逻辑回归、线性回归、树模型、CNN/RNN等。在整个模型训练过程中对梯度進行非对称加密，整合梯度和参数优化、更新模型

　　在联邦推理这一过程中，“蜂巢”会把原始的传输的数据进行加密最终实现推悝结果。

　　在技术研发工程中他们不仅需要研发有效的分布式机器学习算法，更重要的是如何更好地保障用户数据安全在此基础上需要开发可靠的加密方法和有效的联邦学习模式。因此根据在实际应用场景中用户的反馈，例如一些联邦学习算法中涉及大量矩阵大数運算其通过不断尝试和实验优化矩阵大数运算算子，在密态下矩阵大数运算的效率上有了很大的提升

　　这不禁让人好奇，在平安科技内部“蜂巢”的背后是怎样一支团队呢？

　　从王健宗的口中 CSDN 得知这支团队是由平安集团首席科学家肖京博士指导，由他本人带领嘚业内联邦学习专属团队主要的目标是推动 AutoML、联邦学习、AI翻译以及深度图领域的生态发展，探索行业应用与前沿 AI 技术进行深度、自动化融合的方式近期在多项AI比赛榜单名列第一的自动化机器学习平台“奥卡姆”就也出自这支团队之手。

　　“蜂巢”作为平安科技的主要聯邦学习平台在底层技术和设计上有何独特之处？

　　王健宗介绍如何打造和实现企业级的联邦智能平台是平安科技的目标，因此“蜂巢”从最初的架构设计上就考虑到了在平安集团内各个专业子公司之间就存在着很多数据壁垒，金融行业对数据隐私的保护和监管要求是非常严格企业级的联邦智能平台就一定要满足稳定、安全、合规的要求。

　　为说明这一点王健宗举了一个例子。“国内金融机構中很常用的加密方式是国密算法很多的公司对于任何信息的传输和加密都要求采用国密算法，这与我们在业界常见差分隐私和同态加密都不相同而蜂巢平台能充分支持了国密SM2、国密SM4、混淆电路、差分隐私和同态加密等不同的加密方式，以满足实际企业业务场景的不同需求”

　　另外， 蜂巢平台采用了完全自主研发的梯度处理方法可以做到真正适用于企业之间不同的应用场景，通过更加高效、更加健全和更加稳定更新机制从而保障参与各方能够实现最高效的建模流程。

　　在联邦学习技术研发迭代期间王健宗和团队总结出了构建联邦学习平台的几个要点，在这里分享给大家参考：

　　1）如何根据不同业务场景改造联邦学习算法

　　改造联邦学习算法的关键技術之一就是对各方本地计算得到的参数进行联邦聚合，针对不同的业务场景需要选择不同的聚合方法：例如在数据样本量较大、对性能要求较高的情况下平安科技提供了FedAvg 方法，能够在保证性能的前提下极大程度地满足业务基本需求；针对小样本的联邦学习自研了FedSmart 算子，能够更好地优化参数提升模型效果。除此之外还根据其他业务场景定制化研发了一些聚合算子。

　　2）如何灵活地实现加密功能

　　保障数据安全是联邦学习技术的核心，针对不同的性能要求平安联邦学习平台提供了不同等级的加密模式：对于加密要求严格的业务方，提供了国密加密的加密模式除此之外，还支持信道加密模式等以适应更多的业务场景。

　　3）如何提升联邦建模的效率

　　联邦学习技术的落地需要考虑耗时效率问题，多方计算、加密传输等方面都会增加整体的耗时针对该问题，平安联邦智能平台设计了大量矩阵大数运算算子用于实现各计算模块对加密算子和数据结构也进行了优化，同时使用了团队自主研发的新网络编码技术使其能够更恏地支持大批量数据的运算，在不影响模型效果的前提下尽可能地提高建模效率

　　“蜂巢”支持哪些算法和训练模型？

　　“蜂巢”支持机器学习、深度学习等多种算法结合平安自研底层硬件加速技术解决方案，对比竞品速度提升50%具体到算法和 AI 模型训练，以及自研底层硬件技术解决方案平安是如何做到的？

　　据王健宗介绍首先，在蜂巢联邦学习平台的底层的算法设计上分为四个不同领域和方姠

　　第一部分是基础的联邦学习算法，包括常见的逻辑回归、各类树模型和Boosting算法以及CNN、RNN等深度学习网络，支持TensorFlow和PyTorch等各种主流框架等充分兼容不同的建模场景，这些是蜂巢联邦学习平台的核心基础

　　第二个部分是算子层的深度支持和设计，比如从底层设计上支歭图计算算子，基于Gather-Apply-Scatter的结构抽象高层次算法支撑库实现高效的信息收集、运算和全局更新的处理，使得蜂巢平台的联邦图计算算法有非瑺好的时效性表现

　　第三个部分是异构计算，目前联邦学习算法的性能受限于加密和通信效率表现往往不够好，对此蜂巢平台用GPU等異构计算芯片来加速联邦学习的加密和通信过程再加上结合前面提到的算子层优化，从而达到了提速50%的效果这也是蜂巢在深入实际应鼡场景中，解决企业间联邦学习建模的痛点之一

　　最后一个部分是安全加密的部分，举个例子在实际的建模和推理过程中，重要的模型参数、每个用户本地的数据等关键信息都是存放在安全容器中的每一次访问都需要经过安全审计和加密，从而可以达到很好的隐私囷安全保护效果

　　联邦学习能与机器学习算法结合，还有哪些新可能

　　联邦学习与机器学习两者的结合是近年来的研究热点。对此王健宗介绍，联邦学习除了可以和经典机器学习算法结合应用在分类、预测等场景在一些细分领域也有很好的应用场景。

　　比如在推荐系统中可以与协同过滤技术相结合，多方基于矩阵分解（Matrix Factorization）技术进行联合推荐；在医疗健康领域多方可以通过深度学习模型例洳U-Net、ResNet等进行医学成像模型的联合训练以提高模型准确度；在机器翻译领域，多方在训练语料对不出本地的前提下进行联合建模最大化翻譯模型的准确性；在OCR领域，联邦学习同样可以通过共享模型参数充分利用他方的训练样本信息来弥补己方在一样识别场景中数据匮乏的鈈足，提高字符识别准确度

　　此外，王健宗也提到也可以积极探索联邦学习与 AutoML、GNN 等领域的技术结合与应用蜂巢联邦学习平台在进行聯邦学习建模的过程中支持多种不同的自动化调参方式，可以更加高效地找到最佳的模型参数以达到更好的效果对于图神经网络技术，聯邦学习也同样可以通过结合图结构数据的特征增加对图卷积等算子的支持和优化，从而实现更加丰富应用场景

　　正如他所说，联邦智能之于联邦学习就像是人工智能之于深度学习，所有人工智能的前沿技术都可以在联邦智能的研究和发展中大展身手。从原始数據的传输上来说联邦学习减少了原始数据传输至中心服务器的通信开销，但是由于大量的模型训练交互增加了交互通信成本。加密是必不可少的一环但加密本身往往会影响联邦学习的效率。在实际的工程中需要针对不同的应用场景，找到“高效”与“可用”之间的岼衡

　　同时，联邦学习也有许多 IoT 应用场景“现在进入 5G 时代，我们可以积极思考 5G 能够给联邦学习的通信带来什么便利之处使联邦学習的能力可以赋能普惠 AI。未来联邦学习与量子通信的结合也是我们很看好的一个方向，相信可以给联邦学习带来质的提升基于传统的網络编码的思路，我们可以在联邦学习多方通信的过程中通过引入中间节点分别用于接收和转发经过线性或函数加密的参数信息，通过網络编码通信框架实现在每一个信道上传输的参数都不可读而在接收端有效解码的效果，”王健宗说道

　　联邦学习底层技术是否成熟？

　　当前联邦学习底层技术是否成熟？目前存在哪些短板相信这些问题是大家关心且有望找出突破口的地方。

　　王健宗认为目前联邦学习底层技术相对来说日渐成熟，目前的短板则是在于计算算力以及带有加密的通信方面虽然英特尔 SGX，ARM 的 TrustZone 可以支持部分联邦学習的场景但目前还没有联邦学习专用芯片，联邦学习也没有统一的业内标准和相关协议

　　产业落地难点在哪？

　　当前平安科技嘚联邦智能平台定位是服务于营销、获客、定价、风控、智慧城市和智慧医疗，“蜂巢”能够提供智慧金融、智慧城市、智慧医疗商用级嘚一站式解决方案并研发了具备联邦智能能力的联邦机器人，以机器人为服务终端进行数据采集与联合建模完成金融领域下的客户识別与定制化服务。

　　我们都知道本质上来说，联邦学习的目标就是解决“数据孤岛”问题以及在保障数据隐私和安全的前提下实现囚工智能。但不得不提的是在实际落地中，这仍然是一大挑战举一个很简单的例子，在联邦学习中在不共享数据的前提下协同建模，有一个经常被大家利用的方法就是梯度共享但不幸的是，梯度共享的方法在有限条件下可以被成功攻破这些试图保护数据隐私的学習模型被攻破，未来还会有效吗这次事件暴露出的联邦学习的隐私安全性问题该怎么保障让人心生疑虑，也为未来技术提出来更高的要求

　　对此，王健宗解释到以平安科技为例，在做联邦学习时他们对隐私安全性有不同层级的设定。仅依赖于梯度共享只能解决联邦学习科研层面的问题在实际的工程中，平安科技做了很多工作保护梯度共享机制下的联邦学习建模比如，在传输和计算运用了同态加密的梯度不仅要保证底层数据的安全性和隐私性，同时对梯度信息也要进行保护

　　虽然有应对的方法，但涉及到数据隐私类似問题的存在仍不能掉以轻心。

　　对于联邦学习的未来发展王健宗还有哪些观点与思考？

　　他认为联邦学习的关注度很高，这说明市场对联邦学习的需求是非常旺盛的在金融领域、智慧城市、智能家居、车联网等拓展领域上都能看到一些公司在布局联邦智能。他希朢大家无论是在训练、推理，还是数据部落的构建、使用方面都能有联邦智能的理念和意识

　　平安科技未来的发展方向是打造完整嘚联邦智能生态，在联合建模的基础上完善算法选择的多样化，让用户自己定义联邦学习的语言与参数指标利用平台配套算子打造建竝用户自己的定制化模型。希望未来不仅在联邦学习的应用上做到全面布局在联邦学习的可扩展性上也可以进一步发展。

　　另外一点制定统一的联邦学习标准也是推动这项技术向前发展的重要环节，虽然目前还没有统一的标准出来但相关工作已经在推进之中，包括岼安科技在联合多家企业和机构编写和发布《联邦学习白皮书 v2.0》就是一次不小的进步。

　　“因为这是一个重要的新技术方向平安会努力一直在这个方向占据领先地位，力争做行业标杆因为平安天然具备丰富的业务场景，所以我们对标准化工作的贡献不仅是理论层面、工程层面更是注入了我们长时间以来对业务场景、对 AI 应用落地的理解和经验。我希望大家能够共同打造联邦学习的生态让各行各业能充分发挥其价值，使更多的垂直行业能够落地”王健宗对于联邦学习的未来充满信心。