966,690 五月 独立访问用户
语言 & 开发
架构 & 设计
文化 & 方法
您目前处于：
YY游戏私有云平台实践
YY游戏私有云平台实践
日. 估计阅读时间:
道AI风控、Serverless架构、EB级存储引擎，尽在!
相关厂商内容
相关赞助商
ArchSummit深圳-8日，深圳&华侨城洲际酒店，
页游开服快、密度大、周期短，导致运维变更频繁。
传统开服、合服涉及大量的运维人工操作，例如安装服务器、配置网络、部署游戏、配置数据库等。
用物理机开服，资源分配不合理，一个物理机上分配较多游戏进程，会导致风险过高；分配较少进程，又导致成本浪费。
数据备份、监控、故障转移在传统模式下都成为挑战。
针对这些痛点，我们在OpenStack的基础上，开发了第一代云平台，即Cloud 1.0。云平台上线后，资源管理更加灵活，在性能和成本之间取得良好均衡，并极大的增强了运维自动化能力。目前Cloud 1.0支撑了几十万同时在线的游戏用户，截至到2015年12月，YY云平台接入游戏50多款，资源总数约15,000个。
如下是Cloud 1.0的基础架构，它包括云主机、云DB、云存储、云缓存、云网关五大核心产品。用户可通过控制面板访问它们，也可通过API在应用程序里来调用它们。
随着云平台规模越来越庞大，慢慢暴露了OpenStack的一些弱点，比如结构复杂、可靠性一般、扩展性弱，导致我们在云的可控性方面大为被动，从而产生了第二代云平台的需求。
那么我们需要一个什么样的云呢？首先，它是基于私有云。其次，这个私有云一定满足我们业务的特点，比如游戏行业与金融行业，业务特点截然不同。再次，这个云一定要可管理、可扩展、可控。对于一个平台服务，它存在性能短板、运行故障并不可怕，可怕的是出问题后用户无法跟踪和定位，从而失去可控性。
云平台架构的演进
在Cloud 1.0里，我们并没有实现租户网络，不同的游戏厂家都接入同一Flat网络，这对隐私和安全都不利。网络架构如下：
上述图里，云网关是游戏平台里一个重要产品，请参考。简言之云网关有两个重要作用，一是收敛公网IP，节省IP成本；二是集中安全防护，降低单个云主机被DDoS的可能性。我们所有的云主机都只有内网IP，运行在云网关后面。除了云主机外，还有云DB、云缓存、云存储等配套产品，都是游戏服务需要的。
在Cloud 2.0里，重点解决租户网络（VPC）的实现问题。出于前面提到的原因，我们并不打算采用OpenStack的租户网络方案。在充分调研和学习的基础上，自主设计了一套基于硬件的解决方案，其中VPC、子网、路由、云网关都采用硬件实现。架构图如下：
我们看到图里标明了3个租户，实际上我们会有数K个租户，每个租户都有自己的虚拟私有网络，也就是租户网络（VPC）。每个VPC保持独立性，彼此隔离。我们采用VxLAN技术来实现VPC，因为传统的VLAN有规模限制（4K），我们不能做一个将来无法扩展的平台。而VxLAN的16M规模可以充分满足需求。
VM的数据包进入接入交换机（TOR）后，由TOR加上VxLAN头部，并进行转发。一般来说如果同一租户同一子网的数据包，由本地TOR直接转发到邻居TOR。如果是同一个租户不同子网的数据包，先发给汇聚交换机，由汇聚交换机转发到下一个TOR。汇聚交换机在这里充当VxLAN网关的角色，第一它负责VxLAN网络里不同子网间的路由；第二如果数据包需要离开VxLAN，它会剥离VxLAN头部，将包转发给因特网网关。
数据包离开汇聚交换机后，到达网关就是普通的包。当然，由于我们支持多租户，每个租户的子网可能是重叠的，所以汇聚交换机和网关之间通信走VRF。另外，我们的VM默认都没有公网IP，所以需要网关兼具如下功能：
SNAT：VM出到公网的数据包由网关根据VRF进行源地址转换。
DNAT：VM的某个端口需要被外网访问，由网关根据端口进行目的地址转换。
Floating IP：少数VM需要一个独立的公网IP，在网关上进行一对一的映射。
图里描述的接入交换机、汇聚交换机、网关都是独立的物理设备。但是，汇聚层和网关层也可以是PC服务器集群，既充当VxLAN网关，又实现NAT功能。
云平台架构选型与实现
VPC的实现是Cloud 2.0与1.0的主要区别。在1.0里我们使用OpenStack的Provider Networking网络类型，它就是一个大的混合网络。随着规模的扩展，这种网络类型已经不能满足我们需求。所以2.0的建设重点是实现每个租户拥有独立的VPC。比如用户A，跟用户B，拥有两个互不相通、彼此隔离的二层网络。用户A和B都可以自定义他们的网络地址段、路由、访问控制策略。关于VPC的架构借用AWS的一张图来描述：
怎样实现VPC
VPC有很多种实现方式，既有软件的也有硬件的，有VxLAN类型也有NvGRE类型。我们在Cloud 2.0设计阶段综合考虑到性能、稳定性、开发成本、上线时间等因素，决定第一期采用基于硬件的VxLAN来实现VPC。
在跟同行公司的交流中，我们得知业界在实现VPC时也有非硬件的解决方案。比如阿里云在VSwitch层面做了大量工作，用软件对流表隔离的方式来实现彼此独立的租户网络。这种方案比较灵活，对硬件设备的依赖少，不过开发周期长，在生产环境里不容易搞稳定，我们暂不考虑此方案。
VxLAN网络由接入交换机和汇聚交换机组成，数据包在它们之间传输时，会带上VxLAN头部，从而隔离成一个个独立的二层网络。数据包在进入接入交换机之前，以及在离开汇聚交换机之后，都没有VxLAN头部，是普通的数据包。VxLAN网络规模理论上可以达到16M，也就是16M个VPC实现。当然，由于VRF数量有限，在实际中并不能产生这么多的VPC，除非这些VPC都不需要访问公网。
图的下半部分，Hypervisor代表计算节点的宿主机，它们接入独立的管理网络，这只是一个物理的二层网络，非虚拟网。管理网络里除了有宿主机外，还有控制器、管理数据库、分布式存储等。控制器的作用不言自明。分布式存储是VM运行的数据支撑层，我们的VM不管是操作系统自身，还是数据盘，都运行在分布式存储上。这样既保证数据安全，又满足云平台的特性，比如VM快速启动和迁移。
云平台包含三个关键部分：虚拟计算、虚拟网络、虚拟存储。这里面虚拟网络是基础，它的结构决定了整个云平台的实现架构。如果把虚拟网络搞定，那么虚拟计算、虚拟存储都问题不大，这也就是为什么在Cloud 2.0里，我们敢于抛弃OpenStack的原因。我们需要开发一套应用程序，完成对这三套底层系统的调用、调度、监控和反馈。而这套应用程序就是自己的云平台实现，它的架构参考如下：
因为虚拟网络（又称软件定义网络、SDN）一直是我们的重点，所以本文谈的也基本围绕它进行。虚拟网络实现的本质是控制器的实现，控制器是虚拟网络的灵魂。VxLAN网络里大量的数据交互，都需要控制器参与。
比如控制器要记录每个VM的虚拟Mac，并下发到TOR，这样VM在发起ARP查询时，TOR才能进行ARP代答。再比如某个VM的网络请求进入到TOR，TOR需要查表才知道这个VM属于哪个VxLAN。还有同一子网里数据包在不同TOR之间转发、以及不同子网数据包在VxLAN网关里的路由转发，都需要查控制器的表项来决定。
关于SDN部分
SDN控制器是目前非常热门的技术方向，有很多开源项目参与进来，但成熟的产品很少。它的开发工作量很大，华为公司研发敏捷控制器的部门就有一百多人。而我们的Cloud研发部门总共才十几个人，很难有精力搞一套自己的控制器，所以倾向于采取跟第三方公司合作的方式来完成。
我们期待的是一个简单的控制器北向接口，它完成VPC、Subnet、Router、Port、Floating IP等网络基本要素的管理，参考此说明。而控制器自身的实现方式，目前对我们来说不是特别重要。比如有的控制器北向接口就是Neutron API，南向是自己实现的Drive，这个也完全可以。
我们VPC的实现主要由硬件交换机驱动的VxLAN来完成。VPC除了有内网，还需要跟外部通信，以及外部能访问VPC的服务，这些都使用硬件网络设备来实现。控制器要完成对这么多设备的串通联调，是一个非常大的挑战。
两个核心功能
除了VPC的实现，Cloud 2.0还需要提供两个核心能力，一个是管理API，一个是按需使用的计费能力。我们在Cloud 1.0里已提供了完整API，可以实现对资源的创建和管理。2.0里也一样，用户可以使用API来管理网络、服务器、数据库等云资源。对游戏厂家来说，这是他们自动化运维的基础。
计费我们在1.0里做的不好，2.0应该予以完美实现。用户的计费模型，纵轴是时间维度，横轴是容量或能力维度。容量包括内存大小、磁盘大小、带宽多少等，能力包括CPU计算性能、磁盘读写性能等。提供灵活的计费能力，按需使用，用多少算多少，无疑对我们客户具备更大的吸引力。这一点的平台做的非常好，我在使用它们按需计费的能力后深觉方便，就在最近把Linode上用了5年的云主机，迁移到了Vultr。
关于系统的扩展性，主要存在租户规模上。如果租户一直扩张，虽然内部VPC的16M规模可以充分满足，但是网关的VRF数量会面临不够。参考业界的解决方案，今后如果租户规模扩张到很大，我们也会考虑开发PC服务器集群的VxLAN网关，来代替目前的硬件网关方案。
这个VxLAN网关实现了现在架构里的汇聚交换机和硬件网关的功能。VxLAN网关在设备层面基于高性能转发架构，如Intel的DPDK，实现VxLAN Overlay网络L3 GW功能；在控制层面是基于标准南向控制接口的SDN网元，支持的协议包括Openflow+Netconf。架构上它是一个服务器集群，每个节点都能处理VxLAN封装、卸载、路由等功能，以及网络地址转换（NAT）。接入交换机的VxLAN数据包需要发给网关时，寻址方式可以在控制器里由预定义的策略决定。集群理论上支持无限的水平扩展，在保证性能的同时，保持了经济性。
最后说到可控性，在Cloud 1.0里我们虽然使用了OpenStack，却远没达到掌控自如的程度。OpenStack庞大复杂，众多的组件、复杂的交互关系、以及并不太好的软件质量，让我们望而止步。所以在2.0里，我们的基本目标之一是可控。现在虚拟网络自主实现，虚拟计算和虚拟存储也有经过验证的可行方案，那么只需要业务层做好整合，整个系统就具备可控性。过去的云平台出了问题，难以发现原因，即使发现了也难以深层次跟踪问题。现在Cloud 2.0里所有调用和调度都自己实现，出问题后跟踪和分析能力要大为提升。
我们的Cloud 2.0还在开发阶段，在实现过程中肯定还会遇到各种问题和困难。期待它上线后能改善现有的问题，带来更好的性能、扩展性和安全性。如果您对我们的技术方案有任何疑问或意见，欢迎跟我探讨。
感谢对本文的审校。
给InfoQ中文站投稿或者参与内容翻译工作，请邮件至。也欢迎大家通过新浪微博（，），微信（微信号：）关注我们，并与我们的编辑和其他读者朋友交流（欢迎加入InfoQ读者交流群（已满），InfoQ读者交流群（#2））。
Author Contacted
告诉我们您的想法
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
赞助商链接
InfoQ每周精要
订阅InfoQ每周精要，加入拥有25万多名资深开发者的庞大技术社区。
架构 & 设计
文化 & 方法
<及所有内容，版权所有 &#169;
C4Media Inc.
服务器由 提供, 我们最信赖的ISP伙伴。
北京创新网媒广告有限公司
京ICP备号-7
找回密码....
InfoQ账号使用的E-mail
关注你最喜爱的话题和作者
快速浏览网站内你所感兴趣话题的精选内容。
内容自由定制
选择想要阅读的主题和喜爱的作者定制自己的新闻源。
设置通知机制以获取内容更新对您而言是否重要
注意：如果要修改您的邮箱，我们将会发送确认邮件到您原来的邮箱。
使用现有的公司名称
修改公司名称为：
公司性质：
使用现有的公司性质
修改公司性质为:
使用现有的公司规模
修改公司规模为：
使用现在的国家
使用现在的省份
Subscribe to our newsletter?
Subscribe to our industry email notices?
我们发现您在使用ad blocker。
我们理解您使用ad blocker的初衷，但为了保证InfoQ能够继续以免费方式为您服务，我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单，感谢您的理解与支持。您的位置： >
来源：　　作者：刘础琪;
论编剧手法中的悬念设置及其作用　 在本文里我用数学逻辑的方法揭示悬念这层面纱。“1,?,5,8,13,21”这是一组数列,但是第二个空的位置是“?”我们姑且将它看做悬念。我们并不知道那个空格里应该是什么数字,这需要我们的推理和证明。所以我们完全可以先忽略这个“?”,转而抓住这个数列后面数字的规律——3+5=8,5+8=13,8+13=21,由此可知这个数列是前后两项相加得到,因而我们得出这样的结论:“?”里的数字应该是“2”。这种数列的方法让我们比较直观的了解悬念,也就是说这个数列在编剧中代指情节。“?”是编剧刻意制造的悬念,是为了让我们产生探索欲并且推动情节一步步的发展,在悬念无法揭示时我们只能伴随着情节向前看故事的发展,在情节的发展中我们通过人物的对话行动等各个方面知晓答案,此时的答案也就是故事的高潮,越大的悬念和出乎意料也就越能印证故事的趣味性。悬念的设置一般在故事的开端或者中间的发展部分,绝对不会在结尾。设置在开端的悬念一般会是编剧在故事中运用的最突出的技巧,是主要冲突的焦点所在,并随着冲突的上升不断地加强,会从头贯穿到结尾。刻意的隐藏事实,在之后的情节中露出一点点端倪,即在情理之中又在预料之外,悬念的制造也就(本文共计2页)　　　　　　　　　　
相关文章推荐
看看这些杂志对你有没有帮助...
单期定价：3.00元/期全年定价：2.40元/期　共86.40元
　　　　　　&#xe621; 上传我的文档
&#xe602; 下载
&#xe60c; 收藏
该文档贡献者很忙，什么也没留下。
&#xe602; 下载此文档
正在努力加载中...
我在团队中起到的作用
下载积分：1000
内容提示：我在团队中起到的作用
文档格式：PPT|
浏览次数：239|
上传日期： 12:34:09|
文档星级：&#xe60b;&#xe60b;&#xe60b;&#xe612;&#xe612;
全文阅读已结束，如果下载本文需要使用
&#xe71b; 1000 积分
&#xe602;下载此文档
该用户还上传了这些文档
我在团队中起到的作用
官方公共微信人的脾脏在人体中起到什么作用呢
人的脾脏在人体中起到什么作用呢
脾脏切除后对身体有哪些方面的影响。今后要注意什么？
医院出诊医生
擅长：痛风、风湿免疫、关节炎、强直
擅长：风湿、类风湿、痛风、骨关节炎等
擅长：类风湿、硬皮病、痛风、红斑狼疮，风湿性关
提问者采纳
因不能面诊，医生的建议仅供参考
职称：医生会员
专长：前列腺疾病、男性性功能障碍
&&已帮助用户：170714
作用是把胃里的精华物质加以吸收利用，是人体的过滤器！
脾脏有三大功能，首先它是人体的“血库”，当人体休息、安静时，它贮存血液，当处于运动、失血、缺氧等应激状态时，它又将血液排送到血循环中，以增加血容量。其次，脾脏犹如一台“过滤器”，当血液中出现病菌、抗原、异物、原虫时，脾脏中的巨噬细胞、淋巴细胞就会将其吃掉。此外，脾脏还可以制造免疫球蛋白、补体等免疫物质，发挥免疫作用。 脾是血循球中重要的滤过器，能清除血液中的异物、病菌以及衰老死亡的细胞，特别是红细胞和血小板。脾功能亢进时能引起红细胞及血小板的减少。脾内的巨噬细胞和淋巴细胞都参与免疫活动。脾脏还有储血、调节血量和产生淋巴细胞的功能。脾为实质性器官，质软而脆，若受暴力作用，易破裂出血而成为急腹症。 近年来，有人从免疫学角度出发，认为脾切除后会使机体抵抗力降低，新陈代谢减弱，故主张在保证生命安全的情况下，尽可能避免脾全切术而进行脾修补或部分脾切除，以维持脾脏在体内的免疫功能。
职称：医生会员
专长：小儿呼吸系统、消化系统疾病
&&已帮助用户：169329
指导意见：你好，脾切除后肝功能会比较差，术后应充分补充维生素，葡萄糖，要注意肾功和尿量的变化，警惕肝肾综合征。应定期查血小板，注意休息，加强营养，若有腹痛，腹胀，不排气，不排便应及时就诊。
问脾脏切除后对身体有哪些方面的影响。今后要注意什么
职称：医生会员
专长：妇产科疾病 消化道疾病
&&已帮助用户：16615
病情分析： 术后并发症
　　1.腹部并发症　①出血：术后迟发性腹内出血常发生在脾功能亢进和肝功能不佳的病人。对于这些病人应在术前、术后采取措施，改善凝血功能，以防治出血。②膈下感染或脓肿：多继发于膈下积血的病人。术后3～4日后，体温又复升高者，要高度警惕，及时详查。如已形成脓肿，应及时切开引流。③术后急性胰腺炎：虽较少见，但病情很严重，常由于术中损伤引起。对于有剧烈上腹或左上腹疼痛的病人，应及时测定胰淀粉酶，以明确诊断，及时处理。　
　　2.肺部并发症　肺不张和肺炎最为常见，尤其是老年人更易发生。如有左侧胸腔反应性积液，应疑有膈下感染，但亦可为肺部并发症所致，应及时行胸腔穿刺抽液，进一步诊治。　
　　3.其他并发症　①脾静脉炎：术中结扎脾静脉后，因近端成为盲端，故极易产生血栓，如并发感染后常出现高热、腹痛和败血症等症状，应注意防治。脾静脉炎常为脾切除术后高热不退的主要原因，但也须注意除外由于脾切除术后，病人免疫力下降易遭致感染的可能。②术后黄疸和肝昏迷：多发生在肝硬变的病人，一般预后较差，应提高警惕，及时防治。
　　1 护理方法
　　1.1 术前护理 患者一到院，接诊护士稳、准、快地将伤员送入抢救室，协助医师全面检查，尽快做出诊断。同时立即开通静脉通道，补液、纠正电解质紊乱，积极抗休克。一旦确诊，快速做好各种术前检查及术前准备、配血并做好输血准备，及时送手术室。同时安慰患者及家属，做好心理护理，稳定情绪，以取得配合。有合并伤者视病情给予处理。
　　1.2 术后护理 精心护理、严密观察BP、P、R、瞳孔及腹部情况，定期翻身，预防褥疮的发生。保护好各种留置导管，防止脱落、折叠和感染，认真记录出入量，有异常及时报告医师。
问脾脏切除对今后生活有影响吗？
职称：医生会员
专长：高血压、糖尿病、心血管疾病
&&已帮助用户：21182
病情分析： 您好，一般来说，脾脏摘除后，骨髓和网状内皮细胞可代行其功能 。应该说，对日常生活及身体影响不大 。但近来研究认为，脾切除后会使机体抵抗力降低，新陈代谢减弱，故主张在保证生命安全的情况下，进行脾修补或部分脾切除意见建议：建议您一、术后半年内要特别注意休息，避免劳累和情绪激动，保持心情舒畅。 二、进易消化食物、富含维生素的新鲜蔬菜水果、适量蛋白食物。 三、注意饮食卫生。保持大便正常和通畅，避免发生肠道感染。 四、及时到医院复查，包括肝功能。术后半年内，每个月查一次肝功，如持续正常，改为三个月查一次。
问请问脾脏切除对今后身体有影响吗？
职称：医生会员
专长：胃炎、胃下垂、高血压、贫血、荨麻疹、湿疹、尖锐湿疣等
&&已帮助用户：199436
脾脏切除后机体免疫功能会削弱，抗感染能力也会下降，不仅易感性增高，而且可发生脾切除后凶险性感染，这是脾切除术后远期的一个特殊问题。
对脾切除患者应终身提防脾切除后凶险性感染的危险，一旦出现任何感染病症，应及时到医院就诊，及时处理，以免造成严重后果。
问身体上的脾是干什么的，功能是什么？
职称：医师
专长：中医科尤其擅长体寒
&&已帮助用户：1808
问题分析：您好，根据您所提供的情况，脾跟免疫有关，而且主要是调节体内血液，跟中医讲的脾有很大不同。意见建议：18岁以前，一般最好不要切掉脾，以免影响免疫力，不过很多脾破裂的话，需要切除的话，还是应该切掉，对人体影响不大，中医的脾主要是跟运化等有关，相当于包含西医胃肠的一部分功能。
问脾脏切除后对身体有哪些方面的影响。今后要注意什么解...
职称：三级营养师
专长：高血压、糖尿病、脑梗后遗症
&&已帮助用户：93121
病情分析： 术后护理 精心护理、严密观察BP、P、R、瞳孔及腹部情况，定期翻身，预防褥疮的发生。保护好各种留置导管，防止脱落、折叠和感染，认真记录出入量，有异常及时报告医师。
问脾脏切除了应该注意些什么？
职称：医师
专长：阴道炎、盆腔炎、宫颈炎、子宫肌瘤、宫颈糜烂、各种白带异常、月经失调、流产
&&已帮助用户：61930
不要劳累~别吃辛辣，刺激性食物,因为脾切除后，机体免疫力一定会下降，相对容易继发感染，如呼吸道感染、肠道感染等等，所以脾切除后要注意加强防止感染，包括保暖、饮食卫生、个人卫生、适当锻炼等等。但脾脏不是唯一的免疫器官，术后通过一段时间的调整，机体免疫能得到一定恢复，它的部分免疫功能会被其它免疫器官替代，当然，完全恢复如常人不太可能。 研究表明，即使是正常人，切除脾脏后对人体的损伤也很小。您在日常生活中无需太多注意，像正常人一样生活就可以，但应注意少吃对肝脏有害的食物。
关注此问题的人还看了
大家都在搜：
免费向百万名医生提问
填写症状 描述信息，如：小孩头不发烧，手脚冰凉，是怎么回事？
无需注册，10分钟内回答
百度联盟推广
百度联盟推广
搜狗联盟推广
同类科室问答排行ｘ
日累计回答人
日累计回答人
日累计回答人
评价成功！