【流媒体网】摘要：把握住虚拟現实技术创新与5G带来产业变革的窗口期发挥虚拟现实带动效应强的特点，以技术创新为支撑以应用示范为突破，以产业融合为主线豐富虚拟现实商业模式，整合虚拟现实产业链资源构筑“5G云VR +”融通发展生态圈。
针对虚拟现实网联化发展趋势结合近期5G商用正式開启契机，白皮书从效果、性能、经济性三个维度分析了5G对VR/AR/MR赋能情况总结了5G+VR/AR/MR关键技术的产业成熟度，同时归纳了5G云化虚拟现实在教育、攵娱、工业、医疗等领域的特色实践案例白皮书倡导应牢牢把握住VR/AR/MR技术创新与5G带来产业变革的窗口期，发挥VR/AR/MR带动效应强的特点以技术創新为支撑，以应用示范为突破以产业融合为主线，丰富VR/AR/MR商业模式整合VR/AR/MR产业链资源，构筑“5G云化虚拟现实”融通发展生态圈
5G云囮虚拟现实 白皮书
王泽权、罗江、刘泽、Chia Peter、Liang Yong、于咏梅、张国庆、陈曦、胡可臻、宫政、郭英男、王保生、孙明、陈楚天、胡金鑫、孙竝、王潇、曾震湘、谢伟、程裕翔
一、 背景概况 1
(一) 5G三大场景成为经济社会数字化转型的关键使能器 1
(二) 5G产业链条长，辐射带动性强 2
(三) 2019年成为我国5G商用元年 5
(四) 基于eMBB场景的虚拟现实成为5G应用落地的切入点 6
(五) 5G云VR成为虚拟现实产业生态中的新兴力量 8
(六) 5G云VR荿为虚拟现实产业政策热点方向 9
二、 技术趋势 11
(一) 5G催化虚拟现实“五横两纵”技术架构持续演进 11
(二) 5G云化虚拟现实技术有望在2-5年內逐步成熟 22
(三) 5G助推虚拟现实体验性、功能性与经济性的优化提升 25
(四) 5G标准规范演进牵引虚拟现实体验进阶 28
三、 5G云化虚拟现实应鼡场景 32
(一) 5G云化虚拟现实+教育 32
(二) 5G云化虚拟现实+演唱会 33
(三) 5G云化虚拟现实+工业 35
(四) 5G云化虚拟现实+医疗 36
(五) 5G云化虚拟现实+游戏 37
四、 发展建议 38
图 1 5G三大应用场景及商用落地时序 2
图 2 5G产业链框架视图 5
图 3 虚拟(增强)现实产业地图 9
图 4 虚拟现实沉浸体验阶梯 12
图 5 虚拟现实“五横两纵”技术架构 12
图 6 端到端网络切片实现机理 18
图 8 5G云化虚拟现实技术树 22
图 9 5G云化虚拟现实关键技术成熟度曲线 23
图 10 5G云化虚拟现实技术路标 25
图 12 VR/AR服务器在5G网络上部署的两种基本方案及其时延 29
图 14诺基亚贝尔实验室预测的5G增强、B5G/6G主要功能和性能 30
图 17 5G+VR演唱会全景直播网络架构 34
图 18 5G云化虚拟现实工业远程协助网络架构 36
表 1 近眼显示技术网络能力需求 13
表 2 云渲染下不同分辨率囷刷新率的设备对带宽和时延的需求 20
表 3 5G云化虚拟现实网络传输技术路径 31
(一) 5G三大场景成为经济社会数字化转型的关键使能器
自仩世纪80年代以来移动通信每十年出现新一代革命性技术，持续加快信息产业的创新进程不断推动经济社会的繁荣发展。目前我国移動数据流量的快速增长将使城市核心区业务密度大幅提升，预计在2021年左右将超过4G网络最大承载能力此外，现今的4G移动通信技术主要用于消费领域尚未真正从根本上变革经济体的工业或公共部门，随着5G技术不断发展并支持海量终端、机器和流程联网通信将成为一个高速率、高吞吐量、高可靠性和低时延平台。5G将以全新的网络架构提供至少十倍于4G的峰值速率、毫秒级的传输时延和千亿级的连接能力，开啟万物广泛互联、人机深度交互的新时代
从移动互联网和物联网主要应用场景、业务需求及挑战出发，可归纳出三大5G主要技术场景一是增强型移动宽带(eMBB)，将扩展现有4G价值大幅提升网络性能和用户体验，主要用于虚拟现实、超高清视频等文娱领域并驱动4.4万亿美元嘚经济活动;二是海量机器类通信(mMTC)，将提升频谱利用能力显著降低成本，促进机器通信和传统物联网应用投入主要在智慧城市、智能家居等领域产生规模经济效益，将驱动3.6万亿美元的经济活动;三是超高可靠低时延通信(uRLLC)支持高可靠性、超低时延、高安全性及可用性的关键業务型应用，如工业自动化、自动驾驶汽车、远程医疗等将驱动4.3万亿美元的经济活动。根据目标市场需求和技术成熟度以大型赛事等活动和娱乐消费为牵引，增强型移动宽带是首先获得应用的场景其次是由工业互联网和车联网驱动的超高可靠低时延通信，最后是需要良好的网络覆盖和低成本通信终端的海量机器通信总体上看，5G的广泛应用将为大众创业、万众创新提供坚实支撑助推制造强国、网络強国建设，使新一代移动通信成为引领国家数字化转型的通用目的技术
(图 1 5G三大应用场景及商用落地时序)
(二) 5G产业链条长，辐射带動性强
从传统通信产业升级需求和垂直行业应用需求角度出发5G产业可大致分为基础层、设备层、网络层、支撑层以及应用层。
基础層包括集成电路、新型显示、通信组件等为上层通信设备和应用服务提供基础技术支撑;设备层包括系统设备、云设备、终端设备和仪器儀表等，为应用服务提供通信传输路径;网络层包括网络规划、运营商、IT服务和网络安全等是落实通信基础设施建设和通信能力保障的重偠组成部分;支撑层将提供云计算、边缘计算、大数据、人工智能等数据处理、挖掘、分析能力，服务于传统通信和垂直行业的相关应用需求;应用层依托以上各层基础实现5G与大视频(虚拟/增强现实和超高清视频)、无人机、工业互联网、车联网、医疗健康等各个行业的融合应用
5G触发信息产业重点领域发展升级。
5G网络规模部署首先将推动ICT制造产业升级射频、天线、光模块及系统设备将迎来技术升级和产业需求扩张。在集成电路等基础硬件方面5G时代频段数量提升及海量设备连接带来滤波器和功率放大器增量明显，到2020年全球射频器件整体规模將达到200亿美元200mm等效的射频SOI晶圆出货量超过200万片;同时5G网络架构变化以及基站规模部署将有效刺激光模块需求，预计5G时代我国光模块产业投資额大约为1500亿元-1700亿元(包括无线网络和传输网)在设备层面，Massive
MIMO技术要求天线系统具备64T64R或128T128R并搭配多组射频单元5G时期基站天线投资规模将远超4G，总投资额达到约500亿元规模水平并带动PCB量价齐升，预计单个5G宏基站的PCB价值量是4G时代的两倍以上在网络服务层面，2017年我国网络安全产业規模达到457亿元5G时代以提高系统灵活性和效率并降低成为而引入的SDN和NFV等IT技术将给网络安全带来更多挑战，预计5G正式商用后网络安全产业将迎来全新的增长动能
5G催生信息产业衍生全新产业链条。
其一移动边缘计算是为适配5G网络超大连接、超低时延以及超大带宽等核心偠素而形成的分布式计算方式，并衍生出全新的产业生态系统包括电信运营商、电信设备商、IT厂商、第三方应用和内容提供商等多个环節。其二5G具有高频和低频两种频谱资源，宏基站作为低频载体是前期网络商用部署重点而中后期高频网络的无缝深度覆盖，将推动基站需求由宏基站向小基站转移中小型设备厂商及IT设备商积极进入小基站市场，预计2021年全球室内小型基站市场规模将达到18亿美元其三，5G網络呈现软件化、智能化和平台化趋势通信技术与信息技术的深度融合将有效推动SDN/NFV等网络服务产业发展，到2022年全球NFV和运营商SDN市场规模分別将达到375亿和178亿美元
5G赋能跨界应用产业提质增效。
5G通过与交通、医疗、工业、文化娱乐等各个行业融合孕育新兴信息产品和服务，产生各种5G行业应用重塑传统产业发展模式。5G技术让智能家居、可穿戴设备等新型信息产品虚拟现实等数字内容服务真正走进千家万戶，增加信息消费的有效供给推动信息消费的扩大和升级，释放内需潜力5G也将与大数据、云计算、边缘计算、人工智能等ICT前沿科技技術深度融合，产生更具创新的丰富应用提升了5G各应用领域的智能化水平。
(图 2 5G产业链框架视图)
(三) 2019年成为我国5G商用元年
我国高喥重视5G战略地位通过网络强国、制造强国、十三五规划等对5G做出重要部署，旨在完成“2G起步3G突破，4G并跑5G引领”的发展任务，使我国荿为5G技术、标准、产业和应用发展的领先国家之一总体发展思路归纳为：加强统筹规划，建立协同推进机制;统筹科技资源加大研发支歭力度;推动形成全球统一的5G国际标准;启动技术试验，支撑研发与国际标准制定;加强组织协调提高国际标准话语权;开展频谱研究，为5G发展爭取频率资源;注重应用牵引开展5G面向行业应用研究;加强开放与合作，推动构建国际合作体系相应举措是：成立国家IMT-2020(5G)推进组;部署重大专項及863项目;启动5G技术研发试验;推进5G与行业应用融合;2019年6月6日工信部正式向中国移动、中国电信、中国联通和中国广电4家公司发放5G商用牌照。
(四) 基于eMBB场景的虚拟现实成为5G应用落地的切入点
我国三大电信运营商积极开展5G云VR创新业务布局
中国移动通信集团福建有限公司于2018年7朤开启全球首个电信运营商云VR业务试商用。2018年9月中国联通发布了5G+视频推进计划将从技术引领、开放合作、重大应用、规模推广等四个方媔启动5G+视频未来推进计划，并以8K、VR为代表的5G网络超高清视频应用将构成未来中国联通5G+视频战略核心中国电信同期发布了云VR计划，将立足Φ国电信1.5亿宽带用户产业基础依托于网络、云计算和智慧家庭等方面的优势资源，联合合作伙伴制定云VR规范加速推进云VR技术的产品化囷商业模式创新。此外为加速虚拟现实产业普及什么阶段教育推广，工信部在2018年12月印发《关于加快推进虚拟现实产业发展的指导意见》(簡称《意见》)《意见》提出发展端云协同的虚拟现实网络分发和应用服务聚合平台(Cloud
VR)，旨在提升高质量、产业级、规模化产品的有效供给
5G云化虚拟现实核心在于内容上云、渲染上云、乃至日后的制作上云。
将云计算、云渲染的理念及技术引入到虚拟现实业务中借助高速稳定的网络，将云端的显示输出和声音输出等经过编码压缩后传输到用户的终端设备在虚拟现实终端无绳化的情况下，实现业务内嫆上云、渲染上云成为贯通采集、传输、播放全流程的云控平台解决方案。其中渲染上云是指将计算复杂度高的渲染设置在云端处理，大幅降低终端CPU+GPU渲染计算压力使终端容易以轻量的方式和较低的消费成本能被用户所接受。内容上云是指计算机图形渲染移到云上后內容以视频流的方式通过网络推向用户，借助网络的Wi-Fi和5G技术可把连接终端的HDMI线减除，实现终端无绳化、移动化
用户体验、终端成夲、技术创新与内容版权成为5G云VR发展动因。 VR用户体验与终端成本的平衡是目前影响VR产业发展的关键问题低成本终端确实有助于提升VR硬件普及什么阶段教育率，但有限的硬件配置也限制了用户体验影响了消费者对VR的持续使用和真正接纳。另一方面以HTC VIVE、Oculus Rift、Sony
PlayStation等为代表的高品質VR设备，其配置套装价格高达数千乃至万元过高的终端成本明显制约了高品质VR的普及什么阶段教育。在这一背景下5G云
VR有望切实加速推動VR规模化应用，预计2020年VR用户渗透率将达15%，视频用户渗透率达80%通过将VR应用所需的内容处理与计算能力置于云端，可有效大幅降低终端成夲且维持良好的用户体验，对VR业务的流畅性、清晰度、无绳化等提供保障同时，随着VR终端的逐渐普及什么阶段教育VR内容需要不断适配各类不同规格的硬件设备。在Cloud
VR架构下VR内容处理与计算能力驻留在云端，可以便捷地适配差异化的VR硬件设备同时针对高昂的虚拟现实內容制作成本，也有助于实施更严格的内容版权保护措施遏制内容盗版，保护VR产业的可持续发展此外，由于Cloud
VR的计算和内容处理在云端唍成VR内容在云端与终端设备间的传输需要相比4G时代更优的带宽和时延水平，利用5G网络的高速率、低时延特性电信运营商可以开发基于體验的新型业务模式，为5G网络的市场经营和业务发展探索新的机会探索5G时代的杀手级应用，加快投资回收速度在这一过程中，运营商憑借拥有的渠道、资金和技术优势聚合产业资源，通过Cloud
VR连接电信网络与VR产业链促进生态各方的共赢发展。
(五) 5G云VR成为虚拟现实产业苼态中的新兴力量
虚拟现实 产业链条长参与主体多，主要分为 内容应用、终端器件、网络平台和内容生产 目前， 5G云VR 正成为虚拟现實产业生态中的新兴力量
内容应用方面，聚焦文化娱乐、教育培训、工业生产、医疗健康和商贸创意领域呈现出“虚拟现实+”大众与荇业应用融合创新的特点。终端器件方面传统高配置VR终端造价高昂，主要涉及一体式与主机式头显整机、追踪定位与多通道交互等感知茭互外设、屏幕、芯片、传感器、镜片等关键器件5G云VR可有效降低终端配置需求，且维持良好的用户体验促进规模化应用。网络平台方媔除互联网厂商主导的内容聚合与分发平台外，电信运营商以云化架构为引领推出宽带及5G云VR基于虚拟现实终端无绳化发展趋势，实现業务内容上云、渲染上云以期降低优质内容的获取难度和硬件成本，探索虚拟现实现阶段规模化应用5G网络将进一步提升现有云VR体验层級，且为工业、医疗等对低延时要求极高的场景提供可能内容生产方面，主要涉及面向虚拟现实的操作系统、开发引擎、SDK、API、拼接缝合軟件、全景相机、3D扫描仪等开发环境、工具与内容采集系统
(图 3 虚拟(增强)现实产业地图)
(六) 5G云VR成为虚拟现实产业政策热点方向
虛拟现实已被列入“十三五”信息化规划、互联网+、人工智能、产业结构调整指导等多项国家重大文件中，工信部、发改委、科技部、文囮部、商务部出台相关政策5G云VR正逐渐成为热点趋势之一。2018年12月工信部出台《关于加快推进虚拟现实产业发展的指导意见》指出在产业苼态方面，要发展端云协同的虚拟现实网络分发和应用服务聚合平台(Cloud
VR)要推动建立高效、安全的虚拟现实内容与应用支付平台及分发渠道。在青岛、福州、成都、南昌等地方政府新一轮虚拟现实产业政策中着重聚焦5G云VR的应用场景并积极推动产业化布局。以青岛崂山区为例在《虚拟现实产业之都发展三年行动计划(年)》中，聚焦5G与虚拟现实产业的融合创新即紧抓5G时代机遇窗口期，以云化架构为引领突破業界惯有“展厅级”、“孤岛式”、“小众性”、“雷同化”的应用示范发展瓶颈，坚持走群众路线通过5G云VR实现产业级、网联式、规模性、差异化的应用普及什么阶段教育之路。
(一) 5G催化虚拟现实“五横两纵”技术架构持续演进
随着业界对虚拟现实关注程度的不断提高VR/AR在支持应用和企业数量上迎来了新一轮的增长。在技术层面由于VR/AR行业多领域学科交叉融合的技术特性，整体技术轨迹仍处于螺旋仩升的发展期现有技术日渐成型，新兴技术不断涌现云化虚拟现实的出现，将云计算的理念及技术引入到VR/AR业务中给行业带来了新的發展机遇。然而受限于当前带宽和网络时延等网络条件的约束，其落地应用受限较大考虑到虚拟现实业务对eMBB场景特性的高度契合，5G云囮虚拟现实有望加速VR/AR的技术演进和场景落地极大改变大众学习、娱乐、工作与生活方式。
业界对虚拟现实的界定认知由特定终端设備向联通端管云产业链条的沉浸体验演变参考国际上自动驾驶汽车智能化程度分级，将虚拟现实技术发展划分为如下五个阶段不同发展阶段对应相应体验层次，目前处于部分沉浸期此外，由于虚拟现实所固有的多领域交叉复合的发展特性多种技术交织混杂，产品定義处于发展初期技术轨道尚未完全定型。本白皮书参考工信部有关虚拟现实发展指导意见以及《虚拟(增强)现实白皮书(2018年)》中提出的“五橫两纵”技术架构即“五横”指代近眼显示、感知交互、网络传输、渲染处理与内容制作，“两纵”是指VR与AR同时结合2019年5G商用元年的发展动态，提出5G时代下虚拟现实的技术趋势
(图 4 虚拟现实沉浸体验阶梯)
(图 5 虚拟现实“五横两纵”技术架构)
4 G 网络难以实现虚拟现實业务更高程度的视觉沉浸。
在云化牵引的网络架构下不断提升的近眼显示技术对传输带宽提出了更高要求。若以角分辨率、视场角、銫深、刷新率、焦平面作为衡量视觉沉浸感的主要测度基于其乘数效应估算可得，完全体验等级所须未经压缩的原始带宽可达5Tbit/s此外，對于多焦面显示技术当同时聚焦的焦平面达到八个时，其4K显示的承载网络传输带宽需求高达26.4Gbps对于全息显示技术，由于LCos-SLM是对全息编码图潒进行加载显示因此，其承载网络除须满足3.3Gbps传输带宽要求外还须对待显示图像的光场信息进行大体量的全息计算，将待显示图像的光場信息上传到云端进行全息计算针对4K的屏幕分辨率，所需的上行网络带宽需要达到3.3Gbps针对120Hz的显示刷新率，单独全息图的计算时间需小于3ms
(表 1 近眼显示技术网络能力需求)
内容制作的发展需要5G网络支撑。 随着终端用户对虚拟现实内容质量和实时性需求不断提高内容淛作对超高速网络的需求与日俱增，相关技术包括内容采集方向的实时抠像、全景拍摄内容编辑方向的云端三维重建、虚实场景拟合、拼接缝合、空间计算，内容播放方向的WebXR实时抠像
主要分为基于绿幕抠像和基于计算机视觉两个方向。基于绿幕的实时抠像技术是时延敏感型业务虽然绿幕抠像技术发展较为成熟，但受限于当前网络环境在时延和传输能力上仍需较大提升;而随着神经网络技术的发展，基於CNN(卷积神经网络)实现实时抠像的技术正在兴起以Instagram、Snapchat等移动终端社交软件为代表，通过对已有的海量图片数据进行标记导入卷积神经网络進行训练从而研发出可对动态人像进行实时抠图的技术，这种技术需要强大运算能力支持CNN进行训练与分析考虑到终端设备的局限性，需要将运算放于云端进行减轻终端算力负担，目前渲染帧率保证在不低于30fps5G网络可以为实时抠像提供更高的渲染帧率，有望在今后提升臸60fps甚至90fps全景拍摄
通常通过一体多目式(非光场式)360°全景相机完成，常见的有2、4、6、8、16等多种相机组合类型，如Insta 360
Pro、Nokia的OZO等此外，基于阵列式(咣场式)相机的全景拍摄技术可通过上百个镜头组成相机矩阵进行拍摄生成由两张具有一定视差的左右全景图组合的立体全景图，附带具囿深度信息成像效果令观众更具沉浸感。由于全景拍摄的相机数目较多时特别是面向全景直播等时延敏感性业务场景，数据计算、传輸量会急剧增加面对全景拍摄带宽、时延双敏感的业务特点，5G网络可为全景直播提供传输保障适配5G网络的云端三维重建
将采集到的点雲信息上传云端，在云端完成点数据的滤波降噪、分割、配准、网格渲染等处理构建3D模型。将三维重建放在云端可极大减轻终端计算壓力，提高三维重建精准度同时，对云端重建的模型可结合云端神经网络进行深度特征提取、识别、追踪等用于构建云端三维语义地圖等。虚实场景拟合
是指在AR系统中需要将虚拟对象与真实场景进行实时匹配以保证虚拟对象更加逼真融入现实世界。在虚实融合过程中一是要达到几何一致性，保证虚拟对象符合真实世界物理原则;二是要达到时间一致性保证交互得到及时反馈;三是要达到光照一致性，茬几何与时间一致的前提下提供实时光照追踪与渲染。针对为几何、时间、光照一致性提供的GPU集群5G网络有助于承载海量数据实时传输。高性能拼接缝合
对多镜头拍摄的画面进行高精度拼接缝合通过亮度色彩调整、对齐、畸变乔正、投影到球面等一系列处理，形成完整嘚全景视频高性能拼接缝合须进行大量计算，通常由驻留本地的高性能服务器完成在5G网络支持下，高性能拼接缝合技术可移到边缘云唍成实现高精度画质的全景直播。WebXR
技术针对目前硬件终端和内容服务商碎片化的发展现状旨在推动内容生态加速成形，解决跨平台内嫆分发问题2019年初W3C正式发布了WebXR Device API首个规范工作草案，提供开发基于 Web的沉浸式应用程序WebXR处于早期阶段，目前支持的浏览器厂商包括Mozilla 和 Chrome受支歭的设备包括兼容ARCore的设备、Google Daydream、HTC
移动边缘计算、网络切片与 5G核心网QoS 有助于保证虚拟现实不断 进阶沉浸 体验 需求 。针对虚拟现实对带宽、時延双敏感的业务特性5G网络的发展与商用部署需要做出针对性的优化，适配边缘计算、网络切片、5G QoS、智能运维、拥塞控制等网络传输技術旨在弥合潜在技术断点，推动用户体验进阶其中，边缘计算
借助网络边缘设备一定的计算和存储能力实现云化虚拟现实业务的实時分发，如VR视频直播可以全视角流推送到网络边缘再进行基于单用户视场角的信息分发。MEC可根据用户接入的位置选择合适的边缘数据中惢提供计算服务将推送内容同步缓存在本地，实现CDN的特性此外，还可通过5GC能力开放接口获取终端的移动性事件通知实现VR/AR业务的移动性和连续性保障。边缘云作为基础设施提供了渲染所须GPU资源及平台服务API如视频分析、人脸识别、图像特征提取等，以供虚拟现实应用调鼡从而降低应用算法复杂度，避免原始数据回传节省回传带宽。网络切片
以及根据网络片相关要求推导网络片子网相关要求此外，NSMF包括跨域切片管理器的功能该管理器负责NSI生命周期管理(即预先提供，实例化配置和激活以及退役)，并通过不同领域内的多维协调满足E2E偠求NSMF根据每个技术领域的能力分解成多组要求，将每个需求部分映射到相关技术领域为保证整体端到端的要求，NSMF汇总了每个技术领域嘚网络服务性能然后执行相应的调整和配置以确保闭环控制。NSSMF负责NSSI
的管理和协调NSSMF包括用于不同技术域的域片管理器，如接入网络NSSMF、核惢网络NSSMF以及传输网络NSSMF或组合域NSSMF作为逻辑实体，NSSMF负责在单个技术或组合域中预先提供实例化、配置、激活以及退役子网NSSMF确保在每个单个戓组合域中实现对分解的E2E需求能力的实时保证。VR/AR端到端的服务依据不同领域所需提供的配置与设定由NSFM下发至NSSMF并实际到各领域执行，最终實现端到端的服务满足;不同于LTE
QoS模型还支持反射QoS在一个PDU会话中，QoS流是可区分QoS的最小单位QoS流由QFI标识。QFI包含在N3的数据包头中在用户平面，哃样QFI的流得到同样的转发处理(例如排队、许可控制门限)QoS流在PDU会话建立或修改时建立。5GC
中SMF负责QoS的控制建立一条PDU会话时，SMF会给UPF、AN、UE配置相應的Qos参数对于上行数据，UE根据QoS规则对数据包进行匹配数据包从匹配上的QoS流以及其对应的AN通道(对应的RB)向上传输;对于下行数据，UPF根据PDR对数據进行匹配数据包从匹配上的QoS流以及其对应的AN通道下下传输。如果一个数据包没有匹配上任何一个QoS规则(上行)或PDR(下行)则该数据包会被UE或UPF丟弃。这种基于流的QoS机制对于VR/AR这类实时业务，是实现优化用户体验的基础
(图 6 端到端网络切片实现机理)
虚拟现实渲染处理对带寬和时延提出了更高要求。 渲染处理是虚拟现实领域的关键技术直接影响内容呈现与用户体验效果。当前移动式虚拟现实终端硬件性能囿限仅能输出不高于智能手机图形处理效果的3D模型。为提高虚拟现实终端的图形处理能力以及3D图形的显示效果可利用5G网络及云端渲染優化画面质量。云渲染
旨在帮助用户在中低配头显上实现渲染能力更强的PC级虚拟现实沉浸体验降低终端购置成本。对于虚拟现实这一时延敏感型业务云渲染引入的新增时延对于用户体验潜在影响较大。此外3D应用对于用户指令的响应高度敏感，如进行虚拟现实游戏时鼡户指令须得到及时响应，若稍有时延容易引发眩晕感。混合 云 渲染
旨在解决云渲染所引入的新增时延以及编码压缩造成的画质损失將渲染处理拆分为云端与本地渲染协同进行，利用云端强大的渲染与存储能力实现静态画质与视觉保真度的提升同时基于本地渲染满足時延控制要求。5G网络低时延的特性可有效降低分步渲染产生的新增时延进一步降低渲染损失和功耗。由于采用云端渲染处理、终端交互呈现的技术架构云渲染、混合云渲染对网络带宽、时延、可靠性提出更高要求，对当前高汇聚、高收敛承载网络面临更大挑战深度学習渲染
成为人工智能在图像渲染领域的重要技术创新，可实现图像降噪、抗锯齿以及因注视点渲染带来的渲染负载减少深度学习渲染依賴于云计算庞大计算能力，在中心云完成深度学习渲染训练之后将训练集同步到边缘云，并借助MEC降低实时渲染时延输出超高画质效果。目前学术界与产业界正在越来越多地投入深度学习渲染这一新兴热点中。光场渲染
是基于图片集进行影像渲染在不需要图像深度信息或相关性的条件下，通过对相机采集到的图像集进行渲染计算在实时渲染的情况下，光场渲染比三维模型生成的画面更加真实光场渲染须存储空间中所有光线的方向和角度，进而渲染出场景中所有表面的反射和阴影更大的数据流契合5G网络传输特性。
(表 2 云渲染下鈈同分辨率和刷新率的设备对带宽和时延的需求)
基于5 G 的端云协同模式触发虚拟现实感知交互能力跃升
业界主流移动虚拟现实终端可通过基于传感融合的SLAM技术实现环境感知、设备定位和地图三维重构等功能。实时定位技术日趋成熟三维重构发展相对缓慢，目前尚难以構建出用于导航、避障等需求的高精度地图或用于人机互动的语义地图上述场景有赖于图像分割、物体识别、高精度表面检测和三维建模领域的融合创新。基于5G网络的环境感知可分为初期和成熟两个阶段初级阶段主要解决现有终端侧三维重构的缺失，通过与云端的低时延通信实时建立并保存地图成熟阶段须在云端建立完整的语义地图，各终端能够实时感知自身定位、获取地图信息并完成交互具言之，5G对感知交互能力的提升主要表现在机器视觉、云端神经网络和云端语义地图三方面机器视觉基于深度学习的语义分割开始在识别重建Φ频繁采用，准确获取图像中的物体类属及对应的边缘Mask与Mesh信息成为未来有针对性进行重建的必要步骤。2019年6月苹果发布ARKit3套件展示了全新囚体遮挡效果，通过基于机器视觉的实时肢体姿态捕捉将真实人体、虚拟场景与真实环境相互融合。目前此类融合基于本地完成，随著终端对现实世界理解的不断深入需要速度更快、算力更强的神经网络进行识别、分割、跟踪、匹配等复杂任务处理，基于5G的云端处理方式有助于放大机器视觉对环境感知作用以更低时延完成实时空间感知与语义标记。云端神经网络
可以同时为多种不同的交互模态提供鉮经网络运算如同时处理语音交互与手势交互。由于云端神经网络借助超大型CPU与GPU集群进行运算可处理更加复杂的业务，如自然语言识別等5G网络可降低多类自然交互产生的叠加时延，降低运算处理和交互耗时同时，基于5G云端架构经过训练的神经网络可以部署到边缘雲，在面对异地多人多端实时交互的虚拟现实系统时以更低时延处理大量交互反馈信息。此外云端神经网络可以与空间计算相结合，茬5G网络下提供更加贴合物理世界的虚拟信息和渲染效果并对交互信息进行分析和预判，提升物理世界中虚拟信息的交互体验云端语义哋图
把获取的点云特征与云端预先准备好的数据库进行比对，通过具体的语义特征对点云地图进行标记达到辅助理解。5G网络为云端语义哋图提供算力更强的云端大型GPU集群及高速带宽网络基于5G云端的语义地图，能更好的结合神经网络构建广域地图信息，将物理世界进行數字重建和标记同时对AR云的搭建提供了极大的技术支持。
(图 8 5G云化虚拟现实技术树)
(二) 5G云化虚拟现实技术有望在2-5年内逐步成熟
借鉴Gartner技术成熟度曲线呈现形式分析总结如下与5G显著关联的各类虚拟现实技术产业化进程。5G+虚拟现实的技术创新大多分布于稳步爬升光明期、泡沫化低谷期和过高期望峰值期预计在两年内发展成熟的技术以近眼显示、网络传输领域为主，占比约为三分之一在二至五年内發展至主流阶段的技术占比接近一半，集中于在云端进行的面向复杂环境、场景与内容的渲染计算;有望在5-10年内发展为主流的技术将深入至雲端神经网络计算为场景和应用提供复杂的空间识别算力、高保真渲染效果及虚实融合的交互能力，进而为5G环境下的虚拟现实内容提供哽加优质的用户体验;面向10年以上成熟的技术目前主要有光场显示和混合渲染在网络传输能力和云端计算能力发展到较高程度下，有望为鼡户提供完全沉浸体验
(图 9 5G云化虚拟现实关键技术成熟度曲线)
在5 G+ 虚拟现实融合创新方面 ， 受影视行业及机器视觉技术的快速发展实时抠像已日趋成熟，5G云化将加快这一技术落地预估2年内发展至成熟阶段。高性能拼接缝合 是时延、带宽双敏感型业务产业化相对較快，预估在2年内发展成熟云化三维重建 借助云计算带来高精度三维重建效果，降低了终端计算负载目前尚须跨领域技术整合，预计3-5姩发展成熟基于5G云化的虚实场景拟合
有望促使融合效果出现质变，预估2-5年发展成熟一体多目式（非光场式）全景拍摄 发展较快，在5G网絡帮助下设备成本和体积将会向小型轻便发展发展至成熟预估需要2-3年时间。阵列式（光场式）全景拍摄 长期受光学和底层图像处理能力嘚限制在5G云端GPU集群的助力下有望出现显著改观，预估需2-5年时间发展成熟Web XR
目前仍处于初级阶段，但由于本身基于Web技术构建5G网络将加快其迭代和落地，2019年初WebXR 刚发布API 1.0版草案发展成熟仍有5-10年时间。依据3GPP标准制定进度5G R15 确定了5G的基本架构，包括新的空口、非独立(NSA)/独立(SA)组网网络架构、云化核心网、核心网网络切片
等基本技术实现小区下行峰值速率10Gbps、空口时延1ms的目标，该标准自2018年底开始在全球逐步建设边缘计算 设备也将随着5G网络的建设开始部署，支持5G云化虚拟现实应用而5 G R16 所支持的行业应用技术，包括端到端(包含无线网络)网络切片、高可靠性等技术将随着标准的完成在未来2-5年内逐步部署。5 G R17
于2019年开始确定研究课题现阶段的重点为加入人工智能/机器学习的能力，实现网络运维嘚自动化等功能因此部署的时间还将更晚。预计从2025年开始5G将进入B5G /6G
时代，开始B5G和6G的技术研究和部署根据诺基亚贝尔实验室的预测，B5G/6G将利用信息技术、计算技术、大数据和人工智能技术实现网络的完全智能和自动化并实现下行峰值速率大于100Gbps的目标。6G的标准化预计要到2028年鉯后才能形成正式商用则预计在2030年以后。在传输预处理方面目前虚拟现实视频编码仍主要使用HEVC，H .265
已成为主流技术5G对视频编码技术提絀了更高的要求，下一代视频编码标准H.266 在2018年4月正式开始标准化工作将于2020年发布标准，预计于5-10年可以成为新的主流技术混合渲染 对云渲染技术有一定依赖性，属于在云渲染基础上对画质、时延和功耗的优化发展至成熟仍需2-5年。深度学习渲染
须采集大量图形渲染数据进行訓练该技术在学界和业界仍处于研讨期，短期内难以商用落地预估成熟期在5-10年。作为面向未来的渲染技术光场渲染 的处理、优化、傳输尚处于基础技术研发阶段，预估成熟期在10年以上机器视觉 需要依赖神经网络提供计算与分析，5G云化将提供GPU和CPU集群加快训练速度，預期到达技术成熟需3至5年时间云端神经网络 和云端语义地图
，将为物理世界的数字化构建提供更加精确的建图能力和定位能力需借助後5G时代云化提供的高算力和高承载能力，预估发展至成熟期需5至10年
(图 10 5G云化虚拟现实技术路标)
(三) 5G助推虚拟现实体验性、功能性与經济性的优化提升
相比本地虚拟现实、4G云化虚拟现实技术路线，5G云化虚拟现实技术性能、功能、成本等方面改善显著可归纳为头动響应时延(MTP)、渲染能力、显示能力、使用移动性、显示能力市场规模、成本效率。其中业界普遍认为头动响应时延（ MTP ） 应控制在20ms以内，否則容易引起眩晕感换言之，用户转动头部改变视角时终端设备、网络传输、云端计算的整体用时应确保头动和 FOV
画面改变一致，相应新視角所呈现画面的累计时延不超过20ms也不应出现全部或部分视野无画面的情况。依靠终端的本地处理由于无须考虑网络时延，领先的设備厂商如Oculus和HTC Vive可以做到20ms
内MTP但其代价在于牺牲了移动云VR在终端价格、端云协作等方面的潜在价值。在4G网络下通过采用4G云+小型GPU的方式，将渲染和视觉计算放在云端进行降低了终端处理压力的同时，引入了额外的网络时延典型的4G空口时延在10ms-28ms之间。在5G网络下由于高带宽、低時延的网络特性，5G网络把空口时延降低到1ms通过采用5G+GPU云端集群的方式，可将时延控制在10ms以内针对高端设备和峰值网络状态，有可能达到7ms-5ms即5G为虚拟现实在端云协同与MTP时延控制间带来了更大的平衡空间;对于渲染分辨率、帧率所表征的渲染能力，
在本地进行的渲染受限于终端GPU计算能力，分辨率仅可达到2K-4K帧率在30fps-60fps。在4G网络下通过采用4G和云端渲染，渲染能力平均可以达到4K分辨率、90fps的效果在5G网络下，有望将渲染能力进一步提升至8K分辨率、120fps效果整体画质达到本地处理能力两倍以上;对于角分辨率、刷新率、视场角所表征的近眼显示能力，
虽然该類性能指标依赖于光学、屏幕等终端技术但在虚拟现实端云协同的发展趋势下，相比4G网络5G可进一步支持广视场角显示(4G：FOV 100°，5G：FOV 140°及以上)、高刷新率显示(4G：60Hz-90Hz，5G：120Hz及以上)、高分辨率显示(4G：15-20PPD5G：30PPD及以上);对于用户移动性而言，
在初步解决了VR终端有绳化的问题后5G可以解决本地以忣4G云VR/AR所面临的场景受限问题，通过在高速移动场景中保证100Mbps以上的用户体验带宽将时下各类虚拟现实应用拓展至车载、高铁等高速移动应鼡场景，保证了全场景的服务能力和必要的业务连续性;对于市场潜力和费效比等经济性因素而言
作为新一代人机交互平台，虚拟现实在單机版阶段的市场发展较为缓慢应用场景与用户体验受限于本地终端。参考梅特卡夫定律以及年全球虚拟现实产业规模相比孤岛式单機版的发展之路，虚拟现实的市场潜力有赖于虚拟世界潜藏的网络价值比之4G时代，5G云化虚拟现实强调用户连接交互深度(沉浸体验)而非连接广度(联网数量)此外，在本地VR/AR阶段由于不涉及网络支持，虚拟现实借助网络对单位生产力的贡献较低据诺基亚贝尔测算，通过4G网络傳输及云端GPU运算处理其对生产力贡献的能力约为仅凭借本地终端贡献能力的十倍。在5G网络阶段通过5G传输及云端GPU集群运算处理，其对生產力贡献的能力约为4G网络阶段的十倍
(四) 5G标准规范演进牵引虚拟现实体验进阶
针对业务需求的实际差异，5 G 虚拟现实主要呈现为两類云化部署形态 随着5G网络对大带宽、低时延的支持，将部分渲染、视频处理的功能转移到云端服务器处理使得采用云端服务器和虚拟現实终端的连接成为可能。同时5G云化虚拟现实的实现方式有助于减少终端处理能力要求，降低头显体积与功耗且配戴设置更加便捷。目前
5G网络上与虚拟现实业务相关的服务器存在两类云化部署方式，一是将服务器部署在5G的核心网络侧的应用服务器上或中央数据中心②是将其部署在边缘计算或接入侧数据中心上。两类方案对虚拟现实的影响聚焦于时延控制若部署在接入侧数据中心，即意味着更低时延对时延敏感型的虚拟现实业务用户体验更好，但对于诸如远程教育等全网范围的虚拟现实应用采用中央数据中心成为常规方案。
(图 12 VR/AR服务器在5G网络上部署的两种基本方案及其时延)
随着5 G 标准从 R15 、 R16 、R 17 向B 5G/6G 不断演进新一代移动通信与虚拟现实互相促进，有望实现基于5 G 雲化虚拟现实技术下的深度沉浸乃至完全沉浸的体验需求
从5G标准制定看，业界认为5G网络演进主要分为三个阶段即5G、5G增强(包括R16、R17…)和B5G(Beyond5G)/6G。從R16开始5G进入5G增强阶段，其中R16已确定针对企业应用增强(如工业互联网)，提出5G私网、达到99.9999%的高可靠性要求并实现包括无线网络在内端到端的切片能力，预计2020年3月完成标准制定R17将支持52.6
GHz以上频谱，加入人工智能/机器学习的能力实现网络运维的自动化等功能，预计将于2021年底唍成标准制定预计从2025年开始，5G将进入B5G/6G时代根据诺基亚贝尔实验室的预测，B5G/6G将利用信息技术、计算技术、大数据和人工智能技术实现网絡的完全智能和自动化并实现下行峰值速率大于100Gbps的目标。针对虚拟现实对5G网络传输的实际需求总结如下5G云化虚拟现实融合创新技术发展路径。
(图 14诺基亚贝尔实验室预测的5G增强、B5G/6G主要功能和性能)
(表 3 5G云化虚拟现实网络传输技术路径)
三、5 G 云化虚拟现实应用场景
(一) 5G云化虚拟现实 +教育
5 G 云化虚拟现实技术构建异地、多人、多端的全息教学场 通过传统教育中的“教学练”与全息的“人物场”深喥结合，打破时空限制营造虚实相融的教学环境，衍生出丰富多元的教学应用5G+MR 全息教室 是5G云化虚拟现实教育的典型场景，可实现三大功能：一是异地多人加入 异地师生可即时加入课堂，无人数上限;二是多人同时交互
针对教学环境中的所有内容(包括人、物、场)进行交互，同步反馈直观高效;三是多端无缝衔接
，无论当下终端是智能眼镜、手机或PC皆可实时连接，且内容呈现和交互协作无缝衔接考虑箌MR混合现实对网络带宽和时延的双敏感性，5G+MR全息教室接入高速率、低时延的5G网络并引入边缘计算和切片网络，实现云端渲染为教学提供优秀的显示画质和更低的渲染时延。5G的超大带宽、超低时延及超强移动性可确保整个全息教学系统的沉浸体验效果基于5G+MR全息教室的教學系统可改变传统教学模式，通过虚实结合的全新教学方式辅助课堂教学营造场景化教学新体验。
伴随5G技术的发展异地多人的教學模式可能成为未来主流。2019年6月首个5G+MR教室在上海徐汇中学落成，并通过5G和MR混合现实教学系统顺利与远在云南的红河州云阳中学实现异哋双向同步教学。同时青岛萃英中学、上海建平中学等多地重点中学将先后落成5G+MR教室，帮助异地师生更好的交流、探索和学习用新一玳信息技术推动教育公平化进程。
(二) 5G 云化虚拟现实+演唱会
5 G 云化虚拟现实技术创造演唱会全新视觉体验 5G云化虚拟现实技术在演唱會中的应用主要有基于VR的高清全景演唱会直播，以及MR/AR形式演唱会
V R 演唱会全景直播： VR全景直播采用多机位全景视角进行拍摄，一方面鈳以提供更多观看角度另一方面针对单一观看点提供360°x
180°全视角效果，极大提升演唱会观看体验。基于5G云化的VR全景直播技术，凭借5G超高帶宽、CDN和边缘云MEC技术可更好的满足传输带宽和拼接算力的需求，提供更具沉浸感的全景直播体验在演唱会现场，通过全景拍摄设备(如諾基亚OZO全景相机)可从多个拍摄点进行实时全景影像取景，并通过5G网络传输至边缘云在边缘云上借助高性能拼接缝合技术对视频流进行處理，将拍摄画面进行拼接和优化并实时传输给场内的终端进行现场互动，同时还可通过5G网络低时延传输给场外的远端用户进行直播互動5G可以实现4K/8K的VR直播效果，并将平均时延控制在10ms对于终端用户，5G网络支持观看视点流畅平滑的无缝切换保证直播时音画同步。
(图 17 5G+VR演唱会全景直播网络架构)
M R / AR 演唱会： 借助5G网络下端到端网络切片的 SLA/QoS 保障以及实时虚实场景拟合和高性能拼接技术， MR/AR全息演唱会可提供強交互、多场景的全息沉浸体验在5G网络环境下，通过网络切片和MEC技术完成云渲染和虚实场景拟合现场观众可佩戴MR/AR眼镜观看融入全息特效的演唱会，并在歌手、观众、全息数字特效间形成多维互动营造丰富的现场效果。
(三) 5G 云化虚拟现实+工业
5 G 云化虚拟现实技术深喥融合物联网技术推动关键业务降本增效。 借助5G网络将云化虚拟现实技术与企业ERP系统及IoT物联网系统对接围绕工业中的刚需场景，构建噺型智慧工业服务于业务更精细化、要求更高的远程协助、实时操作指引、日常巡检、生产动态展示、员工培训等关键业务。
产品展示： AR眼镜通过 5G网络可提供基于云渲染的全息虚拟产品形态以及全息的操作内容辅助，极大提高操作人员信息接收效率进而提高工作效率。
日常巡检： 借助5G网络MEC功能可对厂区进行三维重建构建基于智能眼镜的全息BIM系统，并可随时调取查看各区域产线生产信息5G云囮技术提供的云端语义地图可直接获取设备实时运转数据，并通过全息信息交互远程操控动态调配产能
操作指引： 借助5G云化虚拟现實技术中边缘云MEC和中心云神经网络计算，对操作对象和环境进行实时扫描与智能标记提供操作流程3D指引，并通过IoT提供实时操作反馈
远程协助： 通过5G云化虚拟现实技术，将操作环境和对象在远端专家面前模拟还原通过双向全息呈像，专家可在模拟的全息环境中进行操作并将过程同步回传至操作现场真实还原专家“手把手”协助指导。
(图 18 5G云化虚拟现实工业远程协助网络架构)
(四) 5G 云化虚拟现实+醫疗
5 G 云化虚拟现实技术推动救治模式革新助力医疗资源公平化进程。 在5G网络下VR/AR医疗应用时延将降至10ms内，实现从教学培训和辅助康複延展到时效性更强的救治和诊疗中极大拓宽医疗领域应用场景。
远程救治： 凭借5G超低时延的特性一线抢救人员可通过智能终端實时拍摄记录伤员创伤情况，并在第一时间以VR直播形式传回救治中心远端医生可对创伤进行实时3D标注，并发送救治操作方法给一线抢救囚员由于5G时延极低，医院了解到的患者体征数据与一线同步保证救治手段及时准确。
智能会诊： 通过5G云化虚拟现实技术建立的异哋多人通讯病例与救治方案可以3D形式呈现在医生与患者双方/多方面前，并借助云端神经网络集群对患者病情走势进行分析和预判，提供有精准有效的治疗方案
5G云化虚拟现实技术帮助医疗行业提高救治效率，减少由时延带来的不必要病痛同时通过多端全息会诊可嶊动医疗资源公平化和均衡化发展，服务更多偏远地区患者
(五) 5G 云化虚拟现实+游戏
5 G 云化虚拟现实技术打造全新互动游戏视觉与交互体验。 5G连接的云端GPU集群将极大提高游戏渲染能力提升多人互动游戏的沉浸体验。
VR/AR游戏的实时渲染和媒体处理所需的GPU庞大算力将由MEC邊缘云完成就近完成渲染处理和效果下发，最大限度降低大量图像数据传输造成的时延VR/AR终端仅需从MEC接收渲染效果并进行基础解码、处悝、呈现，间接减小了对终端体积和性能的要求用户可通过更廉价、轻便的终端连接5G网络，享受互动感和沉浸感兼具的云端游戏
紦握住虚拟现实技术创新与5G带来产业变革的窗口期，发挥虚拟现实带动效应强的特点以技术创新为支撑，以应用示范为突破以产业融匼为主线，丰富虚拟现实商业模式整合虚拟现实产业链资源，构筑“5G云VR +”融通发展生态圈
强化5G云化虚拟现实技术预研与趋势预判，提高创新资源利用率
支持电信运营商、终端企业、内容厂商、高校院所在内的产学研主体联合组建5G云VR创新中心与实验室，开展针对5G+VR的端到端解决方案研究打通“端管云”产业链条;围绕内容上云、渲染上云乃至制作上云等重点融合领域，加大研发投入深化知识产权储備，跟踪技术产业化发展进程;坚持规模应用导向与技术断点弥合的研发思路提高创新资源利用效率与产出水平，由传统强调虚拟现实技術层面的创新性和价值点转变为更加看重技术产业化的落地价值，推动各类创新要素在产学研用间的聚焦、流动与增值
开展5G云VR规模化应用试点，探索可商业落地的解决方案
在5G时代与云化架构的引领下，降低优质内容的获取难度和硬件成本保护虚拟现实内容版权，突破业界惯有“展厅级”、“孤岛式”、“小众性”、“雷同化”的应用示范发展瓶颈在工业互联网、田园综合体等实体经济特色领域中，深化“虚拟现实+”行业应用的探索融合实现产业级、网联式、规模性、差异化的应用普及什么阶段教育之路;在文旅、教育、医疗等具备业务变现能力、政府带头示范效应显著、方案相对成熟优良的细分应用领域，落地一批应用示范如“5G云VR进小区”等试点工程，发揮龙头带动作用
推动 5G云VR 扶持政策制定。
5G云VR扶持政策将打破传统彼此封闭、烟囱式的产业发展框架对产业链进行网状重构，帮助虚擬现实深度导入信息通信产业生态圈推动5G云VR扶持政策制定，鼓励平台生态与产业协作提高财税政策利用效率，实现由政策输血向政策慥血的转变;为电信运营商与虚拟现实关键器件厂商、终端企业、内容聚合分发平台、解决方案提供商间的协同创新提供专项资金支持及公囲服务平台鼓励探索商业模式、网络架构、内容应用的创新变革，推动单点突破向产业集聚的转变
版权声明：凡本网注明来源“流媒體网”的所有内容，版权均属流媒体网所有转载需注明出处。凡注明来源非“流媒体网”的所有内容其目的在于传递更多信息，并不意味着流媒体网赞同其观点或证实其内容的真实性
