这项技术，让虚拟世界走进现实！
共 3971字，需浏览 8分钟
· 2022-11-19
点个关注👆跟腾讯工程师学技术
随着数字化、场景化趋势发展，3D 应用越来越广，聚焦公司内部，业务场景在社交，赛事直播，虚拟主播，虚拟演唱会，会议以及未来腾讯云上的一些第三方应用都有被涉及。下面对某些行业应用场景进行分析，提出对云渲染的需求。
主要痛点/关注点：场景加载和切换时长，以及对低端机型画质和流畅度体验的支持有待提高；对画质清晰度需求大，追求真实感和操作流畅度。
（二）虚拟直播和虚拟展会
传统的直播间多由实景搭建构成，布置直播间时需要考虑打光方向、景物摆放、广告位排布等；之后，一部分公司利用虚拟背景技术打造了绿幕直播间，但“抠图明显”的技术缺陷依旧无法满足用户更高的视效需求。使用实时云渲染，主播在直播间内想要实现更具购买吸引力的现场效果，无须实景铺设、无须额外购置价格昂贵的服务器与高配置硬件设备，能大大降低虚拟直播的成本与门槛。3D虚拟直播能带来比传统直播更具沉浸感的体验，吸引更多用户的关注。
虚拟展会将展陈的3D可视化内容发布到线上，通过URL可以嵌入到官网或宣传页面，助力策展方提升展陈的影响力、吸引潜在观众，打破了常规线下展会中由时间、地域、面积等限制，能够使展会面向世界各地的用户，并随时都能进行参展。
云渲染和端侧渲染技术对比云渲染是渲染技术的服务方式之一，与之对应的是端侧渲染。过去，在云服务普及前，实时渲染以端侧渲染服务为主，受计算机能力限制，往往会牺牲画面效果来满足实时系统的要求。现在，随着国内云服务趋于成熟，出现了一些可以提供实时渲染的云平台，如云架平元渲染平台，在云端提供强大的图形实时渲染计算服务，平台配备弹性GPU资源集群，支持自动负载均衡和伸缩扩容，对比端侧渲染，实时计算的速度快，计算画面的精度高，使得实时渲染的效果越来越逼真，同时，还可实现降低研发和运维投入成本。
端侧渲染方案 | 云渲染方案 | |
终端门槛 |
终端设备性能参差不齐，性能不太好的低端机渲染画质会比较差，甚至无法使用 特别是 VR 设备对分辨率和帧率要求更高，需要使用更高端的芯片（如高通的XR2），往往需要配置高端 PC 配合使用，导致用户使用门槛高，普及率难以提升 |
目前市面上 97% 手机支持 H265 硬解，绝大多数可以达到 1080P 60fps，基本上用户有手机就能使用云渲染 VR 设备，云渲染可以取代高端 PC 的串流，甚至降低 VR 设备对高端芯片的依赖 |
应用门槛 |
由于3D模型精度越来越高，特别是一些开放式应用，3D模型繁多，导致应用体积大，如原神手机版超过15G。使用成本高，很多用户在下载阶段就选择放弃 |
目前云渲染 ARMv8 安装包增量大小在 2.6MB 左右，打包的应用小，用户只需要下载一个小体积客户端，甚至下载一个客户端可以尝试多个云应用 云渲染目前传输使用 WebRTC 技术，可以通过微信分享，手机端浏览器等打开，做到无安装使用 |
并发用户 |
端侧渲染方案受限于算力瓶颈，能支撑同屏互动的人数很有限。 |
云端针对超多人同屏互动的场景，可以采用分布式渲染方案，云端渲算力强、网络稳定，有利于运营大型分布式应用。 |
运营成本 |
端侧渲染方案需要针对多平台，不同芯片的设备做兼容性适配和测试，每次应用发布都需要多平台投入 |
云渲染方案，核心渲染工作都在云端完成，云端渲染和算力平台基本统一，兼容性适配工作简单。另外，云端采用云原生架构，支持版本快速迭代、资源弹性扩缩容、自动化运维等，提升运维效率同时保证较高的服务稳定性。 |
对比端侧渲染，云渲染需要重点解决两个问题：
体验层面：与端侧一致的操控时延体验，与端侧渲染基本一致甚至更高的画质体验。云渲染算力的边缘化部署，终端用户的就近接入调度，低时延传输技术，高质量的渲染和编码能力都将成为云渲染平台的基础技术门槛。
成本层面：定制化硬件设备，云端算力的逐步积累，通过资源运营提升资源复用率，会逐步拉低云渲染的使用成本。
元渲染PaaS平台
TEG云架平推出“元渲染PaaS平台”，面向想要构建虚拟世界的客户，虚拟世界拥有强实时互动、多人协作等特性。我们的目标是为客户构建虚拟世界提供基础平台能力、上层应用插件和数字资产，帮助客户提升生产和运营效率。此外，元渲染平台拥有突出的成本和体验优势。
（一）平台能力
我们构建元渲染 Paas 平台，目标是通过对现有算力资源、技术进行整合，帮助用户快速构建虚拟应用（小世界）能力。元渲染PaaS平台能力由基础设施、核心能力、场景能力和场景Demo四个部分组成。
基础设施：基于CDN边缘、GPU算力平台、RTC低延迟网络技术、自研硬件编码卡和Android容器等构建PaaS平台基础能力，以API的方式对外开放。该部分主要考虑稳定性、成本、单场景并发用户数等。
核心能力：打造元渲染插件、全景直播插件和多人互动网络等，满足实时互动和直播的业务需求；进行渲染和编码优化，提升画质、多人互动等体验。该部分主要考虑渲染效果、互动效果等。
场景能力：提供构建虚拟世界的通用功能模块，满足比较多的应用场景的需求，以插件方式提供业务方按需使用。
场景Demo：我们在构建场景 Demo 时会逐步积累一些数字资产和数字资产构建工具，降低客户在美术资产的投入工作量。场景通用插件和场景Demo这两部分主要面向客户是对 UE4 不熟悉的新手团队，可以基于一些比较成熟的插件和场景 Demo 快速构建自己的业务场景，主要考虑易用性。
（二）打通元渲染+多人互动+全景直播全流程：
元渲染PaaS平台满足虚拟世界里的两类用户：互动用户和直播用户。
互动用户可以通过PC、手机、Web和VR 设备接入，可以实现 6DOF 的观看模式，以Avatar形式在场景中自由活动，与场景交互，与其他互动用户交流。
直播用户只能观看，观看的视角可以是场景中导播控制的，也可以是场景中预设的一些全景采集位置，只能实现 3DOF 的观看模式。平台满足互动用户与直播用户的无缝切换。
互动端：全链路操控延迟小于50ms；支持端与云的信令双向传输和媒体双向传输；支持多人互动网络，满足大世界需求。用户在端侧通过一个轻量 SDK 接入，主要由控制指令采集、视频播放器组成；云端会为用户启动一个 UE 的渲染引擎，用户端和云渲染端通过 WebRTC 打通。当用户接入时：
就近分配一个云渲染服务（基于 CDN 边缘），确保用户的操作时延体验 用户的操作会通过 WebRTC 的 DataChannel 通道上传到云渲染端，并由云渲染端响应用户操作
用户的声音会通过 WebRTC 的音频上行通道上传到云渲染端，作为 Avatar 的声音
云渲染端完成画面渲染和场景声音混音后，会通过 WebRTC 下行媒体通道到达用户客户端
直播端：支持采集360°全景视频流并且实时推送直播系统；直播系统对全景视频流支持FOV转码和传输，保证用户体验前提下，尽量优化传输带宽。
WebRTC超低延迟网络传输技术，全链路操控延迟50ms 自研编码芯片和V265算法，视频压缩率比行业优20% 渲染与编码联合优化技术，带宽降低10% 结合自研硬件编码卡的定制机型，单路渲染成本节省70% GPU算力平台@CDN边缘，支撑服务边缘部署，延迟更低、成本更低 稳定可靠的云服务运营能力、云原生技术架构，降低开发和运营成本 8K 60fps VR全景直播技术，支持FOV带宽优化，降低带宽75%以上 自研分布式渲染引擎技术，渲染算力消耗至少降低50%
点击下方空白 ▼ 查看明日开发者黄历
