北京时间2019年12月6日,位于夏威夷·茂宜岛举行的“第四届骁龙技术峰会”进入了第三日,同时也是最后一日的进程。在今日的峰会上,高通将重心放在了自己一直潜心耕作的“XR”领域,发布了全球首款支持5G的扩展现实(XR)平台“骁龙XR 2”,它结合了高通5G、AI和XR领域的最新技术,并支持诸多定制特性。官方介绍称,作为全球首个支持5G连接的XR平台,骁龙XR 2实现了需要低时延和超高数据速率的体验,此外,新的XR设备能通过支持终端和边缘云之间的分离式处理,摆脱任何线缆或空间的束缚。
对于5G来说,不仅仅有我们传统意义上所理解的增强移动宽带(eMBB),而且还包括了海量物联网(mMTC)和uRLLC(高可靠低时延连接)。相比于目前的4G网络来说,5G不仅仅是带宽方面的提升,更重要的在于其低功耗、低时延所带来的“物联网”下“万物互联”的场景。目前对于“VR(虚拟现实)和AR(增强现实)”大家都已经非常熟悉了,但高通所讲的XR还包括了MR(混合现实)。在高通看来,移动XR的机遇非常广阔,而且将会面向整个生态系统,不仅包括像高通这样的半导体芯片平台供应商,还包括智能手机厂商,AR、VR、一体机头显设备供应商(例如HTC),以及运营商。
今年发布的高通骁龙XR2平台是全球首款,也是目前唯一一款“混搭了”5G+XR的芯片平台。和去年的XR1相比,它采用了先进的台积电7nm制程工艺打造,为了保证该平台的质量和出货量,代工厂方面高通依然选择了台积电。参数方面,骁龙XR2与目前的Qualcomm XR1平台相比,实现了包括2倍的CPU和GPU性能提升、4倍的视频带宽提升、6倍的分辨率提升和11倍的AI性能提升。值得一提的是,骁龙XR2平台是全球首个支持“七路并行摄像头”且具备计算机视觉专用处理器的XR平台。此外,该平台还是首个通过支持低时延摄像头透视(camera pass-through)实现真正MR体验的XR平台,让用户可以在佩戴虚拟现实设备时,在虚拟与现实融合的世界进行观察、交互和创作。
七路并行摄像头,无缝穿梭于“虚拟与现实”
骁龙XR2平台在设计之初,便充分考虑了增强现实(AR)和VR(虚拟现实)头显的特殊需求。这些设备往往只需要两个RGB摄像头来捕捉三维立体环境,其他摄像头用来实现追踪,比方说眼球追踪、注视点追踪、手势追踪和环境追踪等,而这些追踪功能并不需要高清摄像头来实现。骁龙XR2平台所拥有的“七路并行摄像头”技术,支持的通常是分辨率要求没有非常高的摄像头,比如说VGA(Video Graphics Array)摄像头,同时它也可以支持3个RGB(Red Green Blue)摄像头加上4个VGA摄像头的组合。当然,OEM厂商仍然可以选择在其XR设备上配备更多的高清摄像头,只是无法实现并行罢了。所以如果有OEM厂商希望搭载6个乃至7个RGB摄像头的话,骁龙XR2平台也是可以支持的。
“头显矫正”技术带来低时延高质量的用户体验
说到XR中的时延,其实种类很多,比如视频解码中的时延、GPU渲染中的FPS时延等等。首先我们需要理解,与VR产品相关的时延是指什么,比如当用户转动头部时,显示屏上画面随之变化的时间差需要低于20ms才能实现良好的用户体验,可是即便现在我们有很多技术,VR头显上的网络传输、渲染、回传、解压缩等等这些过程加起来的时延还是大于20ms。不过没关系,对于骁龙XR2平台来说可以通过头显的处理进行校正,5G的低时延为此提供了良好的基础保障。高通认为,对于VR设备来说,并不需要所有的处理都要在20ms内完成,长一点也没有关系,因为他们的技术让头显可以进行校正,带来流畅的用户体验。
不是“高端能力”而是“必要水平”
在骁龙XR1平台推出以后,中国市场上除了大朋VR以外,还有3Glasses也推出了基于骁龙XR1的产品。在全球市场上,Google推出了基于骁龙XR1打造的Google Glass Enterprise Edition 2,此外还有Vuzix和RealWear等厂商也相继推出了搭载骁龙XR1的产品。
而对于骁龙XR2平台来说,Qualcomm的XR产品路线图是有高端(骁龙XR1)和顶级(例如之前的骁龙835、骁龙845)两个层面的,此前许多国内的OEM厂商例如Pico、Nreal、影创科技、爱奇艺等都推出了基于骁龙平台的顶级产品,所以高通方面预计这些曾搭载过骁龙835或骁龙845平台的客户也会向骁龙XR2平台迁移。
骁龙XR2平台主要面向的是那些希望推出“5G产品”,或是那些希望继续仅支持Wi-Fi连接的客户,所以整个顶级XR产品的细分市场都会向骁龙XR2平台迁移。此外,目前也仍然有厂商基于骁龙XR1平台打造自己的设备。
目前,高通的首要目标是推动整个市场的发展,创造更大的市场空间,因此就需要大量的技术和创新,这些技术和创新绝大多数产生于顶级平台,高通并不是只在顶级AR/VR一体机市场进行投入,他们也和国内的Nreal和VLAVR等OEM厂商合作打造与智能手机连接的AR/VR头显(viewers),这些设备的价格相对于独立的一体机形态的终端来说会低一些。其实不是XR1/XR2仅面向高端市场和顶级层级,而是说要想实现出色的XR体验,具备如XR1和XR2这样的处理能力是必须的。
携手合作伙伴,共同把握XR新机遇
峰会上高通方面透露,随着骁龙XR2平台的问世,他们也正在与“精灵宝可梦GO”的开发商Niantic合作,研发支持5G的AR(增强现实)眼镜,这个项目双方将会有长达数年的合作期。高通希望通过这个项目,真正推动消费级AR眼镜市场的发展。这个项目基于骁龙XR2平台,旨在打造面向室内和户外使用场景的AR眼镜参考设计,并且能够支持Niantic类型的内容以及更丰富的其他内容。双方合作的第一步是共同确立AR眼镜的参考设计规范,然后是进一步整合双方的相关软件,像是Qualcomm开发的追踪软件和Niantic的AR云和AR SDK,以此作为AR应用开发的基础。
另外高通一直坚信,XR为整个生态系统以及互联网公司带来了巨大机遇,生态系统协作将推动XR向前发展。其所带来的新机遇不仅面向现有的硬件生产厂商,更是面向所有空间计算(spatial compute)领域的公司,Niantic就是一个很好的例子,高通希望生态系统中的国内企业和互联网企业能与他们一起把握XR机遇,共同发展。
实际上Qualcomm在企业级市场和消费级XR市场中都看到了很多机遇,不论是VR还是AR。目前,Qualcomm提供的水平化平台既能够支持消费级市场又能够支持企业级市场,同时在这两个市场细分中他们都拥有良好的客户群。借助今天的峰会内容,他们希望向大众展示在XR企业级市场同样也存在着非常大的机会。
“XR Optimized计划”全面启动,推动高通在XR头显市场全面发展
一直以来,高通方面都认为无论是“XR头显”设备还是传统的一体机设备,这两类产品的市场前景都非常大。通常产品的定制化开发能够实现最佳的用户体验,比如这次骁龙XR2平台搭载的“七路并行摄像头”最好是通过一体机来实现。但是如果用户已经有了一台5G手机或者顶级的智能移动终端,它们也可以单独连接一个外型轻巧的像普通眼镜一样的“头显(XR viewer)”。
头显设备(XR viewer)的好处是可以连接智能手机,甚至以后也可以连接到PC上,当然,有许多企业级用户更倾向于使用一体机产品,特别是野外工作人员,因为不需要限制他们使用的手机型号。此外,未来将会有一些具有双重使用模式的设备出现,也就是说它既可以作为一体机运行,又可以连接游戏主机,享受额外处理能力所带来的全方位体验。
最后,高通在峰会上宣布此前他们已经启动了名为“XR Optimized”的计划,该计划旨在保证并提升智能手机和XR头显之间的兼容性和性能,推动XR头显市场的发展。在此前的5G峰会上,中兴作为第一家智能手机OEM厂商已经宣布加入这一项目;同时在头显设备厂商方面,已经有Nreal、VLAVR、3Glasses等厂商宣布加入。未来,高通会继续全面推进这项计划在市场上的落地。
尽管XR行业在过去几年经历了起起伏伏的经历,但XR领域依旧是是一个全新的、有待开发的市场。整个行业会经历很多变化,大家都在尝试不同的方向和新的事物,有些成功了,有些失败了,XR的发展要经过一个很长的周期,需要几年,甚至十几年,通过峰会上的内容,我们有理由相信,高通在XR领域的坚持和领先,一定会为他们在智能手机芯片外,开辟一块全新的疆土,并且在这片疆土之上占有相当长时间的统御地位。