VR 寒冬?英伟达生态链布局已初具规模——专访高级总监 Sandeep Gupte
   来源:雷锋网     2020年09月30日 22:06

原标题:VR 寒冬?英伟达生态链布局已初具规模——专访高级总监 Sandeep Gupte

*英伟达展台标语

雷锋网导读:在刚刚结束的 SIGGRAPH 2017,雷锋网记者在英伟达专业可视化业务高级总监 Sandeep Gupte 带领下参观了展台,并就英伟达的 VR、Quadro 产品战略对其进行了专访。英伟达为 SIGGRAPH 带来了哪些黑科技?又如何围绕 VR 开发者为中心,打造起一条软硬件结合的生态链?一起来看。

前言

在今年的计算机图形技术顶会 SIGGRAPH,英伟达并不是在单纯地展示自家的图形技术——我们都知道,单是讲讲显卡、讲讲图形,核弹厂就能吸引一大票观众,但其志不在此。当隔壁 AMD 展台秀着 Vega ,英伟达讲的却是自己在如何探索计算机图形与人工智能、VR/AR 的交集、如何借助这些新兴技术领域的跨界整合进一步推进图形技术的边界。

正如此次英伟达参会的主题——“Nvidia brings AI to graphcis”,“把 AI 带回计算机图像”。站在新兴技术的潮头,英伟达早已经把当年那个游戏显卡厂商的躯壳褪下,以 AI、VR/AR、自动驾驶生态缔造者的身份重新上场。

英伟达展台

此前雷锋网报道,英伟达在本届 SIGGRAPH 发布了三大新品:OPTIX 5.0 SDK,接入 Isaac 实验室的 Holodeck ,以及笔记本显卡坞的Quadro驱动支持。

Sandeep Gupte 向雷锋网记者介绍英伟达展台

为打造以英伟达技术为中心的 VR 生态,这三大产品是其中的重要组成部分,但并不是全部:

Holodeck 作为第三方软件公司开发 VR 应用的框架;

Quadro 外接显卡帮助开发者在笔记本电脑上工作;

惠普 VR Z 背包更是为 VR 开发者量身打造的工作站;

将英伟达的传统强项——图形技术打包进 SDK,比如 VRworks SDK。后者利用深度学习进一步节省 VR 游戏、应用的开发时间。

揣着对其最新的 AI 与 VR 研究项目的好奇心,雷锋网在英伟达专业可视化业务(该部门负责 Quadro 专业图形卡以及 VR/AR)高级总监 Sandeep Gupte 带领下,参观了本届 SIGGRAPH 上英伟达的展台,并独家专访。

Holodeck

英伟达展台设置了一个独立的 Holodeck 体验间,与大厅隔离起来。体验间的角落放着一台用于驱动 VR 的台式机以及显示器,与一台 HTC Vive 头显连接。

体验的内容,正是黄仁勋在 5 月份 GTC 上展示的:一台科尼塞克的 3D 数字模型。当时,虽然英伟达发布了 Holodeck,但仅有老黄与内部员工才能使用测试。而现在,任何 SIGGRAPH 的参会者都可以亲自体会这一 VR 社交、工作空间,以及那台一辈子也买不起的车。

Holodeck 效果图

戴上头显,记者眼前出现的便是那台 GTC keynote 中的柯尼塞格。老黄当初展示的功能都在:内部机械结构透视、手握方向盘、与身处同一个虚拟空间的人对话(雷锋网记者与另一名体验者在 HoloDeck 空间里咋咋呼呼)以及“大爆炸”(把整部汽车瞬间分解成一个个单独的零件)。除此之外,雷锋网记者还有两点感受:

3D 绘画功能非常好用,可以用手对绘制的物体自由拖拽

菜单界面非常清晰,直逼平面显示器

英伟达专业 VR 业务主管 David Weinstein 告诉雷锋网记者,Holodeck 将在九月份进行内测,届时会邀请一部分合作伙伴参与,收集各方反馈对 Holodeck 进行优化。他反复强调,Holodeck 现在只是一个项目,不能算产品,只有在完善到一定程度之后才会公测。

作为一个架构,英伟达会把 Holodeck 提供给游戏、娱乐与工作应用开发商,用于开发它们的具体产品。

另外,David Weinstein 对雷锋网表示,目前的 Holodeck 画质受到硬件限制,等将来头显的分辨率提升,Holodeck 的清晰度也会大幅提高。

惠普 VR Z 背包电脑

这台 VR 背包工作站在 SIGGRAPH 首发,一并首发的还有英伟达专为它设计的 Quadro P5200——注意是 Quadro 而不是面向游戏发烧友的 Geforce。这也是惠普 VR Z 与 VR 游戏背包电脑的区别之处:它为 VR 开发者而设计,目标是打造成最强的 VR 工作站。

英伟达工程师对雷锋网表示,已有许多公司尤其是汽车制造商,对惠普 VR Z 表露了相当的兴趣。未来他们的工程师可以人手一台惠普 VR Z,在 Holodeck 虚拟空间内对汽车模型指指画画、讨论设计方案。

AI 与计算机图形

实时风格迁移

英伟达在 SIGGRAPH 展示的 AI 应用,在细节处体现了其基础技术实力。比如上图左一借助 Tesla V100 实现的实时风格迁移。它把会场摄像头拍下的场景,实时在屏幕上显示出——但乃是经风格迁移处理后的结果。雷锋网此前参与过一只国内的 fast.ai 学习小组,开发者设计了一个微信自动回复机器人,凡是在微信群里发送的图片,都将在几秒至十几秒种后,收到风格迁移处理过的版本。那是基于一块 GTX 1080 Ti。而现在,实时的视频风格迁移也已经实现,不得不说是对 Volta 架构加速卡的绝佳宣传。

自动场景生成

自动生成的 3D 游戏场景,地面、墙砖纹理可由算法随机调整

该技术来自英伟达的合作伙伴 Artomatix。我们知道游戏场景设计中存在大量重复性的工作——类似的场景反复出现,但设计师需要对细节进行反复调整,避免玩家产生审美疲劳。而Artomatix 的深度学习引擎能够对游戏中某一主题的艺术风格进行学习,然后自动生成符合该主题的场景。这些新生成的场景有不同的纹理和细节,但艺术风格又和相关主题保持一致。该技术有望大幅缩短游戏开发时间,因而在 2015 年的英伟达初创公司峰会赢得了 10 万美元奖金。

纹理提取

用相机拍摄的不同物体表面纹理,可在 AI 算法帮助下去除曝光等环境因素,只把纹理本身(理想状况下)提取出来,用于设计用途。

自动与音频同步的人脸动画

这是英伟达 7 月 31 号发布会上重点介绍的技术:将配音导入系统,人脸 3D 模型可自动配合口型与表情。又是一个在影视游戏行业有广阔应用前景的技术,有望大幅减少开发时间。在雷锋网记者的体验中,若语速过快,效果相对一般;但若语速较慢,3D 人物头像的口型和表情配合得则更为精准。

AI 图像预览

这是英伟达 SIGGRAPH 发布的三大产品之一:OPTIX 5.0 SDK 中的一个算法包。对于分辨率极高、光线场景较复杂的图像,渲染出来可能要几分钟甚至几小时。这会白白浪费设计师的时间。而英伟达的这项新技术,能够在图像未渲染出来、存在大量噪点之时,利用 AI 算法去噪并高度还原图像,让设计师能够立即开始工作。

英伟达工程师表示,由于极高的还原度,除了最终作品之外,设计师完全可以在 AI 图像预览上工作。

笔记本外接显卡

众所周知,Quadro 和 GeForce 系列有一个很大的定位差异:GeForce 只要求性能,而Quadro 在高性能的同时要兼顾稳定性。对于专业开发人员而言,工作过程中的系统稳定性高于一切。

因此,英伟达在 31 号的发布会上宣布,为外接显卡方案提供了 Quadro 驱动支持,并且与制造商合作推出经英伟达认证的外置 Quadro 显卡坞,为其可靠性背书。

英伟达工程师还向雷锋网表示,在将来,显卡坞将会不断缩小尺寸,英伟达也会不断优化方案,推出比如热插拔,数据保护提醒等功能。

Sandeep Gupte 专访

参观结束后,Sandeep Gupte 就英伟达的 VR、Quadro 战略接受了雷锋网记者的专访。

Sandeep Gupte 接受雷锋网记者采访

雷锋网:从 SIGGRAPH 2017 我们看到,英伟达对于 VR/AR 的态度是全力投入,但整体的 VR/AR 市场一直没有起飞。你们是怎么看待这片市场中存在的机会?

相信大家都看到了,VR/AR 市场的机会当然是非常多的。我们的做法其实很简单:推动 VR/AR 技术被各类应用所采用。这里面有休闲娱乐应用,也有专业应用。

英伟达提供的是软、硬件与面向开发者的解决方案,Holodeck 就是一个很好的例子-----它是一个平台,向开发者输出开发能力与技术框架,帮助他们创造出优秀的 VR 体验,不管是工作还是娱乐应用。我们希望让软件合作伙伴和消费者,借助 Holodeck 框架实现各种了不起的事。

在输出技术能力之外,我们还通过 VRworks SDK 提供工具。英伟达做了很多技术创新来提升 VR 体验-------因为 VR 并不好做。它需要画质漂亮、流畅、有沉浸感,需要极高质量的体验(才能让用户满意),这并不好做。英伟达做了许多硬件、软件层面的工作,这些研究成果最终将整合入 SDK。从研究,到 SDK,再到产品,这是一整条 VR/AR 产品开发的链条:我们的基础研究成果,将以 SDK 的形式提供给合作伙伴,他们再把 SDK 变成产品,提供给市场。我们在试图推动整个系统生态的进步。

这是相当大的投入。

没错,英伟达关心的是整个生态系统,我们不仅在做硬件,也在做软件。

你们是否预期,市场会出现对 VR 硬件的强需求?比方说,对 Quadro 系列专业图形卡的需求是否会出现井喷?

当然。我们的整个显卡产品线----Geforce 消费级显卡,泰坦,还有 Quadro,都已经是 VR ready。它们能满足从普通消费者、生产消费者(Prosumer)到专业人员的需求。不管你是谁、你用 VR 来做什么,不管是个人使用还是满足工作需要,我们的产品全都覆盖到了。

我们来聊聊 Quadro P5200。它刚刚发布,基于 Pascal;英伟达对它的官方描述是“最强大的移动工作站显卡”。能否对此进一步解释?为什么其它基于 Pascal 的 Quadro 产品没有这样宣传?

它性能十分强大——这是肯定的,毕竟是一块 P5000+ 的 GPU。它专门为了惠普 VR Z 背包电脑而发布。在背包电脑的形态里,它是消费者所能买到的性能最强大的 GPU。当然,在桌面级市场,我们有其它 GPU,比如 P6000 和 GP100,它们面向台式机和工作站。

它对发热和功耗是否有更好的控制?

是。它的功耗非常优秀,当然性能也很强,因而能轻松处理 VR 内容----达到每秒 90 赫兹的刷新率。这是我们选择它的原因。它的显存有 16GB——毕竟惠普 VR Z 背包电脑的主要用途之一,是设计大型装备,比如汽车、飞机和列车组。它们的数据集一般很大很复杂,需要相当大的显存来存储。

低功耗、强性能、大显存加到了一起。这就是为什么对于 VR 背包电脑这一全新形态的产品,P5200 是一块非常优秀的 GPU。

在移动平台 vs. 桌面平台之外,P5200 和其它基于 Pascal 的Quadro产品之间还有没有大的差异?

没有的,它们都属于 Pascal 家族。取决于性能、显存大小、供电等因素,我们提供不同版本的 GPU。用户在桌面和移动设备上都有不同的选择。比如说,15 寸、17 寸的笔记本工作站都有不同的热功耗需求。我们提供不同的 GPU 型号来满足这些需求。

您之前提到,微星刚刚推出了一款配备 Quadro 的笔记本工作站,P5200 是否也会进入这一市场?

这方面我们没有宣布任何消息。现在,只是为了这个背包电脑而发布它。

那么 Volta 呢?这是个热门话题,关于什么时候 Volta 会进入 Quadro 产品线,有没有一个时间表?

遗憾的是,目前还没有消息。你也知道,GTC 上我们发布了 Volta 的 GPU 架构,对于什么时候基于 Volta 的 Quadro 产品线会上市,我们还没有宣布具体时间。

对于笔记本外接显卡,你们收到合作伙伴的反馈了吗?是否有很强的市场需求?

没错,我们认为有。我们从许多客户那里收到了非常积极的反馈,这一价值主张(value proposition)对他们而言很有实际意义。许多客户的设计师以及项目团队需要远程办公、在家办公,这部分人会倾向便于携带的轻薄设备。这种情形下,外接显卡是一个非常好的解决方案:平时、外出、参加会议时,他们仍可以使用轻薄的笔记本,需要额外的性能时,直接插上外接显卡。很多人喜欢这一方案的简洁,以及一个新的选项。

另外,这是一个已经存在的市场——用外置显卡玩游戏。这部分游戏发烧友喜欢在笔记本电脑上工作,在游戏时插上外置显卡,得到显卡的全部性能。因此,在游戏领域,这个市场已经在那里了。现在有了对 Quadro 的支持,把外置显卡用于专业用途变得更方便。

笔记本外接显卡这一市场,一两年前还不存在,但就在短短时间内走到了今天这一步,现在连 Quadro 的支持也有了。你认为这一新的市场趋势浮现的背后原因是什么?

我认为,是现在的笔记本电脑正在变得更轻薄这一事实。每个人都想要更轻薄的电脑。但在轻薄的产品形态里,不可能把一块大显卡放进去,消费者不得不为了轻薄的外观而牺牲性能,因此需要其他的办法来提高性能。外置显卡,就是一个让轻薄、性能两者兼顾的简单可行的办法。

总的而言,我认为这就是外置显卡市场诞生的主要原因:笔记本电脑变得越来越薄,但性能离台式机差太远。在两天前的发布会上,你看到了我们有一页 PPT,展示台式机电脑的平均性能在飞速提升,相比之下,轻薄本的性能提升幅度要小得多。

关于性能这一话题,大家一直在谈摩尔定律已经完结。但英伟达新一代 GPU 的性能提升、功耗降低幅度,和几年前相比并没有逊色。你认为,GPU 的性能和功耗是否会以现在这样的速度持续改进下去?

我认为会的。我们不断在做研究,况且我们是一群很聪明的人在干这事。就像你知道的,Volta 继续拉升了 GPU 的极限。我们会在新的 GPU 架构里采用不同的计算方式以保证这一点。英伟达会继续推进技术的边界。

你对这一点非常乐观。

没错,我们会不断推进。

到现在为止你们没有遇到技术瓶颈?

不管它们是什么,我们会想出办法突破。挑战总是有的,我们在做的并不是容易的事,有非常棘手的难题。但这也是干这一行让人兴奋激动的部分。英伟达有技术实力、愿望和激情来解决这些问题、推动技术边界。这也是为什么英伟达是市场领导者----我们有聪明的员工,有激情来解决这些问题。

设计师 显卡 摩尔