超V对话 | Facebook Reality Labs带你走近VR/AR交互设计与内容开发

本期超V对话与数字虚拟影像精英论坛合作推出特别篇，对话Facebook（脸书）虚拟现实研究实验室（Facebook Reality Labs）高级技术美术指导刘晓雨。

今天，由VR陀螺联合中国电信天翼云VR、人民网5G创新中心联合打造首档VR虚拟访谈节目《超V对话》第五期在天翼云VR App（4K VR版）、人民网5G频道、腾讯视频、Bilibili、优酷、Youtube等各大视频网站同步播出。

视频链接https://v.qq.com/x/page/z31006v3gov.html

本期超V对话与数字虚拟影像精英论坛合作推出特别篇，对话Facebook（脸书）虚拟现实研究实验室（Facebook Reality Labs）高级技术美术指导刘晓雨，其多年从事VR和AR相关的交互设计和3D研究开发工作，将从VR/AR交互、内容开发、发展趋势等多方面带来干货分享。

以下为本期访谈的上篇：

Q：现在刘老师任职于Facebook虚拟现实研究实验室，请介绍一下现在自己从事的工作可以吗？

刘晓雨：我其实现在是在Facebook做研究院的一些工作，但是鉴于一些保密项目，我不能说具体的是在做什么，我可以分享一下我过去几年在做什么东西。

首先我刚去美国的时候，我的工作与电影和动画相关，然后大概是在4~5年前，我接触到了一些交互和VR相关的东西，然后从此我就决定要多做一些和游戏、和最前沿的技术相关的一些产品，或者是很有娱乐性的东西。最后在过去的3~4年，我一直在做VR和AR相关或者是交互相关的游戏产品或各种展示、各种研究。

Q：疫情现在对FB研究的这些项目会有影响吗？

刘晓雨：如果你公司里面有员工是要做那种需要到实验室，需要到办公室去做的工作；比如说要去碰一些研究的东西、硬件什么的，可能你需要回到办公室。但是我做的东西主要还是在软件方面，所以说有一个头显和一个电脑基本上90%以上的工作是可以的。

Q：我们先来聊一下刘老师非常擅长的一个交互设计的部分，交互设计是一门非常深的学问，涉及到行为学心理学，不仅要考虑到个人的一些行为习惯，还要平衡设备技术是否能够实现，老师之前在研究一些新的交互的时候会遵循一些特定的逻辑吗？

刘晓雨：对，会有一些不管是技术还是设计上的一些规则。比如说首先我本身不是一个纯交互设计师，我是做3D偏技术应用方面的交互，更多的是和代码、软件相关，不怎么把它们运用在真正的那种交互上，所以我可以更侧重于在应用方面做一讲解。

当我们做一款游戏或者是产品的时候，我们有些考量。比如说是你设计一种交互，你适用用手做一些动作或者是完成一些任务的话，首先你要感觉你的一个动作会不会让用户感觉到疲劳。第二点，比如我在虚拟世界中做怎么样的动作，会让这个用户感觉在做这个动作像跟在现实世界中一样；比如说你在虚拟世界做一种交互，这种交互不是比现实世界中更高效；比如说你用一种虚拟键盘来打字，或者是用一种虚拟的手柄，又或者是桌子玩一些游戏，它会不会娱乐性和高效率方面比真实世界中能更好。

Q：Oculus Quest手势识别功能近期上线，不久前他们也有消息称Facebook正在开发PinchType的VR/AR手势追踪键盘，是一种新型的输入方法，您认为这种方式会变成跟PC的键鼠一样普及交互方式吗？

刘晓雨：首先它也是一个键盘，只不过是一个虚拟键盘，它在虚拟世界中和真实世界中的形状不一样。

首先从算法上来说，现在咱们用的是手柄，咱们的手是一个固定的动画，你需要按钮来做一些动作，展示里的手是完全自由的手，这个方面确实有挑战。但是你可以看Oculus最近几个月发布的视频，公开的视频的进度，你可以发现它是越来越好的，它的追踪会越来越稳定，甚至有些可以追踪到一个手和手之间遮挡，算法上面其实进步是很大的。

我觉得这种挑战可能会在几年之内被克服得很好，有很好的进度。但是我想说的是哪怕算法解决了，也许这种键盘还是不是会很快的取代现实的那种键盘操作，我觉得可能有几个原因：首先基本上现在世界上只要你用过电脑的人都会用键盘，这种交互你已经用了十几年、二十几年、三十几年，已经深入到你的肌肉记忆里面，如果真的有一款新的东西进来，不管它是虚拟的还是非虚拟的，都是需要一个很长的时间，或者有一个群体来促进这种概念。

举个例子，我曾经在纽约上学的时候，当时学校的项目是一个做交互和做3D的，各种稀奇古怪的一个专业，然后其中有一个同学做了一款非常有意思的展示——机械手套，可以打字，适用不同的手指的结合来激活，效率非常高，他给我们展示他的打字速度是比一般人用键盘打字要快。但是即使如此，他试图把他技术推广到学校里面，但真正想推广起来还是挺困难的。现在Pico的一款手柄设计，每个手柄所有的东西都是不一样的，包括现在大家设计内容也会根据不同的手柄来设计不同的按键方式。

Q：您觉得现在有没有比较好的一种方法来将它们统一，或者是说您觉得手柄的设计应该从哪些方面来考量？

刘晓雨：我可以说一下我的看法，首先我不是一个设计硬件的人，但是我用过很多的软件，我也做过很多的那种游戏和应用，还有设计一些交互。我个人认为最开始的 HTC Vive的那一套系统是不错，但是手柄本身太笨重了，它没有用传统意义上游戏的旋钮，而是一个触摸板，其实很多玩家是有一些抱怨，就是说它可能没有像之前的Play Station，PS一样。

比如说Oculus Touch的，它的好处是很符合手型，包括它有一些较近距的感应器，就是你的手放在不同的控制器上，在3D世界里你可以看到你的手张合，它不是一个纯按键，它的识别是比较有突破性的，对游戏体验是很有帮助的。和Vive的第一款控制器相比，我感觉他有一点像Oculus控制器，Pico的控制器其实算是我第二次用，感觉到重量其实挺轻的，但是我用时间不长，没法做什么评论。

我最近最喜欢的是光手追踪的，这是比较重要的一个突破。我感觉Vive和HTC可能是一个硬件生产厂，受到了Oculus Touch的启发，第二代它有容器杆，很多游戏的移动都是用游戏杆，这个是符合传统游戏玩家的感觉的，再就是比较贴合手型，确实是最新的一种发展趋势。

Q：现在其实您的观点会不会就觉得没有哪种代替哪种，或者是完全就只有一种了？

刘晓雨：我觉得现在的硬件还是没有一个完全统一的交互形式。比如说我的按钮，我的A在上面，B在下面；或者是我的按钮，多大多小，在左在右；还有你的手拿的是一个长柄，还是个圆球，这些都不一样的。我个人觉得最终手势或者是纯的手，甚至是其他身体部位的识别，会是一个最终的趋势。

如果你真的是可以随时随地在3D里探测到自己的手，交互也许不是按钮的形式了，而是可以拿一个触摸板，你可以用另一只手在上面划，这样的话不管是对游戏开发者还是对用户，其实都是一个非常符合直觉的一种方式，可以统一很多的因素。比如说有的游戏是为knuckles设计的，有的游戏是为Oculus Touch设计的，你把适用于这款控制器的游戏，放到其他的控制器上玩可能就很不舒服。我觉得最终的趋势可能会是手部识别，或者是你可能手上会有一些硬件，硬件是为了辅助你的手部识别，而不是一种按钮的不同摆布。其实我们最近也看了Oculus Quest上的手势，它已经能够做到很精准了，实际上面对一些比如说很复杂的操作，能够实现的还是相对比较少。

Q：在内容的开发上，尤其是针对最容易产生旋晕的移动方式，不管是平移、匀速平移、瞬移，还有摆臂来实现移动，有很多不同的移动方式。针对这个最基础的问题，你认为在移动交互设计上什么方式最适合VR？

刘晓雨：我一直在想这个问题，并没有一个精确的答案。因为我之前在做游戏的时候，本身是一个其实挺容易眩晕的人，比如说之前参与过一款 Steam上面的VR游戏，当时我们做完这个游戏，需要做不停的测试，包括也需要找一些玩家来做预测试，我自己晕自己的游戏，但是很多玩家却没事，这个可能是因人而异。

我们当时研究不同的方式，比如说有瞬移、黑起黑落的瞬移，或者是要用一些手势来跑步、摆臂，但是其实每个人有每个人不同的倾向，我个人倾向的是瞬移加黑起黑落。另外一点，就是性质在真实的移动，我觉得这可能比较困难，在船上、飞机上、车上，否则我觉得这种移动方式是不可能涵盖很大范围游戏的题材。除此以外，我目前没有想到别的，你要是问我最觉得什么是对的，我肯定觉得是让我最舒服的。

Q：瞬移就很出戏，它在游戏里面有点类似于作弊，不然很多时候要靠跑跟其他怪物来斗智斗勇，如果能够瞬移的话，相当于作弊了。

刘晓雨：这个也是看有没有游戏开发者能够把这种所谓的作弊和带引号的作弊和游戏连在一起，比如说有些人喜欢用瞬移，有些人喜欢用手势，但是你设计一款游戏，让做手势的人和瞬移能达到难度是一样的。举个例子，你可以瞬移的时候掉一点血，或者是你少一些其他的属性之类的，反正就是一个挺复杂的问题，需要平衡。

Q：国内近期上的一个VR游戏《半衰期：爱莉克斯》，不管是抓石头，开门拿着笔去画画，这些都跟真实交互是一样的，您觉得怎么来看待这种交互设计？与现有的硬件设备存在的矛盾点该怎么解决呢？

刘晓雨：有些VR医疗里面要做的很细，我想要捏取某个东西，但是现在的手柄其实只能够做到这种大范围的抓取动作，其实还是挺难平衡的。首先交互是对的，更开放了，更多手势，而不是一个按钮。为了游戏性的话，还是需要按扭来做一些很坚定的动作，基本上我觉得这个趋势是好的。手势和手的识别是一种趋势，有时候如果你的手拿一个东西，哪怕手势识别到了，可能你没有回馈，你就不知道你在摸这个东西。你就会需要一些物理上的回馈，有一种可能会用手套，手套本身当然什么方法都可以了，可以内外追或者外内追，它本身有马达，传感器也可以追踪。

Q：从刘老师个人关于技术美术方面的经历来看，我看您自己其实也做了挺多的VR游戏，从您TA的角度来看，您认为在一个VR作品里面，TA的作用和价值会有多大呢？他是不是非常必要的一个角色呢？

刘晓雨：TA是一个很典型的多功能角色，你需要知道一些3D，你需要知道一些程序技术，两方面基本都要碰，这是TA本身存在的一个价值。小团队也应该有技术美术这个职位，哪怕只有一个人。举个例子，比如说你有两个岛，你只有一个桥你也可以过去，但是你如果一条桥都没有，你过不去。

TA在团队里头是作为中间桥梁的作用。TA在VR团队中的一个主要工作内容，举个例子，TA是技术美术，首先其中一个职能是要做一些给艺术家使用的工具，或者是做一些让艺术家之间，或艺术家和工程师之间相互沟通的工具。就是工具的不同类型也分很多种，也会做一些跟渲染和优化相关的工作，比如说3D艺术家做一个模型，技术美术保证它的质量，并保证它在机器里能运转。TA是一个带引号的无所不能的一个职位，如果你不是一个多模型的，如果你不是一个做前期概念设计的，如果你不是一个做程序的，如果你不是一个科学家，那么你可能就是TA。

Q：TA涉及工具制作是指，完全需要自己根据需求来开发出来吗？

刘晓雨：首先这些引擎里面是带有这些工具，游戏引擎开发商做的工具往往是有必要的工具他们才会做，但是往往呢，TA要做的一些工具，你在做一个特别的游戏，或者一个特别的电影类的一个展示或者是一种体验，这种工具游戏开发商是不屑于开发，所以这些活要不然就是会落在一个团队里的叫图形工程师上面，要不然就是TA上面。因为TA是介于图形工程师和3D艺术家之间的一个职位。

Q：在做优化上面，有一些比较好的建议吗？

刘晓雨：关于从PC端植入到移动端的优化上面，3D里面是要用几何体的三角形来构成一个面数来构成模型，面数越少越好，当然材质用的越少越好。这两个是比较常用的，也是基本上所有游戏都会考虑到的一个因素。但是到VR里这个就会变得更加严苛，比如说你在VR里你就会有两个眼睛，有两个眼睛相当于屏幕里面你需要渲染两次。但在CPU方面、GPU方面可能会更快速一些，不需要艺术家来做一些工作，这方面的优化就显得格外重要。除此以外优化还有另一方面，比如说在一些材质上，要做不同材质的不同材料，有时候你看能不能用最少的材料模型来做出一个同样的效果，优化包括这几方面。

Q：有两种不同的声音，一方面大家在VR里面变得更真实，但是另一方面又想说因为太真实了，反而会产生恐怖谷效应，所以您对这个观点怎么看？

刘晓雨：因为我们其实看 Facebook的Horizon是一个更卡通的形象，它其实没有做得非常真实。我觉得卡通和真实都是有它的用途的，比如说像那种 Facebook社交的数字角色，卡通是可以接受的，大家知道那个是游戏里面的代表，就像你和我之间现在是一个卡通类的人，我们不会觉得有什么奇怪。因为我们知道我们是在VR世界里面，通过一个VR平台来交流。

但是现在有很多游戏制作组，他们做的东西就是非常像真人，它是要表达非常真实的一个故事，比如说战争，虚拟世界里才能表达出这个游戏的意思。我觉得做卡通和做真实这两个方面的应用都有，但是可能不会有很多人做中间，就是中间也不会做一个又不太像卡通，又不太很真实的一个领域。因为这样做就会像你说的，会出现那种恐怖谷的效应。不管虚拟还是现实，你做到一定程度越来越真，大家都会很有好感，因为他更像真人，更贴近自己，但当他到一定程度之后，你会发现他和真人很类似，但是他到不了极其逼真的角色，那么你就可能会有一种生化危机的感觉，这就是所谓的恐怖股的理论。举个例子，Facebook最近几个月有一些很真实的，你戴上头盔可以看见对方脸，完完全全真实恢复那种互相的交流，两个人可以看到他们的脑袋互相说话。

最后，记得关注微信公众号：镁客网（im2maker），更多干货在等你！