TikTok推出最新AR特效,iPhone 12 Pro的激光雷达终于有用了

jh 3年前 (2021-01-07)

最近TikTok上有一款AR特效十分火热。 打开特效后,会发现手机屏幕中央出现一颗正在倒计时的圆球。 当倒计时结束,这个球...

最近TikTok上有一款AR特效十分火热。

打开特效后,会发现手机屏幕中央出现一颗正在倒计时的圆球。

当倒计时结束,这个球便会爆炸,散开的纸屑精准地掉落在沙发和地面,并展开一个“2021”的字样,一切都仿佛现实中发生一般。

激光雷达只是用来辅助拍照?还可以用来AR特效!

基于激光雷达的AR特效

此前,TikTok就已经内置了多款AR特效,这些特效大多基于相机(视觉传感器)、IMU(惯性测量单元)和GPS传感器生成。在大多数场景下,这些传感器能提供不错的定位精度,但用户的沉浸感和场景交互依然欠缺。

激光雷达只是用来辅助拍照?还可以用来AR特效!

从图中来看,当虚拟物体呈现在现实中的物体上时,并不能识别出物体的层次,导致缺乏真实的3D感,所以仅凭这些传感器是远远不够的。

解决问题的方法,就是增加新的传感器。

例如iPhone 12 Pro上的LiDAR激光雷达,通过测距解决部分距离上的交互问题,让AR场景更富有层次感。这也是为何开篇中纸片掉落如此真实的原因。

在TikTok之前,知名“阅后即焚”App——Snapchat就宣布成为第一款使用iPhone 12 Pro激光雷达技术的iOS应用。该公司程序员使用最新的LiDAR Scanner,在Snapchat中创建一个AR镜头,例如构建一片虚拟植被,在周围的房间里“种植”花草,让墙壁“长出”鲜花、让“苔藓”爬上橱柜上……

激光雷达只是用来辅助拍照?还可以用来AR特效!

得益于激光雷达的辅助,这些花草不再是简单地浮现在最上层,而是可以通过测距改变位置,更显立体效果。

从前沿走向大众

作为一项前沿技术,激光雷达最早被普遍运用在自动驾驶领域,简单来说,就是发射激光—测量返回时间—计算距离,从而让自动驾驶汽车感受到带景深的环境信息。

在激光雷达的眼里:它看不到车、看不到路,但可以“摸”到好多点,通过连续扫描,从而得到一幅连续完整的三维世界。

就是这么一项技术,被苹果带到了智能手机、Pad领域。

去年3月18日,苹果更新了双摄版iPad Pro 2020,后置摄像模组中新增了LiDAR模块。在官网的介绍里,苹果展示了三个典型场景:量身高、AR游戏和宜家的AR家庭装修。

平心而论,对普通用户来说,LiDAR带来的体验提升几乎感受不到,最能直观感受到的就只有对焦速度的改善。

但在专业玩家手上,搭载了LiDAR的iPad Pro 2020充满了创造力,上述三个场景仅是一小部分。

总结下来,LiDAR主要可以用于三个部分:

1、提高AR应用表现:凭借激光雷达快速测距特性,让设备快速进入AR应用环境,减少等待时间;同时由于激光雷达更精准的测距表现,可以让AR应用虚实结合更逼真,提供更良好的遮挡表现,这方面AR特效就是最好的例子;

2、优化拍照和视频效果:基于高精度测距,实现快速对焦,且成果逼近单反相机的大光圈虚化效果;

3、实现3D扫描功能:同样基于高精度测距,可以完成细节更良好的3D扫描效果。

前两项是与普通消费者最息息相关的方面,而最后一项则让普通用户也能体验到工业级3D才拥有的功能。

3D打印为例,以往3D扫描需要专业的系统相机阵列,即便是手持式的扫描仪也价格不菲。而当使用了LiDAR的产品后,3D扫描就成为很简单的一件事情。

布局未来AR生态

在苹果的产品线中,头戴式AR眼镜是未来的重要产品线。但以目前的消费级AR硬件市场来看,除了Facebook与Google会给苹果带来压力以外,AR眼镜还是一个“归于理想化”的产品,相比之下,用途更广、用户更广的智能手机正是最好的AR设备。

苹果AR部门主管Mike Rockwell曾表示:因为终端数量有限,打造原生VR/AR应用并非易事,与之对比的是,支持AR的苹果iOS设备已经达到了数亿台的规模,这是一个庞大的市场。

目前要做的,就是让现有的移动AR更加强大。

在iPhone 12系列发布当天,Snapchat就宣布成为第一款使用iPhone 12 Pro激光雷达技术的iOS应用。此后更多的应用开始支持AR模式,这些内置LiDAR的设备,让用户从原本的体验AR,转到创作AR层面。

综合而言,苹果现阶段的做法是:鼓励开发者将自己的应用加入AR功能,从而搭建一个丰富的AR生态。

据知名供应链网站Digitimes放出的消息称,苹果已与索尼签订一份为期三年的合约,确保在2023年前,提供可用于LiDAR感应器的技术,以及具备高效率侦测近红外线波段区域的光线穿透材料(Near-infrared,NIR)。

而iPhone 13全系列都将标配激光雷达扫描仪,这意味着原本属于高端机型才有的LiDAR,将下放到入门级的手机,让每位购买iPhone 13的用户都能体验到丰富的AR内容。

正如我们所看到的,苹果在这个领域的布局是深远的,或许在2022-2023年,消费级AR眼镜的浪潮就由苹果引发。

最后,记得关注微信公众号:镁客网(im2maker),更多干货在等你!

镁客网


科技 | 人文 | 行业

微信ID:im2maker
长按识别二维码关注

硬科技产业媒体

关注技术驱动创新

分享到