什么是3D 相机? 3D相机的特点是除了获得平面图像外,还可以获得拍摄物体的深度信息,即三维位置和尺寸信息。它通常由多个摄像头+深度传感器组成。 3D摄像头实现实时三维信息采集,为消费电子终端增加物体感知功能,从而引入人机交互、人脸识别、三维建模、AR、安防、辅助等多个“痛点应用场景”驾驶等多个领域。此时此刻,我们认为2D相机到3D相机的转变将成为继黑白到彩色、低分辨率到高分辨率、静态图像到动态图像之后的第四次革命,有望引爆消费电子供应再次连锁!总之,触摸屏实现了交互方式从一维到平面的转变,而3D摄像头则将交互方式从平面转变为三维。

tof镜头3d建模(tof3d摄像头有什么用)

3D视觉成像的三个方向

过去,智能手机只需要性能强、网速快、照片清晰、电池续航时间长。然而,今天的人们已经不再满足于“屏内景”。除了拍摄更多三维照片、更安全的人脸识别/支付、3D试妆、AR装饰、AR游戏、体感游戏、全息影像交互等需要“3D视觉成像”技术支持的应用环境(图1)是智能手机未来的发展趋势。

tof镜头3d建模(tof3d摄像头有什么用)

基于原理和硬件实现方式的不同,智能手机领域最可靠的3D视觉成像技术逐渐演化为三个方向,即双目立体成像、3D结构光和TOF技术。接下来我们依次看看这三种技术的区别。

双目立体成像:未解之光

当我们去电影院通过立体眼镜观看3D电影时,它是双眼成像技术的一种形式:由于两只眼睛之间的视觉间隙,呈现出三维画面。在手机领域,配备两个摄像头阵列,满足了双目成像技术最基本的要求。

双摄手机能做什么?

如今千元以上的新品几乎都配备了双摄模组(图2)。两颗镜头的组合也让智能手机在一定程度上具备了检测物体距离的能力,并且可以拍摄硬件级别的背景虚像。具有化学效应的照片。

tof镜头3d建模(tof3d摄像头有什么用)

此外,以华为/荣耀手机为代表的品牌还在相机APP中提供了“3D动态全景”模式(图3)。点击开启后,只需按住快门按钮将相机对准拍摄对象,然后围绕拍摄对象向固定方向移动,然后松开手即可完成拍摄。

tof镜头3d建模(tof3d摄像头有什么用)

在预览相册时,我们只需要点击照片中对应的3D图标,就能将这张静态图片变成动态视频。我们可以通过陀螺仪旋转手机或者拖动、移动手指来欣赏被拍摄物体的不同角度。总之,在拍摄带有深度信息和3D动态的立体照片,以及时下流行的AR合影、AR萌拍照片时(图4),双摄手机总是会比单摄手机表现得更好,而这就是类似于双目成像技术背后的功劳。

tof镜头3d建模(tof3d摄像头有什么用)

[!--empirenews.page--]

光带来的麻烦

智能手机配备的标准摄像头能否拍摄出清晰的图像完全取决于环境光。光线太亮或太暗都会造成识别困难。以时下流行的“人脸识别”功能为例(图5)。无论手机的前置摄像头是一个还是两个,本质上仍然是2D成像。不仅存在被面部照片或面部视频“欺骗”的风险,而且在黑暗环境下也会完全失效。

tof镜头3d建模(tof3d摄像头有什么用)

为此,很多手机也会配备专用的前置红外补光单元,以解决黑暗环境下的面部识别问题。例如,小米8在屏幕的刘海部分添加了隐藏式红外照明元件和红外摄像头(图6)。需要注意的是,红外光补光单元的加入仍然不能解决该类手机是2D成像面部识别的事实,与iPhone X的Face ID可用于安全支付不同。

tof镜头3d建模(tof3d摄像头有什么用)

也就是说,目前智能手机通过双摄像头模拟双目成像技术的方案充其量只能算是2.5D。无论是精度还是感光度要求,都不足以帮助手机进入真3D视觉成像时代。

3D结构光:距离是致命弱点

iPhone

结构光技术浅析

简单来说,iPhone X在收集面部信息时,前置摄像头基本上只是一个装饰品,而是依赖于由红外镜头、泛光感应元件和点阵投影仪组成的“结构光模具”(图7) 。

tof镜头3d建模(tof3d摄像头有什么用)

其中,点阵投影仪会发出3万多个肉眼不可见的光点,投射到你的脸上,绘制出立体面具的立体模型(图8)。红外镜头将读取这些点阵图案。信息被发送到A11处理器的安全隔离区域进行匹配和比对,同时泛光传感器确保人脸识别不受环境光的影响。

tof镜头3d建模(tof3d摄像头有什么用)

与前面提到的越来越流行的基于前置摄像头和软件算法的2D面部识别解决方案相比,iPhone X通过结构光带来的Face ID具有金融级别的安全性,因此苹果敢于让Face除了解锁手机后,该ID还可用于购买应用程序和Apple Pay支付。

如今,结构光技术已不再是iPhone X的专利,小米8透明探索版、OPPO Find X等手机都相继引入了类似技术,从而实现了与iPhone X媲美的Face ID能力。小米8透明探索版的灯模组暂时只能用于解锁(屏下指纹识别支付),而OPPO Find X已经支持支付宝的面部识别支付功能。

从技术角度来看,iPhone X、小米8透明探索版和OPPO Find的结构光模块(例如iPhone的关键部件发射33000个识别点)、红外摄像头和泛光照明元件(图9);

tof镜头3d建模(tof3d摄像头有什么用)

Find X被称为点阵投影仪(散斑结构光,可发射15000个识别点)、IR补光灯和IR摄像头(图10)。虽然细节上存在差异,但几款手机的面部解锁体验基本相同。

tof镜头3d建模(tof3d摄像头有什么用)

结构光技术的缺点

结构光技术帮助手机进入3D视觉成像时代,但其实际应用范围还比较有限。例如,只能放置在手机正面靠近前置摄像头的位置。目前比较成熟的解决方案有人脸解锁、人脸支付、3D美颜以及类似Animojis的3D表情制作(图11)。

tof镜头3d建模(tof3d摄像头有什么用)

未来结构光的优化方向是实现3D静态建模,扫描用户的3D头像信息,用于游戏、3D视频通话或3D打印(图12)。

tof镜头3d建模(tof3d摄像头有什么用)

另外,结构光的特点是不需要获取被摄物体的表面纹理,而是将光簇投射到物体表面,然后收集位置、三维深度等信息通过光观察物体。但正是因为结构光投射出的是簇状的光,如果距离太远,光线就会发散,失去识别能力。这也导致结构光只能用于短距离识别。

无论是iPhone X、小米8透明探索版还是Find当然,现实中,我们的手机解锁时,距离我们只有一臂的距离,这并不影响结构光的识别,但事实并非如此。如果用于更远距离的AR/VR 交互就足够了。

TOF技术:未来趋势

TOF(飞行时间)也是一种用于3D视觉成像的技术。与结构光一样,它利用光来识别物体,但两者在底层技术和识别效果上有所不同。存在巨大差异。

TOF技术原理及优点

TOF技术的原理是通过专用传感器不断向目标发送光脉冲,然后利用传感器接收物体返回的光。最后通过检测光脉冲的飞行(往返)时间得到目标距离。与结构光点阵传感器相比,TOF技术在距离和精度上都有很大的提升:

1. 结构光技术发出的是簇状光,而TOF技术发出的是整个表面的光(图13)。可以看到,有效深度信息点从3万个增加到30万个甚至更多。

tof镜头3d建模(tof3d摄像头有什么用)

当用户进行解锁、支付等与安全相关的操作时,TOF技术可以带来更加精细的深度成像,最大限度地保证人脸识别的安全性,实现金融级的安全防护(图14)。

tof镜头3d建模(tof3d摄像头有什么用)

2、结构光技术的最佳工作距离为0.2米至1.2米,而TOF技术的最佳工作距离为0.4米至5米(理论上可达10米)。更长的有效距离可以进一步扩大3D视野。成像应用的范围和潜力;

3、TOF技术的传感器比结构光模组更少、更小,成本也相对更低。它还可以简化手机主板的布局。即使是只有屏幕宽度1/3的“刘海”也足以容纳相关的硬件单元;

4、TOF技术可以与手机前置摄像头结合放置在手机额头,也可以与手机后置镜头搭配,实现背面三摄像头的豪华布局。

[!--empirenews.page--]

前置TOF设计方案

vivo在2018世界移动大会(上海)上发布了前置TOF解决方案(图15),并将其命名为“vivo TOF 3D超传感技术”。

tof镜头3d建模(tof3d摄像头有什么用)

由于TOF与结构光的功能重叠,因此前置TOF设计也可以带来与结构光类似的功能,例如金融级人脸解锁、面部支付、3D美颜、3D表情、3D头像建模等。 TOF有效距离越长,在应用范围和实际体验上表现会更好(图16)。

tof镜头3d建模(tof3d摄像头有什么用)

例如,用手机对一切进行建模(比如自己的头像),然后将模型与其他虚拟游戏结合起来,让玩家成为“新世界”的主角,兼顾沉浸式视觉体验的乐趣以及体感操作。此外,在购物时,TOF可以带来更加真实、准确的3D试穿效果,让您可以放心下单,无需去商店试衣。

后置TOF设计方案

OPPO新发布的R17 Pro就是后置TOF解决方案的代表。它在后置双摄上方安装了第三颗镜头(图17、图18),也就是所谓的TOF模块,从而将后置摄像头从2D变为2D。时代正在迈向3D时代。

tof镜头3d建模(tof3d摄像头有什么用)

tof镜头3d建模(tof3d摄像头有什么用)

与前置TOF方案相比,后置TOF自然不再适用于人脸解锁、面部支付等功能,而是用在后置镜头上,用于3D美颜、AR装饰、AR游戏、体感游戏、全息图像交互等。其他功能不过,相比前置TOF方案,它能够带来更好的体验。

其中,AR无疑是后置TOF解决方案的主战场,因为现在大多数AR应用都是通过后置摄像头捕捉现实世界图像并进行算法识别,然后填充内容。借助TOF技术支持的后置摄像头,可以将更完美的3D建模填充到屏幕中(图19),使AR效果更加真实。

tof镜头3d建模(tof3d摄像头有什么用)

理性看待TDF技术前景

对于智能手机来说,TOF是比结构光更有前景的3D视觉成像技术。它可以将手机屏幕从简单的2D画面转变为更具空间感的3D画面。屏幕上的信息和内容都将变得生动。然后增加。通过将TOF模块与前置或后置镜头相结合,TOF还可以更有针对性地满足特定应用场景的安全和体验需求。

tof镜头3d建模(tof3d摄像头有什么用)

遗憾的是,TOF技术刚刚进入商业量产初期,应用环境尚未成熟。因此,它的玩法还不够丰富,相关手机的价格也不太划算。短期内仍属于概念技术。 TOF技术要真正爆发,还需要等待5G网络的普及。届时,TOF将搭载更加极致的网速和带宽,将迎来3D视频通话、远程VR、远程AR、远程JR等泛现实杀手级体验。 (图20)。

让我们一起期待吧。