激光雷达效果测量！苹果AR生态和AR眼镜有什么意义？
【文字/VR陀螺仪钻风】苹果的AR眼镜已经很久没有固定了，但苹果的AR生态正在从另一个角度悄然融入大众的视野。继今年3月搭载LiDAR的iPad Pro发布后，苹果宣布其新款iPhone12 Pro/Pro Max搭载LiDAR。
虽然ar眼镜一直被认为是未来AR的终极形态，苹果的Apple Glass也很受欢迎，但苹果的AR生态是从现有的移动硬件生态开始，从软件和软件开发工具ARkit开始。
从移动端开始，苹果的AR生态并不是在等AR眼镜的到来
2017年6月，苹果在WWDC推出了ARkit，这是一个移动增强现实开发工具的集合。同年8月，谷歌推出ARCore作为基准ARkit。
这两个版本的意义在于帮助AR应用开发者大大降低AR应用的开发难度，让AR应用的创建变得更加容易，让开发者可以专注于应用本身的功能和游戏性，而且免费，没有硬件要求。所以当时出现了AR开发热潮。
ARCore是在ARkit的脚步中引入的，所以被认为是ARkit的模仿者。其实谷歌早在2014年就推出了AR软件系统Tango，比苹果早了三年。据说ARcore是基于Tango的整合升级，所以有网友开玩笑说谷歌早起赶上晚一集。
但是，谷歌和苹果作为先行者，想法不同。他们要的是AR软硬件的并行性。
所以谷歌早期也尝试过将Tango系统集成到手机硬件中，率先推出了首款搭载Tango技术的AR智能手机PHAB2 Pro。
结果谷歌的AR智能手机没能赢得市场的青睐，最终消失了。软硬件并行的策略消亡了，但ARkit成为了最大的AR平台。
苹果的生态和安卓的生态正好相反。全封闭的生态让苹果在硬件和软件上拥有完全的自主权，让很多无法解决的底层问题变得不那么复杂。在开发初期培育C端AR市场，对包括苹果在内的任何厂商来说都是不可逾越的障碍。所以苹果还是不顾硬件实力强大，先选择了算法，兼顾现有苹果硬件生态推出ARkit。
ARkit推出后，谷歌也选择了发布ARCore，这在一定程度上可以理解为对苹果战略的认可。
与Tango相比，ARCore无疑更接近ARkit，二者都是通过软件实现的。Tango主要通过专门的硬件模块实现，需要专门的视觉计算芯片、摄像头、深度相机和传感器。
相比需要大量硬件加持的Tango，显然没有硬件要求的ARkit门槛要低很多。
目前ARkit是最大的AR平台。据说Apple Store有一万多个AR应用。人数那么多，但是为什么除了当年流行的《Pokeman Go》，很多人对ar应用还是比较陌生的？
苹果手机AR生态布局还处于初期阶段。从内容层面来说，ARkit做的AR应用才能达到的AR效果主要是基于算法，而不是硬件层面做的真实检测，所以能达到的效果总是有限的。
苹果的移动终端要想提供更好的AR体验，需要更好的传感器作为“一路看，一路听”的硬支撑。
ARkit LiDAR，苹果移动终端的AR生态开始进入下一阶段
早在2017年苹果发布ARkit的时候，AWE联合创始人、Flyby(作为ARkit的基础研发被苹果收购)联合创始人Ori就表示希望iPhone X能自带可以广泛推广AR的关键硬件：后置深度相机，而不是ARkit。
他希望深度相机能够让数千万个相机感知周围环境的形状，让用户能够创建丰富、准确的三维地图，并在AR Cloud上与其他用户共享。
iPhone 12 Pro上的雷达扫描仪LiDAR，符合Ori所期望的后置深度相机，即一种可以主动交互、主动探测感知环境的硬件。
但是苹果为什么今年要推出LiDAR呢？
其实苹果在移动端的努力是沉淀了好几年的。除了A系列芯片升级到A14之外，苹果iPhone X也开始使用Face ID，首次使用OLED全屏，其屏幕设计尽可能接近“无边无界”。
2018年，iPhone11开始使用超宽带(UWB)技术。超宽带技术被称为未来磁流变仪的关键，可以大带宽快速传输数据，实现短距离精确定位。新宝马将采用UWB3.0技术的消息让UWB为很多人所熟知。
今年10月，苹果推出LiDar，宣布支持5G，这对AR意义重大。
AR设备需要集成高性能计算设备，所以即使苹果手机已经有了高性能低功耗的A13仿生芯片，适合AR/VR设备，但计算能力的问题依然是iPhone最好的AR效果的绊脚石。手机搭载A14芯片并支持5G后，可以通过高带宽、低延迟的网络将操作放到云端，实现轻量化。
一方面有5G加速商业化的背景，另一方面，已经为算法做好准备的ARKit，似乎自然会为LiDAR带来合适的时机。
在LiDAR的加持下，苹果手机不仅提高了拍摄效果，还结合了Pro-level摄像头、运动传感器和iOS架构，无论是视觉呈现还是与现实世界的交互，其AR应用的表达效果都会有很大的提升。苹果的移动AR体验也将进入下一阶段。
但是，将LiDAR集成到手机中并不容易。
为什么厂商中只有苹果选择了LiDAR传感器？苹果如何将LiDAR集成到成像系统中？
对于普通消费者来说，似乎LiDAR更像是一种增强相机功能的辅助黑技术，但实际上它是为AR而生的。激光雷达作为探测器已经存在多年了。它类似于广泛用于手机摄像头的ToF和传统雷达。它基于雷达反射原理在三维空间进行传感和测量。
三种光束的区别在于发出的光束不同。激光雷达发射红外激光，ToF发射红外线，传统雷达发射电磁波。三种光束中，激光雷达的波长最短，在短距离范围内可以达到最高的测量精度(苹果将激光雷达的短距离范围定义为5米)。
因此，激光雷达在雨雪天气或相机夜间无法工作时非常实用。这项技术已经广泛应用于自动驾驶和夜间城市拍摄系统，这也是LiDAR给苹果的相机效果带来的好处之一。
但如果只是想提高拍摄效果，LiDAR不一定是苹果的最佳选择。
iPhone 12 Pro问世后，很多网友将其与华为P40 Pro相比较。华为P40 Pro配备广角、超广角、3倍长焦、10倍长焦、ToF五个后置传感器，拍摄效果毫不逊色。
由此也可以看出，苹果选择给iPhone配备LiDAR，并不仅仅是相机的要求。
而且LiDAR设备比较贵，体积也没有现在苹果搭载的小，可以直接集成到成像系统中。如果苹果想在iPhone上搭载，就需要把价格和尺寸缩小到非常小的尺寸。
所以，当ToF基本可以满足智能手机的探测精度、距离等方面的要求时，即使LiDAR会带来更好的体验，除了苹果以外的手机厂商还是采用ToF传感器。
事实上，苹果在激光雷达的应用和掌握上比其他制造商有优势，因为它一直在开发的自动驾驶汽车中使用的主要传感器是激光雷达。
即便如此，苹果也要解决激光雷达成本高、小型化困难的问题。
早期的激光雷达非常大，不用于民用，其应用领域大多是航空航天和遥感等大型设备和装置。随着固态光源的发展，固态光源的尺寸逐渐缩小，有机会应用于直升机等设备。借助激光雷达的高分辨率检测，飞行员可以直接在显示屏上看到场景和物体的形状。
为了在iPhone上搭载激光雷达，苹果采用了VCSEL激光SPAD探测器的技术组合。在利用半导体制造技术制造激光器时，选择Lumentum制造的一系列垂直腔面发射体(VCSELs)代替边缘发射激光器发射光束，并采用一套单光子雪崩二极管(SPAD)传感器检测返回光束。
VCSEL和SPAD都可以用常规半导体技术制造，都可以封装在一个芯片上。VCSEL和SPAD的结合大大简化了传统激光雷达的设计。
而且随着工业经济的扩张，半导体的价格越来越便宜，基于VCSEL的传感器越来越普遍，价格也在逐渐下降。这也是苹果能在iPhone上搭载LiDAR的重要原因。
另外，相比专业激光雷达公司制造的高端传感器，苹果搭载的LiDAR性能更为深远，因此技术难度大大降低。
正是这些条件的满足，让苹果成功地在移动终端上搭载了LiDAR。
激光雷达效果的实际测量
AR眼镜被认为是AR的终极载体，任何关于Apple Glass，一款苹果AR眼镜的新闻，都很容易引起大家的兴趣。
只有苹果才能做出一款没有被证明如此吸引人的产品。
如果说苹果的AR眼镜是苹果AR生态的终极趋势，那么苹果现有的移动AR生态肯定会有很强的AR眼镜基础。陀螺君大胆猜测，如果苹果的AR生态实施顺利，其未来的AR眼镜将有很多来自苹果移动终端的改编。
在一篇曝光的专利《微光操作的头戴式显示器》中，苹果表示，搭载LiDAR的头戴式设备可以在黑暗环境中充当佩戴者的第三只眼睛，因此一般推测苹果的AR眼镜可能搭载了LiDAR。
我们不妨借用苹果的一些典型AR应用，一窥苹果AR眼镜未来可能的功能。
1.3D扫描建模应用-《3d Scanner App》
《3d Scanner App》被称为苹果未来AR布局的重要软件，适用于iPad Pro 2020、iPhone12 Pro、iPhone12 Pro Max。在激光雷达的帮助下，该应用程序可以快速创建小对象和大场景的3D模型。
3D建模本来是专业水平的操作，但是随着AR应用的逐渐简化，开始向建模爱好者甚至普通用户过渡，比如《3d Scanner App》正在推出。
应用程序操作简单，打开应用程序，点击扫描按钮，可以快速对场景建模。在初始扫描后，没有真实颜色的模型可以添加“彩色化”功能，以将模型恢复到扫描的场景。
虽然模型渲染效果分辨率不够高，但是就是油画质感。但是相对于昂贵的3D扫描机，只使用移动设备就可以快速建模和还原场景原型，效果非常好。
陀螺仪用《3d Scanner App》分别测量人和物体，操作真的很方便，扫描过程流畅，中间不卡。但扫描后，如果扫描对象的复杂度稍高，特别是选择高精度测量时，等待时间容易让人怀疑自己的生命。
仔细扫描和粗略扫描，结果大相径庭。被扫描物体的复杂程度也会对扫描结果产生直接影响，粗扫描得到的模型图像质量是感人的。
扫描具有高均匀性、低复杂性和不透明外观的对象，例如墙壁、地板.或垃圾桶，仍然是油画质量，但测量精度和恢复程度是好的。可以看出下图垃圾桶的尺寸精度和色彩还原度都很高。
对比鲜明，陀螺君扫描盆景和座机，座机细节基本扫描不出来，模型完全是火后画风。
而盆景在物理细节上更为丰富，重叠的叶子基本处于处处透光的状态。在陀螺仪没有经过非常仔细扫描的前提下，扫描的结果与枕头和垃圾桶的结果有很大的不同。
《3d Scanner App》扫描人的效果比想象的要好。虽然扫描的不够精细，人物模型看起来也怪怪的没有灵魂，但是发色过渡、服装质感、材质等细节都很高。从大小比例来看，也可以和真人一致。
通过视频我们还可以看到，当真人和3D模型放置在同一个空间时，两者之间存在明显的遮挡关系。人走在模型前面，模型明显被遮挡，虽然会有穿透。这种互动归功于对激光雷达带来的深度信息的理解。
陀螺君也尝试过扫描光泽度好的金属小物件，金属质感反射严重。扫描的模型可以看做金属，但细节严重缺失。
总体来说，《3d Scanner App》在LiDAR的加持下实现了更高速度和精度的扫描建模，虽然建模效果在分辨率和细节上与专业建模有一定差距。
但未来精度提高后，如果能达到理想状态，佩戴AR眼镜的用户就有可能对任何现实场景进行建模，创造出自己的小孪生世界。如果结合成熟的3D打印，未来有可能在一定程度上实现“万物克隆”。
《3d Scanner App》比照片和视频还原程度更高，是一种全新的录制方式。此外，《3d Scanner App》与三维建模网站SketchFab建立了直接联系，并处理了文件格式、共享和查看方法等细节。
所以对于用户来说，从扫描建模到编辑渲染再到共享，线是完整的，未来有可能成为建模爱好者或者普通用户的社区中心。
陀螺君认为，未来可能会出现Facebook、Twitter、朋友圈等具有分享功能的3D建模爆炸式应用。用户可以用AR眼镜扫描上传建模，遇到任何想要建模的对象都可以和朋友分享。
2.AR游戏《Angry Birds AR: Isle of Pigs》
增强现实游戏是增强现实应用的重要方向之一。《Angry Birds AR: Isle of Pigs》是2019年在原愤怒的小鸟IP基础上开发的AR版本，由ARKit开发，添加了增强现实元素。
AR版让摄像头在游戏开始前扫描真实环境，实现环境与游戏的融合。
玩家在真实环境的选定范围内搭建3D游戏建筑，弹射时通过移动身体在现实世界中的位置找到最佳射击角度。人体在运动的时候，菜单也会随着玩家一起运动，保证方向对着玩家。
试用陀螺君后发现，与没有LiDAR的版本相比，新版本的《Angry Birds AR: Isle of Pigs》游戏场景对有深度信息的真实场景的反应有所不同。
从光影效果来看，我们在视频中可以看到，与上一版的不成形模糊阴影相比，搭载LiDAR的版本的游戏画面中，建筑物、弹弓、植物的阴影轮廓和边界都很清晰。从手机上看，漂浮在空中的气球几乎与真实背景完全融为一体，但不是虚拟物体，所以非常真实。
放大图片，画质还是很清晰的，建筑物、动植物的细节都呈现的很好。虚拟建筑与地面之间的稳定性非常高，非常真实，表面几乎没有漂浮物，稳定性好，即使陀螺晃动手机，也没有可见漂移或其他不稳定情况。
从这些变化可以看出，ARkit与LiDAR结合后，AR游戏的交互逼真度进一步提高，这得益于LiDAR的深度空间扫描和感知能力。
随着苹果手机性能的不断迭代，它将拥有比A14芯片更强大的AI计算能力。未来的AR游戏可能会识别真实物体，比如桌面上的杯子或手机，从而触发一些虚拟物体和真实物体的交互。
强交互往往意味着设备中要集成大量的传感器。以目前的VR头部显示为例，要想实现6DOF交互，必须集成一个深度相机。想要轻薄，只能使用超短焦方案，设备只能看电影。
所有制造商都在性能、易用性和着陆能力之间寻求平衡。对于苹果来说，领先的A系列芯片可以在AI算法层面上为手机提供大量的AR功能，体现在ARKit上，不占用硬件体积，甚至对消费者没有成本。
后来，激光雷达的使用似乎进一步提高了ARKit的性能。——苹果的想法是给硬件配备轻量级的软件和算法，让苹果设备在严格的成本控制和设备迭代跨度下，逐步被赋予更强的AR性能。
毫无疑问，未来苹果的AR生态系统将永远走算法服务硬件的道路，这也将有助于苹果打造出比同行业更轻薄的AR硬件产品。所以苹果有可能生产出与眼镜形状极其接近，与目前行业中臃肿的AR眼镜形状不同的产品。
结论
目前不仅ARkit，苹果也推出了RealityKit、Reality Composer、Xcode、AR Quick Look等工具。从而使其移动终端上AR生态布局的完善程度在软件和算法层面不断提高。
对于苹果来说，现在最缺的就是好的软件内容来吸引用户去适应AR的存在，苹果的LiDAR的意义就在这里。
罗认为，苹果AR生态未来能够实现的理想状态，就是将手机用户迁移到AR眼镜。AR眼镜推出后，会有取代和超越手机的基本功能，手机的移动终端也培养了成熟的AR软件开发者，融入用户生活的杀手级应用，以及对AR接受度高的用户。
凭借苹果移动终端庞大的用户基础，积累的软件基础，以及与Android完全不同的高度统一的封闭生态，如果苹果能够成功，苹果AR眼镜的推出必将带来新的浪潮。