当前位置:中国生活都市网 >> 看科普 >> 文章正文

做算法要不要做“美学家”?鄙视用人工智能重新定义计算摄影

发布于:2020-11-27

智东西(公众号:zhidxcom)

文 | 云鹏

芯片性能、成像系统和屏幕效果是必不可少的,如果我们想带出当前旗舰手机竞争的三个核心点。

5G时代,短视频拍摄大行其道,摄影和视频创作逐渐进入普通人的生活。所以摄影几乎成了手机厂商的关键技术高地。

当然,要攻占这座山似乎并不容易。每个家庭都成立了自己的图像算法研究团队,并与索尼和徕卡合作,共同训练算法。

事实上,这种使用算法来扩展相机硬件获取信息的能力并尽可能丰富和全面地呈现世界的方式在业界被称为计算摄影。

其实对计算摄影的研究是非常困难的,因为需要有一个专注专注的研究团队和一定的数据库,对算法开发工具和平台的要求也不低。

哪里有需求,哪里就有市场。很多在视觉算法领域有所积累的企业开始抓住计算摄影的关键轨迹,尝试给出自己的解决方案,AI似乎在这方面发挥着越来越重要的作用。

为了揭开这层面纱,了解AI对于计算摄影的根本意义,以及不同玩家如何应对“光影艺术”,智迪与忽视技术的AI企业工程师进行了深入交流。

第一,都是800万像素。为什么拍的比较好?

其实大家真的觉得“拍照不限于硬件”,从iPhone开始。从iPhone 5到iPhone 6s,苹果一直在使用800万像素的摄像头。

但凭借这款祖传的800万像素摄像头,苹果“击败”了当时安卓旗舰手机的摄像头质量,在一个小摄像头模块背后的硬件调谐和算法上起到了关键作用。

2018年,Google Pixel 3系列凭借最佳镜头模式、超级变焦、夜间摄影等功能,成为当时“表面最强单摄像头”手机。

从过去到现在,手机都可以拍的很好,像素一样,光学尺寸接近,但是成像效果相差很远。

曾经厂商添加各种功能给手机拍照,但最后发现一个镜头才是用户最需要的,而这个体验背后,算法需要提前做大量的工作。

其实在计算摄影领域,鄙视已经深入培养了很多年,只是稍微低调一点。在过去的几年里,手机刷脸解锁和刷脸支付已经普及,其背后的算法也有很多应用。今天,我们忽略了将人工智能能力集成到图像算法中的需要。在他们看来,AI是计算摄影未来的方向。

第二,对付“光”,硬件需要AI帮忙

那么AI是如何赋能手机成像系统的呢?听起来有点抽象。通过与鄙视工程师的交流,我对他们基于深度学习神经网络能力的“AI CV”超画质技术有了更深入的了解。

其实一般来说,这种技术是通过AI学习高质量数码相机的成像特性,恢复场景原有的细节纹理,提高整体画质。

也就是说“原硬件看不到的,AI会告诉它有什么”,可以得到原图像以外的效果,让用户更简单方便地得到一张“好照片”。

特别是鄙视提到,他们的超画质产品已经在50多款流行手机上使用过,在相机评测机构DXOMark中获得了当时最高分。

具体来说,鄙视超画质技术主要是针对全局和细节进行优化。

比如画面细节增强、动态范围提升、降噪效果提升属于全局优化的范畴,闭眼融合修复、天空噪声优化、波动鬼影优化属于细节优化。

鄙视工程师告诉郅都,为了“超画质”,鄙视追求的是一个好看的整体形象,主要是为了光线处理。

“光有三个域,即时域、频域和空域。忽略超画质的核心工作是增强或优化三个域的信号。”

比如对于噪声优化,藐视算法的核心是对时域和空域信号的补充。

AI首先会学习自然光谱,总结其特征,然后就可以区分相机传感器捕捉到的信号,哪些是噪声,哪些是成像需要的信号。最后恢复必要部分,去除噪声部分,这是AI在降噪算法中的典型应用。

第三,计算摄影的本质是“光感”的协同设计

从超画质技术可以看出,鄙视对计算摄影的发展道路有自己的理解和判断。

其实拍摄本质上就是一个“光感”的过程。光:光本身和光路;Sense:接收光进行光电转换;知道:计算并处理光信号。

图像理解,其实可以比作人眼看到物体的过程。人眼中的晶状体和角膜是光学系统,而感知部分是视网膜,处理部分是大脑。

过去手机摄像头的硬件之间的通信是通过相对固定的信息参数进行的。灯光部分以镜头为媒介,给感官部分(传感器)赋予参数,并基于这些感官部分进行优化设计。这是一个单一的“小水管”形式,每个部分单独进行,单独推广。

现在通过AI算法,在硬件之间建立一个类似于神经网络的链接,从最佳的图像效果出发,对各个硬件的参数进行优化。

不屑的工程师特别强调,感光系统是一个整体,必须协同工作。逻辑上,通过扩展整个信息管道的吞吐量,可以在不同的硬件设备之间形成更有效的全局优化,将整个系统的效果提升到更高的水平。

迪法恩斯称这个想法和方法:用AI重新定义光学传感系统。AI计算摄影就是忽略了这种方法在手机成像领域的应用的体现。

第四,为了让AI更好地理解“美是什么”,首先要把自己培养成“美学家”

由此可见,AI的加入将成像系统中的算法之争提到了一个更高的维度,这也需要大量的R&D人员和R&D基金的投入来慢慢打磨。

九年前,鄙视进入了AI视野的轨道。从人脸识别到计算摄影算法,他们一直在拓展自己在AI算法领域的研究边界。

迪法恩斯研究所目前有500多名研究人员,据说这个规模在世界上相对领先。

为了提高超级图像质量的实际性能,迪法恩斯建立了自己的光学实验室、图卡实验室等专业实验室。

不屑的工程师告诉郅都,为了让AI更好地理解“什么是美”,他们从事超画质研发的学生应该先把自己培养成能识别美的“美学家”,再去训练算法。只有当他们能够熟练地识别什么是好照片时,他们才能开发出实际性能更接近用户需求的超图像质量算法。

比如颜色的表现力和自然现实之间的取舍是什么?这是一个很纠结的问题。这个时候不能盲目训练算法,要先靠人来判断。

不屑的超画质工程师会处理专业的画质评测集,与客户讨论。“先训练自己,知道怎么做好,才知道自己的照片好不好。”

凭借R&D人员的认真和执着,以及无视Brain平台的能力,不到两年的时间,鄙视超画质技术迭代到3.0版,整体R&D和交付效率提升了六倍。

从算法驱动到价值驱动。轻蔑的工程师说,客户曾经有一句话让他们印象深刻:“如果你选择了一个好的方向,你就会非常坚定,最终做出一个好的产品。”

其实这种口碑的培养是需要一步一步积累的。

结论:AI计算摄影的未来还有很大的想象空间

随着摄像机软硬件系统的日益复杂,通过深度学习神经网络寻找最优参数解的优势逐渐凸显。在手机AI计算摄影这条路上,鄙视找到了自己的核心关键。

目前手机仍然是技术创新密度和价值密度最高的产品之一。智能手机摄影仍将成为近几年各种产品的主要卖点,所以市场对AI摄影算法的需求只会增加。

这条轨道是苹果等手机厂商推动的,无视等AI公司也在不断投资,很多创业公司还在探索更多细分的机会。AI计算摄影的轨迹很热闹。

标签: 算法 画质 自己的