战全幅这个话题其实在很多手机发布会上都能看到,可能很多人,尤其是摄影爱好者的态度几乎都是鄙视,基本也都认同为手机厂商搞事情的噱头,小胖也曾在朋友圈发过类似的话题,就有职业摄影师留言道:高感下,手机必跪!事实果真如此??先看一组弱光下1/1.7英寸CMOS手机和全画幅相机的对比吧。
盲评有意思的地方在于很多人会把心目中更好,更贵的产品去匹配素质更好的那张照片,在这种又有路灯大马路,旁边又有小树林,天上还能隐隐见着云层的典型夜景环境下,左边这张的优点其实很明显,路灯下的马路(亮部)不过曝,旁边的树丛细节(暗部)也都得以保留。而右侧那张就是亮部过曝、暗部丢失、暗角更大……差别应该是很明显,可能看到这里你应该意识到我要说“但是”了!没错,左边明显更好的那张才是手机拍的,右边则是相机拍摄。
这里先来个结论一:论弱光环境下直出就能用(发社交媒体)的效率,相机不如有多帧均值功能的手机。但画幅更大的相机,弱光画质天花板更高。
在均为F1.8、ISO 1600的情况下,左边那张手机照片,曝光时间是4秒,而右边的相机照片,曝光时间是1/10秒,手机照片的曝光量(CMOS单位面积受光量)足足比相机多5档出头,但如上图,1/1.7英寸和全画幅的对角线长差4.5倍左右,也就是曝光换算系数差4.5倍。此加彼减之后,基本可以认定为这两张照片是在同等通光量(整块CMOS的受光总量)下进行拍摄。手机其实在这4秒内并不是一次长曝(否则早就过曝了),而是一次有间隙的多帧连拍,所以实际总曝光时间不足4秒,故不负责任地权当半挡差距被抹平了,实际上这点误差也并不影响最终结果。
因此,在输出分辨率相同,放大器增益倍率较高,也就是ISO数值较大时,读取、转移传输等本底噪声被压制,两者的总信噪比基本相同。但这时候手机机内处理会直接做类似PS均值叠加操作时的减亮部、加暗部动作,实现机内HDR(也有Quad Bayer的功劳),所以在宽容度体现上才这么明显的差别。相机单张提供的只是原始数据,RAW后期当然也能做到的,但必须在电脑上操作,效率低。这就是一级结论的理论基础。而且弱光这个对比拍摄主题下谈“相机还能ISO 12800”是没有意义的,因为那样相机的表现会更差(因为通光量下降,信噪比下降)。好处是增加了相机手持的稳定性,不过这一点手机端在ISO 1600时就解决了。
但是,手机弱光风景的直出效率高也意味着没有调整照片风格的权利,因为当下的手机并没有提供多帧RAW的选项,只能直出JPG。而在专业模式下虽然可以选择单张RAW,但这时候就变成完全以相机的玩法为标准,那就是从成像素质到操控甚至取景响应都妥妥被摩擦了,比如下图即为手机1/1.7英寸ISO 400和全画幅ISO 1600在相同光照下的单张暗部对比,仔细看手机其实噪点更多:
延伸阅读:均值叠加,或者多帧拍摄为什么能降噪?数学模型比较复杂,尽量长话短说:信噪比的多种定义公式中,信号平均值/方差是比较简单粗暴的算法之一,它的数学推演为免繁琐就按下不表了,那么接下来就从分母分子分别来进行极简化的计算。
首先是信号平均值,因为是同一个相机而且拍摄间隔很短,比如我们的例子是4秒,拍摄k张也意味着在完全相同的三维空间中多次重复采样,也就是基本可以判定每一张的信号X都是相同的,那拍摄k张就是:
而我们前面说到X1到Xk因为采样间隔非常短,所以可以认定为相同数值,因此不难推导出上式等于E(S),也即信噪比公式里的分子数不会因为多帧叠加而增大。
分母方面,按方差公式来推导,单张噪声D为:
标如果有k张照片噪声,方差进行计算则为:
抛开传感器的本底噪声,只看随机噪声,可推导出k张照片的噪声为:
将方差公式代入后可得:
也即:k张多帧叠加后,随机噪声会下降k倍,总信噪比上升k倍。按以2为底对数标度,即可得到我们之前得到的结论,多帧均值拍摄k张,信噪比提升Log2(k)倍。
结论二:同分辨率显示,手机降噪算法更倾向于通过降低锐度(涂抹)提升信噪比。
弱光降噪算法很多人称之为“涂抹”,事实上从摄影直出的角度来说,涂抹是把双刃剑,如果你不懂,也不想去弄后期,机内提供的降噪方案是你唯一的选择。但这种方案提供的也只有便利这一点,对高感成像没有什么质的提升,往往是在锐度和噪点之间做交换,有用过PS/LR拉RAW照片降噪滑块的应该不难理解这句话。
而且具体的降噪方案很多,从低通滤波到根据反差设阈值,再到明度蒙版暗部降噪……这些操作无一不依赖于处理器硬件性能和软件算法优化,相对于相机,这两点是手机的强项,但具体怎样调校风格却是由写编码的工程师决定,这里面就引入了不少人为主观因素。目前来看大多手机都是用涂抹,也就是降锐度换“干净”,可以参看下图,依然是4秒多帧夜景,100%放大:
可以看到涂抹降噪正在很明显地发挥作用,树叶细节糊成一片,人也有了几分马赛克的感觉,也能看到动态物体的补偿并不完美……但整张照片基本找不到噪点,这正是机内处理的风格所致。而且即便是RAW格式上手机脚架后的单张长曝,也不难看出这种涂抹预处理的痕迹依然存在,算法的介入几乎是从底层开始,用户无法干预,不能像相机那样进行降噪处理的设置。但做这个其实不麻烦,一旦有了呼声,改进应该是很快的事情。
结论三:手机能用的技术,相机也能,但具体怎么用是个定位问题。
因为多帧降噪最早本身就是用在相机上的,因为这项技术背后主要的推广者是索尼……所以相机会不会使用多帧降噪技术其实是用户定位的问题,而当下全画幅相机的多帧合成技术走的是另一条路线——像素偏移。代表作宾得K1系列、索尼A7R3,它们的物理基础是CMOS五轴防抖,具体原理小胖在以前的A7R3评测里有过解读,简单来说就是第一张拍完后,继续向右、下、左各自移动一个像素并进行拍摄,最终得到4张照片,并通过PC端的专用后期软件进行合成。
那么,像素偏移跟多帧均值叠加有什么区别?翻一翻前面延伸阅读的部分,小胖有讲到过多帧均值叠加后的信号值并不会增加,换句话说它的采样率并没有提高,但像素偏移使原本RGBG滤镜布局的拜耳阵列在每一个像素点都实现全色彩采样,从而提高了信号值,但也正因如此,它无法像多帧均值叠加那样以拍摄张数为基础的降低随机噪声,所以表现在成像上的特点就是:即便ISO 12800,像素偏移后的细节表现力会明显增强,但噪点依然很明显,当然,可以在后期时采用涂抹大法把锐度降低到原来的水平,同时实现降噪,要知道反向操作可是不行的,所以像素偏移相对要更“高级”一点点。实际上,这两种改善弱光成像性能的功能是空域(提高采样率)和时域(延长时间轴降方差)的两极,想要两者兼备就看厂商乐不乐意让像素偏移的同时支持连拍或包围曝光了,至少现阶段只能有手有脚靠自己。
有意思的是索尼在第三代全画幅无反取消了多帧降噪拍摄功能(同时也取消了APP和全景功能),看来是要重点推像素偏移(虽然A7M3并没有像素偏移),当然也主要因为对自家高感很有信心吧,但实际上这个功能小胖觉得砍掉是怪可惜的,只能自己10fps RAW连拍到电脑上堆了,效率又降低了……
手机会不会用上像素偏移?很难,因为首先它的基础是CMOS防抖,几乎是必须上脚架;其次高采样率需要高算力处理器,这会引发额外的功耗需求。所以手机端理论上还会是以多帧均值降噪为主,而且事实证明在算法支持良好,手持长曝无压力的情况下,这是一个很讨喜也很实用的功能,甚至可以让手机在原本极易被无视的弱光环境下,也拥有一席之地。
至于弱光人像,至少就小胖的测试来看,手机通过算法进行动态物体补偿其实不算太难的事情,毕竟是多帧拍摄,通过检测具体像素的信号值变化来被摄物体是否移动变化、以及移动变化规律没有太大问题,对于运动物体只需取单帧,以非局部均值去噪等空域滤波技术来进行降噪处理,即便是开启夜景手持长曝模式拍摄,只要被摄主体没有占据特别大的构图幅面,也不是剧烈的大范围移动,就依然可以获得清晰的照片。所以别忘了,多帧均值叠加的实际效果最大化取决于平均值足够稳定,方差足够小,而在拍摄自然物体时这两点其实很难达到理想级别,所以信噪比的实际提升小于理论值。
总结:即便是只看弱光这一个被广泛钦定为手机大短板的领域,凭着手持多帧降噪这个在相机上其实已经有挺久历史的技术,让它的出图便利性有了很大的提升,让手机在这个弱光拍摄方面一定程度赶上了相机。其实如果要再深究一点的话,多帧降噪的方案也有相当多种类,信噪比的算法没有加限定条件,严格来说也比较粗陋。但在这儿就不再做过多延展了,明其意即可。
PS:本文单讨论弱光画质,观点不站队。涉及其他如操控性、强光拍摄、美颜人像等主题或择日另行开贴,欢迎跨主题理性讨论,戏精抬杠慢走不送,多谢。