我们已经介绍了适用于智能手机前置摄像头的DXOMARK Selfie测试基准之后,在本文中,我们希望深入探讨并更加详细地说明我们如何测试前置摄像头,以便您更好地了解我们的处理方式和方法,以及测试的细节层次。我们将首先介绍测试和评分方法的一般信息,然后深入说明各个测试项目。
测试和评分
一如DXOMARK Camera主摄像头测试基准,我们在手机前置摄像头的国际固件版本的默认模式下进行测试,以确保测试结果适用于大多数地区。在测试前置摄像头的过程中,我们的工程师在DxOMark图像质量实验室中拍摄了超过1500个样张,并录制了几个小时的测试图表和场景视频,同时在DxOMark总部内及其周遭环境进行室内和户外的“真实”场景测试。为了测试其结果的可重复性和一致性,我们对相同的测试场景拍摄一系列图像,而非仅是单张图像而已。
原则上,DxOMark的前置摄像头测试与我们的DXOMARK Camera智能手机主摄像头测试基准非常相似,只不过我们根据前置摄像头的使用方式做了一些重要的修改。自拍照是在户外高光下或在室内各种人工照明下拍摄的,而且根据定义,自拍照中必须至少显示一个被摄人——即摄影师本人,因此前置摄像头应该在相对较短的拍摄距离和各种照明条件下针对人像进行优化。
用前置摄像头拍摄视频时候我们会专门测试某些特定属性。视频防抖是其中很重要的一个,对视频录制的整体质量有很大影响。我们也测试连续对焦,因为不稳定的自动对焦很容易毁掉一个原本不错的视频片段。然而,静态图像和视频测试之间最关键的区别是在大多数其他图像质量属性中增加了一个时间(时间)维度。大多数静态属性的测试,只看视频片段的一帧–例如,目标曝光,动态范围,或白平衡–与静止图像的同等测试基本相同。然而,一个视频片段不是一个单一的静态图像,而是许多被记录和快速连续播放的帧。因此,我们还必须从时间的角度来看待图像质量–例如,视频曝光和白平衡在统一光线条件下的稳定性如何,在录制过程中,当光照度或光源发生变化时,曝光或白平衡的转换有多快、多平滑。
同样值得注意的是,对于视频测试,我们手动选择提供最佳视频质量的分辨率设置和帧率,而对于静态照片,我们总是在默认的分辨率下进行测试。例如,一个智能手机的前置摄像头可能提供4K视频模式,但默认使用1080p全高清。在这种情况下,我们将手动选择4K分辨率。
被摄体距离和不同类型的自拍照
在自拍照测试中,被摄体距离非常重要。不过,被摄体距离的差异也可能很大,因为一些用户喜欢对着脸部拍摄特写人像,在这种图像中,注意力倾向于集中在被摄体上,而背景的显像几乎是无关紧要的;另一个典型的用例是在手臂可及的距离内拍摄的自拍人像,在这种类型的自拍照中,被摄体是最突出的元素,但背景也可能包含一些重要元素,例如城市景观或自然景观中的景物;此外,许多用户也喜欢将智能手机安装在自拍杆上,以便摄入尽可能多的背景,在得到的图像中,背景是构图的重要元素,因此应该与前景被摄体一样享有良好的曝光和清晰度。
为了涵盖这些最典型的前置摄像头用例,我们在三个不同的被摄体距离下进行DxOMark Selfie测试:
- 30厘米的特写人像
- 55厘米的人像
- 120厘米的人像与景观(用自拍杆拍摄)
对于大多数前置摄像头而言,要在这三个被摄体距离上都拍出良好的图像质量可说是一项真正的挑战,因为对焦、曝光和其他摄像头参数必须取得非常好的平衡方能在如此多样的拍摄情况中拍出很好的效果。
此外,在自拍摄影中可能发生变化的不仅是摄像头和被摄体之间的距离而已,被摄体的数量和其本身的肤色也可能有所不同,因此我们在摄影棚和户外创建和进行评估的测试场景不仅包括个别的被摄体,还包括一群人。拍摄集体自拍照可以让我们评估摄像头的对焦、白平衡和曝光系统如何处理多个不同肤色的被摄体位于不同焦平面的场景。
照明条件
一如DXOMARK Camera主摄像头测试基准,我们在相当于昏暗的烛光到晴天的极高光等不同的光线水平下执行所有的测试。我们的光照条件定义如下:
- 户外(高光、1000 – 10000勒克斯)
- 室内(典型的室内光照条件,100 – 300勒克斯)
- 低光(酒吧或夜间音乐会场地的典型光照条件,1 – 20勒克斯)
我们的“真实”场景的测试样张则是在高光和阳光充足的天气下,在几个户外场地以及在DxOMark办公室内的典型人工室内照明下拍摄的。
自拍照评分
DXOMARK Selfie评分采用测试设备进行大量的客观测量,并由该设备的测量结果直接计算得分;此外,我们还使用一套复杂的度量标准来进行感知测试,并由一群图像专家对需要人为判断的图像质量的各个方面进行比较,然后使用一套复杂的公式和加权系统将这些客观和感知测量值浓缩成每个测试项目的分数。在最后的步骤中,我们使用测试项目的分数来计算照片和视频分数以及自拍照的总分。
DXOMARK Selfie各个测试项目的分数
本节深入说明有关我们测试、分析的所有图像属性的更多详细信息,以便计算我们的测试项目的分数。我们还将向您展示我们为DxOMark Selfie基准新开发的一些定制测试设备,以及我们用于呈现测试结果的一系列真实场景的样张和图表。
曝光与对比度
一如我们大多数的评分,曝光和对比度的分数是通过混合客观和感知测量的结果计算出来的。在测量自拍照的曝光和对比度时,我们非常强调脸部的测标曝光,同时考虑图像的整体曝光和摄像头拍摄HDR场景的能力,因为当场景的前景比背景亮得多时,HDR能力很重要,反之亦然。我们还测量图像的整体对比度,不过,由于对比度主要是个人品味的问题,因此我们只报告测试结果,但未将其结果记入分数中。
我们开发了一种专用的加权系统,以对在不同被摄体距离上拍摄的图像进行许多感知和客观测量,并计算曝光和对比度的分数。在曝光和对比度的测试项目中,我们测量、分析以下图像质量属性:
- 面部测标曝光
- 集体自拍照中,多个面部测标曝光的一致性
- 总体测标曝光
- 肤色上的溢光剪贴纹理
- 背景中的高光位和阴影细节
在测试视频时,我们必须考虑到时间性的图像质量属性以及静态属性。因此,对于曝光,我们测试以下时间属性:
- 收敛时间和平滑度
- 振荡时间
- 过冲
- 稳定性
我们在深入的技术报告中提供了客观测量和感知分数的概述,如下所示。我们还准备了各种图形来显示客观测量值,例如右下方的曝光图表。该图表显示在1至1000勒克斯的光照水平和一系列光源(包括日光和钨丝灯)下的测标曝光。
除了实验室测试之外,我们还使用我们的感知数据库来评估曝光和对比度,其中包括不同肤色、被摄体距离、光照条件和集体照的场景。例如,我们可以在左下方的埃菲尔铁塔照片检查脸部与背景曝光,并且在背景比被摄体更亮时获取很多关于摄像头动态范围的信息。
我们也会在室内低光下拍摄样张。在右下方的示例中,我们使用侧方照明来了解摄像头的曝光系统处理各种肤色的强烈对比的能力好坏。
在我们对集体自拍照的感知分析中,我们检查曝光系统在同一场景中处理多个被摄体和不同肤色的能力。在左下方的样张中,肤色上出现了一些溢光和阴影剪贴纹理,但在整体上,摄像头将曝光处理得很均衡。在右边照片中,由于曝光系统使用前景中的被摄体的深色肤色作为测标,因而使其过度曝光。
若想避免肤色上的溢光和阴影剪贴纹理,或者在背景比图像的主要被摄体更亮时,摄像头必须应用宽广的动态范围。在逆光人像场景中,我们测试曝光系统如何处理高光背景前不同肤色的被摄体。像往常一样,面部曝光是最重要的,但我们也很重视前景和背景曝光之间的平衡。正如您在右下方的图像中所看到的,当前的前置摄像头机型在此场景中提供了截然不同的结果。
色彩
测试前置摄像头图像的色彩时,我们会专注于被摄体脸部和肤色的色彩,以及演色性、白平衡和画面其他部分的更多色彩指标。在色彩测试项目中,我们测量、分析以下图像质量属性:
- 白平衡准确度和可重复性
- 演色性和可重复性
- 肤色色调演色性
- 色彩渐晕
我们使用24色图卡、枯叶图卡和DxOMark自有的定制摄影棚图卡,在不同光照水平和不同光源下进行客观的色彩测量,并为演色性、白平衡准确度和色彩渐晕等元素制作测量图表。此外,考虑到漂亮、可接受的色彩是一个具有不同层次的频谱而不是一个固定值,因此我们开发了一种椭圆体评分系统来评估白平衡和色彩饱和度:落在小绿色椭圆体内的任何色调(右下图)都相当接近测标色彩,因此可获得最高分;落在稍大的红色椭圆体内的色彩仍然可以接受,但得分较低。
在我们深入的技术报告中,我们还以图表表示测试结果,显示“被嵌入”测标色彩(下图中的较大方块)中的摄像头演色性(小方块),这样一来就可以快速找出问题区域和需要改进之处。可以预期的是,我们的Selfie基准主要关注的是肤色的演色性(左上角的“色块”),不过我们也会查看所有色调的演色性,并予以评分。
在色彩感知分析方面,我们使用许多用于评估曝光和其他指标的户外场景,不过,我们也另外制造了几个特定于色彩感知分析的场景,例如下图中的室内布局。在左侧场景中,我们可以看到摄像头如何在低光下处理各种颜色的光源。由于白平衡系统可能会被纯色背景所影响,因此我们设计了右侧场景,并在其中使用一系列色彩各异的背景和人工照明。
对焦
在对焦测试项目中,我们使用一个含有人像照的对焦范围图卡在实验室中测试,以及许多在真实场景中拍摄的人像来测量和分析以下图像质量属性:
- 对焦范围
- 景深
- 对焦可重复性和拍摄时间(仅适用于带自动对焦系统的前置摄像头)
对焦范围可显示摄像头在不同拍摄距离下对被摄体进行对焦时的表现。在我们的评分中,我们把最多的权重放在距离较近的30和55厘米拍摄距离上,因为它们在现实生活中被使用的次数最频繁,不过我们也测试了摄像头在自拍杆拍摄距离(120厘米)上的表现。另外, 我们测试具有自动对焦功能的前置摄像头时,通过反复多次拍照来评测重复性和一致性。
在视频测试中,对焦稳定性是我们在对焦测试中使用的唯一时间属性。很少智能手机在前置摄像头中配备了自动对焦系统。自动对焦系统可以帮助实现更好的清晰度,但也会在拍摄时造成稳定性方面的问题。
景深是照片中清晰显示的物体所处的最近和最远距离。对于一张图像来说,如果背景很重要的话(例如在人像中,被摄体背后有旅游景点),或者我们希望清晰地呈现集体自拍照中位于不同的焦平面上的所有被摄体,那么景深就是一项必不可少的元素;反观距离较近的特写人像中仅露出了非常少的背景,景深问题并不重要,因此我们的评分比较重视较长距离上的拍摄表现。
一如往常,我们在不同的光照水平下进行对焦测试,并且综合各种客观和感知测量的结果来计算得分。在实验室中,我们使用一张对焦图表和一张在三个不同被摄体距离处所拍摄的人像照片。
在感知分析方面,我们在不同的拍摄距离上拍摄个人和群体,以便检查在真实场景中所拍摄的图像的焦距和景深。
纹理和噪点
在这个测试项目中,我们对图像进行客观测量和感知分析,以找出精细细节和纹理的显像程度,以及在图像的不同部分可观察到的噪点数量。纹理和噪点是一体两面的东西:在图像处理中,强烈的降噪会减少可见的噪点,但也会降低图像的细节水平,因此,我们必须同时检查这两个属性。拿下了最佳纹理分数或最佳噪点分数的摄像头未必是最好的摄像头,反之,在两者之间取得最佳平衡的才是最好的摄像头。
在纹理和噪点测试项目中,我们在受控的实验室条件下使用枯叶图卡和定制的高仿真人体模型,以及用于感知评估的真实图像,以测量和分析以下图像质量属性:
- 纹理锐度
- 视觉噪点
像往常一样,所有测试都在不同的光线水平下进行。此外,我们还为静态(风景)和移动(家庭)场景设计了纹理测试。后者通常会对某些摄像头造成问题,尤其是在低光下更是如此,因为缓慢的快门速度可能会使移动的被摄体变得模糊,而摄像头抖动也会对被摄体造成同样的问题。我们在实验室中使用自动液压平台来模拟第二种情况。
除了真人被摄体之外,我们也会在DxOMark实验室中的定制仿真人体模型上进行感知分析。感知分析侧重于脸部的特定细节,例如眼睛、眉毛、睫毛、嘴唇和胡须。许多手机制造商对自拍对象的皮肤应用平滑效果,从另一方面来说,过度锐化的皮肤纹理和过强的微对比度会导致不自然的皮肤细节效果,因而我们对此密切关注,并检查皮肤效果是否在整个脸上保持一致。
伪像
在伪像测试项目中,我们在摄影棚内使用MTF、圆点和灰色图卡进行客观测试,并对在真实场景中拍摄的图像进行感知分析。在我们的Selfie测试基准中,我们查找的伪像问题与DxOMark Mobile主摄像头测试相同,包括以下列表中的伪像以及测试图像中的任何其他异乎寻常的效果:
- 景深内的清晰度(角落的清晰度损失)
- 镜头渐晕(晕影)
- 横向色差
- 畸变
- 面部透视畸变(变形)
- 彩色边纹
- 色彩量化
- 耀斑
- 重影
在我们的技术报告中,伪像技术概述对于伪像的所有客观测量和感知分析提供了简要的说明。我们根据伪像的严重性和其出现频率,从满分100分开始扣分,以计算整体伪像分数。
闪光灯
在闪光灯方面,我们在完整的Selfie测试基准中执行一个子测试,查看我们未使用闪光灯拍摄时的大多数图像质量属性。我们在黑暗的室内环境中拍摄真实场景图像,并使用实验室中的24色图卡、枯叶图卡和灰色图卡测量和分析以下图像质量属性:
- 测标曝光(准确性和可重复性)
- 白平衡(准确性和可重复性)
- 演色性
- 色彩渐晕
- 闪光落差
- 纹理和噪点
- 伪像
- 红眼
在实验室的客观测量中,我们在55厘米距离和0和5勒克斯光照水平下进行拍摄。
进行感知测试时,我们手动激活前置摄像头的闪光灯(LED或显示屏闪光灯),并在距离55厘米处和光线水平0和5勒克斯下进行拍摄,然后检查所得图像的面部曝光、白平衡、肤色演色性、皮肤上的噪点,以及诸如眉毛或胡须等面部特定元素的细节表现。
散景
现在有一些手机的前置摄像头能模拟单反相机的散景和窄景深效果。正如后置摄像头,有些机型使用第二个副摄像头来测试场景深度,另一些则使用单镜头和纯计算方法来分析深度信息。我们在实验室环境中测试散景,观察散景质量(景深和光斑形状)以及分离主体和背景时产生的伪像。以下使我们散景测试的子项目:
- 等效光圈(景深)
- 景深估计伪像
- 散景形状
- 可重复性:
- 拍摄期间的运动
- 噪点一致性
我们全部通过感知测试来评测散景质量,场景包括实验室套件,室内以及户外真实场景。我们设计的测试场景可以运用在不同的光照条件下,并帮助图像专家评估以上所有的图像质量指标。
视频稳定
稳定对于前置摄像头的视频和主摄像头的视频同样重要。我们通过手握相机不动,以及在拍摄对象距离为30厘米和手臂长度的情况下进行拍摄来测试视频稳定。对于视频通话–前置摄像头视频的最重要的使用情况–用户通常将设备靠近他们的脸(30至40厘米)。对于这种静态视频,稳定算法应该抵消所有的手部运动,但不对主体头部的任何运动作出反应
对于集体自拍视频,我们必须检查稳定功能是否对画面中的所有面孔都有良好的作用。在下面的视频样本中,你可以看到只有主要拍摄对象的头部稳定良好,而视频中的其他拍摄对象有明显的形变。
带着摄像机行走是对稳定系统最具挑战性的用例,因为行走运动有很强的振幅,需要比静态场景更重的稳定措施。在这种情况下,低效的视频稳定往往会导致比较严重的变形。