DXOMARK Camera测试基准第4版添加了诸如可信度、预览等测试项目

智能手机早已无处不在,而移动技术的发展速度则比其他许多消费技术领域更加快速,摄像头模块尤其如此。手机制造商在每一代新手机上推出的新功能、设计和规格改进令人惊叹不已。

DXOMARK也一直密切关注这些进展,并随之调整、修正我们的测试基准和方法,让DXOMARK的智能手机摄像头测试与时俱进。2017年,我们首次更新DXOMARK智能手机摄像头测试基准,纳入了诸如模拟散景模式和变焦质量等专门的测试项目,并将低光测试水平降低至1勒克斯,同时添加了运动测试场景。2019年9月,我们引入了广角和夜间摄影评分,以考虑搭载超广角摄像头的智能手机逐日增加的事实,以及其日益精进的低光和夜间拍摄能力。

一年后,DXOMARK智能手机主摄像头基准再次更新的时候又到了:在第4版测试基准中,我们添加了摄像头预览图像质量测试,以及所谓的“可信度”测试。可信度测试旨在使我们的摄像头测试基准更加详尽、更具挑战性。它为我们的测试添加了更多用例,并更新了评分系统,使其更加贴近用户需求。我们还改进了自动对焦的测试方法,在实验室低光、手持拍摄和HDR条件下进行新的客观测试。

照片可信度

即使是最现代的高端智能手机摄像头,也可能在一个测试场景中获得出色的结果,但在相似的另一个场景中拍出的照片却失败了。换句话说,某个摄像头在某些情况下表现得很好,并不意味您可以相信它在“任何时刻”都会表现得很好。此外,过去在一些困难条件下(例如低光场景或快速移动的被摄体),需要使用单反或无反相机方能拍照。多年来,随着智能手机摄像头质量逐年提高,用户现在可以在任何摄影条件下使用手机拍照,即使在这些困难条件下也是如此,因此,智能手机摄像头必须在所有场景中始终如一地提供良好的图像质量。

于是,我们引入了可信度测试。可信度旨在衡量摄像头在所有拍摄场景中(不仅仅是数量有限的选定测试场景中)提供一致的静止图像和视频质量的能力。这一测试不但延伸了DXOMARK Camera测试基准的触脚,也使我们的测试基准变得更具挑战性。

更多静止图像示例场景

为了进行可信度测试,我们必须扩展当前的示例场景和图像集。我们引入了各种各样的新照片用例,涵盖了在所有光照条件下拍摄的人像、多平面、特写和移动场景。此外,我们还有用于人像和低光拍摄的全新样本集。您可以在下面看到一系列新测试场景。

新照片场景的一些示例

可信度着眼于图像质量的各个方面,例如曝光度、色彩、纹理、噪点或对焦。我们来看看一些新场景的例子:

下面的人物场景旨在检查摄像头是否能够提供准确的面部曝光,各种肤色呈现是否自然,或面部特征的精细细节是否勾勒得很好。这些属性在任何人像摄影中(包括家庭快照、孩子的照片或典型的度假照片)都很重要。

在此比较中,我们可以看到每个摄像头所呈现的人像可能会有很大差异,在纹理保留和降噪之间的权衡和曝光方面尤其如此。例如,iPhone在这里拍出的肤色要比小米明亮得多,但是,后者背景中的天空出现了严重的高光位剪切。

苹果iPhone 11 Pro Max
裁剪图
华为P40 Pro
裁剪图
小米10 Pro
裁剪图

我们还添加了带有移动被摄体的场景,这有助于评鉴摄像头在移动被摄体上保留清晰细节的能力。对于任何摄像头而言,这仍然是一大挑战,因为曝光时间必须尽可能短,方能避免产生运动模糊。但从反面来看,这可能会导致纹理/噪点折衷不佳,尤其是在室内条件和低光下更是如此。此外,由于自动对焦系统必须跟踪拍摄对象,因此移动被摄体也会对其构成一大挑战。这些属性对于一系列摄影用例(包括家庭、街头、体育和宠物摄影)都非常重要。

苹果iPhone 11 Pro Max
裁剪图
华为P40 Pro
裁剪图
Oppo Find X2 Pro
裁剪图

我们使用更多的HDR人像和风景场景检查摄像头在困难的高对比度照明条件下保留高光位和阴影细节的能力。HDR功能在几乎所有类型的摄影中都很重要,包括假期照片、建筑、风景、人像和室内摄影,其结果可能会有很大的不同,如下面的比较所示。

苹果iPhone 11 Pro Max
华为P40 Pro
索尼Xperia 1

复杂的多平面场景(例如集体照或静物特写)旨在评鉴自动对焦系统的可靠性。除了自动对焦的准确性外,我们还会检查景深和连拍一致性。在下面的图像中,苹果和华为手机均对焦于前景被摄体,而索尼则对焦于背景中的被摄体。Xperia 1提供了相当深的景深,因此前端被摄体的呈现仍然非常清晰。

苹果iPhone 11 Pro Max
裁剪图
华为P40 Pro
裁剪图
索尼Xperia 1
裁剪图

我们还扩充了低光场景的数量。低光场景旨在测试摄像头拍出良好曝光度,同时保有良好的纹理/噪点折衷的能力。这些用例包括晚餐时拍摄的照片、夜间拍摄的照片、室内照片和低光静物。

苹果iPhone 11 Pro Max
裁剪图
华为P40 Pro
裁剪图
Oppo Find X2 Pro
裁剪图

随机拍摄计划

此外,我们现在还在所谓的“拍摄计划”(即我们所拍的所有评测样张)中添加了一个随机元素。这些随机场景会对那些在任何条件下都能始终如一地拍出好照片的手机给予奖励,也可以使测试变得更加多样化。

在每个测试中,我们都会拍摄许多明确定义的样本场景。除这些场景外,我们现在还会拍摄一系列样张,这些样张仅会根据构图、场景内容和照明条件来定义,而不是根据位置、拍摄对象或取景来定义,例如,这可能是逆光人像,也可能是低光城市景观。然后,我们的测试人员会在任何地点拍摄任何符合定义要求的对象。

让我们来看看几个例子:

“沙发上的人物”随机场景必须满足以下条件:两个静止被摄体,低对比度的室内照明条件,并涵盖多种多样的色彩。只要符合这些参数,DXOMARK测试人员就可以自由拍摄他们想要的任何场景。以下三张图像均符合上述要求,可以在测试中用于评鉴色彩、曝光度、伪像以及其他属性。

沙发上的人物1
沙发上的人物 2
沙发上的人物3

“花”随机场景必须在户外照明下拍摄,并且必须为带有某些色彩元素的特写静物图像。就像上面的室内人像一样,测试人员可以自由拍摄任何符合上述要求的场景。在下面的三张图像中,任何图像都可以用于进行上述评鉴,还可以用于评鉴色彩和自动对焦。

花1
花2
花3

为了将信任度引入新的基准和评分系统,我们还更新了在摄像头默认的照片自动模式下进行的所有测试(曝光、色彩、纹理、噪点、伪像和自动对焦)。我们还引入了新的感知分数,并修改了总分数的计算,以便考虑刚引入的新要素。

更多的低光和HDR场景,更具挑战性的视频运动

可信度当然也改善了我们的视频测试,并扩充了我们的测试范围。我们所有的实验室客观测试都大致保持不变,但视频感知测试则增加了更多用例、低光和HDR场景、人像和特写视频,以及更具挑战性的运动(摄影者和拍摄对象的运动),使我们的视频测试基准变得既详尽又富有挑战性。一如静止图像,智能手机摄像头在视频模式下也必须在各种条件下和各种场景中始终如一地拍出良好的影像质量,方能获得高分。

为了将可信度集成到我们的视频测试中,我们还修改了视频评分系统的所有属性(曝光、色彩、纹理、噪点、伪像、自动对焦和防抖)以及整体得分的计算方式。

其他新视频包括用于感官分析的风景影像、室内场景和特写镜头。

这些新场景使视频基准的新版本的几乎所有测试项目(包括曝光、色彩和肤色、自动对焦和视频防抖)都变得更具挑战性。

例如,此逆光人像场景可测试摄像头的HDR功能及其曝光战略。如您所见,不同手机拍出的结果差异相当大。索尼Xperia 1侧重于明亮背景中的细节,从而使深色前景曝光不足,结果使得人像中的被摄体几乎难以看见。三星Galaxy Note 10+ 5G则采用另一种被摄体曝光手法,这种战略比索尼更高明,但会导致背景曝光过度。谷歌Pixel 4在这种情况下达到了最佳平衡,但是仍然没有达到我们要求的水平,因为其被摄体仍然严重曝光不足。

索尼Xperia 1
谷歌Pixel 4
三星Galaxy Note 10+

这一风景场景也可以测试HDR能力。在这些样张中,三部比较的手机所呈现的天空看起来截然不同。Pixel 4拍出了最明亮的天空,但却留下了相当大的高光位剪切区域,阴影中也出现了一些剪切;华为P40 Pro更好地保有高光位,拍出了相当自然的效果;苹果手机进一步拉低了高光位的亮度,从而避免产生剪切,但是天空看起来有点不自然。

苹果iPhone 11 Pro Max
谷歌Pixel 4
华为P40 Pro

我们还有些新的视频场景,用于测试曝光在时间维度上的表现。在这一动态人像中,被摄体和背景的整体曝光都不错,但是各帧之间的曝光却略有变化,因此看起来不自然。一如几个新的室内和户外场景,这一场景也可用于检查白平衡色偏和不稳定性。

视频的可信度测试也会检查帧之间的曝光变化。

其他新的测试场景可帮助我们检查自动对焦的跟踪、收敛速度和流畅度,以及它的近摄能力,以便更全面地评鉴自动对焦性能。

户外视频
室内视频
低光视频

最后,我们也添加了一个边跑边录制视频的场景,提高了视频防抖测试的挑战性。到目前为止,我们仅在边走边拍时测试视频防抖,但在跑步时,即使是最好的防抖系统的性能也会在更快的速度和更强的振动下达到极限。

防抖测试,边走边拍/边跑边拍

预览

到目前为止,我们的智能手机摄像头评测都仅着眼于图像记录。但是,摄像头应用程序的预览模式的性能会给您留下图像质量的第一印象,也可能对图像效果产生重大影响。例如,如果预览取景框与拍出的图像的取景框不匹配,则拍摄的照片难以获得正确的取景。同样,如果预览图像太亮或太暗,那么您可能会应用曝光补偿。在最坏的情况下,如果摄影者在预览时,图像看起来不值得按下快门按钮,那么即使他或许可以拍出非常好的图像,他也可能根本不会将眼前图像拍下来。

当前手机的预览性能差异很大。在下面的示例场景中,三星Galaxy S10 +的预览图像与最终图像之间存在最大差异。观看预览图像时,您甚至可能会因为背景中的高光位出现了大片剪切而认为不必费心按下快门按钮。但实际上,该手机会将有效的HDR处理应用于最终输出的实际图像,让背景部分呈现不错的色彩和细节,其结果与预览图像迥然不同。

华为P30 Pro预览图像中的大部分背景也出现剪切,但是P30 Pro未对输出图像进行任何HDR处理,因此,尽管输出图像效果不佳,但至少预览结果是相当准确的。在这一比较中,iPhone 11 Pro可以说是表现最好的手机。它在实际输出图像上使用HDR处理,在预览显示时也为我们提供了相当准确的最终结果。

苹果iPhone 11 Pro、华为P30 Pro和三星Galaxy S10 +的预览与最终图像

这就是DXOMARK将“预览”添加到摄像头测试属性的原因。预览测试的主要任务在于检查预览屏幕呈现的内容是否与最终图像相同。例如,预览图像与最终图像该应用完全相同的HDR处理和散景模拟。此外,我们也会检查预览取景以及变焦运行是否流畅。

所有预览分析都是感知分析。在分析时,我们会同时并排查看预览和输出图像。进行HDR测试时,我们会使用一个特定设置,其中包括一个人体模特和一个Analyzer HDR幻灯片。我们的测试人员会在EV+4和EV+7下检查人体模特的面部测标曝光和幻灯片上的平均信息量。预览的HDR测试在三种光照水平下进行:1000勒克斯D65、100勒克斯 TL84和20勒克斯A。

使用假人模特和人体模特进行HDR预览测试的场景布置

在变焦预览测试中,我们使用摄像头应用程序中的变焦按钮和捏缩放手势,从最宽广的变焦设置调节为最远的变焦设置,然后在手机显示屏上拍下最终预览视频。之后,我们的测试人员会分析视频素材,并就曝光、色彩和视场等属性寻找跳跃、步进或其他不一致之处。

变焦流畅度测试

其他更新

可信度和预览是DXOMARK Camera测试基准第4版的核心要素,但是本次更新还针对我们在受控实验室环境中的客观测试方法和现实生活场景中的某些感知测试方法添加了许多内容。

自动对焦的新客观测量

过去,在实验室中进行客观的自动对焦测试时,我们使用的最低光为20勒克斯;现在,我们还会在5勒克斯的极低光下测试自动对焦。此外,我们也会在高动态范围条件下,通过模拟手持运动(将手机安装在一个运动平台上)进行一项新的客观自动对焦测试,以便在实验室中复制更多用例和拍摄情况。

新的HDR测量

过去在实验室中,我们的客观测试是在均匀的光照条件下进行的,而我们在真实生活中的拍摄和感知评鉴则涵盖了高动态范围场景。现在,我们将实验室的客观测试扩展至HDR拍摄。

HDR测试布置,HDR幻灯片上的高光位“爆光”
HDR测试布置,HDR幻灯片的高光位保留得很好

更丰富的变焦测试内容

最后,随着新手机持续不断地扩展变焦范围并提升变焦图像质量,我们也跟着改变了变焦测试的内容。过去的变焦测试涵盖大约2倍至8倍的变焦倍数,现在,我们扩大了变焦测试范围,其范围从大约1.5倍到10倍以上。

我们还改善了变焦的分辨率测量,现在测试设置已经完全自动化,对自动对焦构成了更大的挑战。我们在两次拍摄之间施加极大的散焦,然后在一秒钟后触发快门,这对于任何智能手机摄像头的变焦而言都是一大挑战。此外,我们还更新了拍摄计划,增加了更多的人像和HDR场景,在变焦测试中也添加了许多复杂用例,还在感知图表上引入了新的AI测量以评鉴纹理表现。