如何测试  >  自拍 测试结果

DXOMARK Selfie:我们如何测试智能手机前置摄像头的视频质量

该设备已在我们最新版的测试基准下重新测试。其总分,子分数和子属性都已更新。了解更多详细信息,请查看 "DXOMARK测试基准有哪些更新"文章

最后更新:2019年11月4日

智能手机用户使用前置摄像头录制视频的目的与静止图像非常相似,市场上也有大量移动应用程序可用于编辑视频和应用滤镜和效果,其道理也很相似,在诸如Facebook、Instagram、Snapchat和WhatsApp等社交媒体和消息应用程序上都可以共享视频片段,与共享照片非常相似。除了共享预先录制的视频片段外,现在许多应用程序还可以进行视频直播,人们也经常使用前置摄像头在Skype或FaceTime等应用程序上进行视频通话。

视频与静止图像测试

我们用于测试和评估视频图像质量的用例、方法和设备都与静止图像非常相似,所以请务必阅读我们的“我们如何测试智能手机前置摄像头的静态图像”一文,以了解与本文有关的背景知识。

然而,撇开两者之间的相似处不谈,视频在图像质量方面也存在一些与静止图像不同的特点,例如,防抖是一个重要的视频属性,对视频录制的整体质量产生很大的影响。连续对焦也是如此,因为不稳定的自动对焦很容易破坏视频片段的质量。不过,在测试静止图像和视频时,两者之间最重要的区别在于视频为大多数的图像质量属性添加了时间维度。测试大多数静态视频图像属性时,我们只查看视频片段的一个帧的测标曝光、动态范围或白平衡等属性,与静止图像的测试非常相似,但一个视频片段毕竟不是单张静态图像,而是许多帧快速连续录制和播放的结果,因此,我们还必须从时间维度来查看视频的图像质量,例如,我们必须了解在均匀光照条件下,视频的曝光和白平衡的稳定性如何?在录制过程中,如果光照水平或光源发生变化,曝光或白平衡的转换速度和平滑度如何?

下面的示例图表显示了摄像头的自动白平衡系统在录制过程中必须对光源变化作出反应时可能发生的问题:在光源发生变化时(1),该摄像头反应迟钝,接着往错误的方向纠正白平衡(2),然后往正确的方向校正,但曲线显示了一些步进痕迹(3)。该摄像头首次找到正确的白平衡后,曲线显示出大量振荡(4),然后趋于稳定(5)。(请注意,下图显示了该摄像头在光源发生变化时的行为,但对应的曝光图看起来会非常相似。)

光照变化时可能出现的转换问题。

撇开对时间属性的测试不谈,视频图像的其他测试条件和程序几乎与静止图像相同。按照我们的Selfie视频测试基准的要求,我们在DXOMARK图像质量实验室以及室内和户外“真实”场景变化中拍摄几个小时的测试图表和场景视频。光线条件包括户外高光和室内许多类型的人造光源。我们摄影棚的测试光照水平介于1000勒克斯高光到1勒克斯极低光之间。

与前置摄像头的静止图像一样,Selfie视频应针对近距离拍摄时的人像进行优化。进行视频测试时,我们分别在30和50厘米的距离上对着不同肤色的单个或多个对象进行拍摄,以便覆盖尽可能多的用例。与照片分数一样,DXOMARK Selfie视频得分是使用客观测量结果和由一组图像质量专家的感知分析计算得出的分数,然后我们将客观测量和感知分析结果汇总到视频的各个测试项目的分数中,并应用我们专有的公式和加权系统得出整体自拍视频分数。

还值得注意的是,对于视频测试,我们将手动选择可提供最佳视频质量的分辨率设置和帧频,而对于静止图像,我们始终以默认分辨率进行测试。 例如,智能手机前置摄像头可能提供4K视频模式,但默认情况下使用1080p 全高清。 在这种情况下,我们将手动选择4K分辨率。

DXOMARK Selfie视频测试项目的分数

本部分更详细地描述了我们所测试、分析的视频属性,以便计算我们的Selfie视频的各个测试项目的分数。

曝光

进行曝光测试时,我们从静态视频图像和时间两个角度来查看测标曝光、对比度和动态范围。与静止图像一样,我们根据不同的拍摄距离对拍摄对象和背景曝光进行不同的加权。在特写照片中,脸部是最重要的图像元素,当摄像头距离拍摄对象越远,背景就变得更加重要。我们在1至1000勒克斯的光照水平下,使用一系列测试图表和设备对实验室进行曝光测试,并在办公室内和阳光灿烂的户外进行拍摄。

我们使用这些实验室的客观测量和感知分析结果来计算得分。测试静态视频图像属性与静止图像的方法几乎相同,但考虑到诸如HDR等技术目前才开始用于视频,因此测试结果可能会大不相同。在曝光项目中,我们对静态视频图像的质量属性进行如下测试:

  • 整体测标曝光和可重复性
  • 面部测标曝光和可重复性
  • 集体照的面部测标曝光的一致性
  • 面部溢光剪贴纹理
  • 背景中的高光位和阴影细节
静态视频图像的曝光测试在几个光源下进行,其方法与静止图像测试几乎完全相同。

在静止图像方面,我们还会报告对比度是否异乎寻常地高(或低),但我们不会将这些信息计入分数中,因为对比度主要是个人品味的问题。如上文的介绍中所述,在测试视频时,我们必须考虑图像质量的时间属性以及静态属性。在曝光方面,我们测试以下时间属性:

  • 收敛时间和平滑度
  • 振荡时间
  • 超调
  • 稳定性

下面的示例图显示了摄像头的视频曝光系统如何对光线变化作出反应,其亮度变化范围介于相当小(5到30勒克斯)到极大变化(30到1000勒克斯)之间。

除静态视频图像测试外,我们的时间测试还会考虑光照水平变化的影响。

对曝光性能进行感知分析时,我们的图像质量专家团队会浏览大量采样影片并根据下面两个标准进行评分:

  • 在两个拍摄距离上和多个照明条件下所测得的人脸测标曝光和其可重复性
  • 饱和度和脸上的剪贴纹理问题
  • 背景中的高光位和阴影细节
  • 行走录制和摇拍时的曝光稳定性和平滑度
我们的专家对不同拍摄距离上和不同光照水平下拍摄的个人自拍照和集体自拍照进行感知评估。

色彩

在实验室中,我们在1到1000勒克斯的光照水平下使用24色图卡、我们自己专有的DXOMARK图卡和灰色图卡来测试色彩。我们也分别在阳光明媚的户外和DXOMARK办公室内进行拍摄。一如静止图像,在白平衡和演色性方面,我们使用椭圆体评分系统来评分。

我们的椭圆体白平衡评分系统:绿色圆圈内的色彩坐标为满分。分布在红圈内的点仍然可以接受,但得分较低。

我们根据客观的实验室测量结果和感知分析结果来计算色彩分数。静态视频质量的色彩属性包括:

  • 白平衡准确度和可重复性
  • 演色准确度和可重复性
  • 集体照中的肤色演色性
  • 色彩渐晕
我们在不同光照水平和不同光源下进行色彩测试。

我们还在变化的光照条件下测试以下时间属性:

  • 白平衡的平滑度和稳定性
  • 演色性的平滑度和稳定性

您已在本文第一部分中看到一个示例图表,显示在视频录制期间,光线突然改变时可能出现的问题,下图则显示在光照条件变化较慢时发生的情况。在这个测试中,我们慢慢地将光照水平从20勒克斯调到300勒克斯,并且在此过程中略微改变了色温,然后反过来进行相同的测试。

在左图中,您可以看到平滑的白平衡转换,没有任何骤然变化或其他不规则性。在右图中,白平衡转换非常平滑,但在15到16秒之间有明显的超调,白平衡系统稍微过度补偿,然后重新调整。

平滑的白平衡收敛(2300K/20勒克斯至2800K/300勒克斯)
具有超调的白平衡收敛(2800K/300勒克斯至2300K/20勒克斯)

对色彩进行感知分析时,我们检查两个拍摄距离和几个光源下的白平衡准确度和可重复性,并使用集体人像来检查各种肤色的演色性。此外,我们还在几个钨丝灯和荧光灯下检查我们的采样影片里的色彩渐晕。

我们使用集体自拍视频对肤色进行感知分析。

对焦

本质上,我们所有的对焦测试都是感知评估。我们在实验室10、100和1000勒克斯的光线水平下、阳光明媚的户外以及DXOMARK办公室内,对前置摄像头的对焦性能进行测试。在视频方面,我们在30和55厘米的拍摄距离上进行测试。静态视频图像的对焦属性是:

  • 对焦范围
  • 景深

我们通过检查人像视频片段和背景中的细节,以及群体人像中位于焦平面外的拍摄对象的清晰度来评估景深。

对焦稳定性是我们在对焦测试中使用的唯一时间属性,目前多数智能手机的前置摄像头都还没有配备自动对焦系统,它可以帮助您拍出更好的清晰度,但在录制时也会导致稳定性方面的问题。

我们使用集体自拍视频来评估景深。

纹理和噪点

在实验室内,在1到1000勒克斯的光照水平和不同的光源下,我们使用枯叶图和我们在静止图像测试中使用的逼真人体模型对纹理和噪点进行测试。我们还在阳光灿烂的户外和DXOMARK办公室内使用真人拍摄对象进行测试,所有测试的拍摄距离均为30和50厘米。

我们使用一系列逼真的人体模型进行纹理和噪点评估。

纹理和噪点测试属性:

  • 纹理和边缘锐度,以及可重复性
  • 视觉和时间噪点水平和可重复性

我们在静态场景和具有摄像头和被摄体运动的场景中测试纹理和边缘锐度。测试这两种情况非常重要,因为多帧堆叠算法可以轻松地减少静态场景中的噪点,但是当某些场景元素处于运动状态时,却往往很难获得相同的结果。为了测试摄像头晃动对视频纹理和细节的影响,我们对手持录制和在三脚架移动过程中录制的视频片段进行感知分析。

我们分析智能手机视频片段中的纹理和边缘细节。

对纹理进行感知分析时,我们会仔细检查诸如眼睛、眉毛、睫毛、嘴唇和胡须等面部各部位,因为它们应该始终显示良好的细节。对噪点进行感知分析时,我们会仔细观察视频拍摄对象的肤色。

伪像

对静态视频图像和静止图像进行测试时,我们所观察的伪像都相同,但我们也会睁大眼睛看看特定于视频的任何其他类型的伪像。

  • 景深范围中的清晰度
  • 镜头渐晕
  • 横向色像差
  • 畸变
  • 面部透视畸变(变形)
  • 彩色边纹
  • 色彩量化
  • 耀斑
  • 重影
  • ……和更多……

防抖

对于前置摄像头和主摄像头而言,视频防抖都是很重要的功能。我们在静止不动时手持摄像头,以及行走时在30厘米的拍摄距离和手臂长度下进行录制,以测试视频防抖的性能。在视频通话方面(前置摄像头视频用户最重要的用例之一),用户通常手持手机在距离自己脸部不远处(30到40厘米)进行拍摄。在这种静态视频中,防抖算法应该抵消所有的手部晃动,但不应对拍摄对象头部的任何动作做出反应。

视频防抖对被摄体运动做出反应

在集体自拍视频中,我们必须检查防抖是否适用于画面中的每一个人的脸。在下面的示例中,您可以看到只有主要拍摄对象的头部的防抖效果很好,但视频中的其他拍摄对象却有明显的变形迹象。

防抖在集体自拍视频中导致一些拍摄对象变形

对于防抖而言,带着摄像头行走是最具挑战性的用例,因为步行运动具有强烈的振幅,需要比静态场景更加强烈的防抖处理,在这种情况下,不好的视频防抖往往会导致恼人的变形效应。

具有良好的背景防抖的步行视频
带有拍摄对象变形效果的步行视频

我们希望这些前置摄像头视频测试和评估的概述对您有用。有关我们新的DXOMARK Selfie测试基准和自拍演变的文章,以及有关我们如何测试和评估前置摄像头视频质量的更多信息,请单击以下链接: