移动可用性测试(三):现场测试
1 现场测试还是远程测试 现场测试可以面对面接触用户,能够观察和记录所有的现场信息。远程测试虽然情境还原度较高,但通过摄像头和麦克风得到的信息毕竟有限,很多场外信息包括用户肢体语言都会有所缺失。此外,现场测试更容易控场,可以保证无干扰的环境、通畅的网络,也可以及时解答用户的问题,保证用户能专注在测试本身,而远程测试在控场方面有所不足。最后,现场测试对工具的要求更低,不论是制作测试原型,还是测试环境的搭建。
然而现场测试也有它的局限性。由于时间、空间及成本的限制,现场测试方法只适用于少量、有限制的样本测试。比如研究人员在一线城市,现场测试可能只能招募本地的被试者,难以触达其他地域的用户。缺少三四线城市的用户分析,那么最后的研究结果很可能会产生偏差。这种情况下,低成本的远程测试会是一个很好的补充。决定采用现场测试还是远程测试,主要取决于以下两点:
用户分布 如果产品的目标用户在本地无法招募,如面向海外市场的产品;或者产品的用户分布在地域上比较分散,如覆盖全国一二三四线城市的产品,本地招募的被试者不具代表性,那么远程测试就很有必要。
样本量 现场测试适合做小样本测试,当需要大样本结果时,无主持的远程测试可能是更好的方案。
2 何时开始测试 现场测试和远程测试的选择,还要考虑此次可用性测试处在产品研发的哪个流程阶段。下面就“何时开始测试”这个话题,简单说下我们的看法。
大部分公司的研发流程,都可以大致归类为需求阶段、设计阶段、开发阶段、测试阶段和发布阶段。我们把设计结束作为分界线,可以将可用性测试时机分为早期介入和后期介入。
早期介入 这个阶段做可用性测试,一般没有很充裕的准备和测试时间,测试原型和最终上线的产品也会有出入。然而早期介入的优点是,这个阶段产品还未定型,测试的结果可以立即反馈给产品和设计人员用于敏捷迭代,测试结果落地和推动的成本相对较低。此外,也可以通过卷入产品设计人员参与测试,从而分担或省略掉一部分可用性测试记录工作。
后期介入 进入开发阶段之后,可以拿到更接近成品的原型用于测试(如内嵌代码到程序中),也有更充裕的测试时间。但这个阶段,产品的需求变更会更谨慎,测试结果的推动落地难度成本也会上升,因此需要更多的证据支持。在腾讯的环境下,这个阶段得到的测试结论,如果被接受了,一般要到下个版本才能排期。
对于形成性测试来说,我们更推荐在项目早期测试。这时会更多采用现场测试的方法。一般在交互完成后开始测试,测试过程和视觉设计阶段并行。可以运用第一篇介绍的原型制作工具快速生成移动测试原型。也可以在产品需求完成阶段进行测试,和交互设计并行,但此时的测试原型会更粗糙。
3 现场移动可用性测试的常用App和装置
在实验室中进行现场测试是目前做移动可用性测试较多的方式。相比PC可用性测试,移动可用性测试对如何有效观察和记录用户行为操作提出了挑战。
一方面,由于移动设备屏幕较小,主持人难以直接观察被试者的移动设备屏幕,可能会遗漏重要问题。对于记录员和其他观察者,能够直接清楚地观察到被试者屏幕的可能性更小。另一方面,不同于PC互联网时代使用鼠标和键盘交互,移动互联网时代,用户通过手势与触摸屏进行交互,测试时不仅要记录界面行为,还要记录用户手势,最好还要同步记录用户表情和语音。因此,进行移动可用性测试,我们需要到新的观察、记录方式和工具。
现场移动可用性测试工具需要解决3个问题:
通过对主流方法的研究,以及对第三方App的探索,我们整理了以下这些工具:
(注:工具研究主要针对手机上的App测试,对于移动Web测试和平板设备测试并未覆盖)
Mobizen (Android) — 现场观察,记录屏幕、手势
Display Recorder (iOS) — 记录屏幕、手势、声音
SCR (Android) — 记录屏幕、手势、表情、声音
Magitest (iOS) — 记录屏幕、手势、表情、声音
原生安卓app开发Mobizen + AirDroid (Android) — 现场观察并记录手势、表情、声音
固定摄像机/摄像头解决方案
雪橇装置解决方案
3.1 QuickTime (iOS) — 现场观察,仅记录屏幕
对于现场测试,我们首先要解决的是现场多人观察的问题。通过镜像类App,把手机屏幕同步到PC/Mac屏幕上,可以很方便地进行多人现场观察和录屏。
之前iOS下的镜像解决方案主要是reflector + 录屏App。但苹果发布了Yosemite之后,原生的QuickTime可以支持对屏幕或摄像头进行录屏操作。iPhone需要升级到iOS8,然后通过数据线与Mac连接。Mac上打开QuickTime,新建影片录制,这时QuickTime会先激活摄像头。再点击录制按钮旁的下拉箭头,将相机源改为测试的iPhone,这时屏幕中将出现手机画面,就可以进行iPhone录屏了。Quicktime解决方案完全不需要用到第三方App就可以完成镜像和录屏,并且因为是系统级的解决方案,镜像非常流畅。即使是用户手机,只要升级了iOS8,插上数据线之后也可以很方便地扩展到Mac进行观察和录屏。
QuickTime作为苹果原生解决方案,操作非常简便。无论是使用统一测试设备,还是用户自己的设备,都很方便,只需要一根数据线。但因受到苹果的限制,这个解决方案无法观察和记录用户的手势,记录表情和声音也需要借助其他设备,所以一般只用作iOS屏幕镜像和观察。
3.2 Mobizen (Android) — 现场观察,记录屏幕、手势
在安卓平台上,很多手机助手类的App都支持手机屏幕镜像到PC/Mac,如豌豆荚、91手机助手等。但我们实际测试下来发现,手机助手的屏幕镜像速度都令人捉急,延迟比较厉害,还会发生卡顿的情况。
经过实际的测试比较,我们推荐使用Mobizen作为Android平台上的屏幕镜像解决方案。这个方案下,需要安装Android版Mobizen,以及PC/Mac客户端版Mobizen。然后把手机和PC/Mac通过数据线相连,选择“USB连接”的方式镜像屏幕,基本无延迟。下图是Mobizen的界面和在Mac上的镜像效果。此外,在切换成横屏应用时,Mobizen的手机模拟器也会同步旋转,这个细节非常友好。(题外话,Mobizen有个Bug,密码设得过于复杂会提示账户不存在。)
版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198,我们将在24小时内删除。
发表评论