小议用户接受度测试UAT sit测试和uat测试
1.UAT概况
在新版本上线前或上线后,通过目标用户完成一定任务、经历主要使用场景后做出偏好选择的过程,为用户接受度测试。对于上线前的UAT,研究者主要想找出相对优秀或合适的新版待用方案;对于上线后的UAT,研究者则通过UAT验证产品方做出的方案决策效果。
1.1UAT必要准备
接受度测试必须要开发完整后交由典型用户检验,之前最好经过多种层次的检验(单元、整合和系统的测试),确认各模块基本功能的完整和顺利运行。
1.2UAT测试内容的选择
根据具体测试目的来定义UAT的任务、用户人群、竞品等等。
任务选择:
基本上,移动互联网APP设计基于用户使用需求和使用场景,UAT可以覆盖典型使用场景的主要部分即可,也可以针对测试目的进行任务侧重点调整。例如,MM移动商场改版测试会包括常用操作下载、管理应用等,但因为主要改版重点在首页UI,所以必须增加首页自由浏览任务以用来发现用户对首页改版的偏好。
用户人群:
选择UAT的用户样本时需要正视两个问题:用户类型和样本代表性。
用户样本的类型取决于测试重点和需求,可以是全体目标用户,也可以是重点关注用户,如已有用户或新增用户等。
样本代表性问题在上线前测试显得十分重要,主要是因为样本代表性决定UAT结果的推广度和代表性,产品方需要参考UAT结果进行决策,从而该结果的推广影响整个产品后续发展,所以样本代表性至关重要。现在的正式研究主要通过增加样本量的办法来解决样本代表性问题,如测试中使用具有统计效力的大样本(N>=30)。
2.UAT用户接受度测试的缺陷
第一:
只考虑新旧版本的交互/视觉变化对用户的选择影响,忽视了用户的实际使用需求,即是追求新旧版方案间的最优方案。但事实上,即使用户觉得该方案界面和交互视觉等无法挑剔,没有实际的使用需要,用户也不会主动使用该应用。
第二:
研究中用户可能会出于各种因素(比如出于偏向性刻意讨好或贬低移动产品)有意或无意地打高分或打低分。
第三:
用户样本的代表性问题。接受度测试位于产品设计-运营环节的测试阶段,除非资源充沛,一般不会花大量金钱和时间来进行大规模的接受度测试,这个现实直接决定用户样本量规模较小。如果样本量较小且招募不具备代表性,容易导致接受度的结果受到影响,产品线据此结果容易做出错误的决定。
3. 对UAT测试缺陷的解决办法
第一:
为解决这个问题主要从两个方面把关,一是抽取具有代表性的目标用户(一般是已有活跃用户和潜在的新用户),具有使用该产品的需要;二是从问卷或访谈中强调“请根据你自己实际情况来选择”,而非仅仅去客观地判断该产品的改版好不好。
第二:
为了避免用户偏向性问题,可以增加样本量,预期随机误差可以互相抵消。
第三:
解决接受度测试的样本代表性问题最保险的做法是参考理论样本量和同行的经验做法。理论上接受度测试有统计学效力的样本量至少要30(统计学上定义的大样本),而行业内部分电商网站的新版首页改版时也会选用20-30用户进行接受度测试,其具体做法是把用户划分为有限类别(能够覆盖整体用户类型,稳定用户,购物车用户,浏览型用户,新手用户等),让不同类型的用户按照随机顺序接受候选方案的经典任务流程,其中的用户样本和任务场景尽量覆盖产品的整体情况,最后用户根据自身实际情况对不同的候选方案进行评价。
4.特殊情况下的UAT
4.1同时上线的接受度测试
如果产品方已经圈定新版(跳过上线前测试),在纠结犹豫上线后新老用户偏好新版还是旧版的时候,我们还可以使用逐步开放新版的灰度上线方法(改良版A/B测试)来观察和验证用户对新版的接受度。举例来说,电商首页改版,逐步开放10%/30%/50%/70%的来访用户接受新版首页,此时记录和分析用户的跳出率和PV,根据以往的标准来观察逐步开放过程的用户使用行为变化,最好的结果是10%到100%用户指标表现良好,确定新版首页为用户接受;最差的结果是当开放到某个临界值时,用户指标已经远远差于旧版,可能需要最好回滚/复用准备。
4.2可用性测试中融合接受度评价
上述的接受度测试必要准备有提到,用户接受度测试需要产品/应用的基本功能完整和顺利运行,用户这时接触产品能够正常使用,并且根据自己的使用习惯和偏好进行偏好度评价。但实际情况是产品线开发周期短,部分产品在为开发完整时就可能需要做出选择,用户接触产品时会遇到一些可用性问题,因此他们会综合评价各个候选方案的接受度。这时候的接受度测试和可用性测试融合在一起。
可用性测试中融合接受度评价的做法能够间接减少用户样本量(权威研究机构Nielsen Group指出可用性测试至少用户5人或以上,而且会出现理论饱和度问题),但这种做法直接影响接受度评价部分的代表性,需要在测试结果中明确表明,请产品线谨慎参考和决策。
附录:
http://www.exforsys.com/tutorials/testing/what-is-user-acceptance-testing.html
http://gux.163.com/archives/3063
作者MandyCat(供职于某互联网音乐公司用研)原创并投稿早读课,转载请注明出处
早读课编辑:momo 早读课校对:盆栽
如果看到这段文字,证明您已经看完这篇文章了,有什么收获有什么感想有什么不赞同,我们期待您的留言评论,并诚挚邀请您加入“互联网er早读课”QQ群,一同交流每天文章的心得并结识同行。官方7群:339397805,加群密码“职业信息+城市+姓名”,否则不予通过,入群后请修改群名片。
3
我们猜您可能也喜欢:
纯干货!量化用户研究-20140605
电商团购的用户行为分析研究-20140326早读课
你真的了解互联网用户行为吗?看看你错了多少…20140221早读课
如何获得你的前一百万个用户?-20140623早读课
指尖上的浏览场景:从一次眼动测试说起-20140619早读课
用户研究如何跟上快速迭代?-20140809早读课
APP用户引导设计秘籍-20140815早读课
如何平衡产品的商业化和用户体验?-20140812早读课
20130819早读课:用户研究,别做第三者
20131027早读课:进行用户研究的五步法
无觅关联推荐[?]
赞 勤奋的甜...等1人赞过
更多阅读
国产+韩版勇者警察大警察合体火焰j迪卡度玩具 急冻鸟和火焰鸟合体
接着是韩版迪高火焰和国产j迪卡的超级合体,国产j迪卡上除了胸口要开口外,其余均无修改直接合体.大警察合体!无敌勇者骑士!迪高火焰全身拆散
汪峰二度逆袭搅局和四强对阵预测 里约奥运女排四强对阵
汪峰二度逆袭搅局和四强对阵预测如果说那英组讲究的是冰晨焦点战,杨坤组讲究的是余枫黑马战(见《[20140926]剧透名单害了陈冰帮了张碧晨赢了那英》),那么齐秦组讲究的是魏然折戟秦宇子,汪峰组讲究的是汪峰逆袭保帕叔。虽然不比那英组那
关于百度地图离线地图和离线导航包的研究 高德地图如何离线导航
这两天研究了下百度地图,心的如下1该软件的地图和导航图是分开的,其中导航图只有道路和路口,道路两旁只有极少数的地标2该软件的地图是可以离线下载的,无论哪个版本的百度地图3导航图也可以下载,但是要注意的是,对于3.0版的该软件,可以下载
三洋还是帝度,? 三洋和三洋帝度的区别
“不是要代替三洋,观念一定要转变过来,现在动不动大家就说三洋品牌不能用。”一提到合肥三洋面临品牌到期的问题,其董事长金友华便一脸怒火,一方面他反感于外界所认为的合肥三洋对日本三洋品牌的依赖,另一方面又希望目前所推出的自主品牌
关于开博尔损害用户利益的问题,及思路和hdpfans论坛是黑论坛的问 损害利益 英文
关于开博尔损害用户利益的问题,及思路和hdpfans论坛是黑论坛的问题--有图为证转载注明http://blog.sina.com.cn/s/blog_80efaa3d0100smch.html2011年5月14日开博尔官网论坛把用户反馈问题,包括提建议的帖子全部删了,只留下六七页对他们