体验评测流程|用研带你做评测

三分设

共 5424字,需浏览 11分钟

 · 2022-06-08

点击 ▲ 三分设 关注,和 6 万设计师一起学习进步

知识库 2022 ·第 142 




内容导读

01 认识评测

02 步骤详解

03 总结寄语



认识评测 


首先,功能策略、交互设计类项目均可做评测。


例如公司设计了一套产品,但是不确定产品使用逻辑是否符合用户习惯,即可发起用户评测,收集用户完成特定任务的时长、出错情况和主观反馈,从而分析该产品的使用效率、容错率和易用性,有针对性的优化产品。交互设计类同样可以做评测,当交互设计师在两款设计方案中琢磨不定、难以决断时,即可发起用户评测,收集用户使用产品时的视觉信号、情绪信号和主观反馈,从而选出用户心仪的设计方案。


其次,一套完整的评测应该包含以下步骤。

△ 图 1 执行流程图



步骤详解


01. 沟通需求

用研项目多由业务方发起,需求沟通的过程可能是一轮或多轮。业务方会阐述需求,即希望解决怎样的问题,用研需要引导业务方明确以下几个问题。


1.项目背景:即业务发展阶段、产品成熟度、目标用户概况、业务方责任人、项目辐射范围等。


2.项目目标:将业务方需求转换为可落地指标。初次与用研合作的业务方,由于不清楚用研的方法和能力,需求较为笼统或超出用研能力边界,此处需要将业务需求转变为可落地的指标,并与业务方对齐,避免调研结果得不到认可的尴尬。


3.执行策略:根据业务目标,用研可先大致拟定执行方案,包含执行方式、被试角色和数量、所需资源等。


4.产出形式:可基于项目节奏和项目辐射范围,提前跟业务方商定最终的产出形式。偏敏捷的形式有 word、excel 的文字整理,结论撰写时间较少;偏正式的形式有 ppt 的图文结合,结论撰写时间较长。


5.项目排期:明确业务方希望的产出时间和用研侧人力情况,即可制定排期。排期中需要明确项目发起时间、执行周期和产出结果的时间。多方协作的项目需共同确认排期,确保每个环节都能如期进行。避免因不了解某一方的业务情况,排期时间不合理,造成项目延期。


6.潜在风险:明示项目过程中的不确定因素及应对方式,给彼此一个心理缓冲。


02. 细化方案

需求沟通清楚后就可以细化执行方案了,细化的内容分别有以下几个方面。


1.调研设计:可分为被试内设计和被试间设计。

△ 图2 实验设计分类


2.衡量指标:在「需求沟通-项目目标」中讨论过需要将业务需求转化为可衡量的调研指标。常用的主观指标有满意度、净推荐值;客观指标有任务完成率、完成耗时、出错次数等,灵敏的定量数据能为定性结论起到坚定的佐证。


3.执行脚本:详细的执行脚本一方面能够帮助调研者充分把握执行过程,另一方面也能确保用户接受到一致的信息,避免由于执行过程不严谨引起的误差。假设自己是编剧,需要把接触用户至送离用户的全过程中,讲解的“台词”一一写好,如自我介绍、产品介绍、体验流程介绍、用户培训、访谈问题等,在执行时随时查阅。


4.评测场所:一般没有特殊要求,如果是实物测评多选择高频使用环境,除此之外可根据产品特征和项目需求选取场所。


首先调研用户要具有代表性,需依据全量用户特征选取。除了人口学特征年龄、性别、学历、行业、收入水平、地区外,还可以根据产品使用经验筛选,如使用时长、活跃度等。明确全量用户特征后,还需要计算不同维度的用户占比,从而在分层抽样中做到精准配额。此外,依据调研需求的不同,用户数量可以灵活处理。一般定性调研的用户数量在 6-8 个,偏定量研究的用户数量在 25-30 个。


6.执行排期:执行排期需要详细到每位用户的到访时间。若一天有多场调研,两场之间最好预留 1-2 个小时的休息时间。便于快速整理、回顾上一场测试的重点,以及熟悉下一位用户的信息。预测试已经排查了大部分执行问题,但是第一天的测试尽量不要排太满,预留一些缓冲时间百利无一害。


7.各类表格:例如来访签到表、保密协议、执行脚本、过程记录表、礼金领取表等。


03. 筹备物料

首先是调研所需的产品。由于公司内部的产品评测多发生于量产交付/全量上线前,产品可能并不完全成熟,大多数情况下需要专门“制作”给调研用户展示的“样品”或测试版本。“制作人”可能是产品经理、设计师,或者运营组,在制作过程中需要用研充分讲解调研流程和脚本,明析产品呈现形式,把控“样品”质量。最好跟“制作人”直接对接,便于产品状况的准确同步。以及预留 1-3 天的测试时间,确保版本稳定可用。


其次是调研的场所,应尽量安静、有座椅,舒适的环境可以促进用户的表达意愿。若条件允许,可以为用户准备水和补充体力小零食。


04. 招募用户

前面「细化方案-调研用户」中提到了用户特征及数量,接下来就是招募的具体动作,可谓万事俱备只欠东风。用户招募看似简单,但由于不可控性,往往是项目延期的高发因素,因此要预留充足的招募时间,并在制定好招募条件后尽快开始行动。一旦出现延期风险,及时同步业务方。业务方可能有更多业务资源,说不定能够协同招募哦。


1.招募工具:一般是问卷,一方面便于筛选报名者信息,只保留符合要求的用户,另一方面也可以收集大量用户信息,反向验证全量用户特征。在编辑问卷时有一个小技巧,设置两个关于时间的选择题。一个题目让报名者选择方便电话沟通的时间,用于补充和验证报名者信息真伪,避免有人为了赚取被试费而“蒙混过关”。另一个题目让报名者选择方便参与调研的时间。


2.投放渠道:不限,可以是线上也可以是线下,以易触达目标用户为准。


3.被试费用:用户招募难度、调研时长等不同,单个用户的调研费用在几百到几千不等。当然,也要考虑项目经费,手中无米,万事皆难。


05. 预测试

经常被业务方忽视的预测试,其实非常重要!


预测试是正式测试前的预演,能够很好的发现调研执行环节中的 bug,比如流程不顺畅或调研所需的产品需调试等。


此外,也可以帮助调研者熟悉调研环境、调研流程。如果调研执行是多人配合,还可以磨合分工,例如调研过程中需要记录哪些内容,以怎样的形式记录。借此机会也可以调试录音或录像设备,确保正式调研时影像资料的留存万无一失。此上种种,均为正式调研的顺利执行起到重要作用!


06. 正式测试

正式测试无疑是最重要的环节!接下来,让我们看看正式测试的具体流程。


1.接待暖场:主要包括自我介绍、用户信息确认和挖掘、项目背景介绍(非必需)、体验流程和被试任务介绍、签署保密协议等。看似简单的暖场环节,其实大有玄机。通过与用户的亲切互动,可以有效的消除用户的紧张情绪,从而促进用户的表达意愿,使其放心大胆、公正客观的发表产品体验看法。


2.产品体验:引导用户体验产品并完成与调研相关的任务。适时解答用户体验时的困惑、纠正用户的错误认知。把握体验节奏,将宝贵的时间聚焦在项目目标上,避免用户在某一环节浪费太多时间。为了提升体验效果有四个小技巧。


  • 在正式体验前加入 3-5 分钟的自由探索环节,让用户充分熟悉测试环节和测试产品,避免正式体验时的紧张和不必要的失误,使结果更准确。

     

  • 带领用户练习发声思考,边操作边口头描述自己的操作计划或使用困惑,能有效避免体验问题细节的遗失。


  • 在体验开始前告知用户体验过程需要关注的地方,让用户的注意力更聚焦。


  • 在体验过程中多多肯定用户的表达(并非一味吹捧、指鹿为马),鼓励用户发言,收取用户更多反馈。


3.调研访谈:尽量在体验结束后集中进行,能最大程度保障用户的沉浸式体验。但若体验时间较长,用户有遗忘细节的风险,则可以划分任务节点,在每个环节后询问用户体验感受,体验结束后再做一次简短的回顾性访谈。尽量避免在用户操作产品时询问问题,以免分散用户注意力。若用户因好奇而询问产品相关的其他问题,切勿信口开河,可以暂时不回答或询问后作答。


4.致谢送别:送出调研礼金并送离用户即可。虽然会口头邀约用户下次继续参与评测,但应注意预留“静默期”,避免练习效应。具体时间视项目情况而定,几周到几个月不等。


最后小提醒,记得拍照留念哦,可以拍搭建的调研环境、体验产品的用户和接受访谈的用户。一方面可作为执行过程的素材,便于在项目汇报时让他人快速了解执行情况;另一方面也是个人工作的见证。


07. 输出小结


输出调研小结是非必要环节,但好处多多。


首先,调研小结可以让项目相关方第一时间了解用户声音和执行进展,因此强调时效性,最好每日同步。作为非正式汇报,以清晰准确、突出重点为主,不必过于苛求形式。


其次,调研小结作为问题暴露的窗口,使得业务方能够依据用户反馈随时调整“样品”细节,不断充实调研的价值。


但当调研人数较多,且执行周期紧张时,用研没有时间记录用户反馈,很容易遗忘各用户特征,或把不同的用户特征记混。等调研结束再梳理调研内容时,往往费时费力。

为了更好的形成小结和最终的报告,需要在执行过程中积累。比如,在每一场测试结束后抽出 10-20 分钟梳理重点。可以用 excel 梳理,在用户头像后面标记用户特征、体验问题、核心观点。若无法快速电子化,随手写下可爱、贴切的“外号”、标签或经典语录,效果也很好。这个过程类似于打标记,帮助你根据关键词快速回忆出用户样貌和核心观点。


08. 撰写报告

调研报告是对外展示完整项目的重要途径,应做到观点明析准确、结构主次分明、视觉简洁大方。那么,调研报告应该如何撰写呢?


首先,梳理过程记录。调研执行中需有录音/录像记录,并在每场结束后快速标记用户特征。通过下表整理调研内容,根据横向和纵向的梳理形成定性结论。“分类”有两种用法,若是产品体验记录,则可以按照体验流程或体验问题分类;若是访谈,则可以按照访谈问题分类。选取一种分类顺序,做到不漏不重,尽数记录调研过程中的用户反馈。在“汇总”中梳理问题详情、分析问题原因、补充优化建议,形成报告时还应补充问题出现频次、用户编号和问题优先级。若有定量数据,也应一并梳理。


△ 3 记录表


然后,制定报告大纲。一份完整的报告应包含项目概述(背景、目的、方法)、核心结论、内容详述,用户详情和问卷可作为附录放在报告后面。


最后,将上述两部分内容结合,施以时间为魔法,即可得到一份完整的报告。切记,报告不似“记录表”,应提炼核心用户的观点,回答业务方的疑问,响应研究之初设定的研究目标。


09. 分享落地

最后,将上述两部分内容结合,施以时间为魔法,即可得到一份完整的报告。切记,报告不似“记录表”,应提炼核心用户的观点,回答业务方的疑问,响应研究之初设定的研究目标。项目参与者往往只有几个,执行人更是少之又少,若要充分发挥项目价值,推动调研结果在产品中落地,首先要让业务方在体验问题上达成共识,而分享的作用不言而喻。


1.最好线下面对面分享,提前预约分享时间,错开例会,使尽可能多的业务方成员到会。


2.多播放用户出现问题的视频片段,而非纯文字讲解,以便给业务方留下深刻印象。


3.划分汇报节点,增加提问、答疑和讨论环节。


4.分享结束后立即制定 TODO,具体每一个体验问题的可落地性、落地时间和责任人,便于定期跟踪落地进度。


分享落地似乎是整个项目的收官环节,但对于产品优化来说,却仅仅是开始,主动追踪落地效果,持续推动产品成长才能充分发挥用研的价值!



总结寄语


以上是评测项目的详细步骤,具体到不同的项目可能略有不同,下面为各位整理了需要做、不能做和注意事项。

图4 注意事项汇总 


除了方法论,做好项目更依赖于研究者的心性。


首先,沟通要大方直接,初入职场的小朋友千万不要因为不好意思开口,不懂装懂,最后糊涂执行,导致结果跟目标有偏。


其次,勤勉、不怕麻烦。用研的工作需要对接多方角色,反复沟通是不可避免的,这样才能保障信息的对齐。如果不能亲力亲为,也要盯好每一个细节,例如用户招募、物料筹备,稍有不慎都有可能影响执行的效果。


最后,自驱且主动。主动掌握各方信息,如产品侧近期规划和技术侧优化排期等,对调研结果的落地和推动非常重要。


评测是用研中非常基础的方法,多做多想多问,一切以做好项目为导向,争取早日成为一位用研小达人吧。




热门文章推荐

译客专栏 2022 · 第 7 篇


精选体验设计知识

收录 100+UED 团队干货文章


共创成长训练营

三分设·星火会员


我们一起聊设计

三分设·微信读者群/城市群

欢迎添加 ⭐️  星标,获取每日好文推荐,每天早上 8 点,准时充电。加入设计微信交流群 三分设读者 5 群,期待与更多优秀用户体验设计师一起成长, 添加 益达 微信号【 Lil_Bug or【 Red-boy2020,备注【 三分设读者 】加入读者群!

分享设计心得,定期直播,零距离连麦,答疑解惑





点开『阅读原文』,欢迎你的加入星球

浏览 33
点赞
评论
收藏
分享

手机扫一扫分享

举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

举报