如何构建用户画像系统?看这一篇就够了!(建议收藏)
共
7022字,需浏览
15分钟
·
2021-02-22 01:06
源 / 顶级程序员 文 / 草帽小子
乔巴:我是一枚半路转行的数据产品经理,现在大数据火热,所在公司想搭建画像系统,但自己对用户画像没有概念,对画像系统是怎样的架构,有哪些常见的功能等事项全然不知,真是困煞我也!索隆,会心一笑,言道:产品经理就是为了解决问题而存在,解决问题要一步一步来,想掌握画像体系可以先了解标签体系、OneID体系等基础内容。然后来细读各个大厂的画像系统是如何搭建的,如微博、百度地图、京东数科、腾讯、阿里等巨头公司的画像系统,正所谓“求其上者得其中,求其中者得其下”。取上再结合实际,才为正道。1.V1.0:画像初级版,为画像系统雏形,选取了2015-2017年早期的画像版本,彼时部分公司的画像系统刚刚起步,各方面功能还未探索清楚,如百度地图画像系统、微博画像系统;
2.V2.0:画像标准版,其基础功能完善,有了一定的分析能力,如神策画像系统、京东数科画像系统;3.V3.0:画像营销版,其进化为营销工具,助力业务增长,如腾讯广点通DMP、阿里达摩盘DMP;画像初级版,选取了2015年早期的画像版本,彼时部分公司的画像系统刚刚起步,各方面功能还未探索清楚。例如,百度地图的渠道画像系统的整体设计是,在数据分析/报表系统的基础上加上一些基础的画像元素,如性别、年龄、行业、所在城市等标签数据。此阶段发力于对各业务进行数据分析,如建设了dashboard、自定义报表、订阅,类似BI平台,但缺乏标签体系建设、缺乏洞察等模块,各个画像的功能做的比较浅。再到微博画像系统这,已经形成了画像基本形态,从数据采集、数据清洗,标签生成,到单用户画像、分群用户画像、API接口提供等。其功能模块相对来看较为完整,但洞察能力、标签体系建设能力还需继续增强。据相关资料报道,17年时,百度地图的市场占有率在45%-50%之间,未能覆盖全量用户,获取用户数据信息受到限制。因此,百度地图与华为、OPPO、vivo、小米、魅族等TOP手机厂商进行深度合作,允许其手机系统调用百度地图的LBS基础功能,从而换区数据共享的资源,用户画像系统在这个背景下产生。而此用户画像系统在预算评估、投放效果分析、经费节约、用户实施监测等方面提供有力数据支持。
1.系统架构
1.数据层:数据采集、数据清洗、数据库搭建、数据合成a.管理模块:角色管理、用户权限管理、报表增删改查管理b.个人中心模块:登录设置、浏览设置、dashboard自定义设置b.浏览模块:用户选择查看维度,自定义dashboard展示a.收藏模块:用户通过点击收藏,对关注频率较高的页面进行收藏,方便在众多报表中快速找到自己关注的报表。b.邮件设置模块:用户选择关注的核心数据,每日定期将所选择的数据以报表形式发送至指定邮箱c.异常预警模块:主要面向管理员,对报表和数值设定阈值,当数值超过阈值时通过邮件等形式通知管理员,以便及时发现数据异常情况如下图所示,渠道画像平台根据其面向的用户群的需求及特征可划分为,前装渠道、后装商店、厂商品牌、前后装对比等业务类模块。而每个渠道下,可进一步分析渠道质量、基础画像、用户行为。基础画像包含个人属性类数据,如性别分布、年龄分布、教育层次分布、消费水平分布等。通过城市用户分布热力图,可以直观了解各城市用户数量分布。微博画像系统基于微博的大数据,对微博全体用户进行刻画,可对每类用户进行数据分析。微博的用画像系统主要包含数据爬取模块、单个画像模块、批量画像模块、查询接口模块。
1.数据爬取模块
数据爬取模块主要是做数据采集和数据清洗,采集用户在开发者平台上填写的资料信息,进行接口调用品类的限制,并保持最新的用户数据,对数据进行清洗,提供用户基础信息及用户关系链的接口,方便各个系统进行调用。
2.单个用户画像模块
单画像模块主要分为标签生成、用户行为分析、关系链分析。
a.标签生成
标签生成模块顾名思义,主要功能是通过对数据的分析给用户打标签,即用户画像。标签主要分为三类,一是安全标签,二是聚类标签,三是统计标签。安全标签:描述账号是否异常,依据事先制定好的安全策略,分析异常概览。一是分析黑色产业链的整个流程,分析用户账号被盗之后的特点;二是分析用户的历史行为,来判断目前的用户行为异常的可能性。聚类标签:对聚类算法的结果进行分析和解释后得出的结论,主要使用的是K-mean聚类算法。统计标签:将各个指标进行统计分析之后,根据用户的分布,得出统计类标签。索隆:可见这是早期的标签体系,但从标签分类来看,缺乏清晰的分类逻辑。
b.用户行为分析
通过在一段时间内,观察用户行为的变化,进行用户状态的判断和未来行为预测。如用户登录时长、关注数、粉丝数、微博数、收藏数等指标。
c.关系链分析
用户的关系链可以很好的描述一个人,因此关系链分析也是画像的重点。此处主要分析用户好友的年龄,城市以及好友的关注数等指标。
3.批量用户画像
批量用户画像主要分为文件上传、结果统计及展示模块。
a.文件上传
文件上传模块,支持用户将需要分析的用户ID写在一个txt文件中,通过前端页面传到后台进行分析。文件中的每个用户ID使用换行分隔符隔开,原则上每个文件的大小不超过10M。
b.数据统计及展示
批量用户画像和单个画像的主要区别是,单个画像只需要描述单个用户,而批量画像则需要对多个用户信息进行统计分析。数据统计及展示模块主要使用highcharts实现,使用柱状图、饼状图、散点图进行数据可视化。独立分析指标:性别、关注数、粉丝数、微博数、收藏数…联合分析指标:粉丝数、微博数、收藏数;关注数、微博数、收藏数;关注数、粉丝数、收藏数;关注数、粉丝数、微博数;
c.查询接口
接口模块同样是画像系统上十分重要,画像系统上创建的分群,可以以接口的形式供各业务系统调用。此处案例中的百度渠道画像系统还较为传统,在走BI的路子,相对来说微博画像系统已经更近一步有了单用户画像、分群画像、标签管理、接口等标准画像模块,不过标签体系和用户洞察做得不够深入。那接下来看看画像V2.0会有哪些进化。第二阶段的画像系统功能较为完备,初步实现为业务赋能,如神策画像系统、京东数科画像系统、腾讯广点通。1.京东数科画像系统,标准画像系统,提供较为标准的画像功能,包含标签市场、人群画像、人群管理、接口服务、标签管理等,可以将用户分群服务于其他各个业务系统。2.神策画像系统,分析类画像系统,则基于神策的数据分析基因进行用户分群、画像洞察相关的拓展,本质上是一个数据分析工具,其分析能力可进行借鉴。京东数科画像系统:提供基于用户标签、人群画像的统一数据开发与应用服务。辅助基于业务主体的营销、分析、识别、价值变现等目标场景的实现和服务拓展。标签列表中展示所有标签,对制定标签查看标签信息、标签值分布及标签的各项指标统计。支持对人群进行人群数量计算、基础画像分析、自定义画像分析,并分析两个人群之间的交叉情况、分析人群与其他标签关系。人群管理支持多种方式创建人群,并支持人群的信息设置,规则修改,保存后的人群可进行人群画像等操作。管理员可以在“权限管理”中管理用户的系统角色、标签使用权限;管理系统对接标签、任期内接口的权限。数据开发和管理员拥有标签管理的权限,进入页面后,可以查看对应标签的状态和信息,并且对标签进行“测试、下线、修改、删除”等操作。神策用户画像系统,是针对企业级客户推出的用户数据分析平台,提供探索用户特征及画像能力,完成对用户的识别、聚类和细分,并通过历史特征变化,查看用户全生命周期的演变过程,主要功能包含特征标签的加工生产,用户特征及画像分析,用户分群管理。
1.用户标签管理
创建标签的过程中,按符合用户的行为习惯的方式来进行创建即可。填写标签名称,设置清楚标签条件, 同时,创建标签需要提供标签的基础信息,主要包含:标签的显示名、标签名称、标签的分组、更新方式和备注等。支持标签的启用、停止、删除、重算、历史回溯、标签计算规则查看,标签的数据可视化呈现。
2.用户分群管理
支持按规则创建分群,或者是通过文件上传的方式创建分群。
3.用户洞察分析
查看单个用户画像信息时,可以看到该用户全部属性,相当于一个人的个人简历,直扑眼前。通过选择对照组,可进行两个群组用户的画像特征对照分析。对照组默认为无,可选择用户分群或用户分群任一版本进行对照分析。查看TGI,TGI(目标用户群体指数)=目标用户群中某一特征的总用户数在总用户的占比/全量用户中具有该特征的总用户数在全量用户总用户数的占比*标准数100并且通过选择用户群画像模板,可直接将管理员预先设置的画像信息快速加载到画像分析结果中,同时可自行在其基础上进行画像信息的添加或删除。通过智能算法,寻找与种子人群特征相似的【相似用户群】,针对相似用户群,可以进行针对性的运营策略。其中种子人群,可分为正向种子人群,即预测人群的结果是与正向种子人群相似的;负向种子人群,预测的人群的结果是与负向种子人群相悖的。
4.系统设置
包含单用户画像、群体用户画像、相似人群画像模板管理、功能权限及数据权限配置等功能。
第二阶段的画像系统功能已趋近完善,标签体系已开始单独建设与管理,分析洞察能力也在不断加强,具备画像标准版功能。但当前阶段与业务的关系结合的还不够紧密,要想发挥出标签的业务价值,还需进一步强化与业务方的关系。
到画像3.0,画像系统更像是一个营销工具,除了拥有完备的画像基础能力外,还能更贴近业务的进行营销洞察,个人觉得更符合营销版的是阿里的达摩盘。1.腾讯广点通DMP,广告类画像系统,是腾讯推出的数据管理平台,主要应用于智能广告投放,提供标签市场、用户分群、分群洞察等能力。2.阿里达摩盘DMP,营销类画像系统,是阿里妈妈推出的数据管理平台,提供标签市场、用户分群、分群洞察、营销学院等能力。腾讯DMP数据管理平台是广告主实现自身数据增值的重要工具,能帮助广告主管理自己在腾讯系中的人群,更灵活地将第一方数据用于广告投放,以及再营销、动态商品广告、转化统计等应用。广告主也可以使用关键词、 LBS 等数据标签创建自己的目标受众。DMP 的Lookalike人群拓展功能,还能帮忙广告主在腾讯用户体系中寻找可能的新用户。
1.数据接入
用户会在网站、应用等场景发生一些行为,如浏览商品、收藏内容、完成关卡等。接入行为数据帮助了解用户在其网站或应用中采取的操作,继而利用这些数据进行广告营销活动。人群提取:广告主可根据其上传的用户行为数据,提取出符合特定条件的用户人群,用于广告定向等。假如广告主上报了一条“某用户某时刻在某应用内购买了价格300元的女装”的行为数据,那么,广告主可以在DMP中创建一个“最近7天,在应用内发生购买行为,商品类型是女装,商品价格>200”的行为人群。转化统计:广告主可把其上传的用户行为数据与广告进行关联,从而统计广告的转化效果。
2.人群管理
根据用户的需要,将人群按照不同的方式提取或划分,创建成不同性质的人群。人群分类又可分为自定义人群、拓展人群、组合人群三大类,下述划分几个小类。例如,客户文件,指客户将想要用于广告投放的用户ID以文件的形式上传。创建要求:当客户存在目标用户的QQ号、手机号、IDFA、cookie、MAC地址等信息时,方可创建人群。应用场景:可以将想要用于管理的用户ID等信息,以TXT文件或压缩包的形式上传到DMP,创建成功后即在DMP对这些用户进行拓展、组合、洞察分析和广告投放等。例如:某美妆品牌上传了注册会员的人群,对此人群定向投放品牌周年庆折扣活动的广告,大大提升了销售量和会员回购率;当用于智能拓展时,高质量的一手数据包,创建的种子人群能进行拓展,得到海量精准定位的潜在用户。用户在人群管理页面进行筛徐、编辑、授权、删除等操作。操作:点击下拉菜单,可对人群进行智能拓展、洞察分析、授权、删除等操作人群编辑:点击人群名称,进入详情页,可对人群名称和描述进行编辑,并查看该人群的具体信息、创建时间、来源和操作记录等信息搜索:按照人群名称或ID来搜索人群,随着输入人群会自动过滤删除:删除不需要的人群,释放人群配额,定期删除人群也更便于人群管理。例如:对于一些测试的人群,可将其删除。
3.洞察分析
每个人群的创建都是在一定条件下进行,有频繁与某些广告互动的人群,也有特定地点位置变动的人群,或者是客户提供的第一份数据创建的群等,洞察分析可以帮助客户更加细致全面的了解人群的属性、兴趣分类、关注点及地域特点等特征分布情况,这些特征可以用于优化广告创意,指导营销策略,为进一步制定投放提供参考依据。客户对人群的洞察越清晰,就越能准确的传达出品牌的产品信息、提高投放效率。例如:用户通过洞察分析得出,人群中男性占比较高,兴趣爱好属体育健康类居多,可根据这些信息修改出更符合用户特征的广告创意,投放时可筛选女性用品等可能导致低点击转化类别的广告,使得广告投放更具有针对性。并可导出生成报表。
4.标签广场
标签广场包含两个模块:标签专区和热点人群。其中标签专区包含标签地图、专属推荐和行业推荐。标签地图:标签索引区,以树形结构展示所有定向标签。基础的人口学属性包含消费状态、生活方式和工作状态等几大类标签,点击标签可进入下一个页面查看具体的标签结构,进一步了解标签信息。为进一步提高操作效率,还有收藏夹的功能,用于存放用户感兴趣的标签,方便快速找到目标标签。当不知道选什么标签时,可查看专属推荐&行业推荐模块。临近双十一了,可以使用热点人群,热点人群是一个按营销场景推出的主题标签组合专区,会结合行业特征或节日主题,围绕一系列营销场景或时事话题进行组合。
5.对接投放
选择DMP中的人群,可对接至广告自助投放系统,进行广告投放。达摩盘又称DMP,是阿里妈妈基于商业化场景打造的数据管理平台。商家通过达摩盘可以实现各类人群的洞察和分析,进行潜力客户的挖掘;通过标签市场快速圈定目标人群,建立个性化的用户细分和精准营销。不得不说,达摩盘的水很深,研究达摩盘的标签体系、系统后台、玩法几乎花了草帽小子2个月时间,越挖掘越有料,下边由草帽小子带你先从整体上了解达摩盘的系统构成。后续会出达摩盘标签体系、洞察、分群等各个模块的专题文章,感兴趣的朋友可以先关注公众号:一个数据人的自留地,进群交流。达摩盘首页主要包含店铺消费资产,可查看全部消费者、潜客、新客、老客的趋势;标签使用推荐、老客价值细分、店铺消费者流转等。洞察模块主要包含人群画像分析、单品智能洞察圈人、店铺超级用户洞察圈人。例如当进行人群画像洞察时,需要选择对比的人群,对比不同人群的特征,如性别、年龄、行业、消费水平等数据的对比。随着越来越多商家拥有个性化人群运营诉求,围绕精细化人群定向中台定位,达摩盘基于大数据深度挖掘和分析,通过精细化人群赋能不同层级商家精准营销,满足商家在不同营销场景下的人群诉求,提升商家消费者运营效率。人群模块主要包含我创建的人群、合作方人群、第三方数据上传,可管理人群,支持按标签和人群组合创建分群,支持交并差各类组合创建分群。系统提供整体达摩盘人群投放效果概览,可自定义历史事件,查看整体投放效果,同时查案同行同层级投放平均数据,了解同行对比情况。查看不同渠道下,人群投放效果,查看投放趋势,同时提供基于广告曝光、达摩盘曝光、全店消费者三个维度下,提供人群流转分析,帮助商家全面评估人群构成。经过如上的对比可发现画像系统的功能大同小异,其核心在于其标签体系、洞察及营销应用能力。在建设时也可根据公司实际需要,从下至上进行建设。由于达摩盘功能甚多,此篇未做展开,下一篇会针对达摩盘进行剖析,敬请期待~1.张哲,基于微博数据的用户画像系统的设计与实现,2015,1,162.张宇豪,基于百度地图大数据的用户画像系统设计与实现,2017,12,26
一键三连「分享」、「点赞」和「在看」
技术干货与你天天见~
浏览
68点赞
评论
收藏
分享
手机扫一扫分享
分享
举报
点赞
评论
收藏
分享
手机扫一扫分享
分享
举报