企业埋点体系搭建

然后今天话我们给大家分享的内容有四大块。

1、什么是用户行为数据及其重要性

2、如何在公司里面去搭建采集体系

3、如何规范这个埋点的业务

4、我们常见的工具以其他人的产品有哪些

通过这几个部分了解到在一个中大型的公司里面去完成一个数据平台，以数据采集体系平台的搭建这个完整流程，在一个小公司中借用一些开源的工具以及第三方的 SaaS 的服务，能够进行一个简单的行为分析平台的搭建。

比如说今天中午 11: 50 的时候，在这个美团的首页进行了一个外卖按钮的点击。那这个时候话美团公司它会记录到我中午十五十一点五十分在这个美团 APP 的首页，点击了这个外卖的按钮，然后会传一条信息包含类似截图右侧的格式数据就会发送给这个美团的服务器。

所以我们在这个不管是 APP 也好，还是比如说这个 APP 或者是我们在网页上面，我们在家里面 B 站上看这个 PC 端的视频，这些所有的这个行为话都会被记录下来。这一些数据就是我们所说的行为数据。

1、最简单的话我们会去做这个公司里面的产品迭代，然后功能模块使用分析。

2、是说我们做了一个线上的活动，然后使用这一些数据来进行评估。

3、使用用户的行为数据，去做用户画像

4、根据这个用户的偏好去推荐广告

这个是用户的行为数据，它常见的应用的场景这一块话，相信大家在公司里面最常见的应该是第一个跟第二个就是我用这个数据去衡量上线的好坏，这个是他的应用场景会有这一些。

在整个过程中有三个重要的因素

• 资源
  

• 人员
  

• 流程规范

在埋点采集到应用过程中涉及到各个不同角色相互配合，会有各自的分工。

从业务需求方开始。比如说市场运营产品开始提需求，数据产品根据产品对这个业务同学这里的需求进行评审以后，梳理出这个用户的业务路径，然后抽象出场景组件，完成这个指标体系的搭建。输出埋点的需求文档 DRD 然后我们把这个文档交付给到开发。

开发这里的话会把埋点需求文档跟产品技术文档一样，做一个需求的可行性方案优先级一个评审这个埋点能不能做，这个数据能不能采集，采集采集的量有多大等等

关于埋点需求文档展开一些细节讲讲

上面这个是一个比较典型的埋点需求文档样例，包含事件名、属性信息、触发时机、示例等等基础的埋点信息，在实际设计埋点需求文档时需要考虑命名的规范、属性信息的复用等等。

目前一般有通过采购和自研 以及采购后增加自研进行

接下来是说我们在工具上面会有两种实现的路线。第一种我们是基本上有非常多的第三方的数据治理、数据可视化、数据监测的这种工具。

第二种以自研为主的实现方式

中间会有几个关键的环节，数据采集、数据存储（含计算引擎）、数据可视化

• 数据采集

对行为数据采集部分我们一般封装为埋点采集的 SDK，然后嵌入到不同的客户端中。SDK 的作用在于封装好一些公共的参数信息、上报方式以及帮助各端开发简化数据上报的过程。同时也在基础层面上支持类似可视化埋点、圈选埋点、全埋点等不同的埋点方式。

• 数据存储（含计算引擎）

在行为分析领域里面，现在最热门的是使用 Clickhouse 做存储及计算引擎，这个笔者所在公司，每日千亿级别的数据增量可以比较高效从容的进行行为数据分析。对于数据并没有那么大的公司也可以根据自身情况选择诸如 Durid、Impala等计算引擎

• 数据可视化

分析的结果在大部分团队内部都希望能以可直观查看的方式进行展示，包括一些简单的图表、数据看板等。这部分如果选择完全自研的话成本比较高，一般的处理方式有两种，一种采用开源的图表组件进行二次开发，例如使用范围比较广的 Echarts、AntV 等进行定制化的图表开发。另外也可以直接在上游的分计算引擎上直接接入传统意义上的 BI 可视化产品进行最终数据结果的展示。

这类产品开源和和商用的都比较丰富，国内大多是以敏捷 BI 的Title宣传，在开源侧则可以选择使用受众比较多的 Superset和 Metabase，前者功能丰富，后者颜值交互更高。

针对如何规范埋点业务，我们也是从组织和工具两方面进行，组织层面上我们划分为业务相关和技术相关，各自都需要一个关键对接人。

• 对业务对接人

业务对接人主要是对业务需求的汇总抽象，高效的设计埋点采集事件及公共参数等。提升整体数据采集的可复用性和规范。这个角色也需要一些比较突出的特质 既要有数据相关的基础，又要业务流程熟悉，能帮助业务产品梳理清楚需要采集的数据内容，查看的指标范围。

• 技术对接人

对技术对接人来说，核心职责是能在采集上报层面做到技术高效实现。借助开源或者自研的埋点采集 SDK 完成数据底层支持。

整个实操过程中需要有相关工具产品的支持

• 埋点管理

在初期阶段使用在线表格文档方式进行管理，后期逐步开发稳定的后台产品并且和埋点分析下游使用数据方的系统打通，方便埋点元数据信息对接。

• 埋点开发

这块最简单的方式就是使用代码埋点，比如点击绑定 Onclick 函数上报自定的字段信息，进阶后使用全埋点、可视化圈选埋点等方式提升埋点采集效率

• 埋点测试

埋点测试是在开发完了以后需要在测试工具上去做数据的验证。最原始的就是去做人肉的view， 就是我们拿一个小板凳蹲到开发工位旁边去看一下这个代码，它触发你看数据，这个对不对？这个是最原始的。另外有Kibana 之类的查询工具可以协助快速的做埋点日志的查询提供简单的可视化展示。另外也可以尝试做自动化测试，自动 mock 数据生成测试报告，版本回归测试效率都极高。

整个环节的话就讲完了，然后会有几个不同的文档跟工具，这个会的话给大家分享一下我们常见的工具跟市面上可以用的开源的产品。

我这边分了三个类型给大家分享列出来

• 第一个是行为分析的产品

国内外都有很多行为分析产品可以采买，但是每家的擅长点以及费用都略有不同，可以试用一下相关的产品然后决定是否采购

• 第二个是通用的 BI 的工具

这类产品在数据平台搭建的时候也是非常重要，通常我们在初期会将行为数据和 BI 工具合并在一起进行业务支持，到后期后会拆分出来成为两条不同的业务产品线。

• 第三个是数据整合服务商

  
  

总的来说在一个团队里面搭建一个埋点采集到应用的体系有多种实现的路径和方法，并不存在最好，只有在当前阶段最合适的方案。选择合适的方法，再配合适当的运营落地实现动作便可以完成对业务的高效支撑。希望以上的分享对各位有所帮助。

(欢迎大家加入数据工匠知识星球获取更多资讯。)

了解更多精彩内容

长按，识别二维码，关注我们吧！

数据工匠俱乐部

微信号：zgsjgjjlb

专注数据治理，推动大数据发展。