DataReporter数据上报框架

联合创作 · 2023-09-29 23:56

DataReporter 是一款跨平台的数据上报框架,能够保证对业务性能无影响。同时保证上报数据不丢失,即使上报过程 App 出现了crash,数据也不会丢失,App下次重启会再次上报。

适用于 android 和 iOS 平台。目前得到App在使用。每天百万日活,没有出现数据丢失问题。 

相比其他 log 上报软件的设计,DataReporter 更适合的是用户数据上报。因为用户数据的上报是准实时需求,有网情况要尽可能快的报到服务端,同时要保证数据不丢失。而 log 上报框架对于数据实时性上报要求并不高,所以对于数据的准实时上报,使用DataReporter上报框架更适合一些。

特点:

  1. 跨平台,DataReporter是跨平台实现,适用于Android和iOS。
  2. 准实时上报,网络状态好,直接上报,网络状态不好在网络转好后上报,同时上报顺序不乱序。
  3. 不丢数据,采用mmap实现缓冲区。即使发生应用crash或者进程被杀,数据不会丢失,下次启动会再次上报。
  4. 低功耗,采用c++实现,整个上报共用一个线程,多实例多业务场景共用同一线程,当数据全部上报完成后,线程休眠。
  5. 高效率,可配置一次上报数据条数。增加上报效率。有效利用网络。减少链接次数。同时采用native方式实现,性能方面更优秀。

原理

数据通过调用接口进入DataReporter,先缓存到数据缓冲区,缓冲区实现是mmap,即使发生crash数据不丢失。然后启动线程进行上报。上报开始调用上报接口。成功后调用者通知上报完成,开始进行下一批数据上报。当上层调用过快,缓冲区数据达到指定阈值,数据开始下沉写入文件。写文件缓冲区同样采用mmap实现,防止数据丢失。上报优先级是先取文件数据,然后再取内存数据。保证数据顺序与调用顺序相同。

浏览 9
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报