数据分析处理“加速器”升级 | Data-Export v1.7.0 发布

微众银行区块链

共 2437字,需浏览 5分钟

 ·

2021-03-17 20:49

数据治理通用组件(WeBankBlockchain-Data)开源以来,得到社区用户的积极体验和反馈。我们也在社区用户的通力协作下,不断打磨当前数据治理通用组件中的3个子组件——数据仓库组件Data-Stash、数据导出组件Data-Export、数据对账组件Data-Reconcile,使其性能更优,体验更为友好。参见《微众银行区块链开源数据治理通用组件,释放数据价值》。


其中,子组件Data-Export是适用于FISCO BCOS平台的数据导出工具,其作用在于降低获取区块链数据的门槛,提升研发效率。使用者只需进行简单配置,便可把结构化的数据导出到关系型数据库或ElasticSearch中。同时,该工具支持多活部署、数据分库分表、导出数据可视化、应用监控等,适应各类复杂业务场景,满足业务开发中的各项需求。


随着社区越来越多的开发者使用数据导出组件Data-Export,许多个性化的需求也应运而生,其中一个比较高频的需求就是希望新增支持SDK方式,并以该方式集成到自己的项目中。基于此,我们对数据导出组件Data-Export进行了升级。现在Data-Export v1.7.0正式发布, 欢迎大家体验。


  升级  新增支持SDK方式集成


Data-Export v1.7.0 在保留原有服务运行方式的基础上,新增支持SDK方式集成。SDK实现更为轻量化,不再依赖Spring框架,用户可通过构建工具引入Jar包,从而将数据导出SDK集成到自己的项目中。同时,基于SDK,用户可进行个性化开发和定制,更好地应对各类复杂的业务需求。


  特性  因SDK带来的特性升级


1. 支持数据导出SDK的启停控制接口


数据导出SDK将服务启停的控制开关交给开发者。开发者可通过调用以下接口,来控制数据导出任务的开启和关闭。

//数据导出执行启动start(DataExportExecutor exportExecutor)//数据导出执行关闭stop(DataExportExecutor exportExecutor)


2. 支持通过配置ABI和BINARY导出合约数据


服务方式需要通过配置合约编译获得的java文件,来进行数据解析,并导出链上交易详情等数据。而SDK则可以通过配置ABI和BINARY来进行数据解析,无需Java文件便可导出合约数据,规避了因Java文件版本不同而造成的兼容性难题。


供参考的接口定义如下:

ContractInfo contractInfo = new ContractInfo()        .setBinary("")        .setAbi("")        .setContractName("");


3. 支持多链多群组调用


通过创建多个不同的数据导出执行器,可实现多链多群组的调用。与服务运行方式的多进 程实现有所不同,SDK集成的方式支持通过单进程多线程的方式达成上述效果。


构建执行器案例,参考如下:

//数据导出执行器构建DataExportExecutor exportExecutor = ExportDataSDK.create([dataSource], ChainInfo.builder()        //链节点连接信息        .nodeStr("[ip]:[port]")        //链连接证书位置        .certPath("config")        //群组id        .groupId(1)        .build());


4. 其他升级


  • 支持导出数据表的过滤。通过配置黑名单的方式,可轻松过滤特定的数据表,满足特定场景的需要,例如通过简单的配置,可禁止导出block_detail_info表的数据。(更多配置方式详情可参考Data-Export技术文档。)


  • 升级了数据库分库分表和分布式调度相关的基础库。


  即刻使用


上述相关代码和技术文档已更新,欢迎体验和 star 支持。如需咨询技术问题,欢迎关注本公众号,对话框回复【小助手】进技术交流群。


Data-Export github代码库地址码仓库

https://github.com/WeBankBlockchain/Data-Export

Data-Export gitee代码库地址

https://gitee.com/WeBankBlockchain/Data-Export

Data-Export-SDK-Demo 代码库地址:

https://github.com/WeBankBlockchain/Data-Export-Demo


Data-Export 技术文档

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/index.html


首次体验Data-Export,可参考快速部署文档

https://data-doc.readthedocs.io/zh_CN/latest/docs/WeBankBlockchain-Data-Export/install.html


向我们报告问题,欢迎提交issue

https://github.com/WeBankBlockchain/Data-Export/issue






浏览 16
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报