Data Pipeline
Data Pipeline 是一个Java的数据转换工具包,主要的功能包括:
* 读: CSV, fixed-width, Excel, database, weblogs, custom
* 写: CSV, fixed-width, Excel, database, PDF, Word, XML, custom
* 操作: validate, filter, sort, lookup, 去除重复数据, convert, throttle, calculate, custom, and more
* 运行时表达式过滤器、数据验证以及公式计算
典型的应用场景包括:
1. 读取 CSV 文件
2. 删除重复的记录
3. 添加计算列
4. 删除无用的列
5. 数据保存到数据库
代码示例:
DataReader reader = new CSVReader(new File("credit-balance.csv")) .setFieldNamesInFirstRow(true); // Use only the "Rating" and "CreditLimit" fields in duplicate test reader = new RemoveDuplicatesReader(reader, new FieldList("Rating", "CreditLimit")); // Add AvailableCredit field, remove "CreditLimit", "Balance" fields reader = new TransformingReader(reader) .add(new SetCalculatedField("AvailableCredit", "parseDouble(CreditLimit) - parseDouble(Balance)")) .add(new ExcludeFields("CreditLimit", "Balance")); DataWriter writer = new JdbcWriter(getJdbcConnection(), "dp_credit_balance") .setAutoCloseConnection(true); JobTemplate.DEFAULT.transfer(reader, writer);
评论
pipeline
BanzaiPipeline,orsimplyPipelineisatabletopreefbreaklocatedinHawaii,Oahu'sNorthShore.Themostfamousand
pipeline
0
Jenkins Pipeline UtilitiesJenkins Pipeline 工具库
Jenkins Pipeline Utilities 由 eBay 开源,是一个 Jenkins P
Jenkins Pipeline UtilitiesJenkins Pipeline 工具库
0
Jenkins Pipeline UtilitiesJenkins Pipeline 工具库
JenkinsPipelineUtilities由eBay开源,是一个JenkinsPipelineUtilities的常用工具库。其中,Jenkins是基于Java开发的一种持续集成工具,用于监控持
Jenkins Pipeline UtilitiesJenkins Pipeline 工具库
0
phoenix.pluginJenkins 的 Pipeline 插件
在 DevOps 的领域,CI 和 CD 具有非常重要的角色,而流水线更加具有把每个环节、步骤串联起
phoenix.pluginJenkins 的 Pipeline 插件
0
phoenix.pluginJenkins 的 Pipeline 插件
在DevOps的领域,CI和CD具有非常重要的角色,而流水线更加具有把每个环节、步骤串联起来的作用。该插件提供的流水线可以采用groovy语法来编写,pipelineascode(流水线即代码)也是本
phoenix.pluginJenkins 的 Pipeline 插件
0