Netflix Genie分布式大数据编排系统联合创作 · 2023-09-29 15:14Genie 是 Netflix 联合作业执行引擎，提供 REST-ful APIs，运行各种类型的大数据作业，比如 Hadoop，Pig，Hive，Spark，Presto，Sqoop 等等。Genie 同时提供 APis 来管理在上面运行的大量的分布式进程集群配置，命令和应用。浏览 16点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报 评论图片表情视频评价全部评论推荐 Databus分布式数据同步系统LinkedIn最近发布了一套源无关的分布式数据同步系统Databus。简单说，就是把交易数据同步到各个不同的应用中。一个大的特色是这系统采用pull模式从log中取得数据，以达到对生产系统最小影响。Databus分布式数据同步系统LinkedIn最近发布了一套源无关的分布式数据同步系统Databus。简单说，就是把交易数据同步到Netflix Conductor微服务编排引擎Netflix Conductor微服务编排引擎0Netflix Conductor微服务编排引擎Conductor 是 Netflix 受需要运行全球流媒体业务流程的启发，构建的基于云的微服务编排引擎。Conductor 管理工作流，可以暂停和重新启动进程，并使用基于JSONDSL的蓝图来定义执Kubernetes-Mesos容器编排系统Kubernetes是一套开源容器编排系统，负责管理各类利用Docker容器构建而成且跨越多台主机的应用程序。尽管最初该项目由谷歌公司所建立，不过其目前已经转由云原生计算基金会负责推动。MesosphAlluxio数据编排技术Alluxio 是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。 它为数据驱动型应Kubernetes-Mesos容器编排系统Kubernetes 是一套开源容器编排系统，负责管理各类利用Docker容器构建而成且跨越多台主机Alluxio数据编排技术Alluxio是世界上第一个面向基于云的数据分析和人工智能的开源的数据编排技术。它为数据驱动型应用和存储系统构建了桥梁,将数据从存储层移动到距离数据驱动型应用更近的位置从而能够更容易被访问。这还使得应Dagster数据编排器Dagster是一个用于机器学习、分析和ETL的数据编排器。Dagster让你以可重复使用的逻辑组件之间的数据流来定义管道，然后在本地测试并在任何地方运行。通过对管道和它们产生的资产的统一视图，DagDagster数据编排器Dagster 是一个用于机器学习、分析和 ETL 的数据编排器。Dagster 让你以可重复使用的点赞 评论 收藏 分享 手机扫一扫分享 编辑 分享 举报
