S4Yahoo的分布式流计算平台
S4是Yahoo!发布的一个开源通用、分布式、可扩展、部分容错、具备可插拔功能的平台。这套平台主要是为了方便开发者开发处理流式数据(continuous unbounded streams of data)的应用。Yahoo!之所以开发S4系统,主要是为了解决它现实的问题:搜索广告的展现。搜索广告是当前各大搜索引擎的主要收入来源,用户发出查询请求,搜索引擎在返回正常结果的同时也会返回相关广告,而广告是按照点击付费。为了在最好的位置,放置最相关(也就是用户最有可能点击)的广告,各大搜索引擎使用了大量的数据挖掘和机器学习算法来进行相关性计算,以便提高收入,满足用户需求。其中很重要的一点就是要不断分析用户的点击反馈,以便捕获用户的行为。S4最初主要还只是用来处理用户的点击反馈。
评论
Sylph一站式流计算平台
简介Sylph被定位为大数据生态中的一站式流计算平台,您可以使用它来开发、管理、监控、运维您的流计算.什么没看懂?没关系apache-hive您总听过吧?(如果依然不知道,那么您最先需要看下最基础的h
Sylph一站式流计算平台
0
OhMyScheduler分布式调度平台&计算框架
OhMyScheduler是基于Akka架构的新一代分布式调度与计算框架,能让您轻松完成作业的调度与
OhMyScheduler分布式调度平台&计算框架
0
SimpleDistributedPlatform纯 Java 的可视化分布式计算平台
一个简单却实用的分布式计算平台,通过提交任务jar包来执行分布式任务。NameNode和DataNode这两个名字是直接引用的Hadoop里面的概念,但是更加简化:NameNode:用于分发可执行ja
SimpleDistributedPlatform纯 Java 的可视化分布式计算平台
0