基本的大数据平台架构

数据源: 应用数据 数据库 日志 其他

传输: sqoop mq kafka

数据存储: hdfs hbase redis

编程模型: spark mapreduce storm

数据分析: spark sql hive pig

调度: zookeeper

数据展示 报表管理