用Spark Streaming实时计算海量用户UV
浪尖聊大数据
共 2030字,需浏览 5分钟
·
2021-07-17 10:31
// 插入
setbit key offset value
//获取
getbit key offset
//计数
BITCOUNT key [start] [end]
redis 127.0.0.1:6379> PFADD runoobkey "redis"
1) (integer) 1
redis 127.0.0.1:6379> PFADD runoobkey "mongodb"
1) (integer) 1
redis 127.0.0.1:6379> PFADD runoobkey "mysql"
1) (integer) 1
redis 127.0.0.1:6379> PFCOUNT runoobkey
(integer) 3
stream.foreachRDD { rdd =>
//统计人数
rdd.foreachPartition { partition =>
//从分区所属executor的redis线程池获取一个连接.
val redis = RedisUtil.getRedis
partition.foreach { case (date, userId) =>
//统计当前userId
redis.pfadd(s"uv:$date", userId)
}
redis.close()
}
}
评论
Flink实时计算 UFlink
实时计算UFlink是UCloud基于开源流处理框架Apache Flink构建的分布式、高性能实时大数据处理平台,能够为流式数据提供亚秒级别延时的实时处理能力。
UCloud
0
YoMo边缘计算 Streaming Serverless 框架
YoMo 是一套开源的实时边缘计算Streaming Serverless开发框架,通讯层基于QUI
YoMo边缘计算 Streaming Serverless 框架
0