spark kmean 分析城市拥堵区域
该系统是个演示系统,需要用spark ml 中的kmeans 去分析深圳出租车的gps轨迹数据,找到城市拥堵的区域,并将处理后的结果保存在hbase 中。出租车的gps 数据需要先导入kafka,因为时间场景就是Gps 采集入kafka. 最后通过web 项目中的百度地图和echarts 来展示hbase 中加工后的数据,来实时展示城市的拥堵区域。
系统目前的进度状况, 已经完成spark,hadoop,kafka,hbase等集群的搭建,spark 项目也已经搭建起来,kmeans 初步解析和预处理,训练等初步动作已经完成,需要深入和细化,如何进一步训练和分析是否堵了,哪里堵了,加工后的数据格式怎么样的,还未解决,这块希望能得到解决。
评论