TimeTunnel实时数据传输平台
什么是TimeTunnel
!TimeTunnel(简称TT)是一个基于thrift通讯框架搭建的实时数据传输平台,具有高性能、实时性、顺序性、高可靠性、高可用性、可扩展性等特点。
高性能
2k大小的消息,峰值每秒4w TPS的访问。淘宝3台服务器,每天处理2.3T(压缩后)数据,峰值每秒50MByte流入流量、130MByte流出流量
实时性
90%的消息5ms以内送达
顺序性
如果你开启了顺序传输功能,timetunnel保证消息的发布顺序和订阅顺序是一致的
高可靠性
存储方面,我们设计了内存->磁盘->hadoop dfs三级缓存机制,确保数据可靠。 系统方面,我们将服务器节点组织成环,在环里面每一个节点的后续节点是当前节点的备份节点,当某节点故障时,后续节点自动接管故障节点数据,以保证数据可靠性
高可用性
单个节点故障,不影响系统正常运行
可扩展性
可以对系统进行横向和纵向扩展,横向扩展可以向现有的服务环里面增加节点,纵向扩展可以增加服务环
谁使用TimeTunnel
目前TimeTunnel在淘宝广泛的应用于日志收集、数据监控、广告反馈、量子统计、数据库同步等领域。
评论
英伟达Blackwell平台网络配置分析
本文来自“英伟达Blachwell平台网络配置详解”。GTC大会英伟达展示了全新的 Blackwell 平台系列产品,包括 HGX B100 服务器、NVLINK Switch、GB200Superchip Computer Node、Quantum X800 交换机和 CX8 网卡(InfiniB
架构师技术联盟
0
展讯平台手机重启问题分析指南
和你一起终身学习,这里是程序员Android经典好文推荐,通过阅读本文,您将收获以下知识点:一、 User 版本 默认开启 sysdump 方法二、插入SD卡 抓取Sysdump log三、 sysdump log 分析四、展讯平台抓取重启 串口log的方案五、展讯平台判断重启类型六、展讯平台关闭
程序员Android
0
快手优选,用平台托管打出“源头直供”的爆发力
是新朋友吗?记得先点蓝字关注我哦~这场硬仗一定要打,也一定要打赢。文/调皮电商 冯华魁上个月底,云南红河蓝莓产业带某品牌,因为其产品果径大、品质好,价格远低于进口蓝莓,受快手平台邀请加入优选项目。快手优选采用销售托管业务模式,平台通过流量整合(商城公域、短视频、直播间、商业化流量等)及规模化运营,向
调皮电商
1
大湾区两大平台牵手,FISCO BCOS助力跨境融资提速
数字金融这篇大文章,在大湾区互联互通的建设热潮下,正在加速书写。近日,在中国人民银行广东省分行的指导和积极推动下,省级地方征信平台“粤信融”成功对接大湾区首个跨境数据验证平台——粤澳跨境数据验证平台,上线“粤信融”跨境验证服务。这两大平台联通后,金融机构通过跨境验证服务,可获取客户在境内外资信的真实
微众银行区块链
0
中国产业发展促进会产业创新集群与亿欧签约,联合多方共建产业数据全景平台
中国产业发展促进会产业创新集群与亿欧举行签约仪式,双方共同合作,并联合科技型企业光辉城市、新看点,打造中国产业发展全景平台,推动中国全产业数据的智慧化、全球化发展。冲击万店,汉堡界能跑出下一个蜜雪冰城吗?文 | 亿欧4月17日,中国产业发展促进会产业创新集群(下称“产业创新集群”)与北京亿欧网盟科技
亿欧网
0
基于nginx+ffmpeg+vue3+TypeScript在网页上显示监控的实时画面
大厂技术 高级前端 Node进阶点击上方 程序员成长指北,关注公众号回复1,加入高级Node交流群一、心路历程写在前面最近在忙比赛的项目,项目有一个实时预览监控摄像头的画面的需求。按道理说我一个臭前端不负责这一块的东西,但是没办法,时间紧任务重,
程序员成长指北
10