每秒百万级:千寻位置自研分布式架构具备高并发能力

泰伯网

共 2068字,需浏览 5分钟

 ·

2022-07-27 08:44

报道数字经济 

 定义转型中国

“科技自立自强是国家强盛之基、安全之要。”2020 年 7 月 31 日,北斗三号卫星导航系统完成全球组网,意味着时空信息重大基础设施已经完全掌握在自己的手里。两年过去,北斗系统的应用构建了一条成熟的产业链,同样,唯有自主创新,才能把科技命脉掌握在自己的手中。
日前,千寻位置“六脉神剑”六大底层技术系列浮出水面,今天我们聚焦千寻位置如何保障北斗高精度服务海量用户的稳定播发,实现日处理数据量达PB级。所谓PB,即较高级的数据存储容量单位,1PB等于1024TB,相当于1百万部高清电影。据了解,千寻位置已经达到了堪比互联网行业前列的每秒百万级,远超同行业平均水平。


年来,高精度服务用户增长迅猛,目前,千寻位置累计服务全球超11亿人,覆盖智能手机、汽车、无人机、共享单车等智能设备,是全球用户规模最大的时空智能服务提供商。海量的用户服务离不开坚实的技术底座。如何通过“有限”的地基增强站,实现“无限”的服务接入,这背后是千寻位置高并发能力的建设。


分布式计算,从容应对“大客流”


什么是高并发?就像电商大促、春节抢票时,当遇到大量用户快速接入时,如果不具备良好的高并发处理能力,会引发服务中断,给用户造成不好的体验。而对于作业中的无人机、自动驾驶汽车等设备而言,服务中断甚至会产生安全隐患。

“用户每次访问涉及到的数据计算和相关环节,远比电商平台的订单系统要复杂很多。从天上的卫星到基准站,再到数据处理、数据播发,最终将高精度定位服务提供给全球用户,整个链路中任何一个环节出现问题,都将导致服务的不可用。”千寻位置高级JAVA开发专家谢志军介绍说。

针对这样的情况,千寻位置以分布式服务架构设计思路,实现水平可扩展。简单理解,就像突然迎来一大波顾客的咖啡厅,为了避免顾客排队,可以通过增加服务窗口来减轻单线排队的压力一样。

千寻位置分布式架构模型分为四个层次,分别解决了分布式计算、快速拓展、集中处理、负载均衡四个问题,让系统拥有“将一个复杂的大问题变成许多简单小问题”的能力。目前,千寻位置播发平台的计算机集群数量超千台,数据处理量达到PB级,远超行业水平。


千寻位置分布式服务架构模型

其中,SpaceX是千寻位置自主研发的高性能分布式应用框架,是千寻位置业务、产品后端服务的基础组件,解决了传统的测绘行业站点接入有限、服务稳定性不足、播发实时性不足等问题。

SpaceX就好比“店长”,协调着各项任务。系统集成SpaceX技术框架后,可以将一个庞大的计算任务划分为若干个小任务,并分配给每台计算机。计算机集群通过并行处理提高了效率,在统一管理控制下,完成大规模信息处理任务。国家北斗地基增强系统“一张网”的解算,就是通过SpaceX框架,分成几千个小网任务,分布在上百台机器同时进行解算,最终产生全国几十万的网格数据。

SpaceX技术框架通过任务调度及任务管理、计算机健康状态检查及秒级切换、负载均衡、路由选择、灰度升级等功能,在应用系统中,快速实现了高吞吐量、低延时、高可用的分布式处理系统集群架构。

目前,SpaceX仍在不断演进,实现适配更多数据协议接入,更多解算单元数据播发,保障播发链路的高效稳定运转。



运维与演练,保证服务不间断


如果说分布式架构解决了如何支撑起数以亿计的用户服务的问题,那么接下来要解决的问题,就是如何保证服务的高可用,即7*24小时不间断的服务。

数年来,千寻位置持续稳定地服务了数万台无人机、十万台测量和各类工程设备、百万台智能汽车、数亿台手机和IoT设备,这背后是7*24小时不间断的在线运维监控,以及有效的故障演练。千寻位置播发平台已经经过了容灾故障演练,通过不断积累在各种极端场景下的测试经验,反复进行自动化测试,保障了整个链路的高可用。

即便是出现地域性的重大灾害,千寻位置播发平台也可以通过网络冗余性设计和切换机制,当设备或者线路出现问题,系统会自动完成切换,保障服务运行不间断。

当产业迎来新的增长阶段时,技术是其背后重要的推动力量。千寻位置还在进一步开展自主可控技术攻关,为北斗高精度服务走向更大规模的大众应用提供坚实的技术底座。

加群提示


泰伯网目前建有七大领域社群:GIO企业家群、科技大厂公关群、资本机构群、汽车出行群、新航天探索群、云服务与智慧产业群、测绘地理信息群,入群请加泰伯小姐姐(微信:taiboxiaojiejie),同时备注您想进的群。

提供新闻线索请发送至邮箱:news@taibo.cn

商务合作:18500135491

法律顾问:盈科律师事务所


深度 | “仅7000万的智慧交通项目”引无数地信企业折腰的背后

《精读》

当转型“撞上”疫情,回款压得测绘地信企业喘不过气 | 调查
深度 | 科班王广华「接棒」陆昊,业界期待的“部委级大项目”何时到来
数据合规:自动驾驶催生新地信市场|造车进化论
布“空天地网”, 水利“大年”已至 | 深度
三调成果能否解决“三区三线”、国土空间规划难题 | 调查

浏览 32
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报