BRAFT工业级 Raft 一致性算法实现

联合创作 · 2023-09-23 12:30

BRAFT 是百度开源的基于 BRPC 的 Raft 一致性算法和可复制状态机的工业级 C++ 实现。最初是为了解决百度各业务线上的状态服务单点隐患,后来则帮助百度工程师独立实现支持高负载和低延迟的分布式系统。

BRAFT 在百度内部被广泛用于构建高可用性系统,例如:

  • 存储系统:Key-Value、Block、Object、File ...

  • SQL 存储:HA MySQL cluster、distributed transactions、NewSQL systems ...

  • Meta services:Various master modules、Lock services ...

BRAFT 有以下特点:

  • BRAFT 是一个功能完备且经过可靠性验证的 Raft 实现,支持 configuration change、prevote、leader transfer 等特性。

  • BRAFT 追求的核心目标是高性能,在实现的很多环节都进行了精细优化,比如无锁任务队列、log 的批量提交和执行以及一些逻辑原地执行等;

  • 接口简单容易理解,支持自定义扩展其中的 storage,拥有比较完善的错误回调。用简单的接口实现简单的概念,BRAFT 配合 BRPC 即使经验不丰富的工程师也可以很容易的快速构建出健壮的分布式系统。

在 BRAFT 中,百度主要采用了以下几点方法来提高性能:

  • 数据流是全并发的, leader 写本地磁盘和向 follower 复制数据是完全同步的。

  • 尽可能的提高局部性,充分发挥不同层面的 cache 的作用。

  • 尽可能隔离不同硬件的访问,通过流水线的形式提高吞吐。

  • 尽可能的降低锁临界区大小, 关键路径上采用 lock-free/wait-free 算法。

浏览 11
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

编辑 分享
举报