binary_log用于 C++ 的快速二进制记录器
binary_log 是一个用于 C++ 的快速二进制记录器。
Highlights
- 以紧凑的二进制格式记录消息
- 快速地
- 每秒数亿条日志
- 基本数据类型的平均延迟为2-7 ns
- 查看基准
- 提供解包器来压缩日志消息
- 使用 fmtlib 格式化日志
- 同步日志记录 - 不是线程安全的
- Header-only library
- 此处提供单个头文件版本
- 需要 C++20
Usage and Performance
以下代码将 10 亿个整数记录到文件中。
#include <binary_log/binary_log.hpp> int main() { binary_log::binary_log log("log.out"); for (int i = 0; i < 1E9; ++i) BINARY_LOG(log, "Hello logger, msg number: {}", i); }
在一个现代工作站桌面上,上述代码的执行时间为~3.5秒。
Type | Value |
---|---|
Time Taken | 3.5 s |
Throughput | 1.4 Gb/s |
Performance | 286 million logs/s |
Average Latency | 3.5 ns |
File Size | ~5 GB |
foo@bar:~/dev/binary_log$ time ./build/examples/billion_integers/billion_integers real 0m3.561s user 0m2.422s sys 0m1.141s foo@bar:~/dev/binary_log$ ls -lart log.out* -rw-r--r-- 1 pranav pranav 6 Dec 6 07:52 log.out.runlength -rw-r--r-- 1 pranav pranav 32 Dec 6 07:52 log.out.index -rw-r--r-- 1 pranav pranav 4999934337 Dec 6 07:52 log.out
设计目标和决策
- 实现单线程同步记录器 - 不提供线程安全
- 如果用户想要多线程行为,用户可以选择并实现自己的排队解决方案
- 有许多众所周知的无锁队列可用于此目的(moody::concurrentqueue、atomic_queue等)——让用户选择他们想要使用的技术。
- 进入无锁队列的延迟足够大
- 不关心多线程场景的用户不应该为此付出代价
- 查看atomic_queue benchmarks,在许多最先进的多生产者、多消费者队列中发送和接收 4 字节整数(在 2 个线程之间,使用 2 个队列)的平均往返延迟约为150-250 纳秒。
- 避免多次写入静态信息
- 静态信息示例:格式字符串、格式参数的数量以及每个格式参数的类型
- 将静态信息存储在“索引”文件中
- 将动态信息存储在日志文件中(尽可能参考索引文件)
- 在运行时 hot path 中做尽可能少的工作
- 没有任何形式的格式
- 所有格式化都将使用解压缩二进制日志的解包器脱机进行
运作方式
binary_log
将日志拆分为三个文件:
评论
Duetto用于 Web 的 C++ 编译器
Duetto通过允许编程人员做如下的事情,来组合emscripten和node.js的优势:用C++编写web应用,重用现有的代码,并且使得移植到浏览器的应用和游戏看起来和原生应用一样;用同一种语言和
Duetto用于 Web 的 C++ 编译器
0
Cheerp用于 Web 的 C++ 编译器
Cheerp是一个基于LLVMmonorepo的 C++ 编译器,允许将C/C++代码编译为WebAssembly和JavaScript。Cheerp基于并集成到LLVM/clang基础架构,具有许多
Cheerp用于 Web 的 C++ 编译器
0
spdlog快速的 C++ 日志库
spdlog是一个快速的C++日志库,只包含头文件,兼容C++11。特性:非常快只包含头文件无需依赖第三方库支持跨平台-Linux/Windowson32/64bits支持多线程可对日志文件进行循环输
spdlog快速的 C++ 日志库
0
Fuerte用于 ArangoDB 的 C++ 通讯库
Fuerte是一个C++库,允许你通过http和velocystream(可选的ssl加密)协议与ArangoDB数据库进行通讯。Fuerte只是一个通讯库,你仅仅会得到对方发送给你的东西, 过程中不
Fuerte用于 ArangoDB 的 C++ 通讯库
0
Fuerte用于 ArangoDB 的 C++ 通讯库
Fuerte 是一个 C++ 库,允许你通过 http 和 velocystream(可选的 ssl
Fuerte用于 ArangoDB 的 C++ 通讯库
0