开源项目:使用 Rust 写一个兼容 Linux 的内核
共 6067字,需浏览 13分钟
·
2021-11-13 22:18
前些时间,Linus 表示不排斥 Linux 开发使用 Rust。今天为大家带来一篇介绍 Rust 写 Linux 内核的文章。
注意,用 Rust 写一个兼容 Linux 的内核,目的不是取代 Linux,而是为了好玩、学习和练习。
近几个月来,我一直在研究一个新的操作系统内核 Kerla[1],这是一个使用 Rust 从零开始实现的,希望在 ABI 级别兼容 Linux。换句话说,支持运行未经修改的 Linux 二进制文件!
开源项目地址:https://github.com/nuta/kerla
我已经实现了基本功能:fork(2)
and execve(2)
,文件操作, initramfs,TCP/UDP sockets, 信号, tty/pty, 管道, poll 等。
你可以通过 ssh 进入 Kerla,它运行在临时创建的 Firecracker 微 VM 上,这是专门问你创建并启动的。(你本地也可以通过以下命令进入)
$ ssh root@kerla-demo.seiya.me
在这篇文章中,我将分享我在操作系统内核中使用 Rust 的第一印象。
01 Rust 在业务领域的成功
Rust 是一门深受用户喜爱的[2]编程语言,使用它,你可以高效开发出可靠且性能好的软件。
Rust 的所有权概念和类型系统可以让你专注于修复逻辑错误,而不是痛苦的记忆 error 和 race。enum
强制你处理所有可能的 input/ouput 模式。此外,它的构建系统(cargo
)和 IDE 支持(rust-analyzer[3])真的很棒。
生产环境慢慢有使用 Rust 的案例:AWS 的轻量级 VMM[4],npm registry 的部分模块[5]以及许多其他公司[6]。Rust 无疑是 C/C++ 之外一个很好的选择(但并不一定是替代 C/C++)。
02 Rust 在内核领域
近年来,用 Rust 重写现有软件一直受到关注。
Bryan Cantrill 在《是时候用 Rust 重写操作系统了吗?》[7] 的演示中,建议采用混合方法:
因此,一种混合方法是,你保留现有的基于 C/assmbly 的内核,就像我们多年来一直采用的方式一致。然后,你允许开发基于 Rust 的东西、基于 Rust 的驱动程序、基于 Rust 的文件系统、基于 Rust 的内核软件。
这就是在 Rust for Linux[8] 工作的人的情况。你可能听说过最近 LKML 上建议的补丁[9]。
我完全同意,重写现有的,庞大的,功能丰富,健壮的操作系统内核不是一个好主意。然而,我想到了一个问题:从零开始,用 Rust 写一个类 UNIX 的实用操作系统内核的利弊是什么?它看起来像什么?这就是我开始这个项目的原因。
为了探索 Rust 在内核领域的长处和短处,我决定开发一个实用的、特定的,与 Linux 兼容的内核,可用作虚拟计算机上的[" Faas"](https://en.wikipedia.org/wiki/Function_as_a_service "" Faas"")运行环境。为此,你只需要很少的设备驱动程序(例如 virtio[10]),我们就不必支持高级 Linux 功能(如 eBPF)。此外,与其他长期运行的工作负载相比,内核崩溃不会是一个关键问题。
03 内核领域使用 Rust 有好处吗?
在我看来,有!
内核有一点特别:panic!
会导致系统崩溃,内存分配故障应处理而不是 panicking,隐藏控制流和隐藏分配通常不能接受。
Rust 的优势也适用内核领域。我最喜欢的例子是无空指针处理问题:如果指针是无效的(即 Option
),你不能解引用它,直到你明确处理空(None
)情况!此外,使用新类型习语[11],你可以区分内核和用户指针。
但是,我们在内核领域使用 Rust 时仍然存在一些问题:
分配失败会 panic!
这个问题在 Linus Torvalds on the Linux kernel's Rust support patch[12] 中提到的。
我们来看看 Arc::new()[13] 的定义,一个创建线程安全参考计数指针的构造器:
pub fn new(data: T) -> Arc
看起来超级直观,对吧?然而,它有一个隐含的 panic 情况:内部缓冲分配失败。
处理分配故障很无聊。当我开始一个 C 项目时,第一步是写我自己的 xmalloc(3)[14],这样我不需要检查结果是否是 NULL。如果它耗尽了内存, 直接 crash 即可,没什么大不了的。我只需要生成一个新的有更多内存的 VM 或或在亚马逊上购买新的内存。
然而,在内核空间中,kernel panic
是一件大事。我们应该设法从低内存状态中恢复过来,以保持系统的工作状态。没人想看蓝屏。
在我的项目中,为了利用现有的便利 crates,我决定走目前的 Rust 路:允许因分配失败而 panic。这就是说,在不久的将来,我确实认为需要使用(或编写我们自己的)动态分配容器的可故障版本。
更大的二进制大小
Resea[15],一个基于微内核的操作系统,使用 C 编写的,仅仅 845KiB,包括用户地应用程序, 如 TCP/IP 服务器,英特尔基于 hypervisor 的 VT-x 和 Linux ABI 模拟支持。
相比之下,Kerla 镜像需要大约 1.1 MiB,不包括 initramf。虽然极简的微内核和单片内核有着相反的理念,但在我看来,Rust 实现往往大于 C 实现。
虽然有一些大小优化方法[16]可用,但在极其受限的设备(例如 1 类设备[17])中,这可能是一个问题。
make menuconfig 丢失
操作系统内核有许多参数。在 Linux 内核中,可以使用配置工具进行配置,如 make menuconfig
和 make xconfig
。在 Rust 中,我们有特性标志[18],可启用/禁用 crate 中的特性。但是,如果你想要更改硬编码参数(如心跳间隔),该怎么办?你是否通过环境变量和 env![19] 宏来配置它?不, 它只接受一个字符串。
我们可能需要一个功能丰富的构建配置机制,就像 Cargo 中的 Kconfig[20] 一样。
这些问题迟早会解决!
我要强调,这些问题并非源于语言设计。
Rust 正在不断改善。关于分配失败,人们已经开始着手处理它(见跟踪问题[21])。此外,你不必使用 liballoc
,heapless crate[22] 将是一个很好的选择。
04 Rust 在内核领域的优点
尽管有我上面提到的问题,但我觉得用 Rust 写内核一定是富有成效的。Rust 用在内核领域我最喜欢的优点:
Rust 让我有信心:其类型系统和所有权、生命周期概念使我意识到,我的实现编译不通过,因为它违反了共享的 XOR 可变规则,例如,一旦编译通过,能正常运行就一点都不奇怪(如没有讨厌的数据竞争和危险的空指针)。 强制处理所有的 input 模式: enum
和模式匹配 (match
) 让你可以处理所有可能的情况,不会有漏掉的情况。它具备写内核的特性:packed struct[23],raw pointers[24],改进的内联汇编语法[25],embedding assembly files[26] 等等。 便利的 no_std
(独立) crates 可用:bitflags 操作库[27],基于数组的 vector 和字符串实现[28],多生产者和多消费者队列[29] 等等。内置单元测试:在 Rust 中编写和运行单元测试非常简单。此外,由于 custom_test_frameworks[30] 功能,你可以在 QEMU 或真实机器上运行单元测试。 开发者友好的超棒工具链:linter[31] 帮助你编写友好的 Rust 代码,交叉编译[32] 很容易,而 rust-analyzer[33] 可以把你喜欢的编辑器变成类似 IntelliJ IDEA 这样的 Rust IDE。
05 期待你的参与
这个内核还处于非常早期的阶段。一些关键功能,如 futex、epoll、UNIX 域 socket 等尚未实现。换句话说,代码仍然简单易懂!如果你有兴趣在 Rust 中编写操作系统内核,欢迎参与。
— written by Seiya Nuta CC BY 4.0
原文链接:https://seiya.me/writing-linux-clone-in-rust
参考资料
Kerla: https://github.com/nuta/kerla
[2]深受用户喜爱的: https://insights.stackoverflow.com/survey/2020#technology-most-loved-dreaded-and-wanted-languages
[3]rust-analyzer: https://rust-analyzer.github.io/
[4]AWS 的轻量级 VMM: https://aws.amazon.com/blogs/opensource/why-aws-loves-rust-and-how-wed-like-to-help/
[5]npm registry 的部分模块: https://www.rust-lang.org/static/pdfs/Rust-npm-Whitepaper.pdf
[6]许多其他公司: https://www.rust-lang.org/production/users
[7]《是时候用 Rust 重写操作系统了吗?》: https://www.infoq.com/presentations/os-rust/
[8]Rust for Linux: https://github.com/Rust-for-Linux/linux
[9]补丁: https://lkml.org/lkml/2021/4/14/1023
[10]virtio: https://wiki.osdev.org/Virtio
[11]新类型习语: https://doc.rust-lang.org/rust-by-example/generics/new_types.html
[12]Linus Torvalds on the Linux kernel's Rust support patch: https://lkml.org/lkml/2021/4/14/1099
[13]Arc::new(): https://doc.rust-lang.org/alloc/sync/struct.Arc.html#method.new
[14]xmalloc(3): https://www.freebsd.org/cgi/man.cgi?query=xmalloc&apropos=0
[15]Resea: https://resea.org/
[16]一些大小优化方法: https://github.com/johnthagen/min-sized-rust
[17]1 类设备: https://tools.ietf.org/html/rfc7228
[18]特性标志: https://doc.rust-lang.org/cargo/reference/features.html
[19]env!: https://doc.rust-lang.org/std/macro.env.html
[20]Kconfig: https://www.kernel.org/doc/html/latest/kbuild/kconfig-language.html
[21]跟踪问题: https://github.com/rust-lang/rust/issues/32838
[22]heapless crate: https://docs.rs/heapless/
[23]packed struct: https://doc.rust-lang.org/nomicon/other-reprs.html#reprpacked
[24]raw pointers: https://doc.rust-lang.org/std/primitive.pointer.html
[25]改进的内联汇编语法: https://blog.rust-lang.org/inside-rust/2020/06/08/new-inline-asm.html
[26]embedding assembly files: https://doc.rust-lang.org/unstable-book/library-features/global-asm.html
[27]bitflags 操作库: https://docs.rs/bitflags/1.2.1/bitflags/
[28]基于数组的 vector 和字符串实现: https://docs.rs/arrayvec/0.7.0/arrayvec/
[29]多生产者和多消费者队列: https://docs.rs/crossbeam/0.8.0/crossbeam/queue/struct.ArrayQueue.html
[30]custom_test_frameworks: https://rust-lang.github.io/rfcs/2318-custom-test-frameworks.html
[31]linter: https://github.com/rust-lang/rust-clippy
[32]交叉编译: https://rust-lang.github.io/rustup/cross-compilation.html
[33]rust-analyzer: https://rust-analyzer.github.io/
我是 polarisxu,北大硕士毕业,曾在 360 等知名互联网公司工作,10多年技术研发与架构经验!2012 年接触 Go 语言并创建了 Go 语言中文网!著有《Go语言编程之旅》、开源图书《Go语言标准库》等。
坚持输出技术(包括 Go、Rust 等技术)、职场心得和创业感悟!欢迎关注「polarisxu」一起成长!也欢迎加我微信好友交流:gopherstudio