LWN:让kernel使用更大的block size!
共 6185字,需浏览 13分钟
·
2023-10-10 06:30
关注了就能看到更多这么棒的文章哦~
Moving the kernel to large block sizes
By Jake Edge
September 27, 2023
OSSEU
ChatGPT translation
https://lwn.net/Articles/945646/
使用更大的块大小(block size)进行I/O内核是存储和块层领域经常讨论的话题。这个话题在2023年5月的Linux存储、文件系统、内存管理和BPF峰会(LSFMM)的讨论中提出。在那些讨论中的一位参与者Hannes Reinecke在2023年的Open Source Summit Europe上发表了一次关于为什么要使用更大块进行I/O、该工作的当前状态以及可能会引发的发展方向的概述演讲。
Reinecke在SUSE工作了"差不多有20年了",在那之前他就已经参与了Linux;他的第一个内核版本是1.1.5或1.0.5。最近他一直参与存储工作,特别是NVMe。这导致了他的一个个人项目"终于实现了",就是在Linux中能够使用更大的块。
块和页面
目前,Linux受限于使用不大于 PAGE_SIZE
(通常为4KB)的块大小。但有一些系统和应用程序会受益于使用更大的页面;例如,一些数据库希望能够使用16KB的块,因为这是它们内部组织数据的方式。此外,一些硬件也会受益于处理更大块大小的数据,因为这会减少内部跟踪block所需的开销,从而使驱动器更加高效和便宜。
[[https://static.lwn.net/images/2023/osseu-reinecke-sm.png]]
但是,他问道,是否一定要有一个块大小?内核不能在需要的时候直接使用任意数量的数值吗?问题在于,没有一个原子性地读取或写入任意数量数据的"do I/O"指令。每个I/O操作都需要多个指令来设置它,传输数据并收集结果。这会增加每个操作的延迟,因此目标是尽量减少执行的I/O操作数量,但也需要权衡。
有一个问题是这些I/O操作的合适大小应该是多少。他说,在早期阶段,这是一个大量实验的主题。最终,加利福尼亚大学伯克利分校的研究人员("当然,像往常一样")找出了512字节是在开销和I/O粒度之间有合理折衷值的大小。这是二十年前的事情了,但我们目前仍然使用512字节—至少目前是这样。
然而,CPU有硬件辅助的内存管理,它以页面为单位运行。例如,有API可以确定哪些页面是脏的(即需要写入后备存储),就是以页面大小来执行的。这意味着页面的大小取决于CPU,Linux不能随意选择大小。对于x86_64,选择包括4KB、2MB或1GB;对于PowerPC和一些Arm系统,使用16KB作为页面大小。内核有一个编译时的 PAGE_SIZE
设置,规定了页面的大小。
有时需要从磁盘读取内存中的页面,或将其内容刷新到磁盘。对于缓冲I/O,页面缓存(page cache)进行了所有这些内容的管理;它使用硬件提供的脏页信息来确定需要写入哪些页面。由于所有这些都是以页面为单位完成的,因此以页面大小单位进行I/O是很自然的。
但是,如果有一系列连续的页面都是脏的,那么你可以一次性对所有页面进行I/O。拥有一个处理多个页面作为单个单元的数据结构将有助于这一点,这正是folios的目的。除了缓冲I/O (buffered I/O)之外,还有直接I/O(direct I/O),由用户空间来完全控制;页面缓存不涉及其中,用户空间可以按需进行多个块的I/O。文件系统通过页面缓存提供了缓冲I/O,并且有各种接口用于该I/O。最早的是缓冲头(buffer heads),它的(某种程度上的)继任者使用 struct bio
,而最近则有iomap,他说他会回头再谈。然而,为了以更大的尺寸进行缓冲I/O,页面缓存需要转换为使用folios。
Folios
folios是一种处理不同类型页面的尝试。有普通页面、复合页面(就像是若干页面组成的数组)和透明巨大页面(THPs),每种页面都有其自己的特点。然而,它们都可以使用 struct page
来访问,因此内核开发人员必须知道给定的页面结构实际上是否是一个页面—或者更复杂的东西。folios专门设计用于处理不同类型,对于他的演讲来说,重要的是它可以表示不止一个页面,因此允许它用于更大块的I/O。
这需要将页面缓存—以及可能最终的内存管理子系统—转换为使用folios。这项工作由Matthew Wilcox于2020年提出,并在每次LSFMM上进行了讨论。它也曾经是一些有争议的邮件列表讨论的主题。但工作仍在进行中,将继续进行几年("最终我们会成功的")。他展示了6.4-rc2内核中" struct page
"(8385)与" struct folio
"(1859)的统计数量来展示事情的大致进度。
然后,他转向了缓冲头(buffer heads),它们出现在0.01内核中,因此是Linux中I/O的原始结构。每个缓冲头用于一个单独的512字节磁盘扇区,它跟特定的页面结构(page structure)关联起来,并在buffer cache中进行缓存(以节省访问时的I/O)。大多数文件系统仍在使用缓冲头,并且它们也用在了关于块设备的一个伪文件系统中。页面缓存(page cache)在内核历史中是比较后期才出现的,因为在早期这个buffer cache就足够了。
struct buffer_head
相对复杂,因此在2.5内核中,引入了 struct bio
作为设备驱动程序的"基本I/O结构"。它允许对页面数组进行矢量化I/O,将bio结构发送到各种设备,并从页面缓存中抽象出来。如今,缓冲头是在bio基础设施之上实现的。有许多文件系统,如AFS、CIFS、NFS和FUSE,直接使用 struct bio
,因此不依赖于缓冲头。
最后,还有iomap,"或者说是Christoph Hellwig有点发疯";Hellwig对现有的I/O接口感到不满,并创建了iomap作为替代,Reinecke说。Iomap是一个现代化的接口,已经使用folios;它为文件系统提供了一种指定I/O应该如何映射的方式,并将其余部分留给block层。已经将几个文件系统转换为使用iomap了,包括XFS、Btrfs和Zonefs,因此对于那些涉及folios转换的文件系统,无需再做其他工作。然而,iomap的一个问题领域是文档,文档有点难找,而且常常过时,因为iomap正在积极开发中。
替换缓冲头?
存储社区长期以来一直有一个共识,即"缓冲头必须消失",他说。他在今年的LSFMM上主持了一个关于这个话题的讨论。这种思路是,缓冲头是一种遗留接口,使用一种古老的结构,因此用户应该转换为 struct bio
或iomap。但是,最近在ksummit-discuss邮件列表上的一次Linus Torvalds的不同意见引起了争议。
回应的强烈程度可能表明,应该选择不同的路径来实现更大的block size的目标,Reinecke说。转换为folios是有用的,但只影响了页面缓存和内存管理子系统;缓冲头假定I/O将以子页面粒度(即512字节)进行,因此需要解决这个问题。一个可能的路径是将所有内容转换为iomap,然后删除缓冲头,另一种可能是更新缓冲头以处理更大的I/O大小。
在理想的情况下,所有文件系统都应该转换为使用iomap,他说;这是一个"现代化的接口,而且实际上是一个非常好的接口"。但是,正如ksummit-discuss的帖子所显示的,有一些旧的文件系统没有积极维护者—或者根本没有维护者。对于这些旧的文件系统,通常几乎没有文档,也没有真正可靠的测试改动的方法。此外,转换任何文件系统(无论是遗留还是不是)都需要更好的iomap文档,以供进行转换的开发人员使用。
另一个可能性是简单地删除缓冲头;Hellwig提供了一个允许将缓冲头编译出内核的补丁集,已合并到了6.5内核中。启用该选项将意味着禁用所有使用缓冲头的文件系统,在当前阶段这并不完全现实,Reinecke说。特别是FAT文件系统,它是用于引导UEFI系统的,如果在这样的内核中禁用了它,将无法引导。
在LSFMM上,Josef Bacik提出了将缓冲头转换为使用folios的想法,以便处理小于一个页面(sub-page)或者超级页面(super-page)的I/O。虽然这不是Reinecke最初选择的方向,但他开始考虑这个想法。这种转换可能要么非常简单,如果代码没有关于sub-page I/O的什么假设;要么就可能是一场完全的噩梦,因为这种假设普遍存在。
那天晚上,他在看了缓冲头代码后坐在酒吧里,对他的邻居大声抱怨。他不知道怎么能指望有人去转换它们,因为它们与页面紧密相关。然后他意识到他的邻居是Andrew Morton,他说:"在我实现这个代码的时代,它还不错—而且它仍然能工作,不是吗?"
因此,Reinecke开始重新考虑将缓冲头转换为folios的想法,但需要解决许多问题。首先,缓冲头和iomap在根本上是不兼容的。例如,在页面结构中有一个void指针,根据使用的是哪种结构,它要么指向缓冲头,要么指向iomap结构;在查看页面缓存中的页面时,了解你拥有哪种结构非常重要。需要谨慎考虑"混搭方法"。他说,review这些更改将会很困难,因为很难发现对 PAGE_SIZE
的依赖关系。
所有这些使他开始怀疑,是否值得付出这么多努力来实现使用更大的block size 来进行I/O的总体目标。"我认为是值得的…但这只是我的看法。"但他确实知道,数据库确实希望能够进行更大的I/O操作,希望支持更大的I/O操作对文件系统来说也会更高效。在很大程度上,文件系统已经在更大的块中进行I/O操作。除了这些好处之外,驱动供应商希望出于效率、容量和实现更低成本的设备而使用更大的块。
进展
Reinecke在上周完成了他的补丁集。然而,就像在开源世界中经常发生的情况一样,大约在同一时间出现了另一种实现。Luis Chamberlain和他在三星的同事发布了不同的补丁集,涵盖了很多相同的领域。在演讲中,Reinecke说,他正在提出自己的补丁来解决这些问题,但他将在不久的将来与三星的人合作,将这两种方法结合起来。
总体想法是将缓冲头从页面转换为folios。这样,所有的I/O仍然会小于所附加的单元,因此缓冲头代码中的假设仍然会得到满足。folios将指向单个缓冲头或缓冲头列表的指针。在进行此转换时需要记住一些事情;首要的是内存管理子系统仍然以 PAGE_SIZE
为单位工作,而页面缓存和缓冲缓存已经转换为folios。
但是,为了进行I/O,缓冲头使用bio机制,它以512字节块为单位工作。他说,这实际上已经固定在块层及其驱动程序中,无法在不付出巨大努力的情况下更改。但实际的I/O由较低层驱动程序处理,这些驱动程序已经将相邻的块合并为较大的单元。因此,页面缓存中的folios可以传递给块层,块层将以512字节块的方式枚举它们,将结果交给驱动程序,驱动程序将它们重新组装为较大的单元。尽管这不是解决问题的显而易见的方法,但一切都"应该正常工作"。
所以这就是他的补丁集的核心。当然,还有其他工作要做,包括审核页面缓存,以确保它分配了与底层驱动程序使用的大小相同的folios,并确保它以folios大小的步长递增,而不是以页面为单位递增。他还需要为块驱动程序添加一个接口,以向页面缓存报告其块大小。一切都很顺利,甚至可能太顺利了,因为NFS希望使用128MB的块—并得到了—至少直到虚拟机出现内存不足的情况。这个特定的测试"巧妙地证明了使用更大size的block会导致更高程度的内存碎片化",如果真的需要这样的证明的话。
完成了吗?
尽管这些补丁使内核能够与具有大block size的驱动程序通信,但仍然存在一个问题:没有驱动程序在使用更大的block size,原因当然是"因为没有人可以与它们通信"。他已经有了更新block ramdisk驱动程序(brd)以支持更大block的测试目的的补丁。然后,该驱动程序可以用作NVMe目标的后备设备(backing device),以便可以使用更大的block size进行测试。"这非常酷,但当然还需要一些测试。"
还需要一些其他的工作。QEMU需要更新以支持更大的block size,需要使用它们来测试驱动程序,还需要测试其他子系统,如SCSI。除此之外,还需要与三星的工作统一起来。一旦所有这些都准备就绪,就会进行审查,然后需要处理审查引起的问题,然后才能将这项工作推送给上游。
内存碎片问题仍然没有解决。未来,系统可能会具有各种不同的block size的设备;在这方面,16KB不应该是一个主要问题,但在未来可能会有更大的块大小。内存管理层继续以page size的block来工作,这将导致额外的碎片化。如果系统可以切换到与更大的block size相同的粒度使用内存,那么一切都变得完美了—但这假定只有一个block size,这可能并不成立。
一个可能的解决方案,可能值得独立实施,是将SLUB分配器切换为使用更高级别的folios,而不是基于page的粒度。然后,如果 alloc_page()
用户转换为使用SLUB,它将消除分配的碎片问题。不过,再次强调,这仍然要求只能有一个block size。他会很乐意听取在存在更大的block size的情况下改善碎片化情况的其他想法。
他在演讲结束时提出了一个建议,"以防你真的很无聊":在block层及其512字节导向性方面仍然存在改进空间。他认为,将block层切换到使用folios并不是一项适合胆小的人的任务,但他认为这是可行的。bio结构不直接存储数据,而是使用 struct bio_vec
以向量化形式存储数据。虽然block层中有大约4000个使用 bio_vec
的情况,但这些情况也许可以转换为使用folios而不是page。
[我要感谢LWN的旅行赞助商,Linux基金会,为前往OSSEU的比尔巴奥提供旅行援助。]
全文完
LWN 文章遵循 CC BY-SA 4.0 许可协议。
长按下面二维码关注,关注 LWN 深度文章以及开源社区的各种新近言论~