0.2秒居然复制了100G文件?
Java项目开发
共 4067字,需浏览 9分钟
·
2022-01-25 05:20
cp 引发的思考
今天同事用cp
命令,把他给惊到了!背景是这样的:他用
cp
拷贝了一个 100 G的文件,竟然一秒不到就拷贝完成了!用 ls
看一把文件,显示文件确实是 100 G。sh-4.4# ls -lh
-rw-r--r-- 1 root root 100G Mar 6 12:22 test.txt
sh-4.4# time cp ./test.txt ./test.txt.cp
real 0m0.107s
user 0m0.008s
sys 0m0.085s
cp
一秒没到就完成了工作,惊呆了,为啥呢?更诡异的是:他的文件系统只有 40 G,为啥里面会有一个 100 G的文件呢?同事把我找来,看看这个诡异的问题。分析文件
我让他先用du
命令看一下,却只有 2M ,根本不是100G,这是怎么回事?sh-4.4# du -sh ./test.txt
2.0M ./test.txt
stat
命令显示的信息:sh-4.4# stat ./test.txt
File: ./test.txt
Size: 107374182400 Blocks: 4096 IO Block: 4096 regular file
Device: 78h/120d Inode: 3148347 Links: 1
Access: (0644/-rw-r--r--) Uid: ( 0/ root) Gid: ( 0/ root)
Access: 2021-03-13 12:22:00.888871000 +0000
Modify: 2021-03-13 12:22:46.562243000 +0000
Change: 2021-03-13 12:22:46.562243000 +0000
Birth: -
stat
命令输出解释:- Size 为 107374182400(知识点:单位是字节),也就是 100G ;
- Blocks 这个指标显示为 4096(知识点:一个 Block 的单位固定是 512 字节,也就是一个扇区的大小),这里表示为 2M;
- Size 表示的是文件大小,这个也是大多数人看到的大小;
- Blocks 表示的是物理实际占用空间;
现实的存取场景
例如你到火车站使用寄存服务:存行李的时候,是不是要登记一些个人信息?对吧,至少自己名字要写上。可能还会给你一个牌子,让你挂手上,这个东西就是为了标示每一个唯一的行李。文件系统
回到我们的文件系统,对比上面的行李存取行为,可以做个简单的类比;- 登记名字就是在文件系统记录文件名;
- 生成的牌子就是元数据索引;
- 你的行李就是文件;
- 寄存室就是磁盘(容纳东西的物理空间);
- 管理员整套运行机制就是文件系统;
空间管理
现在思考文件系统是怎么管理空间的?如果,一个连续的大磁盘空间给你使用,你会怎么使用这段空间呢?直观的一个想法,我把进来的数据就完整的放进去。
- 先写数据:数据先按照 Block 粒度存储到磁盘的各个位置;
- 再写元数据:然后把 Block 所在的各个位置保存起来,即inode(我用一本书来表示);
- 先读inode,找到各个 Block 的位置;
- 然后读数据,构造一个完整的文件,给到用户;
inode/block 概念
好,我们现在来看看inode,直观地感受一下:![bd8af432e036e7454de44c0698cf493a.webp](https://filescdn.proginn.com/5bd694b0cab68f9d772e77a8b4bda8ee/bd8af432e036e7454de44c0698cf493a.webp)
- 前 12 个槽位(也就是 0 - 11 )我们成为直接索引;
- 第 13 个位置,我们称为 1 级索引;
- 第 14 个位置,我们称为 2 级索引;
- 第 15 个位置,我们称为 3 级索引;
![ea15d22811cf1da71ff4f964dcc88f9b.webp](https://filescdn.proginn.com/037905c6baeabc95a7b6b8cdd2f7d06c/ea15d22811cf1da71ff4f964dcc88f9b.webp)
直接索引:能存 12 个 block 编号,每个 block 4K,就是 48K,也就是说,48K 以内的文件,前 12 个槽位存储编号就能完全 hold 住。一级索引:也就是说这里存储的编号指向的 block 里面存储的也是 block 编号,里面的编号指向用户数据。一个 block 4K,每个元素 4 字节,也就是有 1024 个编号位置可以存储。所以,一级索引能寻址 4M(1024 * 4K)空间 。
![bd8af432e036e7454de44c0698cf493a.webp](https://filescdn.proginn.com/1cf341a4c47b9fc64dcf21b81d086852/bd8af432e036e7454de44c0698cf493a.webp)
![02bf470d6b3b8bf9287dc3740d02db64.webp](https://filescdn.proginn.com/cb06d5185b0702b1947348bd80554d37/02bf470d6b3b8bf9287dc3740d02db64.webp)
![ad82e1ef2b64342d825f173d6df05a5d.webp](https://filescdn.proginn.com/ed76c705e779a12336478304abad2beb/ad82e1ef2b64342d825f173d6df05a5d.webp)
为什么cp那么快?
接下来我们要写入一个奇怪的文件,这个文件很大,但是真正的数据只有8K:在[0,4K]这位置有4K的数据在[1T , 1T+4K] 处也有4K数据中间没有数据,这样的文件该如何写入硬盘?- 创建一个文件,这个时候分配一个 inode;
- 在 [ 0,4K ] 的位置写入 4K 数据,这个时候只需要 一个 block,把这个编号写到
block[0]
这个位置保存起来; - 在 [ 1T,1T+4K ] 的位置写入 4K 数据,这个时候需要分配一个 block,因为这个位置已经落到三级索引才能表现的空间了,所以需要还需要分配出 3 个索引块;
- 写入完成,close 文件;
重点:文件 size 只是 inode 里面的一个属性,实际物理空间占用则是要看用户数据放了多少个 block ,没写数据的地方不用分配物理block块。这样的文件其实就是稀疏文件, 它的逻辑大小和实际物理空间是不相等的。 所以当我们用cp命令去复制一个这样的文件时,那肯定迅速就完成了。
总结
好,我们再深入思考下,文件系统为什么能做到这一点?- 首先,最关键的是把磁盘空间切成离散的、定长的 block 来管理;
- 然后,通过 inode 能查找到所有离散的数据(保存了所有的索引);
- 最后,实现索引块和数据块空间的后分配;
怎么接私活?这个渠道你100%有用!请收藏!
![3a4d78dd869ef10992b8d840d21b392e.webp](https://filescdn.proginn.com/5257aa336da063bb0d21531c3762b11e/3a4d78dd869ef10992b8d840d21b392e.webp)
评论