原创 | 外部排序:如何用 2GB内存给 20 亿个整数排序?

共 1494字,需浏览 3分钟

 ·

2020-03-08 23:24

来源公众号:帅地玩编程

作者:帅地

这篇文章在很久很久之前讲过,不过出了些小错误,今天把它修正了,并且从实战 + 漫画的方式带你领略外部排序魅力,并且让你知道外部排序的实现方式没有你想的那么简单。



898cb1da5d4594791bb0f219694ee564.webp

2f32c62b3f129bc98dc2a152465ec1d2.webp

4ab70a57448b4d5a9d12102bd2058460.webp

2d95cd94716acf17900f4e70d439da12.webp

be783cd005ccd1825a9a6774a2dadd60.webp

316d501ec04d3b71548d9417f1201f04.webp

排序的时候我们可以选择快速排序或归并排序等算法。为了方便,我们把排序好的2G有序数据称之为有序子串吧。接着我们可以把两个小的有序子串合并成一个大的有序子串。


0147647cb7920b33bb9189ddbdac93d8.webp

注意:读取的时候是每次读取一个int数,通过比较之后在输出。


按照这个方法来回合并,总共经过三次合并之后就可以得到8G的有序子串。


c2a0f3e742059e2796d88b29a2e8d3cd.webp

2d8267923f682a9f0c47f14747fb67f5.webp

d9c9d10ac76c6bdb1fd8193c7ac8e820.webp


接下来把12个数据分成4份,然后排序成有序子串


93b5e94edea2d6c9cc9de272d2537ebc.webp


然后把子串进行两两合并


5e8c485cd2435af2e14a64253b7b586c.webp


输出哪个元素,就在那个元素所在的有序子串再次读入一个元素


3610c4b375e28bc7ab77d9c68e89595f.webp


继续


5e7052180e6e36c62e1b9e6d07132d16.webp


重复直到合并成一个包含6个int的有序子串


0fffbf9b6158bfeb4cc2fc4875189bce.webp


再把两个包含6个int的有序子串合并成一个包含12个int数据的最终有序子串


002372b3ded7c340cb208a42afb17faa.webp

519e1fa2d111f60b44523ceba2b11045.webp


优化策略


cd2a3cf603f8292160d414324b317308.webp

解释下:例如对于数据2,我们把无序的12个数据分成有序的4个子串需要读写各一次,把2份3个有序子串合并成6个有序子串读写各一次;把2份6个有序子串合并从12个有序子串读写各一次,一共需要读写各3次。


9327009586b3cf87b19b41ff4a773c05.webp


f17f013c13d2f13617865dd2f25f30f5.webp


6bfc6306e5a9f497afc353c4196b34e4.webp


多路归并


为了方便讲解,我们假设内存一共可以装4个int型数据

 

5781c299e9d5d3660cf317a4740646af.webp


8cbc4d4386892310e32842013781e0d3.webp


0f2561b8e3b48e732336608bbc71b7f0.webp


1319794505dfacb19473a859b5a84923.webp


4356368eceea74b183f050fa95116bea.webp

9ed0ffcb6ca0ec8bf5c37155135bb133.webp


ce8a37bc350bfc4e211e349cb40aa0d5.webp


置换选择


54eaa2f3c65d4e3bfc7be75b0f7ed895.webp


cd6d5a2c3879e977aefb87cf087e0082.webp


1d434187fd72e7a3dde799c8f3c163a1.webp


e900c130bbe52909b7abade63720ea57.webp


98c06b63dae7fd5c3c46f88f842525bf.webp


21c0b9dc599305241f228200df6522fd.webp


b5d84192bbd0a9f16d262dbcb5f4745b.webp


例如我们可以从12个数据读取3个存到内存中,然后从内存中选出最小的那个数放进子串p1里;


之后再从在从剩余的9个数据读取一个放到内存中,然后再从内存中选出一个数放进子串p1里,这个数必须满足比p1中的其他数大,且在内存中尽量小


这样一直重复,直到内存中的数都比p1中的数小,这时p1子串存放结束,继续来p2子串的存放。例如(这时假设内存只能存放3个int型数据):


12个无序的int数据


bdd71b804016560f0c81208b1460995b.webp


读入3个到内存中,且选出一个最小的到子串p1


2c95454d1e3dc1a64484fe721862bd65.webp


从内存中再次读取一个元素86


e7ac6c66e986ec6ff923dd30fc63e322.webp


从内存中再次读取一个元素3


7bf94df6db8d86421907b973fa9d6192.webp


从内存中再次读取一个元素24


1df92a26ae06d5551898d14b720e43a8.webp

从内存中再次读取一个元素8


75466d01b0b09e83dce3c4224fd441e0.webp


这个时候,已经没有符合要求的数了,且内存已满,进而用p2子串来存放,以此类推。


通过这种方法,p1子串存放了4个数据,而原来的那种方法p1子串只能存放3个数据。


651541ae38d113dc252954dcd358dfd5.webp


06804df99ebc6d745fa3a926c4661569.webp

(不知道堆排序的可以看下我之前写的文章:【算法与数据结构】堆排序是什么鬼?)


从12个数据中读取3个数据,构建成一个最小堆,然后从堆顶选择一个数写入到p1中。


之后再从剩余的9个数中读取一个数,如果这个数比刚才那个写入到p1中的数大,则把这个数插入到最小堆中,重新调整最小堆结构,然后在堆顶选一个数写入到p1中。


否则,把这个数暂放在一边,暂时不处理。之后一样需要调整堆结构,从堆顶选择一个数写入到p1中。


这里说明一下,那个被放在一边的数是不能再放入p1中的了,因为它一定比p1中的数都要小,所以它会放在下一个子串中


看这些文字会让人头大,我画图解释下吧。


从12数据读取3个数据


42967e76bbe2316b8fbf6caff83f48bd.webp


构建最小堆,且选出目标数


f66d4c3ddcf53c85fa8b4bec1f35a9f3.webp


读入下一个数86


057630331a903292b2d8dde999d3f670.webp


读入下一个数3,比70小,暂放一边,不加入堆结构中


9f8d0543f27ccb5c575d7fff563a2a4c.webp


读入下一个数据24,比81小,不加入堆结构


67d2f8795824d75b92e41662cbaaf32c.webp


读入下一个数据8,比86小,不加入堆结构。此时p1已经完成了,把那些刚才暂放一边的数重新构成一个堆,继续p2的存放。


7b53413894e2b0f101c9e3f130dec9e6.webp


以此类推...

最后生成的p2如下:


434c38143393fbba6aa1d85a1ebbaabf.webp


01d8ef168b2e6bacadff44afee16ab3c.webp


cce7d905c37e9a9bda4fb0f9029627e7.webp


88aa333c28ccb54a34f9ec4df1245b6b.webp


777fce89c908b3ee6222769eba93d4de.webp


这种方法适合要排序的数据太多,以至于内存一次性装载不下。只能通过把数据分几次的方式来排序,我们也把这种方法称之为外部排序


0badb1276b603521e55d8e4c7ff6e6dd.webp

推荐阅读

全部文章分类与整理(算法+数据结构+计算机基础),持续更新

【吐血整理】那些让你起飞的计算机基础知识:学什么,怎么学?

普普通通,我的三年大学

写公众号15个月以来,这一路上的学习与收获

历经两个月,我的秋招之路结束了!

2020 第一篇原创 | 我是如何让自己变的更加优秀的?

浏览 21
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报
评论
图片
表情
推荐
点赞
评论
收藏
分享

手机扫一扫分享

分享
举报