五分钟看懂抓包神技：DPDK
共 3132字，需浏览 7分钟
·
2020-11-16 18:45
我是一个网络监控软件，我被开发出来的使命就是监控网络中进进出出的所有通信流量。
一直以来，我的工作都非常的出色，但是随着我监控的网络越来越庞大，网络中的通信流量也变得越来越多，我开始有些忙不过来了，逐渐发生丢包的现象，而且最近这一现象越发的严重了。
万兆流量需求
一天晚上，程序员哥哥把我从硬盘上叫了起来。
“这都几点了，你怎么还不下班啊？”，我问小哥哥。
“哎，产品经理说了，让我下个月必须支持万兆网络流量的分析，我这压力可大了，没办法只好加班了。”，说完整理了一下自己那日益稀疏的头发。
“万兆？10Gbps？开玩笑呢吧？这是要累死我的节奏啊”
“可不是吗，可愁死我了。你快给我说说，你工作这么久了，有没有干的不爽的或者觉得可以改进的地方都可以给我说说”，小哥哥真诚的看着我。
我思考了片刻说到：“要说干的不爽的，还真有！就是我现在花了太多时间在拷贝数据包了，把数据包从内核空间拷贝到用户态空间，以前数据量小还行，现在网络流量这么大，可真是要了我的老命了。”
小哥哥叹了口气，“哎，这个改不了，数据包是通过操作系统的API获取的，操作系统又是从网卡那里读取的，咱们是工作在用户空间的程序，必须要拷贝一次，这没办法。你再想想别的？”
我也叹了口气，“那行吧，还有一个槽点，数据包收到后能不能直接交给我，别交给系统的协议栈和netfilter框架他们去处理了，反正我拿来后也要重新分析，每次都从他们那里过一次，他们办事效率又低，这不拖累我的工作嘛”
小哥哥皱着眉头，眨了眨眼睛说到：“大兄弟，这个咱也改不了啊，我这水平也有限，我还没有能力改造你绕过操作系统让你直接去跟网卡打交道啊。要不，要不你再说一个？嘿嘿”
“好吧，我也就不为难你了。有个简单的问题，你可得改一下”
“什么问题，说说看？”
“就是我现在花了很多时间在线程切换上，等到再次获得调度执行后，经常发现换了一个CPU核，导致之前的缓存都失效了，得重新建立缓存，这又是一个很大的浪费啊！能不能让我的工作线程独占CPU的核心，这样我肯定能提高不少工作效率！”
小哥哥稍微思考了一下，说到：“没问题，这个可以有！用线程亲和性就可以搞定，给你划几个核出来，不让它们参与系统的线程调度分配，专门给你用，这事就包在我身上吧！”
中断问题
过了几天，程序员哥哥对我进行了升级改造，让我的几个工作线程都能独占CPU核，工作效率提升了不少。
不过，距离产品经理要求的万兆流量分析指标，那还是差了一大截。
一天晚上，程序员小哥哥又找我聊了起来。
“现在分析能力确实有所提升，不过离目标还差得远啊，你快给我说说，还有没有改进的建议给我啊？”
“有倒是有，但是我估计你还是会说改不了”，我翻了个白眼。
“你先说说看嘛！”
“现在这个数据包是用中断的形式来通知读取的，能不能不用中断，让我自己去取啊？你是不知道，每次中断都要保存上下文，从用户态切换到内核态，那么多流量，这开销大了去了！”，我激动的说到。
小哥哥听完沉默了。
“看吧，我就说你改不了吧！还是算了吧，趁早给产品经理说这个需求做不了，咱俩都轻松自在”
“那不行，这个项目对我非常重要，我还指望通过你来升职加薪，走向人生巅峰呢！”，小哥哥说的很坚定。
“实在不行，那就多找几台机器，把我copy几份过去，软件不行就靠硬件堆出性能嘛！”，我冲他眨了个眼睛。
“这还用你说，老板肯定不会同意的”
“那我没辙了，实话告诉你吧，想要我能处理万兆网络流量，非得绕开操作系统，我亲自去从网卡读取数据包不可，你好好去研究下吧，想升职加薪，怎么能怕难呢！”，我给小哥哥打了打气。
小哥哥点了点头，“你说的是，我一定可以的，给我一点时间”
DPDK
就这样过了一个多星期，程序员小哥哥一直没再来找过我，也不知道他研究的怎么样了。
又过了好几天，他终于又来了。
“快出来！我找到办法了，明天就开始改造你！”
我一听来了兴趣，“什么办法？你打算怎么改造我？”
“这个新方案可以解决你之前提出的所有问题，可以让你直接去跟网卡打交道，不用中断来通知读取数据包，也不用再把数据包交给系统协议栈和netfilter框架处理，不用再频繁的在用户态和内核态反复切换了！”，小哥哥越说越激动！
“你也太牛了吧，能把这些问题都解决了！你是怎么做到这些的，什么原理？”，我好奇的问到。
小哥哥有些不好意思，“我哪有那本事啊，其实这是别人开发的技术，我只是拿来用而已。”
“额，那你都弄清楚它的原理了吗，别到时候坑我啊！”，我有些不太放心。
“这个你放心，这个技术叫DPDK，是人家Intel开发的技术，靠谱！”
接下来，程序员小哥哥给我介绍了这个叫DPDK的技术原理。
有了DPDK，通过操作系统的用户态模式驱动UIO，我可以在用户态通过轮询的方式读取网卡的数据包，再也不用中断了！
直接在用户态读取，再也不用把数据包在内核态空间和用户态空间搬来搬去。读到了之后我直接就可以分析，还不用走系统协议栈和netfilter瞎耽误功夫，简直完美！
“还不止这些呢！还支持大页内存技术”，小哥哥得意的说到。
“大页内存？这是什么”
“默认情况下系统不是以4KB大小来管理内存页面的吗？这个单位太小了，对于咱们服务器内存会有大量的内存页面，为了管理这些页面，就会有大量的页表项。CPU里面进行内存地址翻译的缓存TLB大小有限，页表项太多就会频繁失效，降低内存地址翻译的速度！”
听到这里，我突然明白了：“我知道了，把这个单位调大，管理的内存页面就少了，页表项数量就少了，TLB就不容易失效，地址翻译就能更快对不对？”
“没错，你猜猜看，调到多大？”，小哥哥故作神秘。
“翻一倍，8KB？”，见小哥哥摇摇头，我又猜到：“难道是16KB？”
“太保守了，能支持2MB和1GB两种大小呢！”
“这么大，厉害了！”
空转问题
第二天，程序员小哥哥开始了对我进行了彻底的重构。
升级后的我试着跑了一下，发现了一个问题：如果数据包不是很多或者没有数据包的情况下，我的轮询基本上就挺浪费时间的，一直空转，由于我独占了一个核，这个核的占用率就一直是100%，不少别的程序都吐槽我，占着**不**。
于是，程序员小哥哥又对我进行了升级，用上了Interrupt DPDK模式：没有数据包处理时就进入睡眠，改为中断通知。还可以和其他线程共享CPU核，不再独占，但是DPDK线程会有更高调度优先级，一旦数据包多了起来，我又变成轮询模式，可以灵活切换。
程序员哥哥连续加了两个星期的班，经过一番优化升级，我的数据包分析处理能力有了极大的提升。
然而遗憾的是，测试了几轮，当面临10Gbps的流量时，我还是有点力不从心，还是差了那么一点点。
小哥哥有些灰心丧气，“我不知道该怎么办了，你觉得还有什么哪些地方可以改进吗？”
“我现在基本满负荷工作了，应该没有什么地方可以改进了。现在唯一有时间喘口气的地方就是数据竞争的时候了，遇到数据被加了锁发生线程切换歇一歇”
小哥哥思考了几秒钟，突然眼睛一亮，高兴的说到：“有了！”
还没来得及问，就把我关闭，下班去了～
到底程序员小哥哥又要对我做什么呢？
往期TOP5文章
最全总结 | 聊聊 Python 办公自动化之 Word（上）
最全总结 | 聊聊 Python 办公自动化之 Excel（下）
最全总结 | 聊聊 Python 办公自动化之 Excel（中）