dpdk
叠嶂西驰，万马回旋，众山欲东。正惊湍直下，跳珠倒溅；小桥横截，缺月初弓。老合投闲，天教多事，检校长身十万松。吾庐小，在龙蛇影外，风雨声中。
争先见面重重，看爽气朝来三数峰。似谢家子弟，衣冠磊落；相如庭户，车骑雍容。我觉其间，雄深雅健，如对文章太史公。新堤路，问偃湖何日，烟水濛濛？
Linux传统网络驱动流程
- 数据包到达网卡设备
- 网卡设备通过DMA将收到的数据放入内存
- 网卡驱动触发中断，唤醒处理器
- 驱动软件填充读写缓冲区数据结构
- 数据报文到达内核的协议栈，进行处理
- 如果最终应用在内核态，则继续处理数据；如果最终应用在用户态，则需要将数据拷贝到用户态
DPDK的特点
- 轮询而非中断，采用轮询的方式，避免的中断切换的开销。有利于大吞吐数据的处理。
- 用户态驱动, 采用了用户态驱动的方式，避免了系统调用和数据的拷贝。
- 亲和性与独占，线程的调度依赖于内核，可以将特定的任务指定在某个核上工作，从而避免线程间切换的开销以及线程切换造成的缓存缺失。
- 降低访存开销，使用内存大页来减小页表，从而使得TLB的缺失率降低。
- 数据对其，cache line等数据结构会要求对其。
- 充分利用硬件性能，充分利用SIMD等技术以及网卡加速。
DPDK的基本架构
dpdk的基本架构图如下所示：
dpdk由很多的组件库组成，主要包括核心部件库(core libararies)、平台相关模块(platform)、网卡轮询模式驱动模块(PMD-natives & virtual)、QoS库、报文转发分类算法(classify)等。
位于linux kernel中的两个模块 KNI 和 IGB_UIO 。其中 KNI 提供了使用linux kernel的内核协议栈和一些网络工具的接口。而 IGB_UIO 则利用了UIO(linux User IO)技术，将网卡硬件寄存器映射到用户态。
核心部件库(core libraries)
如上图所示，该模块通过环境抽象层EAL(enviroment abstraction layer)进行运行环境的初始化。EAL实现了对操作系统内核与底层网卡IO操作的屏蔽，旁路的内核及其协议栈。MALLOC提供了大页内存分配，MBuf实现了内存的封装，主要用来储存网络帧的缓存。Mempool则主要用于内存管理，内存操作对象被抽象化为Mbuf结构，mempool则主要用于管理Mbuf。ring是一个无锁环形队列，空间大小固定，并且支持批量入队和批量出队。timer用于定时器。
平台相关模块(platform)
该模块主要包括KNI、power、IVSHMEN接口。KNI将数据报文从用户态传递给内核协议栈处理，以便使得用户进程可以使用传统的Socket接口对报文进行处理。power模块出于节能考虑会进行运行时频率调整。IVSHMENM则提供了虚拟机和虚拟机之间的共享内存。
轮询模式驱动模块(PMD库)
提供全用户态的驱动，通过轮询和线程绑定得到更大的吞吐量。避免了传统中断方式造成的切换开销。
报文分类算法(classify)
提供了精确匹配(EXACT MATCH)、最长匹配(LPM)和通配符匹配(ACL)，同时提供了常用的包处理操作。
QoS库
提供了网络服务质量相关组件，如限速(meter)和调度(sched)
扩展库(extensions)
为更复杂的多核流水线处理模型提供了基础的组件
DPDK用到的一些技术
保证cache一致性
避免多个核访问同一个内存地址。对于某些需要共享的数据结构，可以对每个核都拷贝一份。对于网卡数据的读写，可以给每个核都准备一个单独的接收队列和发送队列。
巨页技术
linux一般采用4K的页面，为了减小页表的尺寸，从而提高TLB的命中率，可以使用2MB乃至1G的页面。
轮询技术
不同于传统的中断技术来处理IO，DPDK采用了轮询的技术，能够减少中断的开销，提高效率。
CPU亲和技术
尽量使得某个线程固定在一个核上运行，可以消除线程切换带来的开销。可以使用linux的pthread库来实现亲和性绑定。
内存多通道
dpdk的mempool库将对象分配到不同的内存通道上，以免所有的访问都发生在某一个内存通道上造成性能损失。
NUMA架构(Non Uniform Memory Access 非统一内存访问)
每个处理器有自己的本地内存，处理器访问自己的本地内存有更小的延迟核更大的带宽。跨处理器的内存访问会相对慢一些。
核间无锁通信
可以使用DPDK中的无锁环形队列ring来实现核间的无锁通信。
