1. 前言

本文首先從宏觀上概述了數(shù)據(jù)包發(fā)送的流程，接著分析了協(xié)議層注冊(cè)進(jìn)內(nèi)核以及被socket的過(guò)程，最后介紹了通過(guò) socket 發(fā)送網(wǎng)絡(luò)數(shù)據(jù)的過(guò)程。

2. 數(shù)據(jù)包發(fā)送宏觀視角

從宏觀上看，一個(gè)數(shù)據(jù)包從用戶程序到達(dá)硬件網(wǎng)卡的整個(gè)過(guò)程如下：

使用系統(tǒng)調(diào)用（如 sendto，sendmsg 等）寫數(shù)據(jù)

數(shù)據(jù)穿過(guò)socket 子系統(tǒng)，進(jìn)入socket 協(xié)議族（protocol family）系統(tǒng)

協(xié)議族處理：數(shù)據(jù)穿過(guò)協(xié)議層，這一過(guò)程（在許多情況下）會(huì)將數(shù)據(jù)（data）轉(zhuǎn)換成數(shù)據(jù)包（packet）

數(shù)據(jù)穿過(guò)路由層，這會(huì)涉及路由緩存和 ARP 緩存的更新；如果目的 MAC 不在 ARP 緩存表中，將觸發(fā)一次 ARP 廣播來(lái)查找 MAC 地址

穿過(guò)協(xié)議層，packet 到達(dá)設(shè)備無(wú)關(guān)層（device agnostic layer）

使用 XPS（如果啟用）或散列函數(shù)選擇發(fā)送隊(duì)列

調(diào)用網(wǎng)卡驅(qū)動(dòng)的發(fā)送函數(shù)

數(shù)據(jù)傳送到網(wǎng)卡的 qdisc（queue discipline，排隊(duì)規(guī)則）

qdisc 會(huì)直接發(fā)送數(shù)據(jù)（如果可以），或者將其放到隊(duì)列，下次觸發(fā)NET_TX 類型軟中斷（softirq）的時(shí)候再發(fā)送

數(shù)據(jù)從 qdisc 傳送給驅(qū)動(dòng)程序

驅(qū)動(dòng)程序創(chuàng)建所需的DMA 映射，以便網(wǎng)卡從 RAM 讀取數(shù)據(jù)

驅(qū)動(dòng)向網(wǎng)卡發(fā)送信號(hào)，通知數(shù)據(jù)可以發(fā)送了

網(wǎng)卡從 RAM 中獲取數(shù)據(jù)并發(fā)送

發(fā)送完成后，設(shè)備觸發(fā)一個(gè)硬中斷（IRQ），表示發(fā)送完成

硬中斷處理函數(shù)被喚醒執(zhí)行。對(duì)許多設(shè)備來(lái)說(shuō)，這會(huì)觸發(fā) NET_RX 類型的軟中斷，然后 NAPI poll 循環(huán)開始收包

poll 函數(shù)會(huì)調(diào)用驅(qū)動(dòng)程序的相應(yīng)函數(shù)，解除 DMA 映射，釋放數(shù)據(jù)

3. 協(xié)議層注冊(cè)

協(xié)議層分析我們將關(guān)注 IP 和 UDP 層，其他協(xié)議層可參考這個(gè)過(guò)程。我們首先來(lái)看協(xié)議族是如何注冊(cè)到內(nèi)核，并被 socket 子系統(tǒng)使用的。

當(dāng)用戶程序像下面這樣創(chuàng)建 UDP socket 時(shí)會(huì)發(fā)生什么？

sock = socket（AF_INET， SOCK_DGRAM， IPPROTO_UDP）

簡(jiǎn)單來(lái)說(shuō)，內(nèi)核會(huì)去查找由 UDP 協(xié)議棧導(dǎo)出的一組函數(shù)（其中包括用于發(fā)送和接收網(wǎng)絡(luò)數(shù)據(jù)的函數(shù)），并賦給 socket 的相應(yīng)字段。準(zhǔn)確理解這個(gè)過(guò)程需要查看 AF_INET 地址族的代碼。

內(nèi)核初始化的很早階段就執(zhí)行了 inet_init 函數(shù)，這個(gè)函數(shù)會(huì)注冊(cè) AF_INET 協(xié)議族 ，以及該協(xié)議族內(nèi)的各協(xié)議棧（TCP，UDP，ICMP 和 RAW），并調(diào)用初始化函數(shù)使協(xié)議棧準(zhǔn)備好處理網(wǎng)絡(luò)數(shù)據(jù)。inet_init 定義在net/ipv4/af_inet.c 。

AF_INET 協(xié)議族導(dǎo)出一個(gè)包含 create 方法的 struct net_proto_family 類型實(shí)例。當(dāng)從用戶程序創(chuàng)建 socket 時(shí)，內(nèi)核會(huì)調(diào)用此方法：

static const struct net_proto_family inet_family_ops = {

.family = PF_INET，

.create = inet_create，

.owner = THIS_MODULE，

};

inet_create 根據(jù)傳遞的 socket 參數(shù)，在已注冊(cè)的協(xié)議中查找對(duì)應(yīng)的協(xié)議：

/* Look for the requested type/protocol pair. */

lookup_protocol：

err = -ESOCKTNOSUPPORT;

rcu_read_lock（）;

list_for_each_entry_rcu（answer， &inetsw［sock-》type］， list） {

err = 0;

/* Check the non-wild match. */

if （protocol == answer-》protocol） {

if （protocol ！= IPPROTO_IP）

break;

} else {

/* Check for the two wild cases. */

if （IPPROTO_IP == protocol） {

protocol = answer-》protocol;

break;

}

if （IPPROTO_IP == answer-》protocol）

break;

}

err = -EPROTONOSUPPORT;

}

然后，將該協(xié)議的回調(diào)方法（集合）賦給這個(gè)新創(chuàng)建的 socket：

sock-》ops = answer-》ops;

可以在 af_inet.c 中看到所有協(xié)議的初始化參數(shù)。下面是TCP 和 UDP的初始化參數(shù)：

/* Upon startup we insert all the elements in inetsw_array［］ into

* the linked list inetsw.

*/

static struct inet_protosw inetsw_array［］ =

{

{

.type = SOCK_STREAM，

.protocol = IPPROTO_TCP，

.prot = &tcp_prot，

.ops = &inet_stream_ops，

.no_check = 0，

.flags = INET_PROTOSW_PERMANENT |

INET_PROTOSW_ICSK，

}，

{

.type = SOCK_DGRAM，

.protocol = IPPROTO_UDP，

.prot = &udp_prot，

.ops = &inet_dgram_ops，

.no_check = UDP_CSUM_DEFAULT，

.flags = INET_PROTOSW_PERMANENT，

}，

/* 。。。。 more protocols 。。。 */

IPPROTO_UDP 協(xié)議類型有一個(gè) ops 變量，包含很多信息，包括用于發(fā)送和接收數(shù)據(jù)的回調(diào)函數(shù)：

const struct proto_ops inet_dgram_ops = {

.family = PF_INET，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = inet_sendmsg，

.recvmsg = inet_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（inet_dgram_ops）;

prot 字段指向一個(gè)協(xié)議相關(guān)的變量（的地址），對(duì)于 UDP 協(xié)議，其中包含了 UDP 相關(guān)的回調(diào)函數(shù)。UDP 協(xié)議對(duì)應(yīng)的 prot 變量為 udp_prot，定義在 net/ipv4/udp.c：

struct proto udp_prot = {

.name = “UDP”，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = udp_sendmsg，

.recvmsg = udp_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（udp_prot）;

現(xiàn)在，讓我們轉(zhuǎn)向發(fā)送 UDP 數(shù)據(jù)的用戶程序，看看 udp_sendmsg 是如何在內(nèi)核中被調(diào)用的。

4. 通過(guò) socket 發(fā)送網(wǎng)絡(luò)數(shù)據(jù)

用戶程序想發(fā)送 UDP 網(wǎng)絡(luò)數(shù)據(jù)，因此它使用 sendto 系統(tǒng)調(diào)用：

ret = sendto（socket， buffer， buflen， 0， &dest， sizeof（dest））;

該系統(tǒng)調(diào)用穿過(guò)Linux 系統(tǒng)調(diào)用（system call）層，最后到達(dá)net/socket.c中的這個(gè)函數(shù)：

/*

* Send a datagram to a given address. We move the address into kernel

* space and check the user space data area is readable before invoking

* the protocol.

*/

SYSCALL_DEFINE6（sendto， int， fd， void __user *， buff， size_t， len，

unsigned int， flags， struct sockaddr __user *， addr，

int， addr_len）

{

/* 。。。 code 。。。 */

err = sock_sendmsg（sock， &msg， len）;

/* 。。。 code 。。。 */

}

SYSCALL_DEFINE6 宏會(huì)展開成一堆宏，后者經(jīng)過(guò)一波復(fù)雜操作創(chuàng)建出一個(gè)帶 6 個(gè)參數(shù)的系統(tǒng)調(diào)用（因此叫 DEFINE6）。作為結(jié)果之一，會(huì)看到內(nèi)核中的所有系統(tǒng)調(diào)用都帶 sys_前綴。

sendto 代碼會(huì)先將數(shù)據(jù)整理成底層可以處理的格式，然后調(diào)用 sock_sendmsg。特別地， 它將傳遞給 sendto 的地址放到另一個(gè)變量（msg）中：

iov.iov_base = buff;

iov.iov_len = len;

msg.msg_name = NULL;

msg.msg_iov = &iov;

msg.msg_iovlen = 1;

msg.msg_control = NULL;

msg.msg_controllen = 0;

msg.msg_namelen = 0;

if （addr） {

err = move_addr_to_kernel（addr， addr_len， &address）;

if （err 《 0）

goto out_put;

msg.msg_name = （struct sockaddr *）&address;

msg.msg_namelen = addr_len;

}

這段代碼將用戶程序傳入到內(nèi)核的（存放待發(fā)送數(shù)據(jù)的）地址，作為 msg_name 字段嵌入到 struct msghdr 類型變量中。這和用戶程序直接調(diào)用 sendmsg 而不是 sendto 發(fā)送數(shù)據(jù)差不多，這之所以可行，是因?yàn)?sendto 和 sendmsg 底層都會(huì)調(diào)用 sock_sendmsg。

4.1 sock_sendmsg， __sock_sendmsg， __sock_sendmsg_nosec

sock_sendmsg 做一些錯(cuò)誤檢查，然后調(diào)用__sock_sendmsg；后者做一些自己的錯(cuò)誤檢查 ，然后調(diào)用__sock_sendmsg_nosec。__sock_sendmsg_nosec 將數(shù)據(jù)傳遞到 socket 子系統(tǒng)的更深處：

static inline int __sock_sendmsg_nosec（struct kiocb *iocb， struct socket *sock，

struct msghdr *msg， size_t size）

{

struct sock_iocb *si = 。。。。

/* other code 。。。 */

return sock-》ops-》sendmsg（iocb， sock， msg， size）;

}

通過(guò)前面介紹的 socket 創(chuàng)建過(guò)程，可以知道注冊(cè)到這里的 sendmsg 方法就是 inet_sendmsg。

4.2 inet_sendmsg

從名字可以猜到，這是 AF_INET 協(xié)議族提供的通用函數(shù)。此函數(shù)首先調(diào)用 sock_rps_record_flow 來(lái)記錄最后一個(gè)處理該（數(shù)據(jù)所屬的）flow 的 CPU; Receive Packet Steering 會(huì)用到這個(gè)信息。接下來(lái)，調(diào)用 socket 的協(xié)議類型（本例是 UDP）對(duì)應(yīng)的 sendmsg 方法：

int inet_sendmsg（struct kiocb *iocb， struct socket *sock， struct msghdr *msg，

size_t size）

{

struct sock *sk = sock-》sk;

sock_rps_record_flow（sk）;

/* We may need to bind the socket. */

if （！inet_sk（sk）-》inet_num && ！sk-》sk_prot-》no_autobind && inet_autobind（sk））

return -EAGAIN;

return sk-》sk_prot-》sendmsg（iocb， sk， msg， size）;

}

EXPORT_SYMBOL（inet_sendmsg）;

本例是 UDP 協(xié)議，因此上面的 sk-》sk_prot-》sendmsg 指向的是之前看到的（通過(guò) udp_prot 導(dǎo)出的）udp_sendmsg 函數(shù)。

sendmsg（）函數(shù)作為分界點(diǎn)，處理邏輯從 AF_INET 協(xié)議族通用處理轉(zhuǎn)移到具體的 UDP 協(xié)議的處理。

5. 總結(jié)

了解Linux內(nèi)核網(wǎng)絡(luò)數(shù)據(jù)包發(fā)送的詳細(xì)過(guò)程，有助于我們進(jìn)行網(wǎng)絡(luò)監(jiān)控和調(diào)優(yōu)。本文只分析了協(xié)議層的注冊(cè)和通過(guò) socket 發(fā)送數(shù)據(jù)的過(guò)程，數(shù)據(jù)在傳輸層和網(wǎng)絡(luò)層的詳細(xì)發(fā)送過(guò)程將在下一篇文章中分析。

參考鏈接：

［1］ https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data

［2］ https://segmentfault.com/a/1190000008926093

本系列文章1-4，來(lái)源于陳莉君老師公眾號(hào)“Linux內(nèi)核之旅”

編輯：jq