SO_REUSEPORT選項(xiàng)在Linux 3.9被引入內(nèi)核，在這之前也有一個(gè)很像的選項(xiàng)SO_REUSEADDR。

如果你不太清楚這兩者的區(qū)別和聯(lián)系，建議搜索 How do SO_REUSEADDR and SO_REUSEPORT differ?。

如果不想讀，那么下面這一節(jié)算是為懶人準(zhǔn)備的。

SO_REUSEADDR 與 SO_REUSEPORT 是什么?

TCP/UDP用五元組唯一標(biāo)識(shí)一個(gè)連接。

任何時(shí)候，兩條連接的五元組都不能完全相同，否則當(dāng)收到一個(gè)報(bào)文時(shí)，協(xié)議棧沒(méi)辦法判斷它是屬于哪個(gè)連接的。

五元組{, , , , }

五元組里，protocol在創(chuàng)建socket時(shí)確定，和在bind()時(shí)確定，和在connect()時(shí)確定。

當(dāng)然，bind()和connect()在一些時(shí)候并不需要顯式使用，不過(guò)這不在本文的討論范圍里。

那么，如果對(duì)socket設(shè)置了SO_REUSEADDR和SO_REUSEPORT選項(xiàng)，它們什么時(shí)候起作用呢？

答案是bind()，也就在確定和時(shí)。

不同操作系統(tǒng)內(nèi)核對(duì)待SO_REUSEADDR和SO_REUSEPORT的行為有少許差異，但它們都源自BSD。

因此，接下來(lái)就以BSD的實(shí)現(xiàn)為標(biāo)準(zhǔn)進(jìn)行說(shuō)明。

SO_REUSEADDR

假設(shè)我現(xiàn)在需要bind()將socketA綁定到A:X，將socketB綁定到B:Y(不考慮X=0或者Y=0，因?yàn)?表示讓內(nèi)核自動(dòng)分配端口，一定不會(huì)沖突)。

如果X!=Y，那么無(wú)論A和B的關(guān)系如何，兩個(gè)bind()都會(huì)成功。但如果X==Y，那么結(jié)果會(huì)是下面這樣:

SO_REUSEADDR socketA socketB Result --------------------------------------------------------------------- ON/OFF 192.168.0.1:21 192.168.0.1:21 Error (EADDRINUSE) ON/OFF 192.168.0.1:21 10.0.0.1:21 OK ON/OFF 10.0.0.1:21 192.168.0.1:21 OK OFF 0.0.0.0:21 192.168.1.0:21 Error (EADDRINUSE) OFF 192.168.1.0:21 0.0.0.0:21 Error (EADDRINUSE) ON 0.0.0.0:21 192.168.1.0:21 OK ON 192.168.1.0:21 0.0.0.0:21 OK ON/OFF 0.0.0.0:21 0.0.0.0:21 Error (EADDRINUSE)

第一列表示是否設(shè)置SO_REUSEADDR注，最后一列表示后綁定的socket是否能綁定成功。

注：這里設(shè)置的對(duì)象是指后綁定的socket(也就是說(shuō)不關(guān)心前一個(gè)是否設(shè)置)

可以看出，BSD的實(shí)現(xiàn)中SO_REUSEADDR可以讓一個(gè)使用通配地址(0.0.0.0)，一個(gè)使用指定地址(192.168.1.0)的socket同時(shí)綁定成功。

SO_REUSEADDR還有一種應(yīng)用情景：在TCP中存在一個(gè)TIME_WAIT狀態(tài)，它是指主動(dòng)關(guān)閉的一端最后停留的階段。

假設(shè)socketA綁定到A:X，在完成TCP通信后主動(dòng)使用close()，進(jìn)入TIME_WAIT，此時(shí)，如果socketB也去綁定A:X，那么同樣會(huì)得到EADDRINUSE錯(cuò)誤，但如果socketB設(shè)置了SO_REUSEADDR，那么就可以綁定成功。

SO_REUSEPORT

如果理解了SO_REUSEADDR，那么SO_REUSEPORT就很好理解了，它讓兩個(gè)socket可以綁定完全相同的。

SO_REUSEPORT socketA socketB Result --------------------------------------------------------------------- ON 192.168.0.1:21 192.168.0.1:21 OK

提醒一下，以上的結(jié)果都是BSD的結(jié)果，Linux內(nèi)核有一些不一樣的地方，具體表現(xiàn)為

3.9版本支持SO_REUSEPORT，作為Server的TCP Socket一旦綁定到了具體的端口，啟動(dòng)了LISTEN，即使它之前設(shè)置過(guò)SO_REUSEADDR, 也不會(huì)生效。這一點(diǎn)Linux比BSD更加嚴(yán)格

SO_REUSEADDR socketA socketB Result --------------------------------------------------------------------- ON/OFF 192.168.0.1:21 0.0.0.0:21 Error (EADDRINUSE)

3.9版本之前,作為Client的Socket，SO_REUSEADDR選項(xiàng)具有BSD中的SO_REUSEPORT的效果。這一點(diǎn)Linux又比BSD更加寬松。

SO_REUSEADDR socketA socketB Result --------------------------------------------------------------------- ON 192.168.0.2:55555 192.168.0.2:55555 OK

Linux中reuseport的演進(jìn)

Linux < 3.9

下面看看具體是怎么做的: 內(nèi)核socket使用skc_reuse字段表示是否設(shè)置了SO_REUSEADDR

struct sock_common { /* omitted */ unsigned char skc_reuse; /* omitted */ } int sock_setsockopt(struct socket *sock, int level, int optname,... { ...... case SO_REUSEADDR: sk->sk_reuse = (valbool ? SK_CAN_REUSE : SK_NO_REUSE); break; }

inet_bind_bucket表示一個(gè)綁定的端口。

struct inet_bind_bucket { /* omitted */ unsigned short port; signed short fastreuse; int num_owners; struct hlist_node node; struct hlist_head owners; };

上面結(jié)構(gòu)中的fastreuse表示該端口是否支持共享，所有共享該端口的socket掛到owner成員上。在用戶使用bind()時(shí)，內(nèi)核使用TCP:inet_csk_get_port(),UDP:udp_v4_get_port()來(lái)綁定端口。

/* inet_connection_Sock.c: inet_csk_get_port() */ tb_found: if (!hlist_empty(&tb->owners)) { ...... if (tb->fastreuse > 0 && sk->sk_reuse && sk->sk_state != TCP_LISTEN && smallest_size == -1) { goto success;

所以，當(dāng)該端口支持共享，且socket也設(shè)置了SO_REUSEADDR并且不為L(zhǎng)ISTEN狀態(tài)時(shí)，此次bind()可以成功。

3.9 =< Linux < 4.5

3.9版本內(nèi)核增加了對(duì)SO_REUSEPORT的支持，listener可以綁定到相同的了。

這個(gè)時(shí)候，當(dāng)Server收到Client發(fā)送的SYN報(bào)文時(shí)，會(huì)選擇其中一個(gè)socket進(jìn)行響應(yīng)。

具體到實(shí)現(xiàn)，3.9版本擴(kuò)展了sock_common，將原來(lái)記錄skc_reuse進(jìn)行了拆分.

struct sock_common { unsigned short skc_family; volatile unsigned char skc_state; - unsigned char skc_reuse; + unsigned char skc_reuse:4; + unsigned char skc_reuseport:4; @@ int sock_setsockopt(struct socket *sock, int level, int optname, case SO_REUSEADDR: sk->sk_reuse = (valbool ? SK_CAN_REUSE : SK_NO_REUSE); break; + case SO_REUSEPORT: + sk->sk_reuseport = valbool; + break;

然后對(duì)inet_bind_bucket也相應(yīng)進(jìn)行了擴(kuò)展

struct inet_bind_bucket { /* omitted */ unsigned short port; - signed short fastreuse; + signed char fastreuse; + signed char fastreuseport; + kuid_t fastuid;

而在綁定端口時(shí)，增加了一個(gè)隊(duì)reuseport的通過(guò)條件

/* inet_connection_sock.c: inet_csk_get_port() */ tb_found: if (sk->sk_reuse == SK_FORCE_REUSE) goto success; - if (tb->fastreuse > 0 && - sk->sk_reuse && sk->sk_state != TCP_LISTEN && + if (((tb->fastreuse > 0 && + sk->sk_reuse && sk->sk_state != TCP_LISTEN) || + (tb->fastreuseport > 0 && + sk->sk_reuseport && uid_eq(tb->fastuid, uid))) && smallest_size == -1) { goto success;

而當(dāng)Client的SYN報(bào)文到達(dá)時(shí)，Server會(huì)首先根據(jù)本地端口(SYN報(bào)文的)計(jì)算出一條hash沖突鏈，然后遍歷該鏈表上的所有Socket，根據(jù)四元組匹配程度進(jìn)行打分；

如果使能了reuseport，那么可能有多個(gè)Socket都將拿到最高分，此時(shí)內(nèi)核將隨機(jī)選擇一個(gè)進(jìn)行后續(xù)處理。

/* inet_hashtables.c */ struct sock *__inet_lookup_listener(struct......) { struct sock *sk, *result; unsigned int hash = inet_lhashfn(net, hnum); struct inet_listen_hashbucket *ilb = &hashinfo->listening_hash[hash]; // 根據(jù)本地端口找到hash沖突鏈 /* code omitted */ result = NULL; hiscore = 0; sk_nulls_for_each_rcu(sk, node, &ilb->head) { score = compute_score(sk, net, hnum, daddr, dif); // 根據(jù)匹配程度進(jìn)行打分 if (score > hiscore) { result = sk; hiscore = score; reuseport = sk->sk_reuseport; if (reuseport) { phash = inet_ehashfn(net, daddr, hnum, saddr, sport); matches = 1; // 如果是reuseport 則累計(jì)多少個(gè)socket滿足 } } else if (score == hiscore && reuseport) { matches++; if (reciprocal_scale(phash, matches) == 0) result = sk; phash = next_pseudo_random32(phash); } } /* * if the nulls value we got at the end of this lookup is * not the expected one, we must restart lookup. * We probably met an item that was moved to another chain. */ return result; }

舉個(gè)栗子，假設(shè)內(nèi)核有4條listening socket的hash沖突鏈，然后用戶建立了4個(gè)Server：A、B、C、D，監(jiān)聽(tīng)的地址和端口如下圖所示，A和B使能了SO_REUSEPORT。

沖突鏈?zhǔn)且远丝跒镵ey的，因此A、B、D會(huì)掛到同一條沖突鏈上。

如果此時(shí)收到對(duì)端一個(gè)SYN報(bào)文<192.168.10.1, 21>，那么內(nèi)核會(huì)遍歷listening_hash[0]，為上面的7個(gè)socket進(jìn)行打分，而由于B監(jiān)聽(tīng)的是精確的地址，所以B的得分會(huì)比A高，內(nèi)核最終選擇出一個(gè)SocketB進(jìn)行后續(xù)處理。

4.5 < Linux

從上面的例子可以看出，當(dāng)收到SYN報(bào)文時(shí)，內(nèi)核一定會(huì)遍歷一條完整hash沖突鏈，為每一個(gè)socket進(jìn)行打分，這稍微有些多余。

因此，在4.5版本中，內(nèi)核引入了reuseport groups，它將綁定到同一個(gè)IP和Port，并且設(shè)置了SO_REUSEPORT選項(xiàng)的socket組織到一個(gè)group內(nèi)部。

--- a/include/net/sock.h +++ b/include/net/sock.h @@ -318,6 +318,7 @@ struct cg_proto; * @sk_error_report: callback to indicate errors (e.g. %MSG_ERRQUEUE) * @sk_backlog_rcv: callback to process the backlog * @sk_destruct: called at sock freeing time, i.e. when all refcnt == 0 + * @sk_reuseport_cb: reuseport group container */ struct sock { /* @@ -453,6 +454,7 @@ struct sock { int (*sk_backlog_rcv)(struct sock *sk, struct sk_buff *skb); void (*sk_destruct)(struct sock *sk); + struct sock_reuseport __rcu *sk_reuseport_cb; };

這個(gè)特性在4.5版本只支持UDP,而在4.6版本開(kāi)始支持TCP(patch)。

這樣在查找listen socket時(shí)，內(nèi)核將不用再遍歷整個(gè)沖突鏈，而是在找到一個(gè)合格的socket時(shí)，如果它設(shè)置了SO_REUSEPORT，就直接找到它所屬的reuseport group,從中選擇一個(gè)進(jìn)行后續(xù)處理。

@@ -215,6 +217,7 @@ struct sock *__inet_lookup_listener(struct net *net, unsigned int hash = inet_lhashfn(net, hnum); struct inet_listen_hashbucket *ilb = &hashinfo->listening_hash[hash]; int score, hiscore, matches = 0, reuseport = 0; + bool select_ok = true; u32 phash = 0; rcu_read_lock(); @@ -230,6 +233,15 @@ begin: if (reuseport) { phash = inet_ehashfn(net, daddr, hnum, saddr, sport); + if (select_ok) { + struct sock *sk2; + sk2 = reuseport_select_sock(sk, phash, + skb, doff); + if (sk2) { + result = sk2; + goto found; + } + } matches = 1; } }

責(zé)任編輯：lq