一文詳細了解HTTP/3協(xié)議

經(jīng)過了多年的努力，在 6 月 6 號，IETF （互聯(lián)網(wǎng)工程任務(wù)小組）正式發(fā)布了 HTTP/3 的 RFC，這是超文本傳輸協(xié)議（HTTP）的第三個主要版本，完整的 RFC 超過了 20000 字，非常詳細的解釋了 HTTP/3。

HTTP 歷史

1991 HTTP/1.1

2009 Google 設(shè)計了基于TCP的SPDY

2013 QUIC

2015 HTTP/2

2018 HTTP/3

HTTP3是在保持QUIC穩(wěn)定性的同時使用UDP來實現(xiàn)高速度（選擇QUIC就是選擇UDP）, 同時又不會犧牲TLS的安全性. ?

HTTP2協(xié)議雖然大幅提升了HTTP/1.1的性能，然而，基于TCP實現(xiàn)的HTTP2遺留下3個問題：

有序字節(jié)流引出的隊頭阻塞（Head-of-line blocking），使得HTTP2的多路復用能力大打折扣；

TCP與TLS疊加了握手時延，建鏈時長還有1倍的下降空間；

基于TCP四元組確定一個連接，這種誕生于有線網(wǎng)絡(luò)的設(shè)計，并不適合移動狀態(tài)下的無線網(wǎng)絡(luò)，這意味著IP地址的頻繁變動會導致TCP連接、TLS會話反復握手，成本高昂。

HTTP3協(xié)議解決了這些問題：

HTTP3基于UDP協(xié)議重新定義了連接，在QUIC層實現(xiàn)了無序、并發(fā)字節(jié)流的傳輸，解決了隊頭阻塞問題（包括基于QPACK解決了動態(tài)表的隊頭阻塞）；

HTTP3重新定義了TLS協(xié)議加密QUIC頭部的方式，既提高了網(wǎng)絡(luò)攻擊成本，又降低了建立連接的速度（僅需1個RTT就可以同時完成建鏈與密鑰協(xié)商）；

HTTP3 將Packet、QUIC Frame、HTTP3 Frame分離，實現(xiàn)了連接遷移功能，降低了5G環(huán)境下高速移動設(shè)備的連接維護成本。

QUIC 協(xié)議概覽

QUIC(Quick UDP Internet Connections, 快速UDP網(wǎng)絡(luò)連接)是基于UDP的協(xié)議, 利用了UDP的速度和效率, 同時整合TCP, TLS和HTTP/2的優(yōu)點并加以優(yōu)化. 用一張圖可以清晰的表示他們之間的關(guān)系.

QUIC是用來替代TCP, SSL/TLS的傳輸層協(xié)議, 在傳輸層之上還有應(yīng)用層. 我們熟知的應(yīng)用層協(xié)議有HTTP, FTP, IMAP等, 這些協(xié)議理論上都可以運行在QUIC上, 其中運行在QUIC之上的協(xié)議被稱為HTTP/3, 這就是HTTP over QUIC即HTTP/3的含義,因此想要了解HTTP/3, QUIC是繞不過去的, 下面是幾個重要的QUIC特性.

0 RTT建立連接

RTT: round-trip time, 僅包括請求訪問來回的時間

HTTP/2的連接建立需要3 RTT, 如果考慮會話復用, 即把第一次握手計算出來的對稱密鑰緩存起來, 那也需要2 RTT. 更進一步的, 如果TLS升級到1.3, 那么HTTP/2連接需要2RTT, 考慮會話復用需要1RTT. 如果HTTP/2不急于HTTPS, 則可以簡化, 但實際上幾乎所有瀏覽器的設(shè)計都要求HTTP/2需要基于HTTPS. ?

HTTP/3首次連接只需要1RTT, 后面的鏈接只需要0RTT, 意味著客戶端發(fā)送給服務(wù)端的第一個包就帶有請求數(shù)據(jù), 其主要連接過程如下:

首次連接, 客戶端發(fā)送Inchoate Client Hello, 用于請求連接;

服務(wù)端生成g, p, a, 根據(jù)g, p, a算出A, 然后將g, p, A放到Server Config中在發(fā)送Rejection消息給客戶端.

客戶端接收到g,p,A后, 自己再生成b, 根據(jù)g,p,a算出B, 根據(jù)A,p,b算出初始密鑰K, B和K算好后, 客戶端會用K加密HTTP數(shù)據(jù), 連同B一起發(fā)送給服務(wù)端.

服務(wù)端接收到B后, 根據(jù)a,p,B生成與客戶端同樣的密鑰, 再用這密鑰解密收到的HTTP數(shù)據(jù). 為了進一步的安全(前向安全性), 服務(wù)端會更新自己的隨機數(shù)a和公鑰, 在生成新的密鑰S, 然后把公鑰通過Server Hello發(fā)送給客戶端. 連同Server Hello消息, 還有HTTP返回數(shù)據(jù). ?

這里使用DH密鑰交換算法, DH算法的核心就是服務(wù)端生成a,g,p3個隨機數(shù), a自己持有, g和p要傳輸給客戶端, 而客戶端會生成b這1個隨機數(shù), 通過DH算法客戶端和服務(wù)端可以算出同樣的密鑰. 在這過程中a和b并不參與網(wǎng)絡(luò)傳輸, 安全性大大提升. 因為p和g是大數(shù), 所以即使在網(wǎng)絡(luò)傳輸中p, g, A, B都被劫持, 靠現(xiàn)在的計算力算力也無法破解.

連接遷移

TCP連接基于四元組(源IP, 源端口, 目的IP, 目的端口), 切換網(wǎng)絡(luò)時至少會有一個因素發(fā)生變化, 導致連接發(fā)送變化. 當連接發(fā)送變化是, 如果還是用原來的TCP連接, 則會導致連接失敗, 就得等到原來的連接超時后重新建立連接, 所以我們有時候發(fā)現(xiàn)切換到一個新的網(wǎng)絡(luò)時, 即使網(wǎng)絡(luò)狀況良好, 但是內(nèi)容還是需要加載很久. 如果實現(xiàn)的好, 當檢測到網(wǎng)絡(luò)變化時, 立即建立新的TCP連接, 即使這樣, 建立新的連接還是需要幾百毫秒時間. ? QUIC不受四元組的影響, 當這四個元素發(fā)生變化時, 原連接依然維持. 原理如下:QUIC不以四元素作為表示, 而是使用一個64位的隨機數(shù), 這個隨機數(shù)被稱為Connection ID, 即使IP或者端口發(fā)生變化, 只要Connection ID沒有變化, 那么連接依然可以維持.

隊頭阻塞/多路復用

HTTP/1.1和HTTP/2都存在隊頭阻塞的問題(Head Of Line blocking).

TCP是個面向連接的協(xié)議, 即發(fā)送請求后需要收到ACK消息, 以確認對象已接受數(shù)據(jù). 如果每次請求都要在收到上次請求的ACK消息后再請求, 那么效率無疑很低. 后來HTTP/1.1提出了Pipeline技術(shù), 允許一個TCP連接同時發(fā)送多個請求. 這樣就提升了傳輸效率.

在這樣的背景下, 隊頭阻塞發(fā)生了. 比如, 一個TCP連接同時傳輸10個請求, 其中1,2,3個請求給客戶端接收, 但是第四個請求丟失, 那么后面第5-10個請求都被阻塞. 需要等第四個請求處理完畢后才能被處理. 這樣就浪費了帶寬資源.

因此, HTTP一般又允許每個主機建立6個TCP連接, 這樣可以更加充分的利用帶寬資源, 但每個連接中隊頭阻塞的問題還是存在的.

HTTP/2的多路復用解決了上述的隊頭阻塞問題. 在HTTP/2中, 每個請求都被拆分為多個Frame通過一條TCP連接同時被傳輸, 這樣即使一個請求被阻塞, 也不會影響其他的請求.

但是,?HTTP/2雖然可以解決請求這一粒度下的阻塞, 但HTTP/2的基礎(chǔ)TCP協(xié)議本身卻也存在隊頭阻塞的問題. HTTP/2的每個請求都會被拆分成多個Frame, 不同請求的Frame組合成Stream, Stream是TCP上的邏輯傳輸單元, 這樣HTTP/2就達到了一條連接同時發(fā)送多個請求的目標, 其中Stram1已經(jīng)正確送達, Stram2中的第三個Frame丟失, TCP處理數(shù)據(jù)是有嚴格的前后順序, 先發(fā)送的Frame要先被處理, 這樣就會要求發(fā)送方重新發(fā)送第三個Frame, Steam3和Steam4雖然已到達但卻不能被處理, 那么這時整條鏈路都會被阻塞.

不僅如此, 由于HTTP/2必須使用HTTPS, 而HTTPS使用TLS協(xié)議也存在隊頭阻塞問題. TLS基于Record組織數(shù)據(jù), 將一對數(shù)據(jù)放在一起加密, 加密完成后又拆分成多個TCP包傳輸. 一般每個Record 16K, 包含12個TCP包, 這樣如果12個TCP包中有任何一個包丟失, 那么整個Record都無法解密.

隊頭阻塞會導致HTTP/2在更容易丟包的弱網(wǎng)絡(luò)環(huán)境下比HTTP/1.1更慢. QUIC是如何解決隊頭阻塞的問題的? 主要有兩點:

QUIC的傳輸單位是Packet, 加密單元也是Packet, 整個加密, 傳輸, 解密都基于Packet, 這就能避免TLS的阻塞問題.

QUIC基于UDP, UDP的數(shù)據(jù)包在接收端沒有處理順序, 即使中間丟失一個包, 也不會阻塞整條連接. 其他的資源會被正常處理.

擁塞控制

擁塞控制的目的是避免過多的數(shù)據(jù)一下子涌入網(wǎng)絡(luò), 導致網(wǎng)絡(luò)超出最大負荷. QUIC的擁塞控制與TCP類似, 并在此基礎(chǔ)上做了改進. 先來看看TCP的擁塞控制.

慢啟動: 發(fā)送方像接收方發(fā)送一個單位的數(shù)據(jù), 收到確認后發(fā)送2個單位, 然后是4個, 8個依次指數(shù)增長, 這個過程中不斷試探網(wǎng)絡(luò)的擁塞程度.

避免擁塞: 指數(shù)增長到某個限制之后, 指數(shù)增長變?yōu)榫€性增長

快速重傳: 發(fā)送方每一次發(fā)送都會設(shè)置一個超時計時器, 超時后認為丟失, 需要重發(fā)

快速恢復: 在上面快速重傳的基礎(chǔ)上, 發(fā)送方重新發(fā)送數(shù)據(jù)時, 也會啟動一個超時定時器, 如果收到確認消息則進入擁塞避免階段, 如果仍然超時, 則回到慢啟動階段.

QUIC重新實現(xiàn)了TCP協(xié)議中的Cubic算法進行擁塞控制, 下面是QUIC改進的擁塞控制的特性:

1. 熱插拔

TCP中如果要修改擁塞控制策略, 需要在系統(tǒng)層面今次那個操作, QUIC修改擁塞控制策略只需要在應(yīng)用層操作, 并且QUIC會根據(jù)不同的網(wǎng)絡(luò)環(huán)境, 用戶來動態(tài)選擇擁塞控制算法.

2. 前向糾錯 FEC

QUIC使用前向糾錯(FEC, Forword Error Correction)技術(shù)增加協(xié)議的容錯性. 一段數(shù)據(jù)被切分為10個包后, 一次對每個包進行異或運算, 運算結(jié)果會作為FEC包與數(shù)據(jù)包一起被傳輸, 如果傳輸過程中有一個數(shù)據(jù)包丟失, 那么就可以根據(jù)剩余9個包以及FEC包推算出丟失的那個包的數(shù)據(jù), 這樣就大大增加了協(xié)議的容錯性.

這是符合現(xiàn)階段網(wǎng)絡(luò)傳輸技術(shù)的一種方案, 現(xiàn)階段帶寬已經(jīng)不是網(wǎng)絡(luò)傳輸?shù)钠款i, 往返時間才是, 所以新的網(wǎng)絡(luò)傳輸協(xié)議可以適當增加數(shù)據(jù)冗余, 減少重傳操作.

3. 單調(diào)遞增的Packer Number

TCP為了保證可靠性, 使用Sequence Number和ACK來確認消息是否有序到達, 但這樣的設(shè)計存在缺陷. 超時發(fā)生后客戶端發(fā)起重傳, 后來接受到了ACK確認消息, 但因為原始請求和重傳請求接受到的ACK消息一樣, 所以客戶端就不知道這個ACK對應(yīng)的是原始請求還是重傳請求. 這就會造成歧義.

RTT: Round Trip Time, 往返事件

RTO: Retransmission Timeout, 超時重傳時間

如果客戶端認為是重傳的ACK, 但實際上是右圖的情形, 會導致RTT偏小, 反之會導致RTT偏大.

QUCI解決了上面的的歧義問題, 與Sequence Number不同,?Packet Number嚴格單調(diào)遞增, 如果Packet N丟失了, 那么重傳時Packet的標識就不會是N, 而是比N大的數(shù)字, 比如N+M, 這樣發(fā)送方接收到確認消息時, 就能方便的知道ACK對應(yīng)的原始請求還是重傳請求.

4. ACK Delay

TCP計算RTT時沒有考慮接收方接受到數(shù)據(jù)發(fā)發(fā)送方確認消息之間的延遲, 如下圖所示, 這段延遲即ACK Delay. QUIC考慮了這段延遲, 使得RTT的計算更加準確.

5. 更多的ACK塊

一般來說, 接收方收到發(fā)送方的消息后都應(yīng)該發(fā)送一個ACK恢復, 表示收到了數(shù)據(jù). 但每收到一個數(shù)據(jù)就返回一個ACK恢復實在太麻煩, 所以一般不會立即回復, 而是接受到多個數(shù)據(jù)后再回復, TCP SACK最多提供3個ACK block. 但在有些場景下, 比如下載, 只需要服務(wù)器返回數(shù)據(jù)就好, 但按照TCP的設(shè)計, 每收到三個數(shù)據(jù)包就要返回一個ACK, 而QUIC最多可以捎帶256個ACK block, 在丟包率比較嚴重的網(wǎng)絡(luò)下, 更多的ACK可以減少重傳量, 提升網(wǎng)絡(luò)效率.

瀏覽控制

TCP?會對每個TCP連接進行流量控制, 流量控制的意思是讓發(fā)送方不要發(fā)送太快, 要讓接收方來得及接受, 不然會導致數(shù)據(jù)溢出而丟失, TCP的流量控制主要通過滑動窗口來實現(xiàn)的. 可以看到, 擁塞控制主要是控制發(fā)送方的發(fā)送策略, 但沒有考慮接收方的接收能力, 流量控制是對部分能力的不起.

QUIC只需要建立一條連接, 在這條連接上同時傳輸多條Stream, 好比有一條道路, 量都分別有一個倉庫, 道路中有很多車輛運送物資. QUIC的流量控制有兩個級別: 連接級別(Connection Level)和Stream 級別(Stream Level).

對于單條的Stream的流量控制: Stream還沒傳輸數(shù)據(jù)時, 接收窗口(flow control recevice window)就是最大接收窗口, 隨著接收方接收到數(shù)據(jù)后, 接收窗口不斷縮小. 在接收到的數(shù)據(jù)中, 有的數(shù)據(jù)已被處理, 而有的數(shù)據(jù)還沒來得及處理. 如下圖, 藍色塊表示已處理數(shù)據(jù), 黃色塊表示違背處理數(shù)據(jù), 這部分數(shù)據(jù)的到來, 使得Stream的接收窗口縮小.

隨著數(shù)據(jù)不斷被處理, 接收方就有能力處理更多數(shù)據(jù). 當滿足(flow control receivce offset - consumed bytes) < (max receive window/2)時, 接收方會發(fā)送WINDOW_UPDATE frame告訴發(fā)送方你可以再多發(fā)送數(shù)據(jù), 這時候flow control receive offset就會偏移, 接收窗口增大, 發(fā)送方可以發(fā)送更多數(shù)據(jù)到接收方.