摘要：?簡介 Redis混合存儲實例是阿里云自主研發(fā)的完全兼容Redis協(xié)議和特性的混合存儲產(chǎn)品。通過將部分冷數(shù)據(jù)存儲到磁盤，在保證絕大部分訪問性能不下降的基礎(chǔ)上，大大降低了用戶成本并突破了內(nèi)存對Redis單實例數(shù)據(jù)量的限制。

簡介

Redis混合存儲實例是阿里云自主研發(fā)的完全兼容Redis協(xié)議和特性的混合存儲產(chǎn)品。通過將部分冷數(shù)據(jù)存儲到磁盤，在保證絕大部分訪問性能不下降的基礎(chǔ)上，大大降低了用戶成本并突破了內(nèi)存對Redis單實例數(shù)據(jù)量的限制。
目前阿里云Redis混合存儲產(chǎn)品在華北2（北京）可用區(qū)D，華東1（杭州）可用區(qū)E，華南1（深圳）可用區(qū)C已開放售賣，相關(guān)產(chǎn)品介紹詳見https://promotion.aliyun.com/ntms/act/hybridstore.html

與Redis高性能內(nèi)存型實例差別

Redis高性能內(nèi)存型實例中，所有的Key和Value都存儲在內(nèi)存中以達(dá)到極致性能。
Redis混合存儲型實例中，所有的Key和經(jīng)常訪問的Value會被保存在內(nèi)存中，保證絕大部分請求的極致性能。不常訪問的Value（冷數(shù)據(jù)）則會被存儲到磁盤上，以達(dá)到內(nèi)存利用最高性價比。

產(chǎn)品優(yōu)勢

1. 簡單易用
   完全兼容Redis協(xié)議，用戶無需修改任何代碼。

2. 低成本
   相同數(shù)據(jù)量下，NVMe盤成本僅為內(nèi)存的1/10。

3. 大容量
   突破內(nèi)存容量限制，單實例最高可支持TB級別的數(shù)據(jù)容量。

4. 高性能
   Redis混合存儲型實例的絕大部分熱點請求直接從內(nèi)存獲取，其性能與高性能內(nèi)存型實例完全一致。后臺異步IO，冷數(shù)據(jù)訪問不影響正常請求的響應(yīng)。在90%數(shù)據(jù)落在磁盤上的極端場景下，正態(tài)訪問的QPS仍可達(dá)純內(nèi)存性的70%。底層存儲采用阿里自研下一代高性能全用戶態(tài)存儲引擎Alibaba FusionEngine：通過結(jié)合上層應(yīng)用深入定制，以及與底層硬件深度結(jié)合，將新一代存儲介質(zhì)如NVMe SSD性能發(fā)揮到極致。4KB數(shù)據(jù)讀取速度在20us左右，相比業(yè)界同類引擎性能有80%提升。

整體架構(gòu)

存儲模型

在Redis混合存儲實例中，我們將所有的Key和經(jīng)常訪問的Value保留在內(nèi)存中，將不經(jīng)常訪問的Value保存在磁盤上。之所以在內(nèi)存中保留所有Key是處于以下兩點考慮：

1. Key的訪問頻度比Value要高很多。
   作為KV數(shù)據(jù)庫，通常的訪問請求都需要先查找Key確認(rèn)Key是否存在，而要確認(rèn)一個key不存在，就需要以某種形式檢查所有Key的集合。在內(nèi)存中保留所有Key，可以保證key的查找速度與純內(nèi)存版完全一致。

2. Key的大小占比很低。
   在通常的業(yè)務(wù)模型里面，即使是普通字符串類型，Value比Key要大幾倍。而對于Set，List，Hash等集合對象，所有成員加起來組成的Value更是比Key大了好幾個數(shù)量級。

Redis混合存儲實例將所有的Key都認(rèn)為是熱數(shù)據(jù)，以少量的內(nèi)存為代價保證所有Key的訪問請求的性能是高效且一致的。而對于Value部分，Redis混合存儲實例會在必要時根據(jù)最近訪問時間，訪問頻度，Value本身大小等維度選取出一部分Value作為冷數(shù)據(jù)后臺異步存儲到磁盤上。

因此，Redis混合存儲實例最適合以下使用場景：

1. 數(shù)據(jù)訪問不均勻，存在熱點數(shù)據(jù)；

2. 內(nèi)存不足以放下所有數(shù)據(jù)，且Value較大(相對于Key而言)

線程模型

Redis混合存儲實例采用單工作線程的模式，主線程為工作線程，負(fù)責(zé)處理用戶請求等主要邏輯。此外，Redis混合存儲實例中根據(jù)需要會配置若干個獨立的IO線程負(fù)責(zé)與磁盤進(jìn)行交互讀寫數(shù)據(jù)，IO線程讀寫數(shù)據(jù)時，主線程仍可繼續(xù)響應(yīng)其它用戶請求。

數(shù)據(jù)從內(nèi)存到磁盤

1. 在周期巡檢函數(shù)serverCron中，如果發(fā)現(xiàn)當(dāng)前內(nèi)存快滿了，大于設(shè)定的閾值vm-max-memory(略小于maxmemory)時，會嘗試挑選出一些key，將其Value保存到磁盤；

2. 挑選的維度為最近訪問時間和value大小, 公式為swappability = age*log(估算內(nèi)存大小)。

3. 主線程為挑選出的value生成IO任務(wù)，加入到IO任務(wù)隊列中；

4. IO線程會從IO任務(wù)隊列中取出任務(wù)，將Value存儲到底層存儲引擎（RocksDB）中, 并通知主線程。

5. 主線程收到通知后釋放Value所占用內(nèi)存并標(biāo)記內(nèi)存中該Key對應(yīng)的Value已被存儲到磁盤上。

數(shù)據(jù)從磁盤到內(nèi)存

1. 當(dāng)Redis混合存儲實例收到用戶請求時，會先判斷請求是否需要讀取對應(yīng)Key的Value；

2. 如果請求不需要讀取相關(guān)value(比如set foo bar是不需要關(guān)心foo這個key原有的值是多少的）或者value已經(jīng)在內(nèi)存中，則正常執(zhí)行該命令；

3. 如果有涉及到的Value不在內(nèi)存中，主線程會對應(yīng)生成一個讀取Value的IO任務(wù)，加入到IO任務(wù)隊列中；

4. 主線程將需要等待IO任務(wù)完成的客戶端加入到等待列表，然后繼續(xù)處理其余客戶端的請求；

5. IO線程獲取到讀取Value的IO任務(wù)時，從底層存儲引擎中讀取數(shù)據(jù)，并通知主線程；

6. 主線程收到通知后，依次處理等待該Value的所有客戶端請求。

同步IO

在以下情況下，Redis混合存儲的異步IO模型會退化成同步方式：

1. 寫入量太大導(dǎo)致后臺線程不能及時將數(shù)據(jù)交換到磁盤，內(nèi)存不斷增加到超出maxmemory時。

2. 由于無法預(yù)知腳本會操作哪些value以及原子性的要求，lua腳本中涉及到的value如果在磁盤上的話將會采用同步IO的方式從磁盤讀取。

數(shù)據(jù)淘汰機(jī)制

在 Redis 中，允許用戶設(shè)置最大使用內(nèi)存大小 server.maxmemory，在內(nèi)存限定的情況下是很有用的。Redis 內(nèi)存數(shù)據(jù)集大小上升到一定大小的時候，就會施行數(shù)據(jù)淘汰策略。Redis 提供 6 種數(shù)據(jù)淘汰策略：

• volatile-lru：從已設(shè)置過期時間的數(shù)據(jù)集（server.db[i].expires）中挑選最近最少使用的數(shù)據(jù)淘汰

• volatile-ttl：從已設(shè)置過期時間的數(shù)據(jù)集（server.db[i].expires）中挑選將要過期的數(shù)據(jù)淘汰

• volatile-random：從已設(shè)置過期時間的數(shù)據(jù)集（server.db[i].expires）中任意選擇數(shù)據(jù)淘汰

• allkeys-lru：從數(shù)據(jù)集（server.db[i].dict）中挑選最近最少使用的數(shù)據(jù)淘汰

• allkeys-random：從數(shù)據(jù)集（server.db[i].dict）中任意選擇數(shù)據(jù)淘汰

• no-enviction（驅(qū)逐）：禁止驅(qū)逐數(shù)據(jù)

Redis混合存儲實例的淘汰策略與純內(nèi)存版完全一致，唯一不同的是觸發(fā)條件。在混合存儲實例中，除了內(nèi)存規(guī)格大小server.maxmemory外，還有一個數(shù)據(jù)磁盤大小的限制server.maxdisksize。觸發(fā)數(shù)據(jù)淘汰的條件響應(yīng)的變?yōu)橐韵聝烧咧?

1. 使用內(nèi)存 > server.maxmemory 且 磁盤數(shù)據(jù) > server.maxdisksize。

2. 使用內(nèi)存 > server.maxmemory, 且當(dāng)前內(nèi)存中無Value（全部為Key）。

持久化

Redis有兩種持久化的方式：快照（RDB文件）和追加式文件（AOF文件）：

RDB持久化方式會在一個特定的間隔保存那個時間點的一個數(shù)據(jù)快照。
AOF持久化方式則會記錄每一個服務(wù)器收到的寫操作。在服務(wù)啟動時，這些記錄的操作會逐條執(zhí)行從而重建出原來的數(shù)據(jù)。寫操作命令記錄的格式跟Redis協(xié)議一致，以追加的方式進(jìn)行保存。

Redis混合存儲實例在RDB+AOF基礎(chǔ)之上，采用了RocksDB的Checkpoint保存當(dāng)前實例冷數(shù)據(jù)的部分。 在生成數(shù)據(jù)快照時，RDB中僅存儲Key + 熱數(shù)據(jù)部分，而冷數(shù)據(jù)部分則保存在RocksDB的Checkpoint中。RocksDB checkpoint生成過程如下：

• 禁止刪除SST文件;

• 為SST文件創(chuàng)立硬鏈接；

• 備份manifest等文件；

• 允許刪除SST文件；
  由于冷數(shù)據(jù)在RocksDB中的大部分是以SST文件形式存在的，使用硬鏈接的方式備份幾乎不需要消耗額外的時間。通過使用RDB+CheckPoint的方式存儲快照，Redis混合存儲實例可以有效的降低數(shù)據(jù)快照生成和加載的時間，避免了過程中冷數(shù)據(jù)數(shù)據(jù)在RDB, 內(nèi)存，RocksDB之間的來回轉(zhuǎn)換。

底層存儲引擎

Redis混合存儲實例通過精心定義的編碼轉(zhuǎn)換層最小化IO SIZE，定制調(diào)優(yōu)的RocksDB最大化讀寫性能，阿里自研下一代高性能全用戶態(tài)存儲引擎壓榨硬件性能以及搭配最新的硬件，將IO速度提升到極致。
底層存儲采用阿里自研下一代高性能全用戶態(tài)存儲引擎Alibaba FusionEngine：通過結(jié)合上層應(yīng)用深入定制，以及與底層硬件深度結(jié)合，將新一代存儲介質(zhì)如NVMe SSD性能發(fā)揮到極致。4KB數(shù)據(jù)讀取速度在20us左右，相比業(yè)界同類引擎性能有80%提升。

性能數(shù)據(jù)

在線上機(jī)器上，我們使用memtier_benchmark測試了Redis純內(nèi)存高性能實例和Redis混合存儲實例的性能對比如下（Value大小為1024字節(jié)）：

1. 當(dāng)訪問內(nèi)存中數(shù)據(jù)時，Redis混合存儲實例的性能與Redis純內(nèi)存高性能實例幾乎一致;

2. 當(dāng)內(nèi)存僅能容納10%的value數(shù)據(jù)時，正態(tài)訪問（70%的訪問落在33%的數(shù)據(jù)范圍內(nèi)）時，Redis混合存儲實例的性能為Redis純內(nèi)存高性能實例的70%左右。

產(chǎn)品詳情

https://promotion.aliyun.com/ntms/act/hybridstore.html

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。