Kioxia Corporation今日宣布，憑借其開源的KIOXIA AiSAQ?近似最近鄰搜索(ANNS)技術(shù)，成功演示在單臺服務(wù)器上實現(xiàn)48億向量的高維向量搜索擴展。此外，Kioxia還展示了通過NVIDIA cuVS利用GPU加速，顯著縮短索引構(gòu)建時間的成果。這兩項成果標志著檢索增強生成(RAG)搜索解決方案取得了重大進展。目前公司正持續(xù)開發(fā)，以支持超過48億向量的更大規(guī)模部署。

大規(guī)模向量數(shù)據(jù)庫的索引構(gòu)建時間是行業(yè)的核心痛點。Kioxia與NVIDIA合作，演示了其在1024維高維向量的KIOXIA AiSAQ索引構(gòu)建時間上最多20倍的改進，以及端到端構(gòu)建時間上最多7.8倍的改進。這20倍的改進意味著，構(gòu)建索引的時間從使用CPU的28.4天縮短至使用4塊NVIDIAHopperGPU的1.4天，端到端測試時間從31天縮短至4天。

如今，AI應(yīng)用可依賴存儲在固態(tài)硬盤上的更大規(guī)模向量化信息（可達數(shù)百億向量及以上），而僅靠DRAM即便在十億級規(guī)模下也已不再適用。Kioxia借助KIOXIA AiSAQ技術(shù)，實現(xiàn)了十億級搜索的高可擴展存儲架構(gòu)，在Milvus向量數(shù)據(jù)庫環(huán)境中，使用單臺查詢服務(wù)器即可滿足RAG應(yīng)用的延遲要求。其索引構(gòu)建依托GPU加速，讓大規(guī)模部署變得切實可行。

NVIDIA存儲技術(shù)副總裁Jason Hardy表示：“向量數(shù)據(jù)庫是那些需要在海量非結(jié)構(gòu)化數(shù)據(jù)集中實時理解意圖、上下文和相似度的應(yīng)用的核心支撐。通過借助NVIDIA cuVS庫實現(xiàn)GPU加速索引，Kioxia支持高維向量數(shù)據(jù)庫實現(xiàn)擴展，并以前所未有的效率構(gòu)建索引?！?/p>

KIOXIA AiSAQ開源軟件技術(shù)于去年首次發(fā)布，通過支持直接從固態(tài)硬盤進行向量搜索并降低DRAM用量，解決了RAG技術(shù)的可擴展性挑戰(zhàn)。KIOXIA AiSAQ技術(shù)具備高可擴展性，非常適合多租戶環(huán)境和大規(guī)模單體索引部署。該技術(shù)采用創(chuàng)新的全局索引(Global Index)算法，結(jié)合混合聚類和圖搜索，在超大規(guī)模下實現(xiàn)高效向量搜索。KIOXIA AiSAQ軟件提供靈活的調(diào)優(yōu)選項，可在性能與大規(guī)模向量可擴展性之間取得平衡，讓大規(guī)模部署更易實現(xiàn)和擴展。

Kioxia Corporation常務(wù)執(zhí)行董事、固態(tài)硬盤事業(yè)部副總裁Masashi Yokotsuka表示：“將向量數(shù)據(jù)庫擴展至十億級規(guī)模，需要重新思考內(nèi)存和計算方案。通過將基于KIOXIA AiSAQ固態(tài)硬盤的向量搜索與NVIDIA用于索引構(gòu)建的GPU加速相結(jié)合，我們實現(xiàn)了大規(guī)模部署下切實可行的索引構(gòu)建。作為行業(yè)創(chuàng)新者，我們將繼續(xù)利用閃存技術(shù)突破AI的邊界。”

Kioxia始終致力于推進由存儲驅(qū)動的AI解決方案，以支持大規(guī)模智能數(shù)據(jù)處理，并持續(xù)推動KIOXIA AiSAQ向萬億向量級部署邁進。

審核編輯 黃宇