據(jù)韓國經(jīng)濟(jì)日報(bào)報(bào)道，SK海力士近日在IEEE（電氣與電子工程師協(xié)會(huì)）全球半導(dǎo)體大會(huì)上發(fā)表論文，提出了一種全新的存儲(chǔ)架構(gòu)。據(jù)悉，該架構(gòu)名為“H3（hybrid semiconductor structure）”，同時(shí)采用了HBM和HBF兩種技術(shù)。

在SK海力士設(shè)計(jì)的仿真實(shí)驗(yàn)中，H3架構(gòu)將HBM和HBF顯存并置于GPU旁，由GPU負(fù)責(zé)計(jì)算。該公司將8個(gè)HBM3E和8個(gè)HBF置于英偉達(dá)Blackwell GPU旁，結(jié)果顯示，與單獨(dú)使用HBM相比，這種配置可以將每瓦性能提升高達(dá)2.69倍。

圖源：SK海力士

實(shí)驗(yàn)結(jié)果顯示，H3架構(gòu)在AI推理領(lǐng)域尤其具有優(yōu)勢。推理的核心是鍵值緩存 (KV cache)，它用于臨時(shí)存儲(chǔ)數(shù)據(jù)，以理解 AI 服務(wù)與用戶之間交互的流程和“上下文”。然而，隨著 AI 性能的提升，KV緩存容量不斷增長，以至于HBM和GPU逐漸應(yīng)接不暇。

因此，HBF被視作上述架構(gòu)的核心。與堆疊DRAM芯片的HBM類似，HBF通過堆疊NAND閃存而制成。被稱作“HBM之父”的韓國科學(xué)技術(shù)院（KAIST）教授金正浩類比道，HBM與HBF就好比書房與圖書館。前者容量雖小，但使用起來方便；后者容量更大，但也意味著延遲更高。

通過在HBF中存儲(chǔ)KV緩存，GPU和HBM可以減輕存儲(chǔ)KV緩存的負(fù)擔(dān)，從而專注于它們在高速計(jì)算和創(chuàng)建新數(shù)據(jù)方面的優(yōu)勢。SK海力士模擬了HBF處理高達(dá)1000萬個(gè)令牌的海量鍵值緩存的場景，結(jié)果表明，與僅使用HBM的配置相比，該系統(tǒng)處理并發(fā)查詢的能力提升了高達(dá)18.8倍。以前需要32個(gè)GPU才能完成的工作負(fù)載，現(xiàn)在只需兩個(gè)GPU即可完成。

該公司強(qiáng)調(diào)HBF在這篇論文中具有潛力。業(yè)界正在關(guān)注它是否能成為繼目前SK海力士最大利潤產(chǎn)品HBM之后的新AI存儲(chǔ)器。

圖源：SK海力士

然而，HBF要成為現(xiàn)實(shí)，必須解決各種問題。NAND閃存具有大的存儲(chǔ)容量，但具有記錄新數(shù)據(jù)或更改形式的寫入性能慢的缺點(diǎn)。即使HBF只放置在讀取混合結(jié)構(gòu)數(shù)據(jù)的地方，寫入性能對于KV緩存來說也越來越重要，因此需要設(shè)計(jì)技術(shù)來克服這一點(diǎn)。HBF底部基模的控制器性能必須比HBM先進(jìn)得多。