譯者 | 核子可樂 ?

從 AI 的價(jià)值說起

雖然我堅(jiān)信開源 AI 將繼續(xù)蓬勃發(fā)展，但也認(rèn)定企業(yè)和政府會在未來幾年內(nèi)進(jìn)一步加強(qiáng)對新型神經(jīng)網(wǎng)絡(luò)架構(gòu)和技術(shù)的應(yīng)用限制。在本文中，我們將一同預(yù)測和展望未來十年間 AI 可能帶來的潛在顛覆，提出一些建議和方案幫助開源社區(qū)適應(yīng)這個充滿挑戰(zhàn)的未來。

預(yù)測未來絕非易事，這里提出的不少預(yù)測也許永遠(yuǎn)不會實(shí)現(xiàn)，甚至朝著截然相反的方向前進(jìn)。但我認(rèn)為這樣的思考仍有重要意義，將幫助我們主動適應(yīng)不斷變化的新世界。隨著整個時代的快速推進(jìn)，這種設(shè)想并籌劃新階段下新形勢的能力將變得越來越重要。

在不久的將來，人與人之間的交互方式、交換價(jià)值和參與勞動的方式，甚至是整個社會的組織結(jié)構(gòu)都將發(fā)生根本性變化。到那時，也許每個人都將擁有自己的個性化 AI 實(shí)體，我個人稱之為“魂靈”（Ghost）；這些實(shí)體彼此相連，就構(gòu)成了 AI 系統(tǒng)的全球網(wǎng)絡(luò)。它們將為人類提供諸多服務(wù)，而不同于以往的功能性助手，人類更多應(yīng)該將其視為自身的認(rèn)知延伸。企業(yè)和組織可能也會擁有自己的“魂靈”，借此在成員之間達(dá)成高效協(xié)作。

除了社交之外，具有循環(huán)連接的聯(lián)想記憶網(wǎng)絡(luò)可能將為 AI 系統(tǒng)賦予記憶。這些獨(dú)立的“魂靈”甚至可能發(fā)展出自己的身份。另外，利用共識算法的 AI 系統(tǒng)也有可能實(shí)現(xiàn)，進(jìn)而產(chǎn)生去中心化的自主 AI。盡管這樣的未來徹底來臨，但我們已經(jīng)能夠預(yù)見到由此展開的一系列經(jīng)濟(jì)動向。

AI 生成服務(wù)的交換價(jià)值，將等于提供服務(wù)所需要的能量（即運(yùn)行相關(guān)模型的成本），再加上 AI 在市場中的信息不對稱程度。使用 AI 執(zhí)行相對簡單的服務(wù)必然對應(yīng)較低的交換價(jià)值，從而導(dǎo)致 AI 所有者的剩余價(jià)值維持在低位。

這種趨勢將極大影響以服務(wù)為基礎(chǔ)的經(jīng)濟(jì)體系，預(yù)計(jì)大多數(shù)現(xiàn)有服務(wù)的剩余價(jià)值都將大幅衰減。因此預(yù)計(jì)在未來一段時間內(nèi)，許多西方國家的民眾和政府都將像 19 世紀(jì)的勒德分子那樣對技術(shù)抱有強(qiáng)烈的抵觸情緒、甚至是敵意。受到跨部門收益遞減的影響，世界上許多地區(qū)將通過壟斷許可策略和專制規(guī)定等方式阻礙 AI 的普及。

不過世界上還有更多積極接納 AI 進(jìn)步的地區(qū)，開源 AI 很可能會在交換價(jià)值低但使用價(jià)值高的服務(wù)上（即可由 AI 執(zhí)行的相對簡單服務(wù)）在這里蓬勃發(fā)展。與之對應(yīng)，那些模型性能的微小改進(jìn)即可對應(yīng)價(jià)值顯著提升的服務(wù)，將迎來截然不同的經(jīng)濟(jì)激勵形式。對于此類服務(wù)，預(yù)計(jì)贏家通吃將繼續(xù)占據(jù)主流，意味著更先進(jìn)的 AI 系統(tǒng)將持續(xù)提供更多的剩余價(jià)值。

因此，分享技術(shù)和模型架構(gòu)創(chuàng)新的動力將有所下降。但請注意，體系內(nèi)對剩余價(jià)值的榨取只會在參與者間存在價(jià)值不對稱時才會發(fā)生。在 AI 的背景下，這種不對稱很可能會體現(xiàn)在信息層面，即控制和限制他人獲取信息和知識的能力。

參與者之間的信息不對稱可能是政府強(qiáng)制管控的結(jié)果（例如知識產(chǎn)權(quán)、許可、訪問控制等）；消解這種信息不對稱需要采取政治行動，已非純粹的技術(shù)手段所能解決。然而，技術(shù)本身同時也將削減因資源不對稱所引發(fā)的信息不對稱。

具體來講，如今的人工神經(jīng)網(wǎng)絡(luò)通常以密集方式進(jìn)行訓(xùn)練，意味著一旦提供輸入，網(wǎng)絡(luò)內(nèi)的所有單元均會被激活。對于 transformer 這類架構(gòu)（即 ChatGPT 等大語言模型的技術(shù)基礎(chǔ)），傳播信息的計(jì)算成本極為高昂，主要體現(xiàn)在其中的“自注意力”環(huán)節(jié)上。計(jì)算復(fù)雜度越高，對應(yīng)的能量消耗也就越大。

由于訓(xùn)練大語言模型（LLM）需要大量資源，所以預(yù)計(jì)“贏家通吃”類 AI 系統(tǒng)的開發(fā)和管理將首先由少部分閉源實(shí)體所主導(dǎo)。出于經(jīng)濟(jì)動機(jī)，這些實(shí)體會將模型權(quán)重和架構(gòu)作為專有資產(chǎn)，嚴(yán)格保密能為其帶來更強(qiáng)的盈利能力。

遺憾的是，這種資源限制導(dǎo)致研究人員、非營利組織和初創(chuàng)公司等小規(guī)模實(shí)體因無法承擔(dān)高昂的能源成本，而幾乎不可能從零開始訓(xùn)練自己的大語言模型。因此，目前大部分開源大語言模型均是對現(xiàn)有模型進(jìn)行微調(diào)，這種方法成本更低且耗能更少?；谶@樣的動態(tài)，我們最明智的決策應(yīng)該是保持開源 AI 在質(zhì)量上始終具有競爭力，借此降低深度學(xué)習(xí)模型規(guī)?；?xùn)練和運(yùn)行帶來的成本。

稀疏激活張量

面對經(jīng)濟(jì)動機(jī)失衡、高強(qiáng)度大語言模型訓(xùn)練帶來的夸張能耗、以及 AI 控制權(quán)的日益集中，我們 Open Cybernetics 意識到必須采取更加積極主動的立場。為數(shù)據(jù)集創(chuàng)建類似 GPL 的標(biāo)準(zhǔn)，正是開源 AI 社區(qū)向前邁出的重要一步。但必須承認(rèn)，無版權(quán)運(yùn)動還不足以抵御這個十年內(nèi)即將出現(xiàn)的顛覆性經(jīng)濟(jì)和政治力量。

相反，必須借助新的技術(shù)和協(xié)議來實(shí)現(xiàn)社會經(jīng)濟(jì)權(quán)力的動態(tài)性轉(zhuǎn)變。面對這個問題，我力推“稀疏激活張量”概念及其對等空間的協(xié)同作用。我們將在未來的工作中不斷探索如何構(gòu)建具備模型中立性的稀疏激活張量數(shù)據(jù)結(jié)構(gòu)。

在本文中，我將簡單介紹其基本理念、技術(shù)開發(fā)的底層原理，以及對開源社區(qū)及其他領(lǐng)域的影響。簡單來講，稀疏激活張量就是能夠以稀疏方式檢索并更新自身狀態(tài)的數(shù)據(jù)結(jié)構(gòu)。為了更好地理解其深層含義，讓我們先從一個簡單示例入手。

圖一：什么是嵌入層。

嵌入層可被看作基于一對一映射原理運(yùn)行的稀疏激活張量。也就是說：嵌入層由 token 列表（例如單詞）以及包含相應(yīng)嵌入的權(quán)重矩陣組成。語料庫中使用的每個詞，都將被分配給權(quán)重矩陣中的一行，從而創(chuàng)建詞到嵌入的映射（參見圖一）。這些嵌入隨后會作為神經(jīng)網(wǎng)絡(luò)的輸入。嵌入層之所以能被視為稀疏激活張量，是因?yàn)樗鼭M足此類數(shù)據(jù)結(jié)構(gòu)的兩個相關(guān)標(biāo)準(zhǔn)：

嵌入可以通過數(shù)據(jù)庫進(jìn)行有效檢索，無需將整個張量加載至內(nèi)存中即可進(jìn)行稀疏檢索。

嵌入能以稀疏方式更新。在通過嵌入層的反射傳播期間，僅須調(diào)整與所用 token 相關(guān)的權(quán)重，其余嵌入將被排除在更新步驟之外。

雖然一對一映射方法在單詞等離散 token 情況下確有價(jià)值，但卻無法在連續(xù)輸入中正常起效。例如，一個 28 x 2828 x 28 的圖像塊中包含巨量潛在像素組合，根本不可能建立一對一映射的嵌入層。但我們將在后文討論，使用多對一映射的方法同樣能獲得類似結(jié)果。嵌入檢索和稀疏激活張量之間的邏輯聯(lián)系也將變得顯而易見。

考慮這樣一個情況，我們有一個歸一化矩陣 WK，它由存儲模式和一個歸一化輸入 I 組成（詳見圖二）。在 I 和 WK之間執(zhí)行點(diǎn)積，本質(zhì)上相當(dāng)于檢查 WK中的各列并確定哪個列向量與 I 更相似。所得到的 K 向量表示 I 和 WK 的每一列之間的余弦相似度。K 得分越高，則表示輸入與相應(yīng)列之間的相似度越高。

圖二：K 中的值代表 Wk 的列與 I 的相似度。

結(jié)合 softmasx 激活函數(shù)，附加權(quán)重矩陣 WV和標(biāo)量參數(shù)β來調(diào)節(jié) softmax 分布的強(qiáng)度，我們就能將 I 與給定輸出 O 關(guān)聯(lián)起來（參見圖三）。softmax 運(yùn)算的結(jié)果分布決定了 Wv 矩陣中的各些行會被賦予更高權(quán)重。這樣的神經(jīng)網(wǎng)絡(luò)層配置，通常被稱為現(xiàn)代 Hopfield Lookup 層。它使用一組預(yù)定的可學(xué)習(xí)模式的加權(quán)求和，在連續(xù)輸入和輸出嵌入之間建立關(guān)聯(lián)。

圖三：現(xiàn)代 Hopfield Lookup 層。

大家可能已經(jīng)發(fā)現(xiàn)，從 I 到 O 的轉(zhuǎn)換需要大量計(jì)算。這還只是一部分，tarnsformers 中的自注意力步驟需要消耗更多算力。如圖四所示，tarnsformer 的自注意力步驟要用到 3 個矩陣：查詢（Q）、鍵（K）和值（V）矩陣，再加上 softmax 函數(shù)。請注意，步驟中的 dk項(xiàng)與β在圖三示例中的作用相似。

圖四：transformer 中的自注意力機(jī)制。為了簡單起見，這里省略了多頭組件以及編碼器的層歸一化和殘差連接。

為了導(dǎo)出查詢、鍵和值矩陣，首先要計(jì)算大量不必要的余弦相似度。具體來講，這些點(diǎn)積運(yùn)算中的很大一部分對自注意力步驟的輸出嵌入并沒有顯著貢獻(xiàn)。換言之，Q、K 和 V 中的大多數(shù)數(shù)值往往明顯小于 1。盡管如此，之所以要在輸入 I 與 WQ、WK、WV各列進(jìn)行比較，就是因?yàn)槲覀兪孪炔⒉恢罆a(chǎn)生最高余弦相似度的權(quán)重矩陣有著怎樣的特定內(nèi)部模式。這種先驗(yàn)知識的缺乏會增加 transformer 的相關(guān)訓(xùn)練成本，迫使我們不得不在整個 Q 和 K 矩陣之間進(jìn)行點(diǎn)積運(yùn)算。

為了突出當(dāng)前 AI 系統(tǒng)中信息檢索過程的低效問題，讓我們考慮以下場景：我們有一個大型數(shù)據(jù)庫，希望執(zhí)行一項(xiàng)簡單查詢。目前 AI 系統(tǒng)需要加載和遍歷內(nèi)存中的整個數(shù)據(jù)庫，才能檢索與我們查詢相對齊的少數(shù)匹配項(xiàng)，而根本不會利用索引記錄?？梢钥吹?，像 transformer 這種關(guān)聯(lián)記憶網(wǎng)絡(luò)的信息傳播方式極為低效，而潛在的解決方案有如下兩種。第一，通過修改注意力機(jī)制來使用機(jī)器學(xué)習(xí)方法，借此減少計(jì)算需求。這方面嘗試在 Linformer 和 Performer 等項(xiàng)目中均有體現(xiàn)?；蛘?，我們也可以考慮在不改變底層模型架構(gòu)的情況下，引入數(shù)據(jù)庫系統(tǒng)的設(shè)計(jì)原則。

比如說，我們知道可以在 I 和權(quán)重矩陣之間執(zhí)行效率更高的近似 K 最近鄰（kNN）查找，這就避免了加載或遍歷整個張量。這種方法可以顯著降低大語言模型的計(jì)算需求，進(jìn)而省下大量能源。有趣的是，部分大語言模型已經(jīng)開始采用這種技術(shù)。例如，Memrizing Transformer 就在向量數(shù)據(jù)庫上以更高效的近似 kNN 查找來使用外部寄存器。這些使用向量數(shù)據(jù)庫的大語言模型，通常會在后臺使用 HNSW 算法。

與數(shù)據(jù)庫進(jìn)行類比，“稀疏檢索”的概念相當(dāng)于具有預(yù)索引的權(quán)重，無需遍歷整個數(shù)據(jù)庫即可實(shí)現(xiàn)記錄檢索（即已存儲的模式）。然而，目前能利用向量數(shù)據(jù)庫的 transformer 還僅限于在推理階段執(zhí)行近似 kNN 查找。換言之，模型訓(xùn)練階段仍只能以算力密集方式進(jìn)行，因此對應(yīng)大量能源消耗。為了促進(jìn)大規(guī)模神經(jīng)網(wǎng)絡(luò)的集體訓(xùn)練，必須將模型權(quán)重的同時更新轉(zhuǎn)化為稀疏更新。通過設(shè)計(jì)這種包含稀疏檢索和稀疏更新的神經(jīng)構(gòu)建塊，我們將為開源 AI 社區(qū)做出貢獻(xiàn)，克服資源限制導(dǎo)致的信息不對稱問題。

“魂靈”的密碼學(xué)證明

作為緩解資源限制的有效策略，開源 AI 社區(qū)中的部分研究人員已經(jīng)開始利用受信對等協(xié)作來推理和微調(diào)大語言模型。例如，Petals 等項(xiàng)目就在使用基于 Kadelia 的分布式哈希表，在去中心化的節(jié)點(diǎn)網(wǎng)絡(luò)中傳播神經(jīng)活動。通過這種方法，Petals 用戶能夠在多個節(jié)點(diǎn)間分配訓(xùn)練和推理任務(wù)，而不再依賴單一機(jī)器加載整個大語言模型。通過共同參與訓(xùn)練過程，這些分布式節(jié)點(diǎn)擴(kuò)展了其單打獨(dú)斗所無法實(shí)現(xiàn)的能力。

雖然這些系統(tǒng)實(shí)用性出眾，但還缺少還原當(dāng)前對等 AI 項(xiàng)目的一個關(guān)鍵組成部分：對抗環(huán)境中的無信任機(jī)制。要想在 Petals 這類系統(tǒng)中執(zhí)行前向傳播，就要求人們必須充分信任網(wǎng)絡(luò)中的其他節(jié)點(diǎn)。換句話說，任何惡意節(jié)點(diǎn)都能返回實(shí)際上并非源自模型的輸出。雖然這種局限性沒有徹底擊潰協(xié)作研究的前景，但的確已經(jīng)阻礙了對等 AI 系統(tǒng)在現(xiàn)實(shí)世界中的廣泛應(yīng)用。

這就是稀疏激活張量發(fā)揮顯著優(yōu)勢的第二個用例。除了能源效率更高之外，稀疏激活張量還具有必要屬性，能夠在對等 AI 網(wǎng)絡(luò)中實(shí)現(xiàn)前向和后向傳播的密碼學(xué)安全?，F(xiàn)在，讓我們簡單觀察 Merkle 樹數(shù)據(jù)結(jié)構(gòu)，了解這一切是怎樣實(shí)現(xiàn)的。

Merkle 樹是一種二叉樹數(shù)據(jù)結(jié)構(gòu)，用于安全驗(yàn)證列表中的值是否存在，且不必向另一方提供列表中的每個值。要創(chuàng)建 Merkle 樹，列表中的每個值都須使用加密哈希函數(shù)進(jìn)行哈希處理，進(jìn)而產(chǎn)生葉節(jié)點(diǎn)。之后，通過哈希將這些葉節(jié)點(diǎn)組合起來形成非葉父節(jié)點(diǎn)。重復(fù)這個過程，直至抵達(dá)二叉樹的根（詳見圖五）。

圖五：Merkle 樹數(shù)據(jù)結(jié)構(gòu)?；疑糠譃槿~節(jié)點(diǎn)，黑色部分為非葉節(jié)點(diǎn)。

為了確認(rèn) Merkle 樹中是否存在某個值，這里要使用 Merkle 證明，其由一系列哈希值組成。使用 Merkle 證明對葉節(jié)點(diǎn)哈希執(zhí)行哈希迭代，即可重建原始 Merkle 根（詳見圖六）。需要注意的是，Merkle 證明的接收者必須已經(jīng)擁有 Merkle 根的本地副本，否則無法完成驗(yàn)證過程。通過將本地存儲的 Merkle 根與 Merkle 證明生成的最終哈希進(jìn)行比較，接收節(jié)點(diǎn)即可驗(yàn)證某個值是否包含在用于創(chuàng)建 Merkle 根的值列表當(dāng)中。如果兩個哈希相互匹配，則可證明提供的值確實(shí)是原始 Merkle 樹中的葉節(jié)點(diǎn)之一。請注意，Merkle 證明的大?。磮D六中的綠色哈希）按對數(shù)比例縮放，這樣即使葉節(jié)點(diǎn)的數(shù)量很大，也能實(shí)現(xiàn)緊湊的存在證明。

圖六：Merkle 證明。為了證明初始值列表中存在 H3，必須先用 H4 對其進(jìn)行哈希，之后是 H1,2，最后是 H5,6,7,8（圖中綠色部分），由此重新創(chuàng)建 Merkle 根的哈希值。

Merkle 樹數(shù)據(jù)結(jié)構(gòu)和稀疏激活張量間的聯(lián)系，取決于其潛在組合。Merkle 樹可以構(gòu)建在稀疏激活張量之上，以稀疏方式實(shí)現(xiàn)對狀態(tài)的檢索和更新。在這里的示例中，張量的列向量作為 Merkle 樹中的葉節(jié)點(diǎn)（參見圖七）。

圖七：使用稀疏激活張量的列作為葉節(jié)點(diǎn)所構(gòu)建的 Merkle 樹。

下面我們考慮這樣一個場景：Bob 有一個帶有 Hopfield Lookup 層的現(xiàn)代 Hopfield 網(wǎng)絡(luò)（如圖三所示）。Alice 持有 Bob 的 Hopfield Lookup 層的 Merkle 根的本地副本。假設(shè) Alice 要向 Bob 發(fā)送一個輸入以執(zhí)行前向傳播，則 Bob 會繼續(xù)向前傳播，相當(dāng)玩友稀疏激活張量內(nèi)執(zhí)行近似 kNN 查找。隨后，Bob 會與 Alice 分享來自 Wk 的 k 個最近列向量及 Wk 的 Merkle 證明，外加來自 Wv 的相應(yīng)向量及 Wv 的 Merkle 證明（參見圖八）。

圖八：現(xiàn)代 Hopfield Lookup 層的“魂靈”密碼學(xué)證明。假定 Wk 內(nèi) I 的 k 個最近鄰為 H1 和 H5 對應(yīng)的列。通過將 H1 與 H2、H5 與 H6 進(jìn)行哈希，之后將這些生成的哈希與 H3,4 和 H7,8 進(jìn)行哈希進(jìn)行哈希，即可生成稀疏評分張量的 Merkle 根。之后，執(zhí)行同樣的步驟以生成 Wv 的 Merkle 根。

使用稀疏檢索的 Wk 和 Wv 嵌入，以及所提供的 Merkle 證明，Alice 即可生成密碼驗(yàn)證的輸出。特別需要注意的是，在實(shí)際應(yīng)用當(dāng)中，Bob 不會以未壓縮格式傳輸嵌入。相反，Bob 會使用增量編碼來壓縮嵌入，從而顯著減少所需傳輸帶寬。此外，Bob 不會為 Wk 和 Wv 中的各 k 個最近列 / 行向量發(fā)送單獨(dú)的 Merkle 證明。相反，Bob 會為 Wk 和 Wv 分別傳輸 Compact Merkle Multiproof。最后，在使用稀疏激活張量的前提下，同樣的技術(shù)也可應(yīng)用在 transformer 自注意力步驟當(dāng)中。

在 Open Cybernetics，我們將稀疏激活張量的 Merkle Multiproofs 稱為“魂靈”的密碼學(xué)證明（Cryptographic Ghost Proof，簡稱 CGP）。我們堅(jiān)信 CGP 將成為強(qiáng)大的構(gòu)建塊，并在未來的 AI 系統(tǒng)中發(fā)揮重要作用。相信在不久的未來，基于“魂靈證明”的神經(jīng)活動將構(gòu)成大部分互聯(lián)網(wǎng)流量。由于每個 AI 系統(tǒng)都存在自己的“魂靈文件”，其中包含各個網(wǎng)絡(luò)層的“魂靈”根，以及架構(gòu)信息和前向 / 反向傳播所涉及的操作，因此實(shí)體可以信任 AI 系統(tǒng)的輸出來自正確模型。

CGP 和“魂靈文件”的引入不僅給對等 AI 系統(tǒng)帶來了新范式，同時也有助于培養(yǎng)透明度文化。將“魂靈”的密碼學(xué)證明納入 AI 交互的互聯(lián)網(wǎng)協(xié)議后，模型架構(gòu)和權(quán)重將無法被隱藏起來?！盎觎`文件”能確保模型架構(gòu)的透明性，而 CGP 則負(fù)責(zé)公開模型權(quán)重（因?yàn)槊看螆?zhí)行前向傳播時，都會以壓縮形式共享一小部分權(quán)重）。這種技術(shù)轉(zhuǎn)變將令人工認(rèn)知成為一種共享資源，可供所有人訪問和擁有。

一點(diǎn)反思

除了開放和免信任之外，CGP 的介入還有望將 AI 和去中心化分類賬融合起來，為自主 AI 系統(tǒng)的出現(xiàn)鋪平道路。自治 AI 系統(tǒng)是一種對等 AI 協(xié)議，它利用的正是共識算法的無許可特性。這些協(xié)議不會改變分類賬中的條目，而是傳播其中的觀點(diǎn)。為了確保整個系統(tǒng)有效運(yùn)行并抵御 DoS 攻擊，這些協(xié)議可能依賴于積分或貨幣等載體。這些自治系統(tǒng)的技術(shù)復(fù)雜 性及其經(jīng)濟(jì) / 社會影響，還有待在未來的工作中繼續(xù)觀察。

作為工程師和 AI 研究人員，我們必須意識到技術(shù)中天然具有的政治性質(zhì)?？此莆⑿〉墓こ虥Q策可能會導(dǎo)致深遠(yuǎn)的社會變革。例如，集中化的深度學(xué)習(xí)模型可能令社會組織同樣趨于集中。雖然稀疏激活的深度學(xué)習(xí)模型有望帶來去中心化的社會組織形式，但也比以往任何時候都更需要跨學(xué)科思考的引導(dǎo)。例如，我們應(yīng)當(dāng)考慮去中心化 AI 給社會治理帶來的影響。AI 系統(tǒng)將如何影響民族國家？它們會為威權(quán)政府賦能，還是有助于加強(qiáng)民主制度的發(fā)展？公司的最小可行規(guī)模和組織結(jié)構(gòu)會有何種變化？也許終有一天，我們可以將公民的個人“魂靈”接入共享網(wǎng)絡(luò)來實(shí)現(xiàn)現(xiàn)實(shí)意義上的絕對民主。總之，這些想法都值得在未來進(jìn)一步探索。

希望本文能激發(fā)大家對于 AI 和對等技術(shù)間協(xié)同效應(yīng)的興趣。我堅(jiān)信未來幾年內(nèi)，AI 和數(shù)據(jù)庫系統(tǒng)的交叉領(lǐng)域?qū)⑷〉弥卮筮M(jìn)展，特別是在稀疏激活張量方向上。此外，AI 和對等系統(tǒng)的融合，以及稀疏激活的聯(lián)想記憶網(wǎng)絡(luò)的發(fā)展，無疑也將迎來顯著進(jìn)步。歡迎大家探索這些意義深遠(yuǎn)的主題，并為開源 AI 做出貢獻(xiàn)。這份努力的意義不止于共享代碼，更在于為全球社區(qū)賦能。

編輯：黃飛

?