電子發(fā)燒友網(wǎng)綜合報(bào)道 近期，加拿大多倫多初創(chuàng)公司Taalas正式發(fā)布首款AI推理芯片HC1，將大模型權(quán)重直接蝕刻到芯片的金屬互連層中，實(shí)現(xiàn)推理速度達(dá)17000 tokens/秒。

Taalas 于 2023 年成立，由 Tenstorrent 前聯(lián)合創(chuàng)始人、前 AMD 和英偉達(dá)架構(gòu)師柳比薩?巴伊奇（Ljubisa Bajic）攜手工程師 Drago Ignjatovic、Lejla Bajic 共同創(chuàng)立。目前，Taalas 已通過三輪融資籌集超 2 億美元。

巴伊奇曾主導(dǎo) Tenstorrent 可擴(kuò)展 AI 加速器研發(fā)，2023 年 3 月離開后創(chuàng)立 Taalas，其核心使命是“將人工智能商品化”。他表示：“人工智能像電力，是不可或缺的必需品，必須向所有人提供。而實(shí)現(xiàn)這一目標(biāo)需要對計(jì)算能力和效率進(jìn)行 1000 倍提升，靠當(dāng)前漸進(jìn)式手段無法達(dá)成?！?br />
這種“非漸進(jìn)式”思路，使 Taalas 一開始就走上與英偉達(dá)對立的道路。2023 年 8 月至 2024 年 3 月，Taalas 完成兩輪融資，首輪 5000 萬美元由皮埃爾?拉蒙德和 Quiet Capital 牽頭，后續(xù)融資讓公司總估值達(dá) 2.19 億美元。投資人皮埃爾?拉蒙德評價(jià)團(tuán)隊(duì)經(jīng)驗(yàn)業(yè)內(nèi)頂級，認(rèn)為其方向能實(shí)現(xiàn) 1000 倍成本改善，推動 AI 成為基礎(chǔ)設(shè)施級能力。

?

Taalas宣稱的1000倍效率提升，并非故弄玄虛，而是源于對傳統(tǒng)AI芯片架構(gòu)的徹底革新。不同于通用GPU“內(nèi)存加載模型、軟件調(diào)度運(yùn)行”的模式，Taalas采用“Model Based”架構(gòu)，將特定大模型的訓(xùn)練結(jié)果直接固化在晶體管層面，構(gòu)建出物理意義上的“硬核模型”。

其HC1芯片運(yùn)用臺積電6nm工藝與Mask ROM技術(shù)，把Llama 3.1 8B模型的權(quán)重硬編碼在硅片上，從物理層面消除計(jì)算與存儲間的數(shù)據(jù)搬運(yùn)。據(jù)Taalas公布的數(shù)據(jù)，HC1的token處理速度約為英偉達(dá)B200的48倍，硬件成本僅為傳統(tǒng)GPU方案的1/20，功耗降至1/10，且無需液冷和HBM顯存，僅靠空氣冷卻就能運(yùn)行。

不過，極致性能的代價(jià)是通用性的完全喪失。HC1只能運(yùn)行特定的Llama 3.1 8B模型，模型更新芯片就需重新流片。Taalas雖宣稱能將新模型轉(zhuǎn)化為定制芯片的周期壓縮至兩個(gè)月，但在AI模型快速迭代的當(dāng)下，這仍是該方案面臨的核心挑戰(zhàn)?！耙荒Ｐ鸵恍酒蹦Ｊ揭罂蛻魧μ囟Ｐ烷L期承諾，一旦行業(yè)轉(zhuǎn)向全新架構(gòu)，現(xiàn)有專用硬件將迅速貶值。Taalas的應(yīng)對之策是押注Llama等開源架構(gòu)的長期主導(dǎo)地位，同時(shí)借助LoRA微調(diào)技術(shù)優(yōu)化芯片固化模型的適應(yīng)性。

生態(tài)系統(tǒng)短板也是Taalas的一大難題。英偉達(dá)的優(yōu)勢在于CUDA軟件生態(tài)和開發(fā)者的深度依賴，而Taalas的專用芯片缺乏配套開發(fā)工具鏈，開發(fā)者需重新適配，這提高了客戶的遷移成本。如何快速構(gòu)建自身生態(tài)，成為Taalas能否規(guī)?；涞氐年P(guān)鍵。

實(shí)際測試中，HC1雖能“2000字回復(fù)秒出”，但回復(fù)質(zhì)量存在明顯缺陷，簡單運(yùn)算出錯(cuò)，復(fù)雜問題“胡編亂造”。根源在于初代產(chǎn)品采用的定點(diǎn)數(shù)格式無法滿足復(fù)雜推理的精度需求。為應(yīng)對此問題，Taalas已規(guī)劃第二代產(chǎn)品HC2，將改用標(biāo)準(zhǔn)4 - bit浮點(diǎn)格式改善精度，同時(shí)將模型支持規(guī)模提升至200億參數(shù)，計(jì)劃2026年底前覆蓋GPT - 5級別系統(tǒng)。

中國科學(xué)院計(jì)算技術(shù)研究所副研究員趙永威高度評價(jià)這一技術(shù)路線，認(rèn)為雖目前Taalas尚無應(yīng)用價(jià)值，但會成為有歷史意義的芯片，這種硬連線模式是未來芯片發(fā)展趨勢，Taalas扛起質(zhì)疑，將讓后來者推廣相關(guān)概念更輕松。

隨著AI發(fā)展重心從訓(xùn)練轉(zhuǎn)向推理，定制化AI芯片正"脫穎而出"。在AI推理芯片賽道上，Taalas并非唯一的探索者。Etched將Transformer架構(gòu)固化為ASIC電路，Groq以純SRAM架構(gòu)打造LPU，Cerebras則將整塊晶圓作為單顆芯片，各家都在通過放棄某一傳統(tǒng)設(shè)計(jì)要素，換取推理環(huán)節(jié)的性能突破。