DeepGEMM 是一個專為簡潔高效的 FP8 通用矩陣乘法(GEMM)設(shè)計的庫,具有細粒度縮放功能,在Deepseek開源周的第三天Deepseek正式宣布開源DeepGEMM。
據(jù)悉GEMMs同時支持普通的和專家混合(MoE)分組的GEMM運算。而且代碼庫非常簡潔,只有一個核心內(nèi)核函數(shù),代碼量約為300行。DeepGEMM采用CUDA編寫,這使得DeepGEMM在安裝過程中無需編譯,通過在運行時使用輕量級即時編譯模塊來編譯所有內(nèi)核。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。
舉報投訴
-
DeepSeek
+關(guān)注
關(guān)注
2文章
835瀏覽量
3257
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
百度騰訊搶灘布局!DeepSeek-R1升級和開源背后,國產(chǎn)AI的逆襲之路
電子發(fā)燒友網(wǎng)報道(文/李彎彎)日前,DeepSeek官方宣布DeepSeek-R1模型已完成小版本試升級,當(dāng)前版本為DeepSeek-R1-0528。次日,
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】+混合專家
感謝電子發(fā)燒友提供學(xué)習(xí)Deepseek核心技術(shù)這本書的機會。
讀完《Deepseek核心技術(shù)揭秘》,我深受觸動,對人工智能領(lǐng)域有了全新的認(rèn)識。了解Deepseek-R1 、Deepseek
發(fā)表于 07-22 22:14
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】--全書概覽
DeepSeek對人工智能技術(shù)格局的一個影響
第六章 DeepSeek開源技術(shù)剖析
第七章 大模型發(fā)展未來展望
全書圖文并茂,對專業(yè)技術(shù)屬于進行了講解,也有對流程、框架、參數(shù)的展示,結(jié)合案例與應(yīng)用方面的代入,是非常好的對
發(fā)表于 07-21 00:04
【「DeepSeek 核心技術(shù)揭秘」閱讀體驗】書籍介紹+第一章讀后心得
進行了深入的分析。通過對 FlashMLA、DeepEP、DeepGEMM、DualPipe 與 EPLB、3FS 等項目的介紹,展示了 DeepSeek 在開源領(lǐng)域的積極探索,體現(xiàn)了其推動大模型技術(shù)
Arm Neoverse N2平臺實現(xiàn)DeepSeek-R1滿血版部署
今年年初,開源大語言模型 (LLM) DeepSeek 在國內(nèi)外人工智能 (AI) LLM 領(lǐng)域掀起熱議。它在模型架構(gòu)和訓(xùn)練、推理方法上實現(xiàn)創(chuàng)新,在性能和工程效率上帶來了顯著提升,并在成本效率方面
【書籍評測活動NO.62】一本書讀懂 DeepSeek 全家桶核心技術(shù):DeepSeek 核心技術(shù)揭秘
進行了深入的分析。通過對 FlashMLA、DeepEP、DeepGEMM、DualPipe 與 EPLB、3FS 等項目的介紹,展示了 DeepSeek 在開源領(lǐng)域的積極探索,體現(xiàn)了其推動大模型技術(shù)
發(fā)表于 06-09 14:38
DeepSeek開源新版R1 媲美OpenAI o3
DeepSeek“悄悄”地又放了一個大招,DeepSeek開源了R1最新0528版本。盡管DeepSeek目前還沒有對該版本進行任何說明,但是根據(jù)著名代碼測試平臺Live CodeBe
DeepSeek 引領(lǐng)邊緣 AI 芯片向更高性能、更低功耗、更強泛化能力的方向演進
量從十億量級到數(shù)百億甚至千億級不等。例如,DeepSeek LLM 67B 在多項評測中已超過同級別開源模型。這些模型通常采用 Transformer 架構(gòu)及如多頭潛在注意力(MLA)、專家混合(MoE
如何基于Android 14在i.MX95 EVK上運行Deepseek-R1-1.5B和性能
本文檔總結(jié)了如何基于 Android 14 在 i.MX95 EVK 上運行 Deepseek-R1-1.5B 和性能。
1. Install Android 14 on i.MX95
您可以按照
發(fā)表于 04-04 06:59
【幸狐Omni3576邊緣計算套件試用體驗】DeepSeek 部署及測試
、RKLLM 庫、編譯和運行、效果演示等。
簡介
介紹了板端部署的 DeepSeek 模型及其部署方案。
DeepSeek
DeepSeek 是由杭州深度求索公司自主研發(fā)的高性能大語言模型,以其
發(fā)表于 03-21 19:31
晶振:DeepSeek背后的“隱形基石”
2025年初,AI領(lǐng)域迎來了一場顛覆性的變革,DeepSeek以其卓越的性能和開放的模式,引起了全球的關(guān)注,DeepSeek以其與OpenAI相當(dāng)?shù)募夹g(shù)性能、較低的訓(xùn)練成本和開源特性,迅速在市場上
如何使用OpenVINO運行DeepSeek-R1蒸餾模型
DeepSeek-R1在春節(jié)期間引發(fā)了全球科技界的熱度,DeepSeek-R1 是由 DeepSeek 開發(fā)的開源推理模型,用于解決需要邏輯推理、數(shù)學(xué)問題解決和實時決策的任務(wù)。
HarmonyOS NEXT開發(fā)實戰(zhàn):DevEco Studio中DeepSeek的使用
隨著HarmonyOS Next的持續(xù)發(fā)布,鴻蒙系統(tǒng)對AI能力的支持顯著增強。本文將深入探討如何在鴻蒙應(yīng)用中集成AI模型,結(jié)合接入DeepSeek,一起來探索開發(fā)鴻蒙原生應(yīng)用的更多可能吧!
第一步
發(fā)表于 03-07 14:56
DeepSeek宣布開源DeepGEMM
評論