91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

太強(qiáng)了!AI PC搭載70B大模型,算力狂飆,內(nèi)存開掛

晶芯觀察 ? 來(lái)源:電子發(fā)燒友網(wǎng) ? 作者:黃晶晶 ? 2025-03-24 08:52 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

電子發(fā)燒友網(wǎng)報(bào)道(文/黃晶晶)AI推理助推了DeepSeek一體機(jī)的市場(chǎng)熱度,而AI PC對(duì)DeepSeek大模型的支持也將是廣大用戶采購(gòu)AI PC的參考因素。不同配置的AI PC可支持DeepSeek-R1不同模型。相對(duì)來(lái)說(shuō),DeepSeek-R1 70B大模型或許是日常AI功能的頂格需求,它也是當(dāng)前高性能AI PC的著力點(diǎn)之一。

AI PC跑大模型

DeepSeek-R1目前已經(jīng)發(fā)布了1.5B/7B/8B/14B/32B/70B/671B共7類不同參數(shù)量的大模型版本。適配自然語(yǔ)言處理、內(nèi)容生成創(chuàng)作等不同的場(chǎng)景需求和功能,相對(duì)應(yīng)的也需要不同級(jí)別的硬件性能配置,參數(shù)越大所需的計(jì)算資源就越大。

根據(jù)京東給出的配置參考,個(gè)人消費(fèi)者在日常生活和學(xué)習(xí)場(chǎng)景中,想要滿足文本生成基礎(chǔ)問(wèn)題、基礎(chǔ)圖像處理等需求,可選擇1.5B/7B/8B這三類參數(shù)量的模型,通過(guò)個(gè)人筆記本、臺(tái)式機(jī)就能完成DeepSeek本地部署。

1.5B模型需要最低4G顯卡,可選GTX 1050及以上顯卡,CPU最低4核,內(nèi)存最低8G。7B/8B模型則需要8G顯卡、CPU最低8核、內(nèi)存最低16GB。

若要實(shí)現(xiàn)多語(yǔ)言處理、AI推理、智能數(shù)據(jù)分析、專業(yè)圖像處理等需求,可選擇DeepSeek-R1 14B/32B模型進(jìn)行本地化部署,但其對(duì)硬件配置有更高要求。其中,14B模式需要16G顯卡、12核CPU和32G內(nèi)存,至少是RTX4000Ada及以上顯卡。32B模式則需要24G顯卡、16核CPU和64G內(nèi)存,可選A6000及以上顯卡并行計(jì)算。

對(duì)于大型企業(yè)、高端設(shè)計(jì)、科研和企業(yè)級(jí)應(yīng)用,這類高性能需求場(chǎng)景可選擇70B模型,可完成深度學(xué)習(xí)、復(fù)雜數(shù)據(jù)分析和高級(jí)圖像處理等功能。目前,70B模型可選2個(gè)A100 80G顯卡或4個(gè)RTX4090顯卡并行,配備32核CPU和128G的內(nèi)存。

實(shí)際上,70B模型進(jìn)行本地部署已經(jīng)足夠滿足日常需求,處理器和PC廠商正積極推進(jìn)AI PC運(yùn)行大模型的方案。

AMD AI Max+ 395

今年1月CES 2025上,AMD發(fā)布代號(hào)為“Strix Halo”的銳龍AI Max系列已經(jīng)可以支持本地化運(yùn)行700億參數(shù)版本的DeepSeek大語(yǔ)言模型(LLM),助力各類生成式AI的應(yīng)用。

全新的銳龍AI Max系列處理器采用了 Zen 5 CPU 和 RDNA 3.5 GPU 架構(gòu),并運(yùn)用先進(jìn)的芯粒(chiplets)封裝技術(shù)。每個(gè) Zen 5 CPU 核心位于獨(dú)立的 CCD 上,最高兩個(gè) CCD 提供 16 個(gè) Zen 5 核心,核顯(iGPU)最高擁有40個(gè)RDNA 3.5 計(jì)算單元。此外,該處理器還采用 LPDDR5x 內(nèi)存標(biāo)準(zhǔn),內(nèi)存帶寬高達(dá)256GB/s,集成 50 TOPS“XDNA 2” NPU,為 Windows 11 AI+ PC 提供領(lǐng)先的 AI 性能,也為新一代AI PC帶來(lái)了革命性的突破,為游戲玩家、創(chuàng)作者和普通用戶提供了卓越的性能和強(qiáng)勁的動(dòng)力。

在AI 性能方面,得益于銳龍AI Max+ 395配備了高達(dá)50 TOPS的XDNA 2架構(gòu)NPU,在 LM Studio 中的 AI 性能比 NVIDIA GeForce RTX 4090 高出 2.2 倍,同時(shí)功耗降低了87%。同時(shí)得益于銳龍AI Max系列還支持高達(dá)128GB的統(tǒng)一內(nèi)存,其中最高可將96GB用于圖形處理,這也使得搭載該處理器的系統(tǒng)能夠?qū)崿F(xiàn)無(wú)縫、可靠的多任務(wù)處理,并支持運(yùn)行700億參數(shù)的超大規(guī)模的AI模型,使得該處理器成為了全球首款運(yùn)行700億參數(shù)模型的AI PC處理器。

ROG幻X 2025將首發(fā)搭載第三代 AMD AI+ PC 移動(dòng)處理器——AMD 銳龍 AI Max+ 395。據(jù)稱,這是唯一本地流暢運(yùn)行DeepSeek 70B模型的X86筆記本。全新ROG幻X 2025配備128GB 256bit LPDDR5X 8000MHz統(tǒng)一內(nèi)存,支持最大96GB動(dòng)態(tài)顯存分配,可實(shí)現(xiàn)CPU多任務(wù)與集顯圖形處理之間的靈活調(diào)用。結(jié)合CPU+GPU+NPU總算力可達(dá)126 TOPS,可以輕松本地部署AI大模型,流暢運(yùn)行各類端側(cè)AI應(yīng)用。

Apple M3 Ultra加持新款Mac Studio

前不久,蘋果公司正式推出了其性能最為強(qiáng)大的Mac產(chǎn)品即新款Mac Studio。據(jù)介紹,新款Mac Studio憑借其強(qiáng)大的中央處理器、先進(jìn)的圖形架構(gòu)、高帶寬的統(tǒng)一內(nèi)存、極速的固態(tài)硬盤以及高效能的神經(jīng)網(wǎng)絡(luò)引擎,能夠輕松應(yīng)對(duì)各種繁重的任務(wù)挑戰(zhàn)。無(wú)論是進(jìn)行復(fù)雜的數(shù)據(jù)處理、圖形渲染還是運(yùn)行大型軟件,新款Mac Studio都能游刃有余。

新款Mac Studio提供了M4 Max和M3 Ultra兩種芯片版本供用戶選擇。其中,M4 Max型號(hào)的起售價(jià)為16499元,而搭載M3 Ultra芯片的型號(hào)起售價(jià)則為32999元。M3 Ultra版本的Mac Studio最低配備96GB的統(tǒng)一內(nèi)存,最高選配512GB。此外,新款Mac Studio還支持最高達(dá)16TB的固態(tài)硬盤選配。

Mac Studio以強(qiáng)大的性能和滿血內(nèi)存,其頂配版本可以直接在本地運(yùn)行deepseek R1671B滿血版大模型。當(dāng)然其價(jià)格高達(dá)108749元。

蘋果表示,M3 Ultra是迄今最強(qiáng)大的Apple芯片,由兩塊芯片強(qiáng)強(qiáng)合體,帶來(lái)雙倍的中央處理器、圖形處理器、神經(jīng)網(wǎng)絡(luò)引擎和內(nèi)存帶寬。性能表現(xiàn)突飛猛進(jìn),無(wú)論是處理龐大的數(shù)據(jù)集,還是同步進(jìn)行動(dòng)畫制作和 3D 場(chǎng)景渲染,各種極限任務(wù)都所向披靡。還有最高達(dá) 512GB 的統(tǒng)一內(nèi)存,運(yùn)行大語(yǔ)言模型 (LLM),僅憑內(nèi)存就足夠。

小結(jié):

AI PC支持百億級(jí)大模型,需要高性能CPU、GPU、NPU的支持,同時(shí)也需要大容量的存儲(chǔ),而一些廠商也開始推進(jìn)統(tǒng)一內(nèi)存架構(gòu)的使用。早前蘋果M系列芯片采用統(tǒng)一內(nèi)存架構(gòu),例如,iMac搭載 M4芯片,M4 芯片配備了最多 10 核中央處理器,包括 4 顆性能核心和最多 6 顆能效核心。支持最多 32GB 統(tǒng)一內(nèi)存,內(nèi)存帶寬也提升至 120Gb/s。

英特爾下一代 AI PC旗艦產(chǎn)品Lunar Lake 處理器也將內(nèi)存封裝在芯片之中,這種設(shè)計(jì)可顯著提升數(shù)據(jù)傳輸速度和系統(tǒng)響應(yīng)時(shí)間,有助于降低功耗,還能簡(jiǎn)化主板布局。

PC終端跑70B大模型能夠讓用戶體驗(yàn)更智能更豐富的AI功能,當(dāng)然成本也是一大因素,一旦到達(dá)合適的性價(jià)比,支持大參數(shù)量的AI PC會(huì)成為優(yōu)中之選。
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 算力
    +關(guān)注

    關(guān)注

    2

    文章

    1527

    瀏覽量

    16740
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3647

    瀏覽量

    5176
  • AI PC
    +關(guān)注

    關(guān)注

    0

    文章

    142

    瀏覽量

    719
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    AI PC芯片三強(qiáng)爭(zhēng)霸:NPU狂飆、1.8nm工藝時(shí)代降臨

    ,2025年大中華區(qū)32%的PC將具備AI能力,到2026年將達(dá)到一半的占比,約為46%。在此關(guān)鍵窗口期,高通、英特爾與AMD三大芯片巨頭相繼發(fā)布新一代AI PC處理器。 ? ?
    的頭像 發(fā)表于 01-12 09:17 ?1186次閱讀
    <b class='flag-5'>AI</b> <b class='flag-5'>PC</b>芯片三強(qiáng)爭(zhēng)霸:NPU<b class='flag-5'>算</b><b class='flag-5'>力</b><b class='flag-5'>狂飆</b>、1.8nm工藝時(shí)代降臨

    即電力:當(dāng)單機(jī)柜功率突破100kW,誰(shuí)在守護(hù)AI心臟的每一次跳動(dòng)?

    時(shí)間來(lái)到了2025年末,DeepSeek發(fā)布了最新的V3.2模型,今年可謂是AI狂飆的一年,從生成式
    的頭像 發(fā)表于 12-24 17:18 ?739次閱讀
    <b class='flag-5'>算</b><b class='flag-5'>力</b>即電力:當(dāng)單機(jī)柜功率突破100kW,誰(shuí)在守護(hù)<b class='flag-5'>AI</b>心臟的每一次跳動(dòng)?

    應(yīng)對(duì)端側(cè)AI、內(nèi)存、功耗“三堵墻”困境,安謀科技Arm China “周易”X3給出技術(shù)錦囊

    AI模型正加速?gòu)脑贫讼蜻吘壟c端側(cè)滲透,然而,、內(nèi)存、功耗等卻成了制約其規(guī)?;涞氐摹案邏Α薄?b class='flag-5'>A
    的頭像 發(fā)表于 12-18 13:45 ?401次閱讀
    應(yīng)對(duì)端側(cè)<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>、<b class='flag-5'>內(nèi)存</b>、功耗“三堵墻”困境,安謀科技Arm China “周易”X3給出技術(shù)錦囊

    湘軍,讓變成生產(chǎn)?

    腦極體
    發(fā)布于 :2025年11月25日 22:56:58

    國(guó)產(chǎn)AI芯片真能扛住“內(nèi)卷”?海思昇騰的這波操作藏了多少細(xì)節(jié)?

    最近行業(yè)都在說(shuō)“AI的命門”,但國(guó)產(chǎn)芯片真的能接住這波需求嗎? 前陣子接觸到海思昇騰910B,實(shí)測(cè)下來(lái)有點(diǎn)超出預(yù)期——7nm工藝下
    發(fā)表于 10-27 13:12

    什么是AI模組?

    未來(lái),騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動(dòng)AI邊緣計(jì)算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷演進(jìn)和物聯(lián)網(wǎng)應(yīng)用的持續(xù)拓展,騰視科技的
    的頭像 發(fā)表于 09-19 15:26 ?1678次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    什么是AI模組?

    未來(lái),騰視科技將繼續(xù)深耕AI模組領(lǐng)域,全力推動(dòng)AI邊緣計(jì)算行業(yè)的深度發(fā)展。隨著AI技術(shù)的不斷演進(jìn)和物聯(lián)網(wǎng)應(yīng)用的持續(xù)拓展,騰視科技的
    的頭像 發(fā)表于 09-19 15:25 ?807次閱讀
    什么是<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>模組?

    英特爾可變顯存技術(shù)讓32GB內(nèi)存筆記本流暢運(yùn)行Qwen 30B模型

    ,從而更加流暢地運(yùn)行這兩款大模型,為本地部署注入新活力的同時(shí),帶來(lái)“更聰明”的AI應(yīng)用體驗(yàn)。AI PC智能助手Flowy AI率先實(shí)現(xiàn)了這兩
    的頭像 發(fā)表于 08-14 15:39 ?1631次閱讀

    科技上線赤兔推理引擎服務(wù),創(chuàng)新解鎖FP8大模型

    模型輕量化部署方案。用戶通過(guò)遠(yuǎn)程平臺(tái)預(yù)置的模型鏡像與AI工具,僅需50%的GPU
    的頭像 發(fā)表于 07-30 21:44 ?901次閱讀

    后摩智能發(fā)布全新端邊大模型AI芯片

    ,就能讓PC、智能語(yǔ)音設(shè)備、機(jī)器人等智能移動(dòng)終端高效運(yùn)行1.5B70B 參數(shù)的本地大模型,真正實(shí)現(xiàn)了"高
    的頭像 發(fā)表于 07-26 16:09 ?1545次閱讀

    一文看懂AI集群

    最近這幾年,AI浪潮席卷全球,成為整個(gè)社會(huì)的關(guān)注焦點(diǎn)。大家在討論AI的時(shí)候,經(jīng)常會(huì)提到AI集群。AI
    的頭像 發(fā)表于 07-23 12:18 ?1595次閱讀
    一文看懂<b class='flag-5'>AI</b><b class='flag-5'>算</b><b class='flag-5'>力</b>集群

    157 TOPS !AIO-OrinNX 主板助力邊緣 AI 應(yīng)用

    Firefly最新推出NVIDlAJetsonOrin主板,搭載JetsonOrin系列核心模組,最高可達(dá)157TOPS,支持大模型私有化部署,為邊緣
    的頭像 發(fā)表于 04-02 16:33 ?3356次閱讀
    157 TOPS <b class='flag-5'>算</b><b class='flag-5'>力</b>!AIO-OrinNX 主板助力邊緣 <b class='flag-5'>AI</b> 應(yīng)用

    DeepSeek推動(dòng)AI需求:800G光模塊的關(guān)鍵作用

    隨著人工智能技術(shù)的飛速發(fā)展,AI需求正以前所未有的速度增長(zhǎng)。DeepSeek等大模型的訓(xùn)練與推理任務(wù)對(duì)
    發(fā)表于 03-25 12:00

    接棒,慧榮科技以主控技術(shù)突破AI存儲(chǔ)極限

    電子發(fā)燒友網(wǎng)報(bào)道(文/黃山明)在AI的高速增長(zhǎng)下,尤其是以DeepSeek為代表的AI模型推動(dòng)存儲(chǔ)需求激增,增長(zhǎng)倒逼存
    的頭像 發(fā)表于 03-19 01:29 ?2809次閱讀
    存<b class='flag-5'>力</b>接棒<b class='flag-5'>算</b><b class='flag-5'>力</b>,慧榮科技以主控技術(shù)突破<b class='flag-5'>AI</b>存儲(chǔ)極限