91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內(nèi)不再提示

Deepseek R1在樹莓派5上的真實表現(xiàn)...

上海晶珩電子科技有限公司 ? 2025-03-24 14:51 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近期科技圈對Deepseek R1的熱度持續(xù)升溫。這款AI模型是否真的如傳聞中那般神奇?讓我通過Raspberry Pi實測帶您一探究竟。

自DeepSeek AI發(fā)布以來,科技媒體圈就掀起了一場風暴。這款模型不斷打破性能基準測試記錄,儼然已成為AI創(chuàng)新領域的標桿。

718d3898-087c-11f0-9434-92fbcf53809c.jpg

DeepSeek與OpenAI基準對比 | 來源:Brian Roemmele

最近我在X平臺偶然看到有人聲稱在Raspberry Pi上以200 token/秒的速度運行Deepseek。

719c8604-087c-11f0-9434-92fbcf53809c.jpg

這讓我瞬間懷疑人生:"什么鬼?!"

仔細研究整個討論串后發(fā)現(xiàn),該用戶是通過在Raspberry Pi上疊加AI加速模塊才達成的成績。但好奇心驅使我決定挑戰(zhàn)極限:在沒有額外硬件的情況下,用原生Raspberry Pi 5(8GB版)測試Deepseek的真實性能。

71c0319e-087c-11f0-9434-92fbcf53809c.png

因此,為了這篇文章,我在我的Raspberry Pi 5(8GB內(nèi)存型號)上安裝了Ollama,并下載了具有不同參數(shù)(即15B、70B、80B和140B參數(shù))的Deepseek模型。

Ollama:

https://ollama.com/

Deepseek模型:

https://ollama.com/library/deepseek-r1

以下是每個模型的性能表現(xiàn):

Deepseek 1.5B

71cb1ff0-087c-11f0-9434-92fbcf53809c.jpg

這個模型反應迅速。它出乎意料地靈敏,能夠輕松處理改寫任務。我沒有遇到任何幻覺(生成不符合邏輯或上下文的內(nèi)容)問題,這使其成為日常任務(如摘要生成和文本生成)的理想選擇。


性能數(shù)據(jù)

為了進一步測試其能力,我提出了一個問題:Podman和Docker有什么區(qū)別?

模型給出了相當不錯的回答,清晰地闡述了這兩種容器化工具之間的區(qū)別。它強調(diào)了Podman是無守護進程的,而Docker依賴于守護進程,并涉及了無根操作等安全方面。

這個回答花了大約兩分鐘,以下是性能數(shù)據(jù):

總時長:1m33.59302487s加載時長:44.322672ms提示評估次數(shù):13個tokens提示評估時長:985ms提示評估速率:13.20個tokens/s評估次數(shù):855個tokens評估時長:1m32.562s評估速率:9.24個tokens/s

Deepseek 7B

71df4a8e-087c-11f0-9434-92fbcf53809c.jpg

7B模型引入了一定程度的幻覺。我嘗試編寫一個創(chuàng)意提示,要求生成三首俳句,但它開始生成無盡的文本,甚至自己問自己問題!

雖然很有趣,但并不實用。為了基準測試的目的,我簡化了提示,如視頻所示。在性能方面,它更慢,但仍然可用。


性能數(shù)據(jù)

為了進一步測試,我問:Docker Compose和Docker Run有什么區(qū)別?回答是準確信息和不準確信息的混合體。

它正確地解釋了Docker Compose通過docker-compose.yml文件用于管理多容器應用程序,而Docker Run通常用于使用特定標志運行單個容器。

然而,它很快就開始自己問問題,比如“但是,對于一個單應用,比如單臺機器上的簡單Flask應用,Docker Run可能就足夠了?還是有其他命令或方法?”

以下是性能數(shù)據(jù):

總時長:4m20.665430872s加載時長:39.565944ms提示評估次數(shù):11個token(s)提示評估時長:3.256s提示評估速率:3.38個token/秒評估次數(shù):517個token評估時長:4m17.368s評估速率:2.01個token/秒

Deepseek 8B

7208bf22-087c-11f0-9434-92fbcf53809c.png

這是一個變數(shù)??紤]到這些模型對資源的巨大需求,我沒想到8B模型能運行起來。令我驚訝的是,它竟然成功了!

性能與7B模型相當,既不快,也不是特別靈敏,但在沒有任何額外硬件的Raspberry Pi上運行一個8B模型,在我看來就是勝利。


性能數(shù)據(jù)

我通過提問“編寫一個HTML模板和CSS模板”來測試它。模型成功地在單個代碼塊中生成了一個功能性的HTML和CSS模板,并確保它們整齊地配對。

然而,在跳到解決方案之前,模型解釋了它的方法、它將要做什么以及還可以添加什么。

雖然這提供了信息,但對于一個直接的查詢來說,這感覺是不必要的。如果我更精確地構造提示,回答可能會更直接(即用戶錯誤)。

以下是性能數(shù)據(jù):

總時長:6m53.350371838s加載時長:44.410437ms提示評估次數(shù):13個 token(s)提示評估時長:4.99s提示評估速率:2.61個tokens/s評估次數(shù):826個token評估時長:6m48.314s評估速率:2.02個tokens/s

Deepseek 14B?

7221aeba-087c-11f0-9434-92fbcf53809c.jpg

不幸的是,這并沒有成功。14B模型需要超過10GB的內(nèi)存,而我的8GB Raspberry Pi無法處理。在8B模型成功后,我充滿希望,但現(xiàn)實給了我一擊。

結論

DeepSeek在Raspberry Pi 5上的原始性能展示了單板計算機(SBC)在處理AI工作負載方面的巨大潛力。

1.5B模型是輕量級任務的實際選擇,而7B和8B模型則展示了Raspberry Pi處理更大工作負載的能力,盡管速度較慢。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 樹莓派
    +關注

    關注

    122

    文章

    2078

    瀏覽量

    110461
  • DeepSeek
    +關注

    關注

    2

    文章

    835

    瀏覽量

    3258
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關推薦
    熱點推薦

    DeepSeek R1 MTPTensorRT-LLM中的實現(xiàn)與優(yōu)化

    TensorRT-LLM NVIDIA Blackwell GPU 創(chuàng)下了 DeepSeek-R1 推理性能的世界紀錄,Multi-Token Prediction (MTP) 實現(xiàn)了大幅提速
    的頭像 發(fā)表于 08-30 15:47 ?4447次閱讀
    <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> MTP<b class='flag-5'>在</b>TensorRT-LLM中的實現(xiàn)與優(yōu)化

    樹莓Pico運用不同的并行化手段

    樹莓Pico由RP2040微控制器驅動,其搭載兩個CPU核,這讓它非常適合探索并行計算。本文通過真實的數(shù)字信號處理樣例來說明從雙核架構中提取最大價值的方法和考量。
    的頭像 發(fā)表于 08-29 09:51 ?3873次閱讀
    <b class='flag-5'>在</b><b class='flag-5'>樹莓</b><b class='flag-5'>派</b>Pico<b class='flag-5'>上</b>運用不同的并行化手段

    如何在NVIDIA Blackwell GPU優(yōu)化DeepSeek R1吞吐量

    開源 DeepSeek R1 模型的創(chuàng)新架構包含多頭潛在注意力機制 (MLA) 和大型稀疏混合專家模型 (MoE),其顯著提升了大語言模型 (LLM) 的推理效率。
    的頭像 發(fā)表于 08-12 15:19 ?4263次閱讀
    如何在NVIDIA Blackwell GPU<b class='flag-5'>上</b>優(yōu)化<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>吞吐量

    速看!EASY-EAI教你離線部署Deepseek R1大模型

    和自然語言推理等復雜任務。作為國產(chǎn)AI大數(shù)據(jù)模型的代表,憑借其卓越的推理能力和高效的文本生成技術,全球人工智能領域引發(fā)廣泛關注。本文主要說明DeepSeek-R1
    的頭像 發(fā)表于 07-25 15:22 ?1372次閱讀
    速看!EASY-EAI教你離線部署<b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大模型

    樹莓5開啟YOLO姿態(tài)估計識別之旅!

    大家好,接下來會為大家開一個樹莓5和YOLO的連載文章。內(nèi)容包括四個部分:樹莓
    的頭像 發(fā)表于 07-18 15:31 ?2491次閱讀
    <b class='flag-5'>在</b><b class='flag-5'>樹莓</b><b class='flag-5'>派</b><b class='flag-5'>5</b><b class='flag-5'>上</b>開啟YOLO姿態(tài)估計識別之旅!

    樹莓5使用YOLO進行物體和動物識別-入門指南

    大家好,接下來會為大家開一個樹莓5和YOLO的專題。內(nèi)容包括四個部分:樹莓
    的頭像 發(fā)表于 07-17 17:16 ?2045次閱讀
    <b class='flag-5'>在</b><b class='flag-5'>樹莓</b><b class='flag-5'>派</b><b class='flag-5'>5</b><b class='flag-5'>上</b>使用YOLO進行物體和動物識別-入門指南

    樹莓分類器:用樹莓識別不同型號的樹莓!

    對準樹莓4,屏幕上會顯示“RaspberryPi4”;對準樹莓Zero時顯示“RaspberryPiZero”,依此類推。組裝在樹莓
    的頭像 發(fā)表于 06-13 16:39 ?1301次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>分類器:用<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>識別不同型號的<b class='flag-5'>樹莓</b><b class='flag-5'>派</b>!

    DeepSeek開源新版R1 媲美OpenAI o3

    DeepSeek“悄悄”地又放了一個大招,DeepSeek開源了R1最新0528版本。盡管DeepSeek目前還沒有對該版本進行任何說明,但是根據(jù)著名代碼測試平臺Live CodeBe
    的頭像 發(fā)表于 05-29 11:23 ?1107次閱讀

    樹莓5樹莓4:深度對比與獨特優(yōu)勢!

    和專業(yè)人士都好奇它與前代產(chǎn)品樹莓4相比表現(xiàn)如何。本文將深入對比這兩款機型,突出它們的差異和獨特優(yōu)勢,幫助您做出明智的決策。1.處理器樹莓
    的頭像 發(fā)表于 05-21 13:15 ?2950次閱讀
    <b class='flag-5'>樹莓</b><b class='flag-5'>派</b><b class='flag-5'>5</b> 與 <b class='flag-5'>樹莓</b><b class='flag-5'>派</b>4:深度對比與獨特優(yōu)勢!

    瑞薩RZ/V2H平臺支持部署離線版DeepSeek -R1大語言模型

    瑞薩RZ/V2H平臺支持部署離線版DeepSeek -R1大語言模型
    的頭像 發(fā)表于 05-13 17:07 ?1639次閱讀
    瑞薩RZ/V2H平臺支持部署離線版<b class='flag-5'>DeepSeek</b> -<b class='flag-5'>R1</b>大語言模型

    ORinNano離線部署Deepseek R1大模型教程

    ORinNano離線部署Deepseek R1大模型教程
    的頭像 發(fā)表于 04-10 15:32 ?1345次閱讀
    ORinNano離線部署<b class='flag-5'>Deepseek</b> <b class='flag-5'>R1</b>大模型教程

    如何基于Android 14i.MX95 EVK運行Deepseek-R1-1.5B和性能

    本文檔總結了如何基于 Android 14 i.MX95 EVK 運行 Deepseek-R1-1.5B 和性能。 1. Install Android 14 on i.MX95
    發(fā)表于 04-04 06:59

    樹莓派上設置 DeepSeek R1:2025 年離線人工智能的未來

    概述《樹莓派上設置DeepSeekR1:2025年離線人工智能的未來》是一份前瞻性技術指南,聚焦中國AI初創(chuàng)公司DeepSeek于2023年底推出的開源模型DeepSeekR
    的頭像 發(fā)表于 03-25 09:20 ?1332次閱讀
    <b class='flag-5'>在</b><b class='flag-5'>樹莓</b>派上設置 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>:2025 年離線人工智能的未來

    4臺樹莓5跑動大模型!DeepSeek R1分布式實戰(zhàn)!

    樹莓5(8GB內(nèi)存)運行DeepSeekR1Distill8B模型,推理速度達6.43tokens/s,功耗僅20W!本文將深入解析:
    的頭像 發(fā)表于 03-24 14:50 ?1409次閱讀
    4臺<b class='flag-5'>樹莓</b><b class='flag-5'>派</b><b class='flag-5'>5</b>跑動大模型!<b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b>分布式實戰(zhàn)!

    顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 DeepSeek R1 32B 蒸餾模型體驗

    今年春節(jié)后,DeepSeek R1 風暴般地席卷全國,小到手機 App,大到新能源汽車,似乎一夜間所有產(chǎn)品都接入了 DeepSeek R1。不得不說
    的頭像 發(fā)表于 03-18 12:06 ?1979次閱讀
    顯存也能疊疊樂,雙 Intel Arc A770 顯卡低成本部署 <b class='flag-5'>DeepSeek</b> <b class='flag-5'>R1</b> 32B 蒸餾模型體驗