91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

DeepSeek沖擊(含本地化部署實(shí)踐)

京東云 ? 來(lái)源:京東零售 姜海 ? 作者:京東零售 姜海 ? 2025-02-23 17:10 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

作者:京東零售 姜海

DeepSeek無(wú)疑是春節(jié)檔最火爆的話題,上線不足一月,其全球累計(jì)下載量已達(dá)4000萬(wàn),反超ChatGPT成為全球增長(zhǎng)最快的AI應(yīng)用,并且完全開(kāi)源。那么究竟DeepSeek有什么魔力,能夠讓大家趨之若鶩,他又將怎樣改變世界AI格局和我們的生活,本篇文章將進(jìn)行簡(jiǎn)要解析。

DeepSeek與ChatGPT對(duì)比

說(shuō)到人工智能就不得不提OpenAI和ChatGPT,這是繞不開(kāi)的話題,要分析DeepSeek的實(shí)力,最簡(jiǎn)單的方式就是跟ChatGPT進(jìn)行對(duì)比。

模型分類

ChatGPT目前有兩種大模型,分別是面向普通用戶,解決日常應(yīng)用問(wèn)題的4-OMNI,以及面向?qū)I(yè)用戶,處理深度思考問(wèn)題的O1,DeepSeek與之對(duì)標(biāo)的分別是V3模型以及R1模型。

wKgZO2ezAOuAM9ILAACXlWslKmk151.png

??

實(shí)用效果

據(jù)我目前的使用體驗(yàn)下來(lái),DeepSeek的實(shí)際體驗(yàn)效果完全不輸ChatGPT,甚至在解決數(shù)學(xué)、物理和推理問(wèn)題方面表現(xiàn)出色,響應(yīng)速度比ChatGPT還要快,且能夠完整地展示其思考和給出答案的過(guò)程,例如最經(jīng)典的,讓絕大多數(shù)AI翻車的“1.11和1.9誰(shuí)大?”的問(wèn)題,ChatGPT給出的回答是:

wKgZPGezAOyAAFarAANhVNxyCC0965.png

??

前言不搭后語(yǔ),而反觀DeepSeek:

wKgZO2ezAO2AdA_0AASTOs27mLo034.png

??

wKgZPGezAO-AFkHPAAndToqudNU054.png

??

wKgZO2ezAPGAS2PgAAcv375GsrE685.png

??

wKgZPGezAPKAQAHNAAPTBSWyjrA412.png

??

可以看到DeepSeek不僅給出了正確答案,而且展示了詳細(xì)的解題思路,甚至有最后的驗(yàn)證。我也測(cè)試了許多其他的問(wèn)題,DeepSeek完全不拉垮,相對(duì)于ChatGPT,他在中文領(lǐng)域的問(wèn)題理解和處理更加到位,使用體驗(yàn)非常好。

這無(wú)疑也使得蘋果公司柳暗花明又一村,為彌補(bǔ)apple intelligence上在中國(guó)區(qū)無(wú)法使用ChatGPT提供了完美的解決方案。

成本

成本分為兩部分:硬件成本和訓(xùn)練成本。AI大模型構(gòu)建算法絕大部分都是基于公開(kāi)的論文,所以市場(chǎng)上的大模型,底層邏輯都大同小異,訓(xùn)練數(shù)據(jù)也來(lái)自于互聯(lián)網(wǎng),所以主要的成本體現(xiàn)在硬件上,也就是提供AI算力的芯片,自從AI大爆發(fā)以來(lái),大家的共識(shí)就是堆砌的芯片越多,大模型的表現(xiàn)就越優(yōu)秀。我先簡(jiǎn)單介紹一下為什么提升AI的性能就要堆砌大量的芯片。

AI算力的芯片領(lǐng)域是英偉達(dá)(Nvidia)一家獨(dú)大,芯片價(jià)格非常昂貴,目前該公司最先進(jìn)的B200芯片單張的價(jià)格就高達(dá)4萬(wàn)美金,而且對(duì)于AI公司來(lái)說(shuō)你還必須買,因?yàn)樾酒漠a(chǎn)能有限,如果你不搶就會(huì)被競(jìng)爭(zhēng)對(duì)手買走,導(dǎo)致你的大模型算力不如他的。

??

英偉達(dá)公司為自家的芯片研發(fā)了一種叫CUDA的核心的技術(shù),其全名叫做Compute Unified Device Architecture(統(tǒng)一計(jì)算設(shè)備架構(gòu))。

??

這是一種并行計(jì)算平臺(tái)和編程模型。開(kāi)發(fā)者通過(guò)它,可以間接利用GPU的處理能力,大幅提升計(jì)算性能。簡(jiǎn)單的說(shuō),CUDA核心就像是一間間的海水提純工廠,它可以把如海洋般的GPU算力轉(zhuǎn)換成AI開(kāi)發(fā)者可以直接使用的AI算力,越多的CUDA核心數(shù)量就意味著更大的AI算力。

wKgZO2ezAPaAdVvMAABsuYXKCoY695.png

??

這也就是為什么AI行業(yè)越發(fā)展,芯片的需求量越大,英偉達(dá)的市值就越高。美國(guó)也多次通過(guò)英偉達(dá)“鎖算力”以及限制芯片出口,阻礙中國(guó)的AI發(fā)展。AI行業(yè)的發(fā)展被一家公司扼住喉嚨的現(xiàn)象顯然極度不合理,英偉達(dá)可謂是真正的萬(wàn)惡之源。

OpenAI不受限制,所以囤積了大量的英偉達(dá)芯片,訓(xùn)練ChatGPT據(jù)傳用到了5萬(wàn)張英偉達(dá)的芯片,而DeepSeek作為中國(guó)公司,在這方面相比自然相去甚遠(yuǎn)。

DeepSeek沖擊

由于CUDA技術(shù)被英偉達(dá)牢牢掌握,所以間接提高了所有AI大模型的使用成本,阻礙了AI的發(fā)展。以ChatGPT為例,4-OMNI和O1兩個(gè)大模型的研發(fā)成本高達(dá)數(shù)十億美金,免費(fèi)用戶使用有諸多限制,付費(fèi)用戶每月20美金,專業(yè)用戶每月200美金,如果企業(yè)想要接入OpenAI的人工智能服務(wù),調(diào)用API做客服等用途,則更是按字符收費(fèi),雖然比人工客服省錢,但也是一筆不小的開(kāi)銷。這些收入中,絕大多數(shù)都是用來(lái)平衡購(gòu)買芯片帶來(lái)的巨大成本。

DeepSeek之所以引起全球矚目,就是因?yàn)樗凇靶酒笔芟薜那疤嵯?,達(dá)到了與ChatGPT近似的使用體驗(yàn),甚至在某些領(lǐng)域還遠(yuǎn)遠(yuǎn)超過(guò)了。OpenAI和它的母公司微軟囤積了大量的高端芯片,而DeepSeek手里的芯片,不論從數(shù)量還是質(zhì)量上都不占優(yōu)勢(shì),甚至可以說(shuō)遠(yuǎn)遠(yuǎn)落后。

在深度解析DeepSeek開(kāi)源的模型代碼之后,研究人員發(fā)現(xiàn),DeepSeek之所以能夠絕地反擊,秘訣就在于他繞過(guò)了CUDA核心的限制,使用了完全創(chuàng)新的技術(shù)訓(xùn)練大模型,直接利用英偉達(dá)的底層技術(shù)調(diào)用了GPU的算力,相當(dāng)于能直接使用如大海般的GPU資源,所以才能使用低端的芯片,在極短的時(shí)間內(nèi)完成了模型的訓(xùn)練,達(dá)到了與ChatGPT近似的效果。

而且此技術(shù)成功解除了AI模型對(duì)英偉達(dá)芯片的依賴,使DeepSeek可以使用華為的芯片進(jìn)行訓(xùn)練。DeepSeek服務(wù)調(diào)用的費(fèi)用只有ChatGPT的十分之一,具有非常高的性價(jià)比和廣闊的應(yīng)用前景。

整體來(lái)說(shuō),DeepSeek用了很少的錢,很低端的工具,就把美國(guó)投入上百億美元的事給辦了。自從DeepSeek爆火之后,市場(chǎng)普遍認(rèn)為英偉達(dá)的芯片估值過(guò)高,要實(shí)現(xiàn)高性能的AI并不需要如此之貴的芯片,最高端的芯片也并不值那個(gè)價(jià)錢,這直接導(dǎo)致英偉達(dá)的股價(jià)當(dāng)天就暴跌17%,創(chuàng)造了美國(guó)股市歷史上單日最大跌幅,截至目前英偉達(dá)市值蒸發(fā)近6000億美元。

技術(shù)曝光的第二天,英偉達(dá),微軟和亞馬遜的計(jì)算平臺(tái)都宣布接入DeepSeek模型,堪稱AI界的“斯普特尼克時(shí)刻”,就如同當(dāng)年蘇聯(lián)率先成功發(fā)射人造衛(wèi)星時(shí)一樣,讓一直以為自己在技術(shù)上遙遙領(lǐng)先的西方世界陷入了一片混亂,世界AI市場(chǎng)的格局就此改變。

本地化部署R1模型

DeepSeek雖然好,但是用過(guò)的同學(xué)都知道他有個(gè)致命的問(wèn)題,就是萬(wàn)惡的資本主義經(jīng)常組織針對(duì)DeepSeek的網(wǎng)絡(luò)攻擊,導(dǎo)致使用時(shí)出現(xiàn)“服務(wù)器繁忙的問(wèn)題”。

wKgZPGezAPeABW52AARKlF2SftM305.png

??

為了避免被攻擊,降低延遲和卡頓,規(guī)避共享敏感信息的風(fēng)險(xiǎn),同時(shí)更靈活的進(jìn)行微調(diào)和實(shí)驗(yàn),我們可以把R1模型部署到本地。

安裝Ollama

首先登陸Ollama官網(wǎng):https://ollama.com/。打開(kāi)官網(wǎng),然后點(diǎn)擊下載,之后安裝到本地。

wKgZO2ezAPiAXVJiAACTbXuyAwc842.png

??

拉取 DeepSeek R1 模型

然后打開(kāi)Ollama 的模型列表: https://ollama.com/library/deepseek-r1 ,搜索到DeepSeek R1:

wKgZPGezAPmAdzfVAAEdWGRNCNY902.png

??

顯卡需求

各個(gè)模型版本需求的顯卡檔次大致如下表

模型(DeepSeek-R1) 顯卡檔次 顯存需求
1.5b GTX1050以上 1GB
7b RTX2050、RTX3060以上 4GB
8b RTX2060、RTX3070以上 5GB
14b RTX3080、RTX4070以上 8GB
32b RTX4080以上 18GB
70b RTX4090、RTX5080以上 36GB以上

我們普通的電腦安裝1.5B,7B就可以使用,然后在【右上角的的代碼】復(fù)制,打開(kāi)終端,輸入上述下載命令回車后,會(huì)出現(xiàn)模型下載進(jìn)度,當(dāng)進(jìn)度為100%就說(shuō)明該模型已經(jīng)下載到本地了。

wKgZO2ezAPmADz8nAAIBdz__0bk269.jpg

??

輸入ollama list可以查看安裝的模型。

wKgZPGezAPqAQRA7AABUBBuJwr0258.png

??

此時(shí)已經(jīng)可以在控制臺(tái)使用R1模型進(jìn)行問(wèn)答了。

包裝GUI

只能在命令行中使用既不美觀也特別的不方便,所以我們可以使用現(xiàn)成的GUI進(jìn)行包裝,相當(dāng)于包上圖形用戶界面。這里以Cherry Studio為例,下載對(duì)應(yīng)版本后打開(kāi)。

wKgZO2ezAPuAQGjeAAFi4f4lLlQ087.png

??

在設(shè)置中選擇模型服務(wù),選中Ollama

wKgZPGezAPyAJd2aAAOyONZJHtY190.png

??

填入對(duì)應(yīng)的本地模型信息:

wKgZO2ezAP2AD7qHAAEZADTcpQs658.png

??

然后就可以使用了!希望本篇文章能夠幫到大家!

審核編輯 黃宇

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    3661

    瀏覽量

    5197
  • DeepSeek
    +關(guān)注

    關(guān)注

    2

    文章

    836

    瀏覽量

    3284
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    如何在ZYNQ本地部署DeepSeek模型

    一個(gè)將最小號(hào) DeepSeek 模型部署到 AMD Zynq UltraScale+ MPSoC 處理系統(tǒng)的項(xiàng)目。
    的頭像 發(fā)表于 12-19 15:43 ?7596次閱讀
    如何在ZYNQ<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>模型

    發(fā)布元服務(wù)配置本地化基礎(chǔ)信息(應(yīng)用名稱、圖標(biāo))

    您可以添加元服務(wù)支持的語(yǔ)言,并配置對(duì)應(yīng)語(yǔ)言的本地化信息。 例如,當(dāng)您設(shè)置簡(jiǎn)體中文為默認(rèn)語(yǔ)言,并且只配置中文的本地化信息,那么元服務(wù)在所有設(shè)置的發(fā)布國(guó)家或地區(qū)的信息都將顯示中文。如果您還設(shè)置了英文
    發(fā)表于 10-24 17:42

    DeepSeek模型如何在云服務(wù)器上部署

    隨著大型語(yǔ)言模型(LLM)的應(yīng)用日益普及,許多開(kāi)發(fā)者和企業(yè)希望將像DeepSeek這樣的優(yōu)秀模型部署到自己的云服務(wù)器上,以實(shí)現(xiàn)私有、定制服務(wù)并保障數(shù)據(jù)安全。本文將詳細(xì)闡述
    的頭像 發(fā)表于 10-13 16:52 ?957次閱讀

    本地部署openWebUI + ollama+DeepSeek 打造智能知識(shí)庫(kù)并實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)

    。 DeepSeek 作為一個(gè)開(kāi)源的大語(yǔ)言模型,我們可以通過(guò) ZeroNews + openWebUI + ollama的方式,輕松的在本地私有部署
    的頭像 發(fā)表于 09-10 16:41 ?5404次閱讀
    <b class='flag-5'>本地</b><b class='flag-5'>部署</b>openWebUI + ollama+<b class='flag-5'>DeepSeek</b> 打造智能知識(shí)庫(kù)并實(shí)現(xiàn)遠(yuǎn)程訪問(wèn)

    能源監(jiān)測(cè)管理平臺(tái)是本地化部署好還是云端部署好?

    能源監(jiān)測(cè)管理平臺(tái)本地化部署和云端部署各有優(yōu)劣,企業(yè)需根據(jù)自身需求和實(shí)際情況來(lái)選擇。如果企業(yè)對(duì)數(shù)據(jù)安全要求極高、網(wǎng)絡(luò)環(huán)境特殊且預(yù)算充足,本地化部署
    的頭像 發(fā)表于 07-22 15:16 ?552次閱讀
    能源監(jiān)測(cè)管理平臺(tái)是<b class='flag-5'>本地化</b><b class='flag-5'>部署</b>好還是云端<b class='flag-5'>部署</b>好?

    ElfBoard技術(shù)實(shí)戰(zhàn)|ELF 2開(kāi)發(fā)板本地部署DeepSeek大模型的完整指南

    ELF 2開(kāi)發(fā)板本地部署DeepSeek大模型的完整指南
    的頭像 發(fā)表于 05-16 11:13 ?2581次閱讀
    ElfBoard技術(shù)實(shí)戰(zhàn)|ELF 2開(kāi)發(fā)板<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>大模型的完整指南

    誠(chéng)邁信創(chuàng)電腦實(shí)現(xiàn)本地部署DeepSeek,開(kāi)啟智慧辦公新體驗(yàn)

    近期,中國(guó)人工智能平臺(tái)深度求索(DeepSeek)迅速走紅,成為當(dāng)下熱門的AI應(yīng)用之一,在國(guó)內(nèi)外引發(fā)了廣泛的關(guān)注。目前,誠(chéng)邁信創(chuàng)電腦和望龍電腦已實(shí)現(xiàn)本地部署DeepSeek平臺(tái),能夠?yàn)?/div>
    的頭像 發(fā)表于 04-21 15:26 ?923次閱讀
    誠(chéng)邁信創(chuàng)電腦實(shí)現(xiàn)<b class='flag-5'>本地</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>,開(kāi)啟智慧辦公新體驗(yàn)

    DeepSeek R1模型本地部署與產(chǎn)品接入實(shí)操

    針對(duì)VS680/SL1680系列大算力芯片,我們的研發(fā)團(tuán)隊(duì)正在研究將蒸餾后的輕量級(jí)DeepSeek模型(DeepSeek-R1-Distill-Qwen-1.5B)部署到SOC本地,以
    的頭像 發(fā)表于 04-19 16:32 ?781次閱讀
    <b class='flag-5'>DeepSeek</b> R1模型<b class='flag-5'>本地</b><b class='flag-5'>部署</b>與產(chǎn)品接入實(shí)操

    軟通動(dòng)力助力黑龍江大學(xué)完成DeepSeek大模型本地化部署

    DeepSeek作為新一代人工智能技術(shù),憑借其強(qiáng)大的數(shù)據(jù)處理能力和深度學(xué)習(xí)算法為教育提供了新解法,使 AI+教育產(chǎn)業(yè)迸發(fā)更大生機(jī)。緊隨行業(yè)趨勢(shì),黑龍江大學(xué)經(jīng)濟(jì)與工商管理學(xué)院基于軟通動(dòng)力AI+DeepSeek大模型一體機(jī)實(shí)現(xiàn)數(shù)據(jù)監(jiān)測(cè)、政策分析、決策跟蹤等,共同打造高校智能
    的頭像 發(fā)表于 04-03 15:20 ?1118次閱讀

    AI筑基,智領(lǐng)未來(lái) | DeepSeek-R1本地大模型賦能邁威通信智能轉(zhuǎn)型

    在人工智能技術(shù)迅猛發(fā)展的浪潮中,邁威通信始終秉承創(chuàng)新驅(qū)動(dòng)發(fā)展的理念,積極探索AI技術(shù)在企業(yè)級(jí)場(chǎng)景中的深度應(yīng)用。近日,公司成功完成基于DeepSeek-R1大模型的本地化部署,標(biāo)志著其在AI技術(shù)自主研發(fā)與落地
    的頭像 發(fā)表于 03-26 10:26 ?1051次閱讀
    AI筑基,智領(lǐng)未來(lái) | <b class='flag-5'>DeepSeek</b>-R1<b class='flag-5'>本地</b>大模型賦能邁威通信智能<b class='flag-5'>化</b>轉(zhuǎn)型

    兆瀚DeepSeek一體機(jī)全新升級(jí):內(nèi)置Agent開(kāi)發(fā)平臺(tái),加速行業(yè)AI應(yīng)用落地

    平臺(tái)-基線產(chǎn)品-行業(yè)應(yīng)用”四位一體的大模型落地方案,打通大模型本地化部署到行業(yè)應(yīng)用的“最后一公里”。作為DeepSeek本地化部署的“最優(yōu)解
    的頭像 發(fā)表于 03-25 17:48 ?1489次閱讀
    兆瀚<b class='flag-5'>DeepSeek</b>一體機(jī)全新升級(jí):內(nèi)置Agent開(kāi)發(fā)平臺(tái),加速行業(yè)AI應(yīng)用落地

    【幸狐Omni3576邊緣計(jì)算套件試用體驗(yàn)】DeepSeek 部署及測(cè)試

    【幸狐 Omni3576 邊緣計(jì)算套件測(cè)評(píng)】DeepSeek 部署及測(cè)試 本文介紹了幸狐 Omni3576 邊緣計(jì)算套件實(shí)現(xiàn) DeepSeek 部署及測(cè)試的相關(guān)流程,包括模型介紹、
    發(fā)表于 03-21 19:31

    博實(shí)結(jié)完成DeepSeek大模型本地化部署

    近日,公司完成DeepSeek R1 671B大模型本地化部署。通過(guò)構(gòu)建自主可控的AI基礎(chǔ)設(shè)施,公司同步實(shí)現(xiàn)研發(fā)智能升級(jí)、研發(fā)成本重構(gòu)、數(shù)據(jù)安全閉環(huán)與應(yīng)用場(chǎng)景突破,為產(chǎn)業(yè)智能賦能。
    的頭像 發(fā)表于 03-19 16:31 ?1346次閱讀

    依托raksmart服務(wù)器在多種系統(tǒng)上本地部署deepseek注意事項(xiàng)

    在RAKsmart服務(wù)器上本地部署DeepSeek時(shí),需根據(jù)不同的操作系統(tǒng)和環(huán)境做好全面適配。以下是關(guān)鍵注意事項(xiàng)及分步指南,主機(jī)推薦小編為您整理發(fā)布依托raksmart服務(wù)器在多種系統(tǒng)上本地
    的頭像 發(fā)表于 03-19 11:25 ?914次閱讀

    RT-Thread虛擬部署DeepSeek大模型實(shí)踐

    Cortex-A55,8GBLPDDR4),通過(guò)虛擬技術(shù)實(shí)現(xiàn)虛擬Linux+RTOS混合部署,并在Linux環(huán)境中部署輕量化大語(yǔ)言模型DeepS
    的頭像 發(fā)表于 03-12 18:38 ?1304次閱讀
    RT-Thread虛擬<b class='flag-5'>化</b><b class='flag-5'>部署</b><b class='flag-5'>DeepSeek</b>大模型<b class='flag-5'>實(shí)踐</b>