2025年蛇年春節(jié)，DeepSeek強(qiáng)勢出圈，以十分之一的訓(xùn)練成本比肩OpenAI GPT-4o的性能，重塑AI世界新秩序。DeepSeek向全世界開源，為全球的數(shù)據(jù)科學(xué)家、AI愛好者乃至中小開發(fā)者開辟了一條通往前沿技術(shù)的道路。

DeepSeek是一款集成多種AI技術(shù)的開發(fā)平臺(tái)，旨在為用戶提供高效、便捷的AI模型訓(xùn)練、部署和應(yīng)用服務(wù)。它支持自然語言處理（NLP）、計(jì)算機(jī)視覺（CV）、語音識(shí)別等多個(gè)領(lǐng)域的任務(wù)，還提供豐富的預(yù)訓(xùn)練模型和工具，幫助用戶快速構(gòu)建和優(yōu)化AI應(yīng)用。

DeepSeek點(diǎn)燃了AI應(yīng)用。今天，我們就給大家分享如何利用手中的設(shè)備運(yùn)行Deepseek。我們所采用的設(shè)備是OrangePi AI Studio。

OrangePi AI Studio：高算力人工智能算力卡

OrangePi AI Studio采用昇騰AI技術(shù)路線，融合“ARM core，AI core，Vector core，Image core”于一體，提供“基礎(chǔ)通用算力+超強(qiáng)AI算力+編解碼核心”，充分滿足推訓(xùn)一體AI任務(wù)需求，擁有48GB /96GB LPDDR4X，速率高達(dá)4266Mbps。

OrangePi AI Studio匯聚了Type-C(USB4.0)、電源接口、電源按鍵、LED指示燈等，可廣泛應(yīng)用于OCR識(shí)別、目標(biāo)識(shí)別、人臉識(shí)別、搜索推薦、大模型多模態(tài)、內(nèi)容審核、VR智能、數(shù)字醫(yī)療、物聯(lián)網(wǎng)等諸多AI應(yīng)用場景。

OrangePi AI Studio當(dāng)前支持Ubuntu22.04.5、內(nèi)核linux5.15.0.126，即將支持Windows，滿足市場對(duì)于算力的強(qiáng)烈需求，降低用戶的學(xué)習(xí)成本、開發(fā)成本和運(yùn)營成本。

實(shí)操指南：OrangePi AI Studio運(yùn)行Deepseek

1.1硬件連接

使用USB4數(shù)據(jù)線連接opi ai studio和Ubuntu PC。開啟Ubuntu PC，參考用戶手冊(cè)中驅(qū)動(dòng)安裝步驟安裝驅(qū)動(dòng)。

正確連接opi ai studio和pc后，在pc開機(jī)狀態(tài)下，左右兩側(cè)指示燈常亮，中間指示燈閃爍。

1.2下載docker鏡像

1）首先在Ubuntu電腦中安裝下docker軟件，安裝完docker后如果使用docker -v命令能看到版本號(hào)說明安裝成功。

#apt update

#apt install -y docker.io

#docker -v

2）打開下面的鏈接，再點(diǎn)擊ATB-Models下載選項(xiàng)：

https://www.hiascend.com/developer/download/community/result?module=ie%2Bpt%2Bcann

3）然后點(diǎn)擊鏡像版本中的1.0.0-300I-Duo-py311-openeuler24.03-lts對(duì)應(yīng)的下載選項(xiàng)。

4）點(diǎn)擊1.0.0-300I-Duo-py311-openeuler24.03-lts右側(cè)的立即下載后會(huì)顯示下面的安裝步驟：

a)使用root用戶運(yùn)行下面的命令獲取登錄訪問權(quán)限，然后輸入密碼登錄。不同賬號(hào)看到的下載地址是不一樣的，按照實(shí)際獲取的信息填寫。

#docker login -u cn-south-1@ADW7CJ164S04NRFEELZP swr.cn-south-1.myhuaweicloud.com

Password:

WARNING! Your password will be stored unencrypted in /root/.docker/config.json.

Configure a credential helper to remove this warning. See

https://docs.docker.com/engine/reference/commandline/login/#credential-stores

Login Succeeded

b)然后下載鏡像即可。

#docker pull swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie:1.0.0-300I-Duo-py311-openeuler24.03-lts

c)下載好的鏡像如下所示：

#docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie 1.0.0-300I-Duo-py311-openeuler24.03-lts 74a5b9615370

3weeks ago 17.5GB

1.3 使用docker鏡像的方法

1)在任意位置創(chuàng)建一個(gè)名為start-docker.sh的啟動(dòng)腳本，內(nèi)容如下所示：

#vim start-docker.sh

IMAGES_ID=$1

NAME=$2

if [ $# -ne 2 ]; then

echo "error: need one argument describing your container name."

exit 1

fi

docker run --name ${NAME} -it -d --net=host --shm-size=500g \

--privileged=true \

-w /home \

--device=/dev/davinci_manager \

--device=/dev/hisi_hdc \

--device=/dev/devmm_svm \

--entrypoint=bash \

-v /models:/models \

-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \

-v /usr/local/dcmi:/usr/local/dcmi \

-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \

-v /usr/local/sbin:/usr/local/sbin \

-v /home:/home \

-v /tmp:/tmp \

-v /usr/share/zoneinfo/Asia/Shanghai:/etc/localtime \

-e http_proxy=$http_proxy \

-e https_proxy=$https_proxy \

${IMAGES_ID}

2)然后查看下docker鏡像的IMAGE ID。

#docker images

REPOSITORY TAG IMAGE ID CREATED SIZE

swr.cn-south-1.myhuaweicloud.com/ascendhub/mindie 1.0.0-300I-Duo-py311-openeuler24.03-lts 74a5b9615370

3weeks ago 17.5GB

3)然后依次執(zhí)行如下命令啟動(dòng)并進(jìn)入容器：

a.首先運(yùn)行start-docker.sh腳本創(chuàng)建運(yùn)行容器，此命令只需執(zhí)行一次。74a5b9615370是我們上一步中查詢到的docker鏡像ID，mindIE是我們自定義的容器名，可以自行更改，之后進(jìn)入docker容器的時(shí)候需要使用這個(gè)名字。

#chmod +xstart-docker.sh

#bash start-docker.sh74a5b9615370deepseek

b.然后運(yùn)行下面的命令進(jìn)入容器命令行。

#docker exec -itdeepseekbash

1.4 DeepSeek-R1-Distill-Qwen-14B

1)依次執(zhí)行下面的命令，下載DeepSeek-R1-Distill-Qwen-14B模型權(quán)重，將其放到/models目錄下。如無法下載可參考國內(nèi)模型網(wǎng)站使用方法一小節(jié)的方法通過國內(nèi)模型網(wǎng)站下載。

#mkdir /models

#cd /models

#apt install -y git-lfs

#git clone--depth=1https://deepseek-ai/DeepSeek-R1-Distill-Qwen-14B

2)如果是32GB或32GB以下內(nèi)存的電腦，需要加大內(nèi)存交換分區(qū)的大小，不然轉(zhuǎn)換權(quán)重和執(zhí)行推理程序時(shí)會(huì)由于內(nèi)存不夠而退出。這一步請(qǐng)?jiān)谖锢頇C(jī)上執(zhí)行，不支持在docker容器內(nèi)執(zhí)行。

#fallocate -l 64G /swap_model

#chmod 600 /swap_model

#mkswap /swap_model

#swapon /swap_model

#使用完成后可以使用下面的命令釋放空間

#swapoff /swap_model

#rm /swap_model

3)使用chown命令將/models/DeepSeek-R1-Distill-Qwen-14B目錄及其所有文件的所有者和組更改為root用戶和root組。

#chown root:root -R/models/DeepSeek-R1-Distill-Qwen-14B

4)推理DeepSeek-R1-Distill-Qwen-14B模型的命令如下所示：

#cd $ATB_SPEED_HOME_PATH

#torchrun --nproc_per_node 1 --master_port 20037 -m examples.run_pa --model_path /models/DeepSeek-R1-Distill-Qwen-14B/ --max_output_length 256

5)推理成功后，在輸出的最后，可以找到Question和Answer，結(jié)果如下所示：

6)純模型能夠正常推理后，我們修改mindie server配置。

#vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

"httpsEnabled" : false，

"npuDeviceIds" : [[0]],

"modelName" : "DeepSeek",

"modelWeightPath" : "/models/DeepSeek-R1-Distill-Qwen-14B",

"worldSize" :1,

7)我們需要先修改模型目錄下的config.json文件的權(quán)限為640，否則無法啟動(dòng)server服務(wù)。

#chmod 640/models/DeepSeek-R1-Distill-Qwen-14B/config.json

8)執(zhí)行以下命令啟動(dòng)MindIE Server服務(wù)，如果最后有如下的輸出，表示啟動(dòng)成功。。

#cd /usr/local/Ascend/mindie/latest/mindie-service/bin

#./mindieservice_daemon

......

Daemon start success!

9)接著拉取聊天機(jī)器人案例代碼。

#git clone https://gitee.com/toolsmanhehe/chat_robot.git

10)安裝依賴。

#cd chat_robot

#pip3 install -r requirements.txt -i https://mirrors.huaweicloud.com/repository/pypi/simple

11)啟動(dòng)聊天機(jī)器人demo程序。啟動(dòng)后，會(huì)打印如下信息，復(fù)制其中的url到瀏覽器打開。

a)首先程序會(huì)自動(dòng)查詢當(dāng)前設(shè)備上MindIE中運(yùn)行的模型信息，并打印出來。

b)如果提示暫不支持，請(qǐng)核對(duì)MindIE Server中的“modelName”字段。

c)然后等一會(huì)就會(huì)打印兩個(gè)ip地址。第一個(gè)url只能在啟動(dòng)主程序的電腦上訪問，第二個(gè)url可以通過和啟動(dòng)主程序的電腦同一網(wǎng)絡(luò)下的設(shè)備訪問。

# python3 main.py

檢測到mindie server中啟動(dòng)了DeepSeek模型。

* Serving Flask app 'main'

* Debug mode: off

WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.

* Running on all addresses (0.0.0.0)

* Running on http://127.0.0.1:5000

* Running on http://10.31.3.139:5000

Press CTRL+C to quit

12)瀏覽器打開上面的鏈接后我們可以看到下面這個(gè)頁面，左側(cè)提供了一些問題，點(diǎn)擊可以直接提問。

1.5 DeepSeek-R1-Distill-Qwen-1.5B

13)依次執(zhí)行下面的命令，下載DeepSeek-R1-Distill-Qwen-14B模型權(quán)重，將其放到/models目錄下。如無法下載可參考國內(nèi)模型網(wǎng)站使用方法一小節(jié)的方法通過國內(nèi)模型網(wǎng)站下載。

#mkdir /models

#cd /models

#apt install -y git-lfs

#git clone--depth=1https://deepseek-ai/DeepSeek-R1-Distill-Qwen-1.5B

14)如果是32GB或32GB以下內(nèi)存的電腦，需要加大內(nèi)存交換分區(qū)的大小，不然轉(zhuǎn)換權(quán)重和執(zhí)行推理程序時(shí)會(huì)由于內(nèi)存不夠而退出。這一步請(qǐng)?jiān)谖锢頇C(jī)上執(zhí)行，不支持在docker容器內(nèi)執(zhí)行。

#fallocate -l 64G /swap_model

#chmod 600 /swap_model

#mkswap /swap_model

#swapon /swap_model

#使用完成后可以使用下面的命令釋放空間

#swapoff /swap_model

#rm /swap_model

15)使用chown命令將/models/DeepSeek-R1-Distill-Qwen-1.5B目錄及其所有文件的所有者和組更改為root用戶和root組。

#chown root:root -R/models/DeepSeek-R1-Distill-Qwen-1.5B

16)推理DeepSeek-R1-Distill-Qwen-14B模型的命令如下所示：

#cd $ATB_SPEED_HOME_PATH

#torchrun --nproc_per_node 1 --master_port 20037 -m examples.run_pa --model_path /models/DeepSeek-R1-Distill-Qwen-1.5B/ --max_output_length 256

17)推理成功后，在輸出的最后，可以找到Question和Answer，結(jié)果如下所示：

18)純模型能夠正常推理后，我們修改mindie server配置。

#vim /usr/local/Ascend/mindie/latest/mindie-service/conf/config.json

"httpsEnabled" : false，

"npuDeviceIds" : [[0]],

"modelName" : "DeepSeek",

"modelWeightPath" : "/models/DeepSeek-R1-Distill-Qwen-1.5B",

"worldSize" :1,

19)我們需要先修改模型目錄下的config.json文件的權(quán)限為640，否則無法啟動(dòng)server服務(wù)。

#chmod 640/models/DeepSeek-R1-Distill-Qwen-1.5B/config.json

20)執(zhí)行以下命令啟動(dòng)MindIE Server服務(wù)，如果最后有如下的輸出，表示啟動(dòng)成功。。

#cd /usr/local/Ascend/mindie/latest/mindie-service/bin

#./mindieservice_daemon

......

Daemon start success!

21)接著拉取聊天機(jī)器人案例代碼。

#git clone https://gitee.com/toolsmanhehe/chat_robot.git

22)安裝依賴。

#cd chat_robot

#pip3 install -r requirements.txt -i https://mirrors.huaweicloud.com/repository/pypi/simple

23)啟動(dòng)聊天機(jī)器人demo程序。啟動(dòng)后，會(huì)打印如下信息，復(fù)制其中的url到瀏覽器打開。

a)首先程序會(huì)自動(dòng)查詢當(dāng)前設(shè)備上MindIE中運(yùn)行的模型信息，并打印出來。

b)如果提示暫不支持，請(qǐng)核對(duì)MindIE Server中的“modelName”字段。

c)然后等一會(huì)就會(huì)打印兩個(gè)ip地址。第一個(gè)url只能在啟動(dòng)主程序的電腦上訪問，第二個(gè)url可以通過和啟動(dòng)主程序的電腦同一網(wǎng)絡(luò)下的設(shè)備訪問。

# python3 main.py

檢測到mindie server中啟動(dòng)了DeepSeek模型。

* Serving Flask app 'main'

* Debug mode: off

WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.

* Running on all addresses (0.0.0.0)

* Running on http://127.0.0.1:5000

* Running on http://10.31.3.139:5000

Press CTRL+C to quit

24)瀏覽器打開上面的鏈接后我們可以看到下面這個(gè)頁面，左側(cè)提供了一些問題，點(diǎn)擊可以直接提問。