SL1680 SoC本地運(yùn)行DeepSeek R1 1.5B大模型

自DeepSeek大模型發(fā)布以來(lái)，深蕾半導(dǎo)體SoC團(tuán)隊(duì)針對(duì)在端側(cè)運(yùn)行DeepSeek大模型不斷進(jìn)行研究，探索將DeepSeek大模型與SoC系列產(chǎn)品相結(jié)合的模式。目前已經(jīng)實(shí)現(xiàn)利用深蕾半導(dǎo)體的ASTRA SL1680 SoC本地運(yùn)行DeepSeek R1 Distill Qwen2.5 1.5B大模型。

DeepSeek R1 Distill Qwen2.5 1.5B是DeepSeek R1發(fā)布中最小的模型 - 它可以在ASTRA SL1680上舒適地運(yùn)行。

一、SL1680本地運(yùn)行Deepseek-R1-1.5B大模型展示

SL1680本地運(yùn)行Deepseek-R1-1.5B大模型視頻效果

執(zhí)行過(guò)程

要在ASTRA開(kāi)發(fā)板上運(yùn)行Qwen，我們將使用llama-cpp-python包，它為Georgi Gerganov的llamacpp提供了便捷的Python綁定。

除了在SL1680本地運(yùn)行Deepseek-R1-1.5B大模型，還實(shí)現(xiàn)了運(yùn)行Llama 3.2 1B大模型。

運(yùn)行環(huán)境

系統(tǒng)：Linux(yocto)

硬件：SL1680 RDK開(kāi)發(fā)板

產(chǎn)品化路徑

對(duì)于SL1680產(chǎn)品如何與大模型結(jié)合的問(wèn)題，建議采用端側(cè)大模型與云端大模型相結(jié)合的工程化方式處理，本地能處理的用戶任務(wù)使用端側(cè)大模型快速解決和輸出，而較復(fù)雜的邏輯以及聯(lián)網(wǎng)功能則通過(guò)請(qǐng)求云端大模型API的方式實(shí)現(xiàn)。

如視頻所展示的，將Deepseek-R1-1.5B大模型部署到SoC本地，能夠?qū)崿F(xiàn)知識(shí)問(wèn)答、FuntionCall等AI能力。通過(guò)將云端的大模型與端側(cè)的語(yǔ)音識(shí)別、機(jī)器視覺(jué)功能、端側(cè)小參數(shù)大模型相結(jié)合，從而讓AI賦能我們的產(chǎn)品，提升產(chǎn)品的智能化程度。

二、本地小參數(shù)大模型與端云大模型結(jié)合的應(yīng)用場(chǎng)景

1，多媒體終端：本地小參數(shù)大模型可在端側(cè)如智能大屏，快速處理一些常見(jiàn)的簡(jiǎn)單任務(wù)，如語(yǔ)音助手對(duì)常見(jiàn)指令的快速響應(yīng)、文本的簡(jiǎn)單摘要生成、數(shù)據(jù)加工整理、設(shè)備操控、產(chǎn)品說(shuō)明、產(chǎn)品售后問(wèn)題自助解決等。當(dāng)遇到復(fù)雜任務(wù)，如深度文本分析、多模態(tài)內(nèi)容生成時(shí)，可將任務(wù)發(fā)送到云側(cè)大模型進(jìn)行處理，利用云側(cè)大模型強(qiáng)大的計(jì)算能力和豐富的知識(shí)儲(chǔ)備來(lái)完成。

2，智能辦公設(shè)備（MINI PC）：本地小參數(shù)大模型可以實(shí)時(shí)處理用戶的語(yǔ)音交互、文字輸入信息處理、智能控制等任務(wù)，作為用戶AI助手。而對(duì)于一些復(fù)雜的邏輯理解、內(nèi)容生成設(shè)計(jì)和決策任務(wù)等，則借助云側(cè)大模型的強(qiáng)大算力和更全面的數(shù)據(jù)分析能力來(lái)完成。

3，零售電商：在商品展示平臺(tái)的搜索推薦場(chǎng)景中，本地小參數(shù)大模型可以根據(jù)用戶在本地設(shè)備上的瀏覽歷史、購(gòu)買行為、環(huán)境感知等數(shù)據(jù)，快速生成初步的推薦結(jié)果。當(dāng)用戶有更復(fù)雜的搜索需求，如對(duì)比不同商品的詳細(xì)參數(shù)、詢問(wèn)商品的使用場(chǎng)景等問(wèn)題時(shí)，云側(cè)大模型可以利用其龐大的商品知識(shí)庫(kù)和強(qiáng)大的語(yǔ)言理解能力，給出更準(zhǔn)確、詳細(xì)的回答和推薦。

三、ASTRA SL1680 SoC介紹

ASTRA SL1680是一款專為智能應(yīng)用設(shè)計(jì)的高性能系統(tǒng)級(jí)芯片（SoC），它擁有

1，4*Cortex A73 CPU處理器：

Cortex A73是ARM公司設(shè)計(jì)的一款高性能CPU核心，適用于需要高性能計(jì)算的應(yīng)用場(chǎng)景，能夠提供強(qiáng)大的處理能力和多任務(wù)處理能力，為Deepseek-R1-1.5B大模型的運(yùn)行提供堅(jiān)實(shí)保障。

2，高達(dá)7.9 Top NPU算力：

NPU（Neural Processing Unit，神經(jīng)網(wǎng)絡(luò)處理單元）是專門用于加速神經(jīng)網(wǎng)絡(luò)計(jì)算的硬件單元。7.9 Top的算力使SL1680在神經(jīng)網(wǎng)絡(luò)計(jì)算方面有著極高的性能，為端云結(jié)合的應(yīng)用模式創(chuàng)造了有利條件。

3，64-bit高速內(nèi)存：

64位內(nèi)存架構(gòu)支持更大的內(nèi)存尋址空間，使得SL1680能夠同時(shí)處理更多的數(shù)據(jù)和運(yùn)行更復(fù)雜的應(yīng)用程序。高速內(nèi)存則保證了數(shù)據(jù)訪問(wèn)的迅速性，提升了整體性能。

審核編輯 黃宇