在邊緣計(jì)算與嵌入式AI應(yīng)用飛速發(fā)展的今天，瑞芯微RK3588平臺(tái)憑借其強(qiáng)大的多媒體處理能力和6TOPS的NPU算力，已成為高端AIoT項(xiàng)目的首選之一。然而，面對日益復(fù)雜的大模型（LLM）部署需求與高并發(fā)的視覺推理任務(wù)，單一的SoC算力往往面臨瓶頸。

為此，瑞芯微推出了專為算力擴(kuò)展設(shè)計(jì)的RK1820 AI加速卡。本文將以EASY-EAI的MONSTER（RK3588）開發(fā)板為例，提供一份從硬件對接到模型部署的完整適配指南，并對其性能進(jìn)行實(shí)測分析，為開發(fā)者實(shí)現(xiàn)算力升級提供切實(shí)可行的技術(shù)路徑。

PART.01

核心硬件：

RK1820加速卡與RK3588的協(xié)同架構(gòu)

RK1820加速卡概覽

RK1820是一款采用PCIe接口的獨(dú)立AI加速卡，其核心設(shè)計(jì)目標(biāo)是作為主控SoC的協(xié)處理器，專攻高強(qiáng)度、批量的AI推理任務(wù)。其關(guān)鍵特性如下：

高密度算力：提供高達(dá)20 TOPS@INT8的峰值算力，足以應(yīng)對大多數(shù)視覺大模型及十億參數(shù)級別的語言模型。

大容量板載內(nèi)存：集成2.5GB專用內(nèi)存，能夠?qū)⒋笮湍Ｐ屯耆d入，避免頻繁通過PCIe總線與主機(jī)交換數(shù)據(jù)，從而顯著降低推理延遲。

標(biāo)準(zhǔn)接口：采用M.2 Key M接口，便于與具備PCIe通道的RK3588核心板或開發(fā)板快速集成。

RK3588 + RK1820的異構(gòu)計(jì)算模式

在此方案中，RK3588與RK1820構(gòu)成了一個(gè)典型的異構(gòu)計(jì)算系統(tǒng)：

RK3588（主機(jī)）：負(fù)責(zé)運(yùn)行完整的操作系統(tǒng)（如Ubuntu）、處理通用計(jì)算、多媒體編解碼、系統(tǒng)調(diào)度以及輕量級或?qū)崟r(shí)性要求高的AI任務(wù)。

RK1820（設(shè)備）：作為專用的AI推理加速器，接收來自主機(jī)的推理任務(wù)和數(shù)據(jù)，利用其高并行計(jì)算單元完成高效處理，并將結(jié)果返回。

這種分工實(shí)現(xiàn)了計(jì)算資源的優(yōu)化配置，使RK3588平臺(tái)的能力邊界得以大幅擴(kuò)展，尤其適合智能NVR（多路視頻結(jié)構(gòu)化分析）、服務(wù)機(jī)器人、邊緣AI服務(wù)器及需要端側(cè)運(yùn)行大語言模型的場景。

PART.02

軟硬件適配與驅(qū)動(dòng)部署

*以下適配流程基于EASY-EAI-MONSTER開發(fā)板及配套的軟件包

硬件連接與準(zhǔn)備

硬件：EASY-EAI-MONSTER開發(fā)板、RK1820 M.2加速卡、12V/3A電源（為算力卡獨(dú)立供電）。

連接順序：務(wù)必先將RK1820加速卡插入主板的M.2插槽并連接好12V供電，然后再為開發(fā)板上電。此順序可確保PCIe設(shè)備能被系統(tǒng)正確識別枚舉。

軟件基礎(chǔ)：開發(fā)板需預(yù)先燒錄適配后的固件（如EASY-EAI-Monster-Ubuntu 22.04-firmware_20260407或更新版本）。

驅(qū)動(dòng)安裝與驗(yàn)證

將提供的適配套件rknn3_rk182x_sodimm_installer_arm64.tgz拷貝至開發(fā)板，并按順序執(zhí)行以下命令：

安裝腳本將自動(dòng)部署PCIe驅(qū)動(dòng)（pcie-rkep）、用戶態(tài)庫及相關(guān)服務(wù)。

設(shè)備驗(yàn)證

重啟后，可通過以下命令驗(yàn)證適配是否成功：

檢查PCIe設(shè)備識別：執(zhí)行lspci，列表中應(yīng)出現(xiàn)Rockchip Electronics Co., Ltd Device 182a的設(shè)備信息。

檢查驅(qū)動(dòng)加載：執(zhí)行dmesg | grep pcie-rkep，查看驅(qū)動(dòng)加載日志，確認(rèn)無錯(cuò)誤信息。

檢查設(shè)備節(jié)點(diǎn)：執(zhí)行ls -l /dev/pcie-rkep*，確認(rèn)驅(qū)動(dòng)已創(chuàng)建設(shè)備節(jié)點(diǎn)。

查看算力卡狀態(tài)：執(zhí)行rknn-smi info，此命令可顯示RK1820的詳細(xì)信息，包括設(shè)備名稱、算力利用率和內(nèi)存使用情況，是驗(yàn)證加速卡是否就緒的最直接方式。

PART.03

模型部署與性能實(shí)測

適配成功后，即可利用RKNN工具鏈將模型部署到RK1820上運(yùn)行。套件中提供了rknn3_model_test和rknn3_session_test兩個(gè)測試程序，分別用于傳統(tǒng)視覺模型和大語言模型。

視覺模型測試

（以YOLOv5s為例）

模型準(zhǔn)備：使用RKNN-Toolkit2將訓(xùn)練好的YOLOv5s模型轉(zhuǎn)換為RK1820支持的.rknn格式。

執(zhí)行推理：將模型文件置于板端，運(yùn)行以下命令：

性能指標(biāo)：在測試中，YOLOv5s模型在RK1820上的單次推理耗時(shí)約為30.27毫秒，展現(xiàn)了其處理實(shí)時(shí)視覺任務(wù)的高效能力。

大語言模型測試

（以Qwen2.5-1.5B為例）

模型準(zhǔn)備：需要準(zhǔn)備轉(zhuǎn)換后的Qwen2.5-1.5B.rknn模型文件、權(quán)重文件（.weight）、分詞器文件（.tokenizer.gguf）和嵌入層文件（.embed.bin）。

執(zhí)行推理：由于大模型運(yùn)行通常需要獨(dú)立的模型服務(wù)，需先停止系統(tǒng)默認(rèn)的rknpu服務(wù)，然后啟動(dòng)會(huì)話測試：

能力驗(yàn)證：此測試將啟動(dòng)一個(gè)交互式會(huì)話，開發(fā)者可以直接輸入文本，模型將基于RK1820的算力進(jìn)行生成式回復(fù)，直觀驗(yàn)證了在邊緣端部署并運(yùn)行十億參數(shù)級大模型的可行性。

PART.04

應(yīng)用場景與開發(fā)建議

典型應(yīng)用場景

多路高性能視頻分析：利用RK3588強(qiáng)大的解碼能力處理多路視頻流，將解碼后的畫面數(shù)據(jù)通過PCIe總線發(fā)送給RK1820進(jìn)行高精度、高并發(fā)的目標(biāo)檢測與識別。

邊緣AI服務(wù)器：在局域網(wǎng)內(nèi)部署，為多個(gè)終端提供低延遲的AI服務(wù)，如智能客服、代碼輔助、文檔摘要等。

復(fù)雜環(huán)境下的機(jī)器人：同時(shí)處理激光雷達(dá)、視覺、語音等多模態(tài)傳感器的輸入，進(jìn)行實(shí)時(shí)融合感知與決策。

開發(fā)建議

任務(wù)劃分：將時(shí)延敏感、控制相關(guān)的輕量模型放在RK3588 NPU上運(yùn)行；將計(jì)算密集、允許微秒級延遲的批量推理任務(wù)卸載到RK1820。

數(shù)據(jù)傳輸優(yōu)化：盡量減少主機(jī)與加速卡之間不必要的內(nèi)存拷貝，利用零拷貝等技術(shù)優(yōu)化PCIe數(shù)據(jù)傳輸效率。

功耗管理：在連續(xù)推理任務(wù)中，RK1820的功耗是需要考慮的因素。在間歇性工作場景，可通過驅(qū)動(dòng)接口管理其工作狀態(tài)以實(shí)現(xiàn)能效平衡。

通過上述適配，RK3588平臺(tái)成功融合了RK1820加速卡的20TOPS算力，構(gòu)建了一個(gè)總計(jì)超過26TOPS的強(qiáng)勁邊緣AI系統(tǒng)。本次實(shí)踐表明，該方案軟硬件集成度較高，驅(qū)動(dòng)安裝便捷，為開發(fā)者提供了清晰的從驗(yàn)證到部署的路徑。無論是提升現(xiàn)有視覺應(yīng)用的性能密度，還是探索在邊緣設(shè)備運(yùn)行大語言模型這一前沿領(lǐng)域，RK3588+RK1820的組合都提供了一個(gè)穩(wěn)定而強(qiáng)大的硬件基礎(chǔ)。