海量參數(shù)的大模型給AI行業(yè)帶來顛覆性的體驗，然而在端側設備中，由于有限的DRAM帶寬、硬件算力、存儲容量端等瓶頸，讓端側大模型長期停留在概念階段，實時響應速度、輸出長度等核心訴求難以落地。

Rockchip全新高性能端側大模型協(xié)處理器RK182X，以硬核技術突破瓶頸，重構端側智能格局，引領端側大模型落地。

3D 堆疊架構突破帶寬瓶頸

RK182X 作為針對端側3B/7B大模型的協(xié)處理器，通過先進的3D堆疊封裝技術，集成高帶寬嵌入式片內DRAM（2.5GB/5GB版本），端側生成速率超100 tokens/s，端到端延遲低至0.1s，能夠提供包括文本、語音、圖片、視頻、傳統(tǒng)CNN等大模型在內全方位的模型算法支持。

7B大模型30TPS帶寬需求：3.5GBx30=105GB/s

傳統(tǒng)2D芯片的DDR只能提供44-100GB的理論帶寬，而3D堆疊芯片的DDR能提供1TB/s DRAM 的理論帶寬！

RK182X LLM/VLM性能

RK182X有著專為AI設計的NPU架構，并通過PCIe高速接口，與主SOC協(xié)同工作，內置高帶寬DRAM，助力大模型的本地化部署和高效運行。

以下是 RK182X 在運行LLM時的表現(xiàn)：

數(shù)據(jù)基于RKNN3 SDK，所有模型使用w4a16量化，LLM input為128

以下是 RK182X 在運行VLM時的表現(xiàn)：

數(shù)據(jù)基于RKNN3 SDK，所有模型使用w4a16量化

VL的LLM部分input為128

RK182X應用案例演示

應用案例1：視頻摘要

RK182X的端側VLM視頻分析以及實時預警方案中，RK3588對視頻進行一個預處理，RK182X對VLM模型進行推理加速，對畫面內容作出實時且準確的分析。以下是視頻摘要的案例演示：

從視頻中看出，RK182X對視頻中人物的行為、動作及所在場景都做出了準確的分析判斷，并且會對異常行為發(fā)出預警，適用于攝像頭監(jiān)控、安防NVR后端、車載哨兵模式等場景。AI處理均在端側離線的情況下進行，保障用戶的隱私安全。

應用案例2：視頻檢索

視頻檢索的應用場景中，模型通過遍歷視頻資源，提取視頻序列存儲到數(shù)據(jù)庫，再通過圖文模態(tài)相似度比對，顯示檢索結果。以下是視頻檢索的案例演示：

從視頻可以看出，模型對視頻資源行為內容的高精度匹配，對于超大視頻數(shù)據(jù)庫也能進行快速匹配。該功能可適用于安防NVR后端、各類監(jiān)控等應用場景。

應用案例3：同聲傳譯

同聲傳譯是通過高速PCIe總線互聯(lián)，RK3588集成音頻3A算法，實現(xiàn)精準拾音，RK182X則部署了同聲傳譯模型，首包延遲僅3.2秒。采用離線端部署，無需網(wǎng)絡，不僅保護隱私，還可以實現(xiàn)穩(wěn)定實時的語言翻譯。以下是同聲傳譯中會議模式的演示：

從視頻中可以看出模型低延遲、高準確率的表現(xiàn)，同聲傳譯可應用于視頻會議、商務洽談、留學旅游等跨語言交流的場景。

應用案例4：陪伴機器人

陪伴機器人的應用場景中，RK3588作為“小腦”，負責運動控制，而RK1828作為“大腦”負責感知決策，在對話（LLM）和場景分析（VLM）的方面都能發(fā)揮其極強優(yōu)勢，其中VLM在端側運行，能夠有效保護用戶的隱私。雙模組架構實現(xiàn)端云結合，同時滿足了表現(xiàn)效果和場景需求。

Firefly RK182X開發(fā)套件

RK182X開發(fā)套件采用雙模組結構設計，通過PCIe接口連接，其中RK3588負責任務調度和數(shù)據(jù)預處理，RK182X專注AI推理，支持模型并行和多任務協(xié)作，確保高效分工和低延遲響應。

Firefly RK182X 開發(fā)套件

1. 增強AI加速

基于RK182X的端側VLM視頻分析以及實時預警方案，其中RK3588對視頻進行一個預處理，RK182X對VLM模型進行推理加速，對畫面內容作出實時且準確的分析。

2. 高性能計算

RK3588采用8核CPU架構，集成高性能VPU，支持8K視頻編解碼，結合RK182X實現(xiàn)高效視頻AI分析。

3. 邊緣低延遲

本地AI處理減少網(wǎng)絡依賴，實現(xiàn)毫秒級響應和數(shù)據(jù)隱私保護，可在弱網(wǎng)環(huán)境下維持實時決策，提升整體系統(tǒng)可靠性和安全性。

4. 多網(wǎng)口連接

配備8個網(wǎng)口，支持高吞吐量數(shù)據(jù)傳輸和多設備互聯(lián)，適用于泛安防、教育、安全生產(chǎn)等場景。

5. 存儲擴展性

通過SATA接口擴展SSD/HDD，高效處理 AI 數(shù)據(jù)集或視頻日志，避免云端傳輸風險。

搶先體驗雙核AI性能

Firefly RK182X開發(fā)套件為AI大模型提供強勁算力，多任務并行處理的能力?？芍С?a href="http://m.makelele.cn/tags/語音識別/" target="_blank">語音識別、視頻編解碼、長上下文對話等應用場景，廣泛適用于智慧安防、智能機器人、邊緣AI計算、智能座艙、監(jiān)控分析、工業(yè)視覺檢測等領域。

現(xiàn)已正式上線發(fā)售，點擊前往購買。