如何在嵌入式系統(tǒng)上玩轉 AI，到底是獨立部署？云端部署？一直是一個爭議不斷地問題。同時，隨著人形機器人技術的快速發(fā)展，移動設備對智能化的需求也變得尤為迫切。在這樣一個背景下，RT-Thread AI 團隊經歷對大量芯片廠商和下游應用業(yè)務公司的咨詢和討論，認為在可預見的未來，AI 會產生一種端側和云端混合部署的形態(tài)，即大規(guī)模、大參數(shù)模型運行在云端，如大語言模型，而中小規(guī)模、中小參數(shù)模型則運行在端側，形成一種分布式 AI 部署的形態(tài)。本章將以智能小車的整個開發(fā)過程為例，向大家全景展示如何通過這種分布式 AI 的部署方式，最終實現(xiàn)傳統(tǒng)小車的智能化過程。在這個過程中，我們將最大限度的保留原有小車硬件資源，而通過 RT-Thread AIOS 架構，最終實現(xiàn)大模型和端側小模型協(xié)作，將傳統(tǒng)小車智能化。

2硬件與軟件架構

硬件上，智能小車的車控部分搭載了意法半導體最基礎的 STM32407VET 芯片，該模塊結合藍牙模塊、OLED 顯示屏、激光雷達等模塊，同時將 RT-Thread AIOS 框架集成在該芯片上，實現(xiàn)小車和云端大語言模型的交互。同時，小車配備了 Vision-Board 開發(fā)板，為智能小車構建了一個高性能的機器視覺模塊。Vision-Board 開發(fā)板搭載 Cortex-M85 架構的 RA8D1 處理器，配備 LCD 顯示屏和攝像頭，能夠進行實時圖像處理和顯示，通過串口和 STM32407VET 芯片進行交互。軟件上，兩款芯片均使用了 RT-Thread 實時操作系統(tǒng)作為控制系統(tǒng)，提供了一系列應用組件和驅動框架，如 TCP/IP 協(xié)議棧，虛擬文件系統(tǒng)，POSIX 接口，圖形用戶界面，F(xiàn)reeModbus 主從協(xié)議棧，CAN 框架，動態(tài)模塊等。通過對智能小車車控功能語義級別的學習和應用，最終通過云端的大模型控制小車實現(xiàn)各種復雜功能。在大模型方面，智能小車采用基于開源大模型 SenseVoiceSmall 和通義千問大模型的微調模型進行聯(lián)合處理。其中，SenseVoiceSmall 作為一個輕量化的語音識別模型，能夠高效地將語音實時轉化為文本。通義千問則對文本內容進行智能解析和理解，最終轉換成小車可執(zhí)行的邏輯和指令。在端側的計算機視覺方面，為達到智能感知的效果，智能小車采用 openMV 進行圖像處理，其搭載的處理器和攝像頭可以輕松勝任小車的諸多功能，通過 openMV 實現(xiàn)了循跡、色塊追蹤、二維碼識別、人臉追蹤等功能，同時可以在 LCD 顯示器上迅速、直觀地看到 openmv 圖像處理的過程。

智能小車支持 C/Python 等多種編程語言，提供豐富的接口，方便開發(fā)者靈活調用各類功能模塊。

3

一些例子

語音控制基于 SenseVoiceSmall 和通義千問實現(xiàn)，深度融合了 AI 技術，用戶通過語音指令對小車進行控制，不僅可以在多種模式之間隨心切換，還能精準控制小車的運動狀態(tài)。常用的模式包括循跡、色塊追蹤、二維碼識別、人臉追蹤、雷達避障、雷達跟隨以及雷達走直線等。

3.1

示例 1：智能小車底盤控制

通過語音識別切換到尋跡模式后，智能小車通過攝像頭實時采集圖像，智能分析路面狀況，精準識別并追蹤指定路線。

3.2

示例 2：目標追蹤

在色塊追蹤模式中，智能小車能夠識別特定顏色的物體，并自動調整運動軌跡以追蹤目標。小車還可以識別并獲得二維碼中的信息。

智能小車具備人臉識別功能，能夠人臉錄入系統(tǒng)中。錄入后，小車便能自動追蹤庫中包含的目標人物，智能地跟隨其移動。

以上功能充分展示了機器視覺在智能小車中的靈活應用，通過與小車的互動，能夠深入理解圖像處理和物體識別等關鍵技術。

3.3

示例 3：激光雷達應用

為了一步提升小車的智能化水平和環(huán)境感知能力，我們在小車上加裝了激光雷達，這使小車能夠實時獲取距離信息，從而更有效地避開障礙物，加裝激光雷達后，小車的整體性能得到了顯著提升。

例如，基于激光雷達的避障功能，即使小車在一個狹小的空間內，也可以行動自如。

上文中我們提到了人臉追蹤功能，在激光雷達加持下，即使我們沒有錄入人臉也可以實現(xiàn)跟蹤，啟動雷達跟蹤可以使小車跟蹤附近的一個物體并保持一定距離。

另外，雷達走直線模式通過對參照物體的識別來實現(xiàn)小車的直線運動。小車能夠以其左側的物體平面作為參照，保持穩(wěn)定的直線行駛。如果需要更換其他角度作為參照，只需對代碼進行相應修改或直接修改雷達角度即可。

3.4

總結：

我們已經展示的功能顯示了在 RT-Thread AIOS 框架上，可以通過語音交互對基于 RT-Thread OS 的設備進行智能化，最終使得系統(tǒng)理解指令、執(zhí)行指令實現(xiàn)指令發(fā)出者的控制目標。此外，用戶也可以自行增加定制的源語級控制函數(shù)到 AIOS 框架中，并通過云端大模型進行理解和學習，最終通過語音交互進行控制，使得系統(tǒng)變得更加靈活、智能。