在小型、低功耗的邊緣設備上運行先進的 AI 和計算機視覺工作流正變得越來越具有挑戰(zhàn)性。機器人、智能攝像頭和自主設備需要實時智能來感知、理解并做出反應，而無需依賴云端。NVIDIA Jetson 平臺通過緊湊的 GPU 加速模塊和專為邊緣 AI 與機器人開發(fā)設計的開發(fā)套件，滿足了這一需求。

本文將介紹如何在 NVIDIA Jetson 平臺上運行最新的開源 AI 模型，實現(xiàn)完全獨立運行并可隨時部署。掌握這些基礎知識后，你就可以快速從簡單的演示過渡到構(gòu)建各種應用，比如打造私人代碼助手，或者構(gòu)建完全自主的智能機器人。

教程一：打造你的個人AI助手——本地運行大語言模型與視覺模型

上手邊緣 AI 的一個絕佳方式，就是在本地設備上運行大語言模型（LLM）或視覺語言模型（VLM）。在自己的設備上直接運行這些模型，能帶來兩個關(guān)鍵優(yōu)勢：完全的隱私性與零網(wǎng)絡延遲。

當使用外部 API 時，數(shù)據(jù)往往需要上傳到云端，這就意味著失去了對信息的控制權(quán)。而在 Jetson 上，無論是個人筆記、私有代碼，還是攝像頭數(shù)據(jù)，所有輸入都始終保留在本地，確保對信息的完全掌控。同時，由于無需依賴網(wǎng)絡傳輸，每一次交互都能瞬間響應。

開源社區(qū)讓這一切變得觸手可及。而能構(gòu)建出多強大的 AI 助手，很大程度上取決于選擇的 Jetson 配置：

NVIDIA Jetson Orin Nano Super 開發(fā)者套件（8GB）：適合打造輕量級專屬 AI 助手。你可以輕松部署像 Llama 3.2 3B 或 Phi-3 這類高速“小語言模型”。這些模型不僅推理速度快且都能在 8GB 內(nèi)存限制下流暢運行，同時 Hugging Face 社區(qū)會持續(xù)推出針對如編程輔助、創(chuàng)意寫作等特定場景的新微調(diào)版本。

NVIDIA Jetson AGX Orin（64GB）：憑借更大的內(nèi)存和更強的 AI 算力，它能勝任更大且更復雜的任務，例如用于深度推理的 gpt-oss-20b 或量化版的 Llama 3.1 70B。

NVIDIA Jetson AGX Thor（128GB）：擁有高達 128GB 的內(nèi)存，提供一流的性能。讓你能夠在邊緣端運行參數(shù)規(guī)模超過 100B 的超大模型，真正把數(shù)據(jù)中心級別的智能帶到邊緣端。

如果你手頭正好有一臺 AGX Orin，現(xiàn)在就可以動手試試：用 vLLM 作為推理引擎，搭配界面友好、美觀易用的 Open WebUI，很快就能啟動一個 gpt-oss-20b 實例。

docker run --rm -it \
  --network host \
  --shm-size=16g \
  --ulimit memlock=-1 \
  --ulimit stack=67108864 \
  --runtime=nvidia \
  --name=vllm \
  -v $HOME/data/models/huggingface:/root/.cache/huggingface \
  -v $HOME/data/vllm_cache:/root/.cache/vllm \
  ghcr.io/nvidia-ai-iot/vllm:latest-jetson-orin
 
vllm serve openai/gpt-oss-20b

在另一個終端中運行 Open WebUI：

docker run -d \
  --network=host \
  -v ${HOME}/open-webui:/app/backend/data \
  -e OPENAI_API_BASE_URL=http://0.0.0.0:8000/v1 \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

然后查閱：http://localhost:8080

在此基礎上，你可以與大語言模型進行自然交互，并進一步為它集成各種工具，使其具備智能體能力，比如搜索、數(shù)據(jù)分析及語音輸出（TTS）。

圖 1. 基于 Jetson AGX Orin，通過 Open WebUI 界面使用 vLLM 進行 GPT-OSS 20B 模型推理的演示，生成速度達每秒 40 個 token

然而，僅靠文本還不足以構(gòu)建能真正與物理世界交互的智能體，它需要具有多模態(tài)感知能力。在這方面，既能識別畫面中的物體，又能對整個場景進行推理的視覺語言模型正成為主流選擇，比如 VILA 和 Qwen2.5-VL。面對一段實時視頻流，這類模型可以回答如“這次 3D 打印是不是失敗了？”或“外面現(xiàn)在的交通狀況怎么樣？”等問題。

Jetson Orin Nano Super 開發(fā)者套件可以運行像 VILA-2.7B 這類高效的視覺語言模型，來完成基礎檢測和簡單的視覺查詢?nèi)蝿?。Jetson AGX Orin 憑借更大的內(nèi)存和更強的算力，能從容應對更復雜、更密集的工作負載，如處理更高分辨率的畫面、同時接入多路攝像頭或者并行運行多個智能體。

要親身體驗這一能力，可直接從Jetson AI Lab啟動Live VLM WebUI。它能通過 WebRTC 將電腦的實時攝像頭畫面?zhèn)鬏斀o AI 模型，讓模型即時分析并描述，相當于搭建了一個沙盒。

Live VLM WebUI 兼容 Ollama、vLLM，以及幾乎所有支持 OpenAI 服務器協(xié)議的推理引擎。

若想通過 Ollama 啟動 VLM WebUI，可按以下步驟操作：

# Install ollama (skip if already installed)
curl -fsSL https://ollama.com/install.sh | sh
 
# Pull a small VLM-compatible model
ollama pull gemma3:4b 
 
# Clone and start Live VLM WebUI
git clone https://github.com/nvidia-ai-iot/live-vlm-webui.git
cd live-vlm-webui
./scripts/start_container.sh

體驗該功能請查閱：https://localhost:8090

從此開始，構(gòu)建智能安防系統(tǒng)、野生動物觀察助手或視覺輔助應用。

圖 2. 在 NVIDIA Jetson 上通過 Live VLM WebUI 實現(xiàn)交互式視覺語言模型推理

可以運行哪些視覺語言模型？

Jetson Orin Nano 8GB：適合運行參數(shù)量最高約 4B 的視覺語言模型，例如 Qwen2.5-VL-3B、VILA 1.5–3B 或 Gemma-3/4B。

Jetson AGX Orin 64GB：適合運行參數(shù)量級約為 4B 至20B 的中型視覺語言模型，例如 LLaVA-13B、Qwen2.5-VL-7B、Phi-3.5-Vision。

Jetson AGX Thor 128GB：專為超大規(guī)模模型設計，可支持約 20B 至 120B 參數(shù)的單個模型或多個模型并行運行，例如 Llama 3.2 Vision 70B 或120B量級的模型。

想探索更深層的應用？視頻搜索和總結(jié)（VSS）能力可助力構(gòu)建智能化視覺檔案系統(tǒng)。這意味著可以直接根據(jù)視頻中的內(nèi)容進行檢索而不只局限于搜索文件名，還能為長時間錄像自動生成內(nèi)容摘要。對希望高效管理并深度挖掘視覺數(shù)據(jù)價值的開發(fā)者而言，這正是視覺語言模型理念的完美延伸。

教程二：基于基礎模型的機器人技術(shù)

機器人領域正經(jīng)歷一場根本性的架構(gòu)變革。數(shù)十年來，機器人控制主要依賴于僵化的硬編碼邏輯與割裂的感知流程：先檢測物體、再規(guī)劃路徑、最后執(zhí)行動作。每一種可能的邊緣情況都需要人工反復調(diào)試和顯式編程，使大規(guī)模自動化難以實現(xiàn)。

如今，機器人領域正朝著端到端模仿學習的方向演進：不再需要編寫顯式規(guī)則，而是借助如NVIDIA Isaac GR00T N1這樣的基礎模型，直接從演示中學習控制策略。這類視覺語言動作模型從根本上改變了機器人控制的輸入輸出關(guān)系。在此架構(gòu)下，模型接收來自機器人攝像頭的實時視覺數(shù)據(jù)流，結(jié)合自然語言指令（例如：“打開抽屜”），處理這些多模態(tài)上下文信息，直接預測下一刻所需的關(guān)節(jié)位置或電機轉(zhuǎn)速。

然而，訓練這些模型面臨著一個重大挑戰(zhàn)：數(shù)據(jù)瓶頸。與語言模型可利用海量互聯(lián)網(wǎng)文本進行訓練不同，機器人需要的是物理交互數(shù)據(jù)，這類數(shù)據(jù)的采集成本高昂且獲取速度慢。解決這一難題的關(guān)鍵在于仿真。借助NVIDIA Isaac Sim，不僅可以在物理精確的虛擬環(huán)境中生成合成訓練數(shù)據(jù)并驗證控制策略，還可以進行硬件在環(huán)測試：讓 Jetson 連接到由NVIDIA RTX GPU 驅(qū)動的仿真器，并運行控制策略。這樣一來，在投資實體硬件或進行實地部署之前，你就能驗證從感知到執(zhí)行的完整端到端系統(tǒng)。

在仿真中完成驗證后，整個工作流可以無縫遷移到真實世界。您可以將優(yōu)化后的策略直接部署到邊緣設備，并借助 TensorRT 等優(yōu)化技術(shù)，讓原本復雜的 Transformer 也能以實時控制循環(huán)所需的低延遲（低于 30 毫秒）運行。無論是構(gòu)建簡單的機械臂，還是探索更復雜的人形機器人，這種“在仿真中學習動作，再部署到物理邊緣”的方法，如今已成為現(xiàn)代機器人開發(fā)的標準流程。

現(xiàn)在即可嘗試這些開發(fā)流程。GitHub 上的 Isaac Lab 評估任務庫內(nèi)置了螺母分揀、排氣管分類等工業(yè)級操作基準測試場景。開發(fā)者可先在仿真環(huán)境中驗證控制策略，再部署到實體硬件。通過驗證后，GR00T Jetson 部署指南將引導開發(fā)者將策略轉(zhuǎn)換為 TensorRT 優(yōu)化格式，確保其在 Jetson 平臺的高效運行。針對需在自定義任務中后訓練或微調(diào) GR00T 模型的開發(fā)者，LeRobot 集成方案整合了社區(qū)數(shù)據(jù)集與模仿學習工具，打通從數(shù)據(jù)采集到實際部署的全鏈路。

加入機器人開發(fā)者社區(qū)：機器人開發(fā)者社區(qū)正蓬勃發(fā)展，成為技術(shù)探索的熱土。從開源機器人設計到共享學習資源，這條創(chuàng)新之路始終充滿同行者。各類技術(shù)論壇、GitHub 開源項目以及社區(qū)成果展示，將持續(xù)為你提供靈感與實踐指導。歡迎加入 LeRobot Discord 社區(qū)，與全球機器人開發(fā)者溝通交流，共同塑造機器人的未來。

構(gòu)建實體機器人需投入大量精力在機械設計、組裝還有與現(xiàn)有平臺集成。但真正驅(qū)動機器人的“智能層”又該如何實現(xiàn)？這正是 Jetson 的價值所在：實時、強大且可立即部署。

哪款Jetson最適合你？

Jetson Orin Nano Super（8GB）適合剛接觸本地 AI，想運行較小的 LLM 或 VLM 模型或進行早期機器人及邊緣原型開發(fā)的開發(fā)者。相比于考慮最大模型容量，它體積小巧、價格親民、上手簡單，更適合機器人項目和嵌入式應用的開發(fā)愛好者。

Jetson AGX Orin（64GB）適合希望打造功能扎實的本地 AI 助手、嘗試智能體式工作流或構(gòu)建能實際部署的個人應用的愛好者或獨立開發(fā)者。64GB 內(nèi)存讓你無需為內(nèi)存不足而煩惱，可直接在一臺設備上輕松組合視覺、語言和語音模型（ASR 和 TTS）。

Jetson AGX Thor（128GB）適合對需要處理超大規(guī)模模型、同時運行多個模型或者在邊緣側(cè)對實時性有嚴苛要求的開發(fā)者。

操作指南

準備好開始探索了嗎？按以下步驟快速入門：

選擇適合你的Jetson：根據(jù)你的目標和預算，挑選適合你需求的開發(fā)者套件。

刷寫系統(tǒng)與配置：快速入門指南將讓設置過程變得簡單直接，你可以在一個小時內(nèi)完成準備工作并開始運行。

Jetson Orin Nano 開發(fā)者套件——快速入門指南

Jetson AGX Orin 開發(fā)者套件——快速入門指南

Jetson AGX Thor 開發(fā)者套件——快速入門指南

探索生態(tài)資源：

Jetson AI Lab：訪問包含全面教程與預建容器指引的資源庫（Open WebUI、Live VLM WebUI等），測試你的模型。

社區(qū)論壇：與其他開發(fā)者交流、分享項目并獲取幫助

動手構(gòu)建：選擇一個項目，深入學習 GitHub 上的教程項目，看看能做到什么，并繼續(xù)深入探索。

NVIDIA Jetson 系列產(chǎn)品為開發(fā)者提供了設計、構(gòu)建和部署下一代智能機器所需的全套工具。

關(guān)于作者

Chitoku Yato 是節(jié)能、緊湊和可擴展的 NVIDIA Jetson Edge AI 平臺的技術(shù)產(chǎn)品營銷經(jīng)理，負責確保平臺上的最佳開發(fā)人員體驗。他還與充滿活力的 NVIDIA 開發(fā)人員社區(qū)密切合作，幫助宣傳在 Jetson 上使用預訓練的 AI 模型、開發(fā)人員 SDK 和對云原生技術(shù)的支持，以幫助客戶構(gòu)建、部署和管理基于 AI 的自主機器。這包括關(guān)于 NVIDIA JetBot 和 JetRacers 的教程以及關(guān)于 NVIDIA 深度學習學院的教育內(nèi)容，以教授和學習 AI 和機器人技術(shù)。他在東京的索尼公司開始了他的職業(yè)生涯，在那里他從事 GPS 汽車導航系統(tǒng)開發(fā)、Android 平板電腦軟件開發(fā)和 PlayStation 外圍設備的產(chǎn)品規(guī)劃。 Chitoku 擁有加州大學圣巴巴拉分校的計算機工程學士學位。

Khalil BenKhared 是 NVIDIA Jetson 團隊的技術(shù)營銷工程師。Khalil 擁有創(chuàng)建和擴展 AI 和機器人開發(fā)解決方案的背景，他喜歡從根本上簡化邊緣 AI，讓開發(fā)者和工程師更容易使用。