構(gòu)建智能體不僅僅是“調(diào)用API”，而是需要將檢索、語(yǔ)音、安全和推理組件整合在一起，使其像一個(gè)統(tǒng)一并互相協(xié)同的系統(tǒng)一樣運(yùn)行。每一層都有自己的接口、延遲限制和集成挑戰(zhàn)，一旦跨過(guò)簡(jiǎn)單的原型就會(huì)開(kāi)始感受到這些挑戰(zhàn)。

在本教程中，您將學(xué)習(xí)如何使用2026年CES發(fā)布的最新NVIDIANemotron語(yǔ)音、RAG、安全和推理模型，去構(gòu)建一個(gè)帶有護(hù)欄的語(yǔ)音驅(qū)動(dòng)RAG智能體。最終您將擁有具備如下功能的一個(gè)智能體：

聽(tīng)取語(yǔ)音輸入

使用多模態(tài)RAG將智能體錨定在您的數(shù)據(jù)之上

長(zhǎng)上下文推理

在響應(yīng)之前應(yīng)用護(hù)欄規(guī)則

以音頻的形式返回安全答案

您可以在本地GPU上進(jìn)行開(kāi)發(fā)，然后將相同的代碼部署到可擴(kuò)展的NVIDIA環(huán)境中，無(wú)論是托管的GPU服務(wù)、按需云工作區(qū)，還是生產(chǎn)就緒的API運(yùn)行時(shí)，都無(wú)需更改工作流。

先決條件

在開(kāi)始這次教程之前，您需要：

用于云托管推理模型的NVIDIA API密鑰（免費(fèi)獲取）

本地部署需要：

約20GB的磁盤空間

至少24GB顯存的NVIDIA GPU

支持Bash的操作系統(tǒng)(Ubuntu、macOS或Windows Subsystem for Linux)

Python 3.10+環(huán)境

一小時(shí)的空閑時(shí)間

您將構(gòu)建的內(nèi)容

圖1.帶有RAG和安全護(hù)欄的語(yǔ)音智能體的端到端工作流。

表1.本教程中用于構(gòu)建語(yǔ)音智能體的Nemotron模型概覽，包括用于ASR、嵌入、重排序、視覺(jué)語(yǔ)言、長(zhǎng)上下文推理和內(nèi)容安全的模型。

步驟1：設(shè)置環(huán)境

要構(gòu)建語(yǔ)音智能體，您需要同時(shí)運(yùn)行多個(gè)NVIDIANemotron模型（如上所示）。語(yǔ)音、嵌入、重排序和安全模型通過(guò)Transformer和NVIDIA NeMo在本地運(yùn)行，推理模型則使用NVIDIA API。

uvsync--all-extras

配套的Notebook會(huì)處理所有的環(huán)境配置。設(shè)置用于云托管推理模型的NVIDIA API密鑰，即可開(kāi)始使用。

步驟2：使用多模態(tài)RAG構(gòu)建智能體基座

檢索是可靠智能體的支柱。借助全新的LlamaNemotron多模態(tài)嵌入和重排序模型，您可以嵌入文本、圖像（包括掃描文檔），并直接將其存儲(chǔ)在向量索引中，無(wú)需額外的預(yù)處理。這可以檢索推理模型所依賴的真實(shí)上下文，確保智能體參考的是真實(shí)企業(yè)數(shù)據(jù)而非產(chǎn)生幻覺(jué)。

圖2.具有離線索引和在線檢索的多模態(tài)RAG管道。

llama-nemotron-embed-vl-1b-v2模型支持三種輸入模式——純文本、純圖像和圖像與文本的組合，讓您能夠?qū)募兾谋疚臋n到幻燈片和技術(shù)圖表的各種內(nèi)容進(jìn)行索引。在本教程中，我們將嵌入一個(gè)同時(shí)包含圖像和文本的示例。該嵌入模型通過(guò)Transformers加載，并啟用flash attention：

from transformers import AutoModel
 
model = AutoModel.from_pretrained(
    "nvidia/llama-nemotron-embed-vl-1b-v2",
    trust_remote_code=True,
    device_map="auto"
).eval()
 
# Embed queries and documents
query_embedding = model.encode_queries(["How does AI improve robotics?"])
doc_embeddings = model.encode_documents(texts=documents)

在初始檢索后，llama-nemotron-rerank-vl-1b-v2模型會(huì)結(jié)合文本和圖像對(duì)結(jié)果進(jìn)行重新排序，以確保檢索后的準(zhǔn)確性更高。在基準(zhǔn)測(cè)試中，添加重排序可將準(zhǔn)確率提高約6-7%，這在精度要求較高的場(chǎng)景中是一項(xiàng)顯著的提升。

步驟3：使用NemotronSpeech ASR添加實(shí)時(shí)語(yǔ)音功能

錨定完成后，下一步是通過(guò)語(yǔ)音實(shí)現(xiàn)自然交互。

圖3.基于NVIDIANemotronSpeech ASR的ASR管道

Nemotron Speech ASR是一個(gè)流式模型，基于Granary數(shù)據(jù)集中數(shù)萬(wàn)小時(shí)的英語(yǔ)音頻及多種公開(kāi)語(yǔ)音語(yǔ)料庫(kù)進(jìn)行訓(xùn)練，同時(shí)經(jīng)過(guò)優(yōu)化實(shí)現(xiàn)超低延遲的實(shí)時(shí)解碼。開(kāi)發(fā)者將音頻流式傳輸?shù)紸SR服務(wù)，在收到文本結(jié)果后，將輸出直接輸入到RAG管道中。

import nemo.collections.asr as nemo_asr
 
model = nemo_asr.models.ASRModel.from_pretrained(
    "nvidia/nemotron-speech-streaming-en-0.6b"
)
transcription = model.transcribe(["audio.wav"])[0]

該模型具備可配置的延遲設(shè)置，在80毫秒的最低延遲設(shè)置下，平均字詞錯(cuò)誤率(Word Error Rate, WER)為8.53%，延遲為1.1秒時(shí)，WER進(jìn)一步降低至7.16%，這一表現(xiàn)顯著低于語(yǔ)音助手、現(xiàn)場(chǎng)工具和免提工作流所要求的一秒關(guān)鍵閾值。

步驟4：使用Nemotron內(nèi)容安全和PII模型強(qiáng)制執(zhí)行安全措施

跨地區(qū)和跨語(yǔ)言運(yùn)行的AI智能體不僅必須理解有害內(nèi)容，還必須理解文化細(xì)微差別和上下文相關(guān)的含義。

圖4.使用NVIDIA LlamaNemotronSafety Guard模型的安全管道，檢測(cè)安全或不安全內(nèi)容。

llama-3.1-nemotron-safety-guard-8b-v3模型可提供20多種語(yǔ)言的多語(yǔ)言內(nèi)容安全，并可對(duì)23個(gè)安全類別進(jìn)行實(shí)時(shí)PII檢測(cè)。

該模型通過(guò)NVIDIA API提供，無(wú)需額外托管基礎(chǔ)設(shè)施，即可輕松添加輸入和輸出過(guò)濾。它可以基于語(yǔ)言、方言和文化背景區(qū)分含義不同但表達(dá)相似的短語(yǔ)，這在處理可能受到干擾或非正式的實(shí)時(shí)ASR輸出時(shí)尤為重要。

from langchain_nvidia_ai_endpoints import ChatNVIDIA
 
safety_guard = ChatNVIDIA(model="nvidia/llama-3.1-nemotron-safety-guard-8b-v3")
result = safety_guard.invoke([
    {"role": "user", "content": query},
    {"role": "assistant", "content": response}
])

步驟5：使用Nemotron3 Nano添加長(zhǎng)上下文推理功能

NVIDIANemotron3 Nano為智能體提供推理能力，結(jié)合了高效的混合專家(MoE)機(jī)制和混合Mamba-Transformer架構(gòu)，支持1M token上下文窗口。這使得模型能夠在單個(gè)推理請(qǐng)求中合并檢索到的文檔、用戶歷史記錄和中間步驟。

圖5.使用NVIDIANemotron3 Nano的推理管道。

當(dāng)檢索到的文檔包含圖像時(shí)，智能體首先使用NemotronNano VL來(lái)描述這些圖像，然后將所有信息傳遞給Nemotron3 Nano以獲得最終的響應(yīng)。該模型支持可選的思考模式，可用于更復(fù)雜的推理任務(wù)：

completion = client.chat.completions.create(
    model="nvidia/nemotron-3-nano-30b-a3b",
    messages=[{"role": "user", "content": prompt}],
    extra_body={"chat_template_kwargs": {"enable_thinking": True}}
)

輸出在返回之前會(huì)通過(guò)安全過(guò)濾器，將您的檢索增強(qiáng)型查找轉(zhuǎn)換為具有完整推理能力的智能體。

步驟6：使用LangGraph將所有內(nèi)容連接起來(lái)

LangGraph將整個(gè)工作流編排為一個(gè)有向圖。每個(gè)節(jié)點(diǎn)處理一個(gè)階段，即轉(zhuǎn)錄、檢索、圖像描述、生成和安全檢查，組件之間有清晰的切換：

VoiceInput→ASR→Retrieve→Rerank→DescribeImages→Reason→Safety→Response

智能體狀態(tài)流經(jīng)每個(gè)節(jié)點(diǎn)，并在過(guò)程中積累上下文。這種結(jié)構(gòu)簡(jiǎn)化了添加條件邏輯、重試失敗步驟或基于內(nèi)容類型進(jìn)行分支。配套Notebook中的完整實(shí)現(xiàn)展示了如何定義每個(gè)節(jié)點(diǎn)，并將其連接到生產(chǎn)就緒型管道中。

步驟7：部署智能體

智能體能夠在本地機(jī)器上穩(wěn)定運(yùn)行后，您就可以將其部署到任意位置。在需要分布式攝取、嵌入生成或大規(guī)模批量向量索引時(shí)，可使用NVIDIA DGX Spark。Nemotron模型可以進(jìn)行優(yōu)化、打包并作為NVIDIANIM運(yùn)行（一套預(yù)構(gòu)建的GPU加速推理微服務(wù)，專為在NVIDIA基礎(chǔ)設(shè)施上部署AI模型而設(shè)計(jì)），并可直接從Spark調(diào)用以進(jìn)行可擴(kuò)展的處理。當(dāng)您需要按需的GPU工作空間且無(wú)需系統(tǒng)設(shè)置直接運(yùn)行Notebook，同時(shí)還希望獲得可與團(tuán)隊(duì)輕松共享的Spark集群遠(yuǎn)程訪問(wèn)時(shí)，可以選擇使用NVIDIA Brev。

如果您想查看適用于物理機(jī)器人助手的相同部署模式，請(qǐng)查看基于Nemotron和DGX Spark的ReachyMini個(gè)人助理教程。

兩個(gè)環(huán)境都使用相同的代碼路徑，因此您可以由實(shí)驗(yàn)階段平穩(wěn)過(guò)渡到生產(chǎn)環(huán)境，所需的修改極少。

您所構(gòu)建的內(nèi)容

現(xiàn)在，您擁有一個(gè)由Nemotron驅(qū)動(dòng)的智能體核心結(jié)構(gòu)，該結(jié)構(gòu)由四個(gè)核心組件組成：用于語(yǔ)音交互的語(yǔ)音ASR、用于實(shí)現(xiàn)信息真實(shí)性的多模態(tài)RAG、考慮文化差異的多語(yǔ)言內(nèi)容安全過(guò)濾，以及用于長(zhǎng)上下文推理的Nemotron3 Nano。相同的代碼適用于本地開(kāi)發(fā)到生產(chǎn)級(jí)GPU集群運(yùn)行。

表2.用于構(gòu)建基于Nemotron的語(yǔ)音智能體的四個(gè)組件概覽——多模態(tài)RAG、語(yǔ)音ASR、多語(yǔ)言內(nèi)容安全和長(zhǎng)上下文推理。

本教程中的每個(gè)部分都與Notebook中的相應(yīng)部分直接對(duì)應(yīng)，因此您可以逐步實(shí)施和測(cè)試該流程。一旦端到端工作正常，相同的代碼即可擴(kuò)展到生產(chǎn)部署。

關(guān)于作者

Chris Alexiuk 是 NVIDIA 的深度學(xué)習(xí)開(kāi)發(fā)者倡導(dǎo)者，負(fù)責(zé)創(chuàng)建技術(shù)資源，幫助開(kāi)發(fā)者使用 NVIDIA 提供的一整套強(qiáng)大 AI 工具。Chris 擁有機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)背景，對(duì)大型語(yǔ)言模型的一切充滿熱情。

Isabel Hulseman 是 NVIDIA 的綜合營(yíng)銷經(jīng)理，專注于人工智能軟件。她的興趣領(lǐng)域包括用于構(gòu)建、定制和部署大型語(yǔ)言模型和生成人工智能應(yīng)用程序的加速推理和解決方案。