生成式 AI 為 PC 和工作站帶來了全新功能,包括游戲助手、增強的內(nèi)容創(chuàng)作和生產(chǎn)力工具等。
現(xiàn)已推出的 NVIDIA NIM 微服務和即將推出的 AI Blueprints 可加速 AI 開發(fā)和提升其可用性。NVIDIA NIM 于 1 月在 CES 上推出,提供針對 NVIDIA RTX 平臺優(yōu)化的預打包先進 AI 模型,包括 NVIDIA GeForce RTX 50 系列及全新 NVIDIA Blackwell RTX PRO GPU。微服務易于下載及運行。微服務涵蓋了頂級 PC 開發(fā)模態(tài),并與頂級生態(tài)系統(tǒng)應用和工具兼容。
在計算領域的關鍵時刻,突破性的 AI 模型和全球開發(fā)者社區(qū)正在推動 AI 賦能工具和工作流的爆炸式增長,NIM 微服務和 AI Blueprint 正助力為 PC 帶來關鍵創(chuàng)新。
NIM 助您馬上出發(fā)
盡管 AI 的創(chuàng)新速度驚人,但 PC 開發(fā)者社區(qū)仍然很難上手這項技術。
將 AI 模型從研究引入 PC 需要模型變體管護、輸入輸出數(shù)據(jù)的自適應管理和量化以優(yōu)化資源的使用。此外,模型必須轉化為與優(yōu)化的推理后端軟件配合使用,并連接到全新的 AI 應用編程接口(API)。這需要付出巨大的努力,可能會減緩 AI 的普及。
NVIDIA NIM 微服務通過提供預打包、經(jīng)優(yōu)化,易于下載且連接到行業(yè)標準 API 的 AI 模型,幫助解決了這一問題。它們針對 RTX AI PC 和工作站上的性能進行了優(yōu)化,并包含了來自社區(qū)的頂級 AI 模型以及 NVIDIA 開發(fā)的模型。
NIM 微服務支持各種 AI 應用,包括大語言模型(LLMs)、視覺語言模型、圖像生成、語音處理、基于檢索增強生成(RAG)的搜索、PDF 提取和計算機視覺。提供十種面向 RTX 的 NIM 微服務,支持各種應用,包括語言和圖像生成、計算機視覺、語音 AI 等。
立即訪問https://www.nvidia.cn/ai/開始使用以下 NIM:
語言和推理:Deepseek-R1-distill-llama-8B、Mistral-nemo-12B-instruct 和 Llama3.1-8B-instruct
圖像生成:Flux.dev
音頻:Riva Parakeet-ctc-0.6B-asr 和 Maxine Studio Voice
RAG:Llama-3.2-NV-EmbedQA-1B-v2
計算機視覺和理解:NV-CLIP、PaddleOCR 和 Yolo-X-v1
NIM 微服務還可以通過頂級 AI 生態(tài)系統(tǒng)工具和框架提供。
對于 AI 發(fā)燒友,AnythingLLM 和 ChatRTX 現(xiàn)在支持NIM,可以通過簡單、友好的用戶界面輕松與 LLM 和 AI 智能體聊天。借助這些工具,用戶可以創(chuàng)建個性化 AI 助手并集成自己的文檔和數(shù)據(jù),幫助自動化任務并提高生產(chǎn)力。
對于希望構建、測試和集成 AI 到其應用中的開發(fā)者,F(xiàn)lowiseAI 和 Langflow 現(xiàn)在支持 NIM,并提供帶有視覺界面的低代碼和無代碼解決方案,以最低限度的編程專業(yè)知識設計 AI 工作流。即將推出對 ComfyUI 的支持。借助這些工具,開發(fā)者可以輕松創(chuàng)建復雜的 AI 應用,如聊天機器人、圖像生成器和數(shù)據(jù)分析系統(tǒng)。
此外,Microsoft VS Code AI Toolkit、CrewAI 和 Langchain 現(xiàn)在支持 NIM,并提供將微服務集成到應用代碼中的高級功能,有助于確保無縫集成和優(yōu)化。
NVIDIA AI Blueprint,提供預構建工作流
NVIDIA AI Blueprint 為 AI 開發(fā)者提供了借助 NVIDIA NIM 微服務構建生成式 AI 工作流的先機。
Blueprint(藍圖)是即用、可拓展的參考樣本,可以打包所有必要元素(源代碼、示例數(shù)據(jù)、文檔和演示應用),以創(chuàng)建和自定義本地運行的高級 AI 工作流。開發(fā)者可以修改和拓展 AI Blueprint,以調(diào)整其行為、使用不同的模型或?qū)崿F(xiàn)全新的功能。
PDF 轉播客 AI Blueprint可以將文檔轉換為音頻內(nèi)容,以便用戶可以隨時隨地學習。通過從 PDF 中提取文本、圖像和表格,工作流利用 AI 生成信息豐富的播客。為了更深入地探討主題,用戶可以與由 AI 賦能的播客主持人進行互動式討論。
借助適用于 Linux 的 Windows 子系統(tǒng),在 RTX 上運行 NVIDIA NIM 和 AI Blueprint
使 NIM 微服務能夠在 PC 上運行,關鍵技術之一是適用于 Linux 的 Windows 子系統(tǒng)(WSL)。
微軟和 NVIDIA 合作 為 WSL 引入了 CUDA 和 RTX 加速,使在 Windows 上運行優(yōu)化的、容器化的微服務成為可能。從 PC 和工作站到數(shù)據(jù)中心和云計算,這使得相同的 NIM 微服務可以隨時隨地運行。
構建、創(chuàng)造、創(chuàng)新
用于 RTX 的 NVIDIA NIM 微服務 和 AI Blueprint 現(xiàn)已在www.nvidia.cn/ai/提供,為開發(fā)者和 AI 發(fā)燒友構建 AI 應用提供功能強大、隨時可用的工具。
-
NVIDIA
+關注
關注
14文章
5592瀏覽量
109704 -
AI
+關注
關注
91文章
39707瀏覽量
301312 -
微服務
+關注
關注
0文章
150瀏覽量
8102
原文標題:NVIDIA NIM 微服務現(xiàn)已推出,可簡化 RTX AI PC 和工作站上的智能體工作流
文章出處:【微信號:NVIDIA_China,微信公眾號:NVIDIA英偉達】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
NVIDIA RTX PRO 5000 72GB Blackwell GPU現(xiàn)已全面上市
NVIDIA Omniverse基于Container的部署推流方案
NVIDIA推出全新BlueField-4 DPU
如何基于Nginx構建微服務網(wǎng)關
NVIDIA Omniverse Extension開發(fā)秘籍
超過175款游戲和應用現(xiàn)已支持NVIDIA DLSS 4
電商API的微服務架構優(yōu)化策略
NVIDIA RTX AI加速FLUX.1 Kontext現(xiàn)已開放下載
NVIDIA技術助力企業(yè)創(chuàng)建主權AI智能體
企業(yè)使用NVIDIA NeMo微服務構建AI智能體平臺
Altair One? 云端門戶與 NVIDIA Omniverse 實時數(shù)字孿生藍圖完成全面整合
NVIDIA Omniverse Kit 107的安裝部署步驟
使用NVIDIA RTX PRO Blackwell系列GPU加速AI開發(fā)
英偉達GTC2025亮點:Oracle與NVIDIA合作助力企業(yè)加速代理式AI推理
Oracle 與 NVIDIA 合作助力企業(yè)加速代理式 AI 推理
NVIDIA NIM微服務現(xiàn)已推出
評論