大語(yǔ)言模型（LLM）在企業(yè)組織中的應(yīng)用日益廣泛，許多企業(yè)都將其整合到 AI 應(yīng)用中。雖然從基礎(chǔ)模型著手十分高效，但需要花費(fèi)一定的精力才能將它們整合到生產(chǎn)就緒型環(huán)境中。NVIDIA NIM簡(jiǎn)化了這一過(guò)程，使企業(yè)能夠在數(shù)據(jù)中心、云、工作站和 PC 等任何位置運(yùn)行 AI 模型。

專(zhuān)為企業(yè)設(shè)計(jì)的 NIM 提供一整套預(yù)構(gòu)建云原生微服務(wù)，這些微服務(wù)能夠被輕松地整合到現(xiàn)有基礎(chǔ)設(shè)施中。這些微服務(wù)經(jīng)過(guò)精心的維護(hù)和持續(xù)的更新，具有開(kāi)箱即用的性能，并確保您能夠獲得 AI 推理技術(shù)的最新進(jìn)展。

適用于大語(yǔ)言模型的全新 NVIDIA NIM

基礎(chǔ)模型的增長(zhǎng)源于其能夠滿(mǎn)足各種企業(yè)需求的能力，但沒(méi)有任何一個(gè)單一的模型能夠完全滿(mǎn)足企業(yè)的需求，企業(yè)通常會(huì)根據(jù)特定的數(shù)據(jù)需求和 AI 應(yīng)用工作流，在其用例中使用不同的基礎(chǔ)模型。

考慮到企業(yè)需求的多樣化，我們擴(kuò)大了 NIM 的陣容，涵蓋了Mistral-7B、Mixtral-8x7B和Mixtral-8x22B，這三個(gè)基礎(chǔ)模型在特定任務(wù)中的表現(xiàn)都十分出色。

圖 1. 新的 Mixtral 8x7B Instruct NIM

可從 NVIDIA API 中獲取

Mistral 7B NIM

Mistral 7B Instruct 模型在文本生成和語(yǔ)言理解任務(wù)中表現(xiàn)出色。該模型可在單個(gè) GPU 上運(yùn)行，非常適合語(yǔ)言翻譯、內(nèi)容生成和聊天機(jī)器人等應(yīng)用。將 Mistral 7B NIM 部署至 NVIDIA 數(shù)據(jù)中心 GPU 后，開(kāi)發(fā)者在內(nèi)容生成任務(wù)中可實(shí)現(xiàn)的開(kāi)箱即用性能（token/秒），其性能最多可提升至沒(méi)有使用 NIM 時(shí)的 2.3 倍。

圖 2. Mistral 7B NIM 提高了內(nèi)容生成的吞吐量

基于 1 個(gè) NVIDIA Tensor Core GPU，輸入 500 個(gè) token，輸出 2,000 個(gè) token。NIM 開(kāi)啟時(shí)：FP8。吞吐量為 5,697 token/秒，TTFT 為 0.6 秒，ITL 為 26 毫秒。NIM 關(guān)閉時(shí)：FP16。吞吐量為 2,529 token/秒，TTFT 為 1.4 秒，ITL 為 60 毫秒。

Mixtral-8x7B和

Mixtral-8x22B NIM

Mixtral-8x7B 和 Mixtral-8x22B 模型采用混合專(zhuān)家（MoE）架構(gòu)提供快速且經(jīng)濟(jì)高效的推理。這兩個(gè)模型在總結(jié)、問(wèn)題解答和代碼生成等任務(wù)中表現(xiàn)出色，非常適合需要實(shí)時(shí)響應(yīng)的應(yīng)用。

相較無(wú) NIM 運(yùn)行的情況，NIM 可以提高這兩種模型的開(kāi)箱即用性能。當(dāng)用于內(nèi)容生成且在 1 個(gè) NVIDIA Tensor Core GPU 上運(yùn)行時(shí)，Mixtral-8x7B NIM 的吞吐量最多可提高 4.1 倍。在內(nèi)容生成和翻譯用例中，Mixtral-8x22B NIM 的吞吐量最多可提高 2.9 倍。

圖 3. Mixtral 8x7B NIM

提高了內(nèi)容生成的吞吐量

輸入 500 個(gè) token，輸出 2,000 個(gè) token。200 個(gè)并發(fā)請(qǐng)求。NIM 開(kāi)啟時(shí)：FP8。吞吐量為 9,410 token/秒。TTFT 為 740 毫秒，ITL 為 21 毫秒。NIM 關(guān)閉時(shí)：FP16。吞吐量為 2,300 token/秒，TTFT 為 1,321 毫秒，ITL 為 86 毫秒。

圖 4. Mixtral 8x22B NIM

提高了內(nèi)容生成和翻譯的吞吐量

輸入 1,000 個(gè) token，輸出 1,000 個(gè) token。250 個(gè)并發(fā)請(qǐng)求。NIM 開(kāi)啟時(shí)：吞吐量為 6,070 token/秒，TTFT 為 3 秒，ITL 為 38 毫秒。NIM 關(guān)閉時(shí)：吞吐量為 2,067 token/秒，TTFT 為 5 秒，ITL 為 116 毫秒。

借助 NVIDIA NIM 加速 AI 應(yīng)用部署

開(kāi)發(fā)者可以使用 NIM 縮短構(gòu)建適用于生產(chǎn)部署的 AI 應(yīng)用所需的時(shí)間，同時(shí)還能提高 AI 推理效率，并降低運(yùn)營(yíng)成本。借助 NIM，經(jīng)過(guò)優(yōu)化的 AI 模型實(shí)現(xiàn)了容器化，為開(kāi)發(fā)者帶來(lái)了以下優(yōu)勢(shì)：

性能和規(guī)模

這些云驅(qū)動(dòng)的微服務(wù)可提供低延遲、高吞吐量并可以輕松擴(kuò)展的 AI 推理，使用 Llama 3 70B NIM，最多可將吞吐量提高 5 倍。NIM 還支持精確的微調(diào)模型，無(wú)需從頭開(kāi)始構(gòu)建即可實(shí)現(xiàn)超高的準(zhǔn)確性，進(jìn)一步提高了 AI 推理性能。

易于使用

通過(guò)簡(jiǎn)化與現(xiàn)有系統(tǒng)的整合來(lái)加快進(jìn)入市場(chǎng)的速度，并在 NVIDIA 加速基礎(chǔ)設(shè)施上提供最佳性能。借助專(zhuān)為企業(yè)使用而設(shè)計(jì)的 API 和工具，開(kāi)發(fā)者可以實(shí)現(xiàn)其 AI 能力的最大化。

安全性和易管理性

確保您的 AI 應(yīng)用和數(shù)據(jù)具有強(qiáng)大的可控性和安全性。通過(guò)NVIDIA AI Enterprise，NIM 支持在任何基礎(chǔ)設(shè)施上的靈活自托管部署，提供企業(yè)級(jí)軟件、嚴(yán)格的驗(yàn)證以及與 NVIDIA AI 專(zhuān)家的直接連線。

AI 推理的前景：

NVIDIA NIM 及其他延伸

NVIDIA NIM 代表了 AI 推理領(lǐng)域的重大進(jìn)步。隨著各行各業(yè)對(duì) AI 應(yīng)用需求的日益增長(zhǎng)，高效部署這些應(yīng)用變得至關(guān)重要。想要利用 AI 變革力量的企業(yè)可以使用 NVIDIA NIM，將預(yù)構(gòu)建的云原生微服務(wù)輕松整合到現(xiàn)有系統(tǒng)中，以此加快產(chǎn)品推出速度，保持在創(chuàng)新領(lǐng)域的領(lǐng)先地位。

未來(lái)的 AI 推理將超越單個(gè) NVIDIA NIM。隨著對(duì)先進(jìn) AI 應(yīng)用的需求不斷增長(zhǎng)，連接多個(gè) NVIDIA NIM 將變得至關(guān)重要。這種微服務(wù)網(wǎng)絡(luò)將帶來(lái)能夠協(xié)同工作和適應(yīng)各種任務(wù)的高度智能化應(yīng)用，從而深入改變我們使用技術(shù)的方式。如要在您的基礎(chǔ)設(shè)施上部署 NIM 推理微服務(wù)，請(qǐng)查看“使用 NVIDIA NIM 部署生成式 AI 的簡(jiǎn)單指南”:

NVIDIA 定期發(fā)布新的 NIM，為企業(yè)提供最強(qiáng)大的 AI 模型，助企業(yè)應(yīng)用一臂之力。請(qǐng)?jiān)L問(wèn)API 目錄，查找適用于 LLM、視覺(jué)、檢索、3D 和數(shù)字生物學(xué)模型的最新 NVIDIA NIM。