人工智能的快速發(fā)展正在推高數(shù)據(jù)集的規(guī)模，以及網(wǎng)絡(luò)的規(guī)模和復(fù)雜性。支持人工智能的應(yīng)用程序，如電子商務(wù)產(chǎn)品推薦、基于語(yǔ)音的助手和呼叫中心自動(dòng)化，需要數(shù)十到數(shù)百個(gè)經(jīng)過(guò)培訓(xùn)的人工智能模型。推理服務(wù)幫助基礎(chǔ)設(shè)施管理人員部署、管理和擴(kuò)展這些模型，并在生產(chǎn)中保證實(shí)時(shí)服務(wù)質(zhì)量（ QoS ）。此外，基礎(chǔ)架構(gòu)經(jīng)理希望提供和管理用于部署這些 AI 模型的正確計(jì)算基礎(chǔ)架構(gòu)，最大限度地利用計(jì)算資源，靈活地放大或縮小規(guī)模，以優(yōu)化部署的運(yùn)營(yíng)成本。將人工智能投入生產(chǎn)既是一項(xiàng)推理服務(wù)，也是一項(xiàng)基礎(chǔ)設(shè)施管理挑戰(zhàn)。

NVIDIA 與谷歌云合作，將 CPU 和 GPU 通用推理服務(wù)平臺(tái) NVIDIA Triton Inference Server的功能與谷歌 Kubernetes 引擎（ GKE ）相結(jié)合，使企業(yè)更容易將人工智能投入生產(chǎn)。NVIDIA Triton Inference Server 是一個(gè)托管環(huán)境，用于在安全的谷歌基礎(chǔ)設(shè)施中部署、擴(kuò)展和管理容器化人工智能應(yīng)用程序。

使用 NVIDIA Triton 推理服務(wù)器在谷歌云上的 CPU 和 GPU 上提供推理服務(wù)

在企業(yè)應(yīng)用程序中操作 AI 模型帶來(lái)了許多挑戰(zhàn)——為在多個(gè)框架中培訓(xùn)的模型提供服務(wù)，處理不同類型的推理查詢類型，并構(gòu)建一個(gè)能夠跨 CPU 和 GPU 等多個(gè)部署平臺(tái)進(jìn)行優(yōu)化的服務(wù)解決方案。

Triton 推理服務(wù)器通過(guò)提供一個(gè)單一的標(biāo)準(zhǔn)化推理平臺(tái)來(lái)解決這些挑戰(zhàn)，該平臺(tái)可以從任何基于 TensorFlow 、TensorRT、 PyTorch 、 ONNX 運(yùn)行時(shí)、 OpenVINO 或自定義 C ++/ Python 框架的本地存儲(chǔ)或谷歌云的托管存儲(chǔ)在任何基于 GPU 或 CPU 的基礎(chǔ)設(shè)施上部署經(jīng)過(guò)培訓(xùn)的 AI 模型。

圖 1 Triton 部署在 Google Kubernetes 引擎（ GKE ）上的推理服務(wù)器

在 GKE 集群上一鍵部署 NVIDIA Triton 推理服務(wù)器

Google Kubernetes Engine （ GKE ）上的 Triton 為部署在 CPU 和 GPU 上的 AI 模型提供了通用推理服務(wù)平臺(tái)，并結(jié)合了 Kubernetes 群集管理、負(fù)載平衡和基于需求的自動(dòng)縮放計(jì)算的方便性。

使用谷歌市場(chǎng)上新的一鍵式 Triton GKE 推理服務(wù)器應(yīng)用程序，可以將 Triton 無(wú)縫部署為 Google Kubernetes Engine （ GKE ）管理的集群上的容器化微服務(wù)。

GKE 的 Triton 推理服務(wù)器應(yīng)用程序是一個(gè) helm chart 部署程序，可自動(dòng)安裝和配置 Triton ，以便在具有 NVIDIA GPU 節(jié)點(diǎn)池的 GKE 集群上使用，包括 NVIDIA A100 Tensor Core GPU s 和 NVIDIA T4 Tensor Core GPU s ，并利用谷歌云上的 Istio 進(jìn)行流量進(jìn)入和負(fù)載平衡。它還包括一個(gè)水平 pod autoscaler （ HPA ），它依賴堆棧驅(qū)動(dòng)程序自定義度量適配器來(lái)監(jiān)控 GPU 占空比，并根據(jù)推理查詢和 SLA 要求自動(dòng)縮放 GKE 集群中的 GPU 節(jié)點(diǎn)。

關(guān)于作者

Uttara Kumar 是 NVIDIA 的高級(jí)產(chǎn)品營(yíng)銷經(jīng)理，專注于 GPU - 云計(jì)算中的人工智能加速應(yīng)用。她非常關(guān)心讓每個(gè)人都能獲得技術(shù)的民主化，讓開(kāi)發(fā)者能夠利用 NVIDIA 數(shù)據(jù)中心平臺(tái)的力量來(lái)加快創(chuàng)新步伐。在 NVIDIA 之前，她領(lǐng)導(dǎo)半導(dǎo)體和科學(xué)計(jì)算軟件公司的軟件產(chǎn)品營(yíng)銷。她擁有安娜堡密歇根大學(xué)的 Eel CTR 工程碩士學(xué)位。

審核編輯：郭婷