前面已經(jīng)做好了每個推理模型的基礎(chǔ)配置，基本上就能正常讓 Triton 服務(wù)器使用這些獨(dú)立模型進(jìn)行推理。接下來的重點(diǎn)，就是要讓設(shè)備的計算資源盡可能地充分使用，首先第一件事情就是模型并發(fā)執(zhí)行（concurrent model execution）的調(diào)試，這是提升 Triton 服務(wù)器性能的最基本任務(wù)。

Triton 服務(wù)器支持的模型并發(fā)能力，包括一個模型并發(fā)多個推理實例，以及多個模型的多個并發(fā)實例。至于能并發(fā)多少實例？就需要根據(jù)系統(tǒng)上的硬件配置，Triton 支持純 CPU 以及多 GPU 的計算環(huán)境。

GPU 是能夠同時執(zhí)行多個工作負(fù)載的計算引擎，Triton 推理服務(wù)器通過在 GPU上同時運(yùn)行多個模型，最大限度地提高性能并減少端到端延遲，這些模型可以完全相同也可以是不同框架的不同模型，顯存大小是唯一限制并發(fā)運(yùn)行模型數(shù)量的因素。

下圖顯示了兩個計算模型 compute model 0 與 compute model 1 的示例，假設(shè) Triton 服務(wù)器當(dāng)前處于等待狀態(tài)，當(dāng) request 0 與 request 1 兩個請求同時到達(dá)時，Triton 會立即將這兩個請求調(diào)度到 GPU 上（下圖左），開始并發(fā)處理這兩個模型的推理計算。

默認(rèn)情況下，Triton 指定系統(tǒng)中的每個可用 GPU 為每個模型提供一個實例，如果同一模型的多個請求同時到達(dá)，Triton 將通過在 GPU 上一次只調(diào)度一個請求來串行化它們的執(zhí)行（上圖中）。這樣的方式在管理上是最輕松的，但是執(zhí)行效率并不好，因為計算性能并未被充分調(diào)用。

Triton 提供了一個 “instance_group” 的模型配置選項，通過在模型配置中使用這個字段，可以更改模型的執(zhí)行實例數(shù)，調(diào)整每個模型的并發(fā)執(zhí)行數(shù)量。

上圖右就是在 model 1 配置文件中，添加 “instance_group” 配置，并且設(shè)置 “count: 3” 的參數(shù)，這樣就允許一個 GPU 上可以并發(fā)三個實例的模型計算，如果用戶端發(fā)出超過 3 個推理請求時，則第 4 個 model 1 推理請求就必須等到前三個實例中的任一個執(zhí)行完之后，才能開始執(zhí)行。

Triton可以提供一個模型的多個實例，從而可以同時處理該模型的多條推理請求。模型配置 ModelInstanceGroup 屬性用于指定應(yīng)可用的執(zhí)行實例的數(shù)量以及應(yīng)為這些實例使用的計算資源。接下來就看看幾個標(biāo)準(zhǔn)用法：

1. 單 CPU 或 GPU 單實例

未添加任何 instance_group 參數(shù)時，表示這個模型使用默認(rèn)的配置，這時該模型可以在系統(tǒng)中可用的每個 GPU 中創(chuàng)建單個執(zhí)行實例。如果用戶端提出多個請求時，就會在 GPU 設(shè)備上按照串行方式執(zhí)行計算，如同上圖中 compute model 1 的狀態(tài)。

2. 單 CPU 或 GPU 并發(fā)多實例

實例組設(shè)置可用于在每個 GPU 上或僅在某些 GPU 上放置模型的多個執(zhí)行實例。例如，以下配置將在每個系統(tǒng) GPU 上放置模型的兩個執(zhí)行實例。如果要讓模型在一個 GPU 上執(zhí)行多個并行實例，就將以下的內(nèi)容寫入模型配置文件內(nèi)，這里配置的是 2 個并發(fā)實例：

instance_group [ 
  { 
    count: 2 
    kind: KIND_GPU 
  } 
]

instance_group [ 
  { 
    count: 1 
    kind: KIND_GPU 
    gpus: [ 0 ] 
  }, 
  { 
    count: 2 
    kind: KIND_GPU 
    gpus: [ 1, 2 ] 
  } 
]

• 資源（Reousrces）限制：

instance_group [ 
  { 
    count: 2 
    kind: KIND_GPU 
gpus: [ 0 ] 
    rate_limiter { 
      resources [ 
        { 
          name: "R1" 
          count: 4 
        } 
] 
    } 
  }, 
  { 
    count: 4 
    kind: KIND_GPU 
gpus: [ 1, 2 ] 
    rate_limiter { 
      resources [        
        { 
          name: "R2" 
          global: True 
          count: 2 
        } 
      ] 
} 
  } 
]

• 第 1 組配置：可并發(fā)執(zhí)行數(shù)量為 2，指定使用 gpu[0] 設(shè)備，需要名為 “R1” 的計算資源，其內(nèi)容是需要 2 份設(shè)備內(nèi)存的副本；

• 第 2 組配置：可并發(fā)執(zhí)行數(shù)量為 4，指定使用 gpu[1, 2] 兩個設(shè)備，需要名為 “R2” 的計算資源，其內(nèi)容是需要 4 份全局共享內(nèi)存的副本，

• 優(yōu)先級（Priority）設(shè)置：

instance_group [ 
  { 
    count: 1 
    kind: KIND_GPU 
    gpus: [ 0, 1, 2 ] 
    rate_limiter { 
      resources [ 
        { 
          name: "R1" 
          count: 4 
        }, 
        { 
          name: "R2" 
          global: True 
          count: 2 
        } 
      ] 
      priority: 2 
    } 
  } 
]