在CVPR 2018大會(huì)上，英偉達(dá)開源了數(shù)據(jù)增強(qiáng)和數(shù)據(jù)解碼的兩個(gè)新的庫：

NVIDIA DALI：一個(gè)GPU加速的數(shù)據(jù)增強(qiáng)和圖像加載庫，用于優(yōu)化深度學(xué)習(xí)框架的數(shù)據(jù)pipeline

NVIDIA nvJPEG：一個(gè)高性能的GPU加速的圖像解碼庫

由深度學(xué)習(xí)驅(qū)動(dòng)的計(jì)算機(jī)視覺應(yīng)用程序包括復(fù)雜的、多階段的預(yù)處理數(shù)據(jù)pipeline，包括計(jì)算密集型的步驟，例如從磁盤加載和提取數(shù)據(jù)、解碼、裁剪和調(diào)整大小、顏色和空間變換以及格式轉(zhuǎn)換。

通過使用GPU加速數(shù)據(jù)增強(qiáng)，NVIDIA DALI解決了當(dāng)今計(jì)算機(jī)視覺深度學(xué)習(xí)應(yīng)用程序中的性能瓶頸問題，這些應(yīng)用程序包括復(fù)雜的多階段數(shù)據(jù)增強(qiáng)步驟。借助DALI，深度學(xué)習(xí)研究人員可以通過MXNet、TensorFlow和PyTorch在AWS P3 8 GPU實(shí)例或Volta GPU的DGX-1系統(tǒng)上提高圖像分類模型（比如ResNet-50）的訓(xùn)練性能。由于可以跨框架實(shí)現(xiàn)高性能的數(shù)據(jù)加載和增強(qiáng)，框架用戶將能夠減少代碼重復(fù)。

DALI依賴于新的NVIDIA nvJPEG庫進(jìn)行高性能的GPU加速解碼。

DALI的優(yōu)勢(shì)包括：

能與MxNet，TensorFlow和PyTorch的框架直接集成

具有支持多種數(shù)據(jù)格式（如JPEG，原始格式，LMDB，RecordIO和TFRecord）的便攜式訓(xùn)練工作流

具有可配置圖形和自定義操作符的自定義數(shù)據(jù)pipeline

使用nvJPEG進(jìn)行高性能的單圖像解碼和批量JPEG解碼

nvJPEG是一個(gè)用于JPEG解碼的高性能GPU加速庫。nvJPEG支持同時(shí)使用CPU和GPU對(duì)單個(gè)圖像和批量圖像進(jìn)行解碼、顏色空間轉(zhuǎn)換、多相位解碼，以及混合解碼。與只使用CPU解碼相比，使用nvJPEG進(jìn)行解碼的應(yīng)用程序具有更高的吞吐量和更低的延遲。

nvJPEG為計(jì)算機(jī)視覺應(yīng)用中常用的JPEG格式提供低延遲解碼器，如圖像分類、物體檢測(cè)和圖像分割等應(yīng)用。對(duì)于深度學(xué)習(xí)訓(xùn)練應(yīng)用，nvJPEG可以加速數(shù)據(jù)加載和預(yù)處理，如平移、縮小，放大，翻轉(zhuǎn)等。對(duì)于需要低延遲深度學(xué)習(xí)推理的應(yīng)用，nvJPEG可用于實(shí)時(shí)地進(jìn)行JPEG解碼和調(diào)整大小。

nvJPEG的優(yōu)勢(shì)包括：

使用CPU和GPU進(jìn)行混合解碼

可以進(jìn)行單個(gè)圖像解碼和批量圖像解碼

色彩空間可以轉(zhuǎn)換為RGB，BGR，RGBI，BGRI和YUV

單相位解碼和多相位解碼

DALI已經(jīng)開源，可以從GitHub獲?。?/p>

https://github.com/NVIDIA/dali

nvJPEG預(yù)發(fā)行版也已經(jīng)可以免費(fèi)下載，用于收集反饋和測(cè)試，今年晚些時(shí)候會(huì)作為CUDA工具包的一部分提供。