OCR在通用文字識別等場景下有廣泛應(yīng)用，基于FPGA異構(gòu)加速的OCR識別相比CPU/GPU實現(xiàn)具有延時小、成本低的優(yōu)勢。我們設(shè)計了多FPGA芯片協(xié)同的異構(gòu)加速架構(gòu)，能快速適配業(yè)務(wù)OCR模型變化，檢測識別整體性能為GPU P4 130%，處理延時僅為P4的1/10，CPU的1/30。

1.文字識別技術(shù)- OCR

OCR技術(shù)，通俗來講就是從圖像中檢測并識別字符的一種方法，在證通用文字識別、書籍電子化、自動信息采集、證照類識別等應(yīng)用場景中得到了廣泛應(yīng)用。通用場景的OCR因此通用場景下的OCR技術(shù)一直都是人工智能領(lǐng)域挑戰(zhàn)性極強的研究領(lǐng)域，不需要針對特殊場景進行定制，可以識別任意場景圖片中的文字。

通用OCR技術(shù)包含兩大關(guān)鍵技術(shù)：文本檢測和文字識別。檢測模型的作用簡單來說就是確定圖片中哪里有字，并把有字的區(qū)域框出來。文字識別是將文本檢測box作為輸入，識別出其中的字符。

近年來深度學(xué)習(xí)逐漸被應(yīng)用到音頻、視頻以及自然語言理解等時序數(shù)據(jù)建模的領(lǐng)域。通過深度學(xué)習(xí)的端到端學(xué)習(xí)提升Sequence Learning的效果已經(jīng)成為當(dāng)前研究的熱點?；舅悸肥荂NN與RNN結(jié)合：CNN被用于提取有表征能力的圖像特征，將RNN的序列化特性引入到文本檢測，增加了文本檢測候選區(qū)域的上下文信息，可以有效地提升文本檢測任務(wù)的性能。CNN+RNN的混合網(wǎng)絡(luò)將文本串識別領(lǐng)域的效果推到了一個新的高度。

?

1：CRNN網(wǎng)絡(luò)結(jié)構(gòu)

*上圖引用自《An End-to-End Trainable Neural Network for Image-based Sequence Recognition and Its Application to Scene Text Recognition》。

我們以目前應(yīng)用十分廣泛的CRNN模型為例，它是DCNN和RNN的組合，可以直接從序列標(biāo)簽學(xué)習(xí)，不需要詳細的標(biāo)注；比標(biāo)準DCNN模型包含的參數(shù)要少很多。同時CRNN在圖像特征和識別內(nèi)容序列之間嚴格保序，擅長識別字分割比較困難的文字序列。

架構(gòu)包括三部分：
1) 卷積層，從輸入圖像中提取特征序列，將圖像進行空間上的保序壓縮，相當(dāng)于沿水平方向形成若干切片，每個切片對應(yīng)一個特征向量；

2) 循環(huán)層，預(yù)測每一幀的標(biāo)簽分布；采用雙層雙向的LSTM，進一步學(xué)習(xí)上下文特征，據(jù)此得到切片對應(yīng)的字符類別。

3) Transcription層，利用CTC和前向后向算法求解最優(yōu)的label序列。

2. OCR加速架構(gòu)

依賴于FPGA的可編程性、高性能以及高通信帶寬，我們設(shè)計了一個多FPGA芯片協(xié)同的異構(gòu)加速架構(gòu)。單一芯片針對一種類型的模型進行深度定制優(yōu)化，不同芯片之間通過負載均衡以及流水化來完成整個混合模型的加速過程。

?

圖2：OCR加速硬件架構(gòu)

FPGA 0配置為通用的CNN加速架構(gòu)

FPGA 1配置為通用的LSTM加速架構(gòu)

對于計算量較小的FC使用CPU進行計算，保持模型靈活性

FPGA與服務(wù)器CPU通過PCIe Gen3進行數(shù)據(jù)通信，負載均衡由CPU進行控制

FPGA間通過AURORA輕量級協(xié)議進行數(shù)據(jù)交換，數(shù)據(jù)交換延時ns級，類似不同板卡間內(nèi)存共享

平臺后續(xù)升級可支持服務(wù)器間的多任務(wù)并行/流水調(diào)度

為特定的深度學(xué)習(xí)模型進行底層深度架構(gòu)優(yōu)化，通過架構(gòu)層面上的優(yōu)化來充分發(fā)揮異構(gòu)加速器件的性能，達到最大的計算收益。