（文章來源：雷鋒網(wǎng)）
Google發(fā)布了 Quantification Aware Training（QAT）API，使開發(fā)人員可以利用量化的優(yōu)勢來訓(xùn)練和部署模型AI模型。通過這個(gè)API，可以將輸入值從大集合映射到較小集合的輸出，同時(shí)，保持接近原始狀態(tài)的準(zhǔn)確性。

新的API的目標(biāo)是支持開發(fā)更小、更快、更高效的機(jī)器學(xué)習(xí)（ML）模型，這些模型非常適合在現(xiàn)有的設(shè)備上運(yùn)行，例如那些計(jì)算資源非常寶貴的中小型企業(yè)環(huán)境中的設(shè)備。

通常，從較高精度到較低精度的過程有很多噪聲。因?yàn)榱炕研》秶母↑c(diǎn)數(shù)壓縮為固定數(shù)量的信息存儲(chǔ)區(qū)中，這導(dǎo)致信息損失，類似于將小數(shù)值表示為整數(shù)時(shí)的舍入誤差（例如，在范圍[2.0，2.3]中的所有值都可以在相同的存儲(chǔ)中表示。）。問題在于，當(dāng)在多個(gè)計(jì)算中使用有損數(shù)時(shí)，精度損失就會(huì)累積，這就需要為下一次計(jì)算重新標(biāo)度。

谷歌新發(fā)布的QAT API通過在AI模型訓(xùn)練過程中模擬低精度計(jì)算來解決此問題。在整個(gè)訓(xùn)練過程中，將量化誤差作為噪聲引入，QAT API的算法會(huì)嘗試將誤差最小化，以便它學(xué)習(xí)這個(gè)過程中的變量，讓量化有更強(qiáng)的魯棒性。訓(xùn)練圖是利用了將浮點(diǎn)對象轉(zhuǎn)換為低精度值，然后再將低精度值轉(zhuǎn)換回浮點(diǎn)的操作，從而確保了在計(jì)算中引入了量化損失，并確保了進(jìn)一步的計(jì)算也可以模擬低精度。

谷歌在報(bào)告中給出的測試結(jié)果顯示，在開源Imagenet數(shù)據(jù)集的圖像分類模型（MobilenetV1 224）上進(jìn)行測試，結(jié)果顯示未經(jīng)量化的精度為71.03％，量化后的精度達(dá)到了71.06％。

針對相同數(shù)據(jù)集測試的另一種分類模型（Nasnet-Mobile）中測試，在量化后僅有1％的精度損失（74％至73％）。除了模擬精度降低的計(jì)算外，QAT API還負(fù)責(zé)記錄必要的統(tǒng)計(jì)信息，以量化訓(xùn)練整個(gè)模型或模型的一部分。比如，這可以使開發(fā)人員能夠通過調(diào)用模型訓(xùn)練API將模型轉(zhuǎn)換為量化的TensorFlow Lite模型?；蛘?，開發(fā)人員可以在模擬量化如何影響不同硬件后端的準(zhǔn)確性的同時(shí)嘗試各種量化策略。

Google表示，在默認(rèn)情況下，作為TensorFlow模型優(yōu)化工具包一部分的QAT API配置為與TensorFlow Lite中提供的量化執(zhí)行支持一起使用，TensorFlow Lite是Google的工具集，旨在將其TensorFlow機(jī)器學(xué)習(xí)框架上構(gòu)建的模型能夠適應(yīng)于移動(dòng)設(shè)備，嵌入式和物聯(lián)網(wǎng)設(shè)備。“我們很高興看到QAT API如何進(jìn)一步使TensorFlow用戶在其支持TensorFlow Lite的產(chǎn)品中突破有效執(zhí)行的界限，以及它如何為研究新的量化算法和進(jìn)一步開發(fā)具有不同精度特性的新硬件平臺打開大門”，Google在博客中寫道。

QAT API的正式發(fā)布是在TensorFlow Dev Summit上，也是在發(fā)布了用于訓(xùn)練量子模型的機(jī)器學(xué)習(xí)框架TensorFlow Quantum之后發(fā)布。谷歌也在會(huì)議的會(huì)話中預(yù)覽了QAT API。
（責(zé)任編輯：fqj）