嘉楠科技榮登中國(guó)AI芯片企業(yè)50強(qiáng) 高性能圖像處理芯片K510全面開(kāi)源

嘉楠科技

日前，嘉楠科技榮登中國(guó)AI芯片企業(yè)50強(qiáng)榜單。該榜單于GTIC 2022全球AI芯片峰會(huì)正式揭曉，專注中國(guó)芯片設(shè)計(jì)企業(yè)追蹤研究，評(píng)估維度涵蓋核心技術(shù)實(shí)力、團(tuán)隊(duì)建制、市場(chǎng)前景空間、商用落地進(jìn)展、最新融資進(jìn)度和國(guó)產(chǎn)替代價(jià)值六大維度。在入選名單中，嘉楠科技以其在端側(cè)AI芯片領(lǐng)域高性能圖像處理和全面開(kāi)源特性受到關(guān)注。

依托RISC-V開(kāi)源架構(gòu)，嘉楠科技目前研發(fā)了兩代機(jī)器視覺(jué)AI加速器，分別搭載于勘智K210和勘智K510芯片。其中，K510具備高精度推理計(jì)算、高性能圖像處理及視覺(jué)子系統(tǒng)、全面開(kāi)源的特點(diǎn)，在高校賽事、STEAM智能教育和智能家居等場(chǎng)景均有廣泛落地。

支持端側(cè)高精度推理與多模態(tài)計(jì)算

在計(jì)算精度方面，K510是國(guó)內(nèi)少數(shù)支持INT8和BF16數(shù)據(jù)類型的端側(cè)AI芯片。作為一種轉(zhuǎn)專為深度學(xué)習(xí)優(yōu)化設(shè)計(jì)的數(shù)據(jù)格式，BF16數(shù)據(jù)精度能支持大多數(shù)計(jì)算機(jī)視覺(jué)和語(yǔ)音處理場(chǎng)景，并且占用存儲(chǔ)空間小。在保證數(shù)據(jù)精度的前提下，在運(yùn)算量較小的端側(cè)場(chǎng)景中支持BF16數(shù)據(jù)格式能實(shí)現(xiàn)更高的處理效率。目前BF16已經(jīng)得到包括谷歌TPU、Intel和ARM等支持。K510的浮點(diǎn)計(jì)算性能達(dá)到2.5TFLOPS，滿足多數(shù)視覺(jué)計(jì)算場(chǎng)景需求。在CPU架構(gòu)方面，K510搭載64位RISC-V雙核CPU處理器，主頻800MHZ，并擴(kuò)展FPU輔助AI加速計(jì)算。芯片內(nèi)置64位單核DSP，支持512點(diǎn)浮點(diǎn)FFT算法硬件加速，可用于語(yǔ)音喚醒、語(yǔ)音識(shí)別、聲源定位等語(yǔ)音處理場(chǎng)景，使其具備視覺(jué)和語(yǔ)音兩種處理能力，極大提升了該芯片在實(shí)際任務(wù)場(chǎng)景的靈活性。例如在智能云臺(tái)、機(jī)器狗等設(shè)備上，可通過(guò)K510的聲源定位和人臉識(shí)別功能實(shí)現(xiàn)根據(jù)用戶聲音定位方向并追蹤人臉等。

集成全新一代視覺(jué)子系統(tǒng)

在計(jì)算機(jī)視覺(jué)任務(wù)中，圖像質(zhì)量和圖像信號(hào)處理都是影響最終視覺(jué)推理結(jié)果的關(guān)鍵因素。K510搭載高清三攝，支持4K分辨率和3D深度視覺(jué)處理，有效提升了成像質(zhì)量。同時(shí)，高FOV視場(chǎng)角的配置能使圖像傳感器捕捉更寬視域的信息。芯片支持H264高質(zhì)量視頻編碼，2路視頻分辨率達(dá)1080P@60hz。

在圖像信號(hào)處理環(huán)節(jié)，傳統(tǒng)ISP受實(shí)際光照條件影響大，不能有效應(yīng)對(duì)低照度環(huán)境。K510搭載新一代ISP圖像處理器，支持圖像2D/3D降噪，結(jié)合空域和時(shí)域降噪特點(diǎn)，充分滿足低分辨率和高清圖像的降噪需求，提升圖像質(zhì)量。同時(shí)，ISP還支持寬動(dòng)態(tài)范圍HDR、魚(yú)眼矯正、RGB/IR融合與硬件3A等多種功能。

新一代ISP在傍晚、月光和星光等低照度環(huán)境下也能獲得較高的成像質(zhì)量?；谥悄芩惴ㄗR(shí)別圖像信號(hào)，大幅提升圖像信噪比。通過(guò)RGB/IR融合技術(shù)，新一代ISP還能進(jìn)一步減少畫(huà)面污染。而在強(qiáng)光源照射環(huán)境中，ISP支持的寬動(dòng)態(tài)HDR可獲得更多的圖像明暗細(xì)節(jié)。

軟硬件全面開(kāi)源

作為一款設(shè)計(jì)之初就面向開(kāi)源的芯片，K510完整支持Linux和RISC-V P擴(kuò)展，極大提升了芯片的易用性。同時(shí)，嘉楠勘智系列芯片形成了從硬件參考設(shè)計(jì)、系統(tǒng)軟件工具鏈、算法SDK到上層解決方案的全面開(kāi)源體系，吸引超萬(wàn)名開(kāi)發(fā)者的使用。

在硬件層面，嘉楠科技基于兩款勘智系列芯片研發(fā)了基于最小系統(tǒng)的核心板，分離系統(tǒng)核心功能，提升系統(tǒng)穩(wěn)定性，便于外部擴(kuò)展和使用。嘉楠科技還研發(fā)了核心板與K510 CRB KIT客戶參考套件，幫助開(kāi)發(fā)者加速實(shí)現(xiàn)產(chǎn)品原型驗(yàn)證。其中K510 CRB KIT已上線十?dāng)?shù)種算法Demo應(yīng)用，進(jìn)一步降低開(kāi)發(fā)門檻。

此外，嘉楠勘智系列芯片還支持MicroPython、OPENMV等開(kāi)源生態(tài)，以及100多種第三方AI開(kāi)源硬件和商業(yè)模組等產(chǎn)品，是目前RISC-V生態(tài)市場(chǎng)中最活躍的開(kāi)源硬件系列。

在軟件堆棧開(kāi)源上，嘉楠勘智系列的AI算法平臺(tái)為開(kāi)發(fā)者提供從數(shù)據(jù)導(dǎo)入、數(shù)據(jù)拆分、模型訓(xùn)練到推理的全流程技術(shù)支持，便于快速開(kāi)發(fā)算法原型。開(kāi)發(fā)者還可在K510 CRB KIT板上下載和驗(yàn)證各類算法demo。目前其開(kāi)源算法倉(cāng)庫(kù)涵蓋數(shù)十種場(chǎng)景AI算法集，例如人臉識(shí)別、車牌識(shí)別、物體檢測(cè)和分類、人體識(shí)別、人體追蹤、手指檢測(cè)和文字識(shí)別OCR等。

在系統(tǒng)軟件方面，嘉楠勘智系列提供NNCase AI工具鏈、系統(tǒng)軟件和多媒體軟件，支持TensorFlow/TF Lite、PyTorch、ONNX、Caffe和百度飛槳等算法框架。

基于開(kāi)源模式，嘉楠科技的AI芯片已落地智能家居、智能教育、智能通行、智能傳感器和智慧醫(yī)療等多個(gè)領(lǐng)域，目前累計(jì)出貨超200萬(wàn)顆。在合作案例方面，嘉楠科技與國(guó)內(nèi)多家STEAM教育機(jī)器人龍頭廠商和機(jī)器狗初創(chuàng)公司達(dá)成合作，并連續(xù)于2021和2022兩年成為全國(guó)大學(xué)生OS設(shè)計(jì)大賽的技術(shù)支持方。