由于人工智能 （AI） 和機器學習 （ML） 的進步，嵌入式系統(tǒng)提供商越來越多地開發(fā)大腦芯片，邊緣的人工智能 （AI） 使用正在急劇增長。微芯科技股份有限公司與韓國智能硬件 （IHWK） 正在合作開發(fā)模擬計算平臺，以加速神經(jīng)技術設備的邊緣 AI/ML 推理。

IHWK正在為神經(jīng)技術設備和現(xiàn)場可編程神經(jīng)形態(tài)設備開發(fā)神經(jīng)形態(tài)計算平臺。Microchip Technology子公司Silicon Storage Technology（SST）宣布將通過為其SuperFlash memBrain神經(jīng)形態(tài)記憶解決方案提供評估系統(tǒng)來協(xié)助該平臺的開發(fā)。該解決方案基于 Microchip 的非易失性存儲器 （NVM） SuperFlash 技術，經(jīng)過優(yōu)化，可通過模擬內(nèi)存計算方法為神經(jīng)網(wǎng)絡執(zhí)行矢量矩陣乘法 （VMM）。

Sheer Analytics&Insights的一份報告預測，到2028年，全球神經(jīng)形態(tài)計算市場將達到7.8億美元，在2020年至2028年的預測年份中以50%的年復合年增長率增長。

“神經(jīng)形態(tài)計算技術利用在模擬域內(nèi)操作關鍵過程的硬件來模仿大腦過程，”Microchip許可業(yè)務部門SST副總裁Mark Reiten說?！澳M域內(nèi)的操作利用非馮諾依曼架構(gòu)，以最小的功耗提供人工智能驅(qū)動的功能。這是對基于數(shù)字硬件和傳統(tǒng)馮諾依曼架構(gòu)的主流人工神經(jīng)網(wǎng)絡的重大改進。數(shù)字方法消耗的功率比人腦高出多個數(shù)量級，以實現(xiàn)類似的任務。
memBrain技術評估套件使IHWK能夠展示其神經(jīng)形態(tài)計算平臺在邊緣運行推理算法的能效。目標是為生成式 AI 模型、自動駕駛汽車、醫(yī)療診斷、語音處理、安全/監(jiān)控和商用無人機等應用創(chuàng)建超低功耗模擬處理單元 （APU）。

這是兩家公司之間的首次合作，合作期限可能長達數(shù)年?！癐HWK打算使用我們提供的memBrain演示系統(tǒng)來試驗設計理念，以便為他們正在評估的邊緣計算市場制定上市戰(zhàn)略，”Reiten說。

當前用于邊緣推理的神經(jīng)網(wǎng)絡模型可能需要 5000 萬個或更多的突觸（權重）進行處理，這為純數(shù)字神經(jīng)網(wǎng)絡計算所需的片外 DRAM 帶來了帶寬瓶頸。memBrain 解決方案以超低功耗亞閾值模式將突觸權重存儲在片上浮柵中，并使用相同的存儲單元來執(zhí)行計算。這提高了電源效率和系統(tǒng)延遲。與傳統(tǒng)的數(shù)字 DSP 和基于 SRAM/DRAM 的方法相比，它為每個推理決策的功耗降低了 10× 到 20×并顯著降低了總體物料清單 （BOM）。

“突觸權重作為電導存儲在浮柵存儲單元中，這意味著該單元用作可編程電阻器，”Reiten解釋說?！爱斣谖痪€上的水平方向向電池施加輸入電壓并與電池電導相結(jié)合時，以電流測量的輸出是輸入電壓（值1）乘以電導（值2）。我們將單詞行上許多細胞的輸出電流相加，在陣列中形成垂直方向的'神經(jīng)元'。

IHWK還與大田的韓國科學技術院（KAIST）合作開發(fā)用于設備開發(fā)的APU，并與首爾延世大學合作開發(fā)設備設計協(xié)助。最終的APU應優(yōu)化系統(tǒng)級算法，以便在每瓦20-80 TeraOPS之間運行 - 這是專為電池供電設備設計的內(nèi)存計算解決方案的最佳性能。

“至于使用該技術的電池壽命，這實際上取決于特定的目標市場，但與同等性能的數(shù)字解決方案相比，memBrain技術應該能夠?qū)a(chǎn)品的電池壽命延長至少3×”Reiten說。

通過使用NVM而不是片外存儲器來執(zhí)行神經(jīng)網(wǎng)絡計算和存儲權重，memBrain技術可以消除與在邊緣執(zhí)行AI處理相關的大量數(shù)據(jù)通信瓶頸。IHWK正在利用SuperFlash存儲器的浮動柵極單元的非易失性來實現(xiàn)低功耗邊緣計算設備的新基準，支持使用高級ML模型進行ML推理。