91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

阿里全新AI推理方法入選ICML 2020,可減少AI對(duì)計(jì)算和內(nèi)存資源的消耗

牽手一起夢(mèng) ? 來(lái)源:C114通信網(wǎng) ? 作者:佚名 ? 2020-06-19 15:52 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

近日,人工智能國(guó)際頂會(huì)ICML 2020公布了論文收錄結(jié)果,阿里巴巴7篇論文入選,是入選論文數(shù)量最多的中國(guó)科技公司。ICML是機(jī)器學(xué)習(xí)領(lǐng)域全球最具影響力的學(xué)術(shù)會(huì)議之一,今年接受率僅為21.8%。

根據(jù)ICML官方顯示,阿里7篇論文涵蓋在圖像識(shí)別、自然語(yǔ)言處理、搜索推薦等領(lǐng)域的研究成果,其中一篇《Boosting Deep Neural Network Efficiency with Dual-Module Inference》,提出了一種全新的AI推理方法,可大幅減少AI對(duì)計(jì)算和內(nèi)存資源的消耗,能將推理速度提升3倍。

近年來(lái)AI模型變得越來(lái)越復(fù)雜化,尤其是類似語(yǔ)言AI這類復(fù)雜模型,給計(jì)算、內(nèi)存資源帶來(lái)了新的挑戰(zhàn)。目前,業(yè)界通用的解決方法是采用更先進(jìn)的計(jì)算性能來(lái)運(yùn)行AI任務(wù),例如采用GPU、FPGA或者NPU等異構(gòu)計(jì)算,但該方法并沒(méi)有從根源上解決問(wèn)題。

阿里巴巴達(dá)摩院設(shè)計(jì)出了一種“AI雙腦思考”的方法,能讓大型神經(jīng)網(wǎng)絡(luò)像人類一樣學(xué)會(huì)“快思考”與“慢思考”,從而進(jìn)行高效且準(zhǔn)確的推理過(guò)程。

該方法被稱為“雙模推理”, 即將一個(gè)復(fù)雜任務(wù)拆分成兩個(gè)任務(wù),例如在復(fù)雜AI推理任務(wù)過(guò)程中,可以先以很小的資源運(yùn)行“小網(wǎng)絡(luò)”,同時(shí)分析哪些網(wǎng)絡(luò)的區(qū)域較為敏感,然后只對(duì)敏感區(qū)域在“大網(wǎng)絡(luò)”中運(yùn)行計(jì)算。

達(dá)摩院的科學(xué)家從理論上證明了雙模推理的可行性,且在CPU上實(shí)現(xiàn)了該方法。實(shí)際效果顯示,該方法能在保證模型精度的基礎(chǔ)上,在語(yǔ)言模型上減小40%的訪存,達(dá)到1.54倍-1.75倍的性能提升,同時(shí)可以在僅損耗0.5%精度基礎(chǔ)上,提升3倍的推理速度。

近年來(lái),阿里在AI領(lǐng)域迎來(lái)了基礎(chǔ)研究與產(chǎn)業(yè)應(yīng)用成果雙爆發(fā)的階段。三年前,阿里巴巴成立了內(nèi)部研究機(jī)構(gòu)達(dá)摩院,深入AI研究前沿。據(jù)了解,阿里AI已在國(guó)際頂級(jí)技術(shù)賽事上獲得了近60項(xiàng)世界第一,500多篇論文入選國(guó)際頂會(huì)。同時(shí),阿里AI落地了多項(xiàng)重大研究成果,全面賦能各行各業(yè)。達(dá)摩院醫(yī)療AI團(tuán)隊(duì)疫情期間研發(fā)的AI診斷技術(shù),已在全球近600家醫(yī)院落地,完成50余萬(wàn)例臨床診斷。

責(zé)任編輯:gt

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • AI
    AI
    +關(guān)注

    關(guān)注

    91

    文章

    40002

    瀏覽量

    301649
  • 阿里巴巴
    +關(guān)注

    關(guān)注

    7

    文章

    1647

    瀏覽量

    49223
收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評(píng)論

    相關(guān)推薦
    熱點(diǎn)推薦

    邊緣AI算力臨界點(diǎn):深度解析176TOPS香橙派AI Station的產(chǎn)業(yè)價(jià)值

    AGX Orin 150 TOPS+ 本地大模型推理、具身智能控制、多模態(tài)實(shí)時(shí)交互 迷你AI服務(wù)器 176TOPS 意味著OrangePi AI Station正式邁入 高端邊緣AI
    發(fā)表于 03-10 14:19

    使用NORDIC AI的好處

    原始傳感器數(shù)據(jù),顯著降低功耗、延長(zhǎng)電池壽命。[Edge AI 概述; Nordic Edge AI 技術(shù)頁(yè)] 降低云依賴與時(shí)延 直接在設(shè)備上做推理,很多決策可以“本地實(shí)時(shí)”完成,
    發(fā)表于 01-31 23:16

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI芯片到AGI芯片

    和探索;人類級(jí)別的理解能力;常識(shí)推理;現(xiàn)實(shí)世界的知識(shí)整合。 3、測(cè)試時(shí)計(jì)算 測(cè)試時(shí)計(jì)算(TTC)是指在模型推理階段利用額外的計(jì)算
    發(fā)表于 09-18 15:31

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI的科學(xué)應(yīng)用

    AI被賦予了人的智能,科學(xué)家們希望在沒(méi)有人類的引導(dǎo)下,AI自主的提出科學(xué)假設(shè),諾貝爾獎(jiǎng)級(jí)別的假設(shè)哦。 AI驅(qū)動(dòng)科學(xué)被認(rèn)為是科學(xué)發(fā)現(xiàn)的第五個(gè)范式了,與實(shí)驗(yàn)科學(xué)、理論科學(xué)、計(jì)算科學(xué)、數(shù)據(jù)驅(qū)
    發(fā)表于 09-17 11:45

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+第二章 實(shí)現(xiàn)深度學(xué)習(xí)AI芯片的創(chuàng)新方法與架構(gòu)

    算法 5.2加速矩陣乘法的芯片架構(gòu) ①新的矩陣乘法器架構(gòu) ②基于RISC-V的矩陣乘法擴(kuò)展指令集 ③用信息論的思想來(lái)減少AI推理計(jì)算量 三、用于邊緣側(cè)訓(xùn)練或
    發(fā)表于 09-12 17:30

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+AI芯片的需求和挑戰(zhàn)

    ②Transformer引擎③NVLink Switch系統(tǒng)④機(jī)密計(jì)算⑤HBM FPGA: 架構(gòu)的主要特點(diǎn):重構(gòu)邏輯和路由,可以快速實(shí)現(xiàn)各種不同形式的神經(jīng)網(wǎng)絡(luò)加速。 ASIC: 介紹了幾種ASIC AI芯片
    發(fā)表于 09-12 16:07

    【「AI芯片:科技探索與AGI愿景」閱讀體驗(yàn)】+可期之變:從AI硬件到AI濕件

    ,又分為真菌計(jì)算和基于DNA的計(jì)算。 圖4 基本的真菌計(jì)算機(jī)結(jié)構(gòu) 在用化學(xué)和生物方法實(shí)現(xiàn)AI功能的過(guò)程中,要經(jīng)歷5個(gè)階段,見(jiàn)圖5所示。 圖
    發(fā)表于 09-06 19:12

    科普:什么AI 內(nèi)存技術(shù)

    問(wèn)題。 為什么 AI 內(nèi)存很重要? 在 AI 模型訓(xùn)練和推理過(guò)程中,大量的數(shù)據(jù)需要從內(nèi)存傳輸?shù)教幚砥鳎ㄈ?GPU 或 TPU)進(jìn)行
    的頭像 發(fā)表于 09-03 15:44 ?1457次閱讀

    今日看點(diǎn)丨華為發(fā)布AI推理創(chuàng)新技術(shù)UCM;比亞迪汽車出口暴增130%

    緩存加速算法工具,分級(jí)管理推理過(guò)程中產(chǎn)生的KV Cache記憶數(shù)據(jù),擴(kuò)大推理上下文窗口,實(shí)現(xiàn)高吞吐、低時(shí)延的推理體驗(yàn),降低每Token推理
    發(fā)表于 08-13 09:45 ?5461次閱讀

    信而泰×DeepSeek:AI推理引擎驅(qū)動(dòng)網(wǎng)絡(luò)智能診斷邁向 “自愈”時(shí)代

    、資源分配的最優(yōu)策略建議,減少資源浪費(fèi),提升整體網(wǎng)絡(luò)效率。 客戶實(shí)證:AI推理引擎的精準(zhǔn)力量某大型政務(wù)云平臺(tái)遭遇核心業(yè)務(wù)運(yùn)行緩慢問(wèn)題,初步
    發(fā)表于 07-16 15:29

    大模型推理顯存和計(jì)算量估計(jì)方法研究

    方法。 一、引言 大模型推理是指在已知輸入數(shù)據(jù)的情況下,通過(guò)深度學(xué)習(xí)模型進(jìn)行預(yù)測(cè)或分類的過(guò)程。然而,大模型的推理過(guò)程對(duì)顯存和計(jì)算資源的需求較
    發(fā)表于 07-03 19:43

    Nordic收購(gòu) Neuton.AI 關(guān)于產(chǎn)品技術(shù)的分析

    生成比傳統(tǒng)框架(如 TensorFlow、PyTorch 等)小 10 倍的模型,模型體積低至個(gè)位數(shù) KB,并且推理速度更快、功耗更低。此次收購(gòu)將 Neuton 的自動(dòng)化 TinyML 平臺(tái)
    發(fā)表于 06-28 14:18

    首創(chuàng)開(kāi)源架構(gòu),天璣AI開(kāi)發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手

    、內(nèi)存帶寬占用量大幅度降低50%,讓端側(cè)AI推理更聰明、響應(yīng)更迅速。 天璣AI開(kāi)發(fā)套件2.0還首次引入基于NPU的端側(cè)LoRA訓(xùn)練,開(kāi)發(fā)者在天璣NPU上進(jìn)行運(yùn)算訓(xùn)練,相比基于CPU的
    發(fā)表于 04-13 19:52

    適用于數(shù)據(jù)中心和AI時(shí)代的800G網(wǎng)絡(luò)

    數(shù)據(jù)中心依賴數(shù)千甚至上萬(wàn)個(gè)GPU集群進(jìn)行高性能計(jì)算,對(duì)帶寬、延遲和數(shù)據(jù)交換效率提出極高要求。 AI云:以生成式AI為核心的云平臺(tái),為多租戶環(huán)境提供推理服務(wù)。這類數(shù)據(jù)中心要求網(wǎng)絡(luò)具
    發(fā)表于 03-25 17:35

    Banana Pi 發(fā)布 BPI-AI2N & BPI-AI2N Carrier,助力 AI 計(jì)算與嵌入式開(kāi)發(fā)

    RZ/V2N——近期在嵌入式世界2025上新發(fā)布,為 AI 計(jì)算、嵌入式系統(tǒng)及工自動(dòng)化提供強(qiáng)大支持。這款全新計(jì)算平臺(tái)旨在滿足開(kāi)發(fā)者和企業(yè)用戶對(duì)高性能、低功耗和靈活擴(kuò)展的需求。 [](
    發(fā)表于 03-19 17:54