PEMN：參數(shù)集約型掩碼網(wǎng)絡(luò)

來自美國東北大學(xué)和羅切斯特理工的研究者提出參數(shù)集約型掩碼網(wǎng)絡(luò)（Parameter-Efficient Masking Networks (PEMN)）。...

2022-12-15 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)算法 1.5k 0

如何利用神經(jīng)網(wǎng)絡(luò)改善Netflix視頻質(zhì)量

1. 視頻預(yù)處理，它包括編碼前應(yīng)用于高質(zhì)量源視頻的任何轉(zhuǎn)換。視頻降分辨率是這里最相關(guān)的例子，它根據(jù)不同設(shè)備的屏幕分辨率定制我們的編碼，并在不同的網(wǎng)絡(luò)條件...

2022-12-13 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)編解碼器 1.3k 0

無殘差連接或歸一化層，也能成功訓(xùn)練深度Transformer

最近，使用信號傳播原則來訓(xùn)練更深度的 DNN 并且殘差架構(gòu)中沒有殘差連接和 / 或歸一化層的參與，成為了社區(qū)感興趣的領(lǐng)域。原因有兩個：首先驗(yàn)證了殘差架構(gòu)...

2022-12-12 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)Transformerdnn 1.5k 0

無殘差連接或歸一化層，也能成功訓(xùn)練深度transformer

殘差架構(gòu)是最流行和成功的，最初是在卷積神經(jīng)網(wǎng)絡(luò)（CNN）的背景下開發(fā)的，后來自注意力網(wǎng)絡(luò)中產(chǎn)生了無處不在的 transformer 架構(gòu)。殘差架構(gòu)之所以...

2022-12-12 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)Transformerdnn 1.6k 0

用于自動駕駛的時(shí)空融合激光雷達(dá)地點(diǎn)識別算法SeqOT

1、摘要 在本文中，作者在其原有工作OverlapTransformer (OT)的基礎(chǔ)上，提出了一種用于自動駕駛的時(shí)空融合激光雷達(dá)地點(diǎn)識別算法S...

2022-12-09 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)激光雷達(dá)自動駕駛 1.8k 0

基于圖神經(jīng)網(wǎng)絡(luò)的圖異常值檢測庫介紹

我們先簡單了解一下現(xiàn)在熱門的圖神經(jīng)網(wǎng)絡(luò) (GNN)，這已經(jīng)成為圖數(shù)據(jù)挖掘的一種主導(dǎo)且強(qiáng)大的工具。與圖像數(shù)據(jù)的 CNN 相似，GNN 是一種神經(jīng)網(wǎng)絡(luò)，旨在...

2022-12-08 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí) 3.3k 0

首個在ImageNet上精度超過80%的二值神經(jīng)網(wǎng)絡(luò)BNext問世

舉個例子，Meta 推薦系統(tǒng)模型 DLRM 使用 32-bit 浮點(diǎn)數(shù)來儲存權(quán)重和激活參數(shù)，它的模型大小約為 2.2GB。而一個少量精度下降 (<...

2022-12-06 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò)AI 853 0

如何創(chuàng)建張量并實(shí)現(xiàn)張量類型轉(zhuǎn)化

激活函數(shù)對于人工神經(jīng)網(wǎng)絡(luò)模型去學(xué)習(xí)、理解非常復(fù)雜和非線性的函數(shù)來說具有十分重要的作用。首先對于y=ax+b這樣的函數(shù)，當(dāng)x的輸入很大時(shí)，y的輸出也是無限...

2022-12-06 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí) 1.3k 0

數(shù)據(jù)增強(qiáng)及其在機(jī)器學(xué)習(xí)中的重要性

　　數(shù)據(jù)的數(shù)量和變化對于大多數(shù) ML 模型（例如深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型）的性能非常重要。因此，神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練需要一個非常大的數(shù)據(jù)集。只有它才能達(dá)到生產(chǎn)...

2022-12-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí)深度學(xué)習(xí) 2.8k 0

長期短期記憶網(wǎng)絡(luò)：它是什么以及它是如何工作的？

　　機(jī)器學(xué)習(xí)是一種強(qiáng)大的技術(shù)，它通過開發(fā)算法從其經(jīng)驗(yàn)中學(xué)習(xí)和改進(jìn)。算法是計(jì)算、訪問和處理輸入數(shù)據(jù)并預(yù)測結(jié)果的程序。機(jī)器學(xué)習(xí)模型旨在計(jì)算復(fù)雜的計(jì)算和學(xué)習(xí)模...

2022-12-05 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)機(jī)器學(xué)習(xí) 3.5k 0

一種基于毒性樣本敏感性的有效后門防御！

訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)(DNNs)往往需要大量的訓(xùn)練數(shù)據(jù)，這些數(shù)據(jù)有時(shí)可能由不可信的第三方來源所提供。這些不可信的數(shù)據(jù)可能會對模型的訓(xùn)練帶來嚴(yán)重的安全威脅。

2022-12-05 標(biāo)簽：模塊神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)集 1.2k 0

一項(xiàng)新研究可以讓機(jī)器人先扶墻保持平衡

法國洛林大學(xué)的研究人員開發(fā)了一種“Damage Reflex”系統(tǒng)（損傷反射，又名 D-Reflex），當(dāng)機(jī)器人的一條腿斷了時(shí)，人形 TALOS 機(jī)器人...

2022-12-02 標(biāo)簽：機(jī)器人神經(jīng)網(wǎng)絡(luò) 1.1k 0

在推理引擎中去除TOPS的頂部

　　當(dāng)推理引擎的性能出現(xiàn)時(shí)，供應(yīng)商會拋出基準(zhǔn)測試，引用TOPS（Tera-Operations/second）性能和TOPS/Watt等內(nèi)容。研究這些數(shù)...

2022-12-01 標(biāo)簽：芯片神經(jīng)網(wǎng)絡(luò)AI 1.3k 0

LSTM之父再次炮轟LeCun：你那5點(diǎn)

1. 通過神經(jīng)網(wǎng)絡(luò)（NN）自動生成標(biāo)注的「自監(jiān)督學(xué)習(xí)」：至少可以追溯到我1990-91年的工作。 (I) 通過預(yù)測編碼在一個循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中...

2022-11-30 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)LSTM 1k 0

如何高效實(shí)現(xiàn)矩陣乘？CUDA初學(xué)者的角度入門

匯編。（主要是現(xiàn)在并沒有官方支持匯編的操作，目前的匯編器幾乎都是逆向的產(chǎn)物，不是很穩(wěn)定。同時(shí)匯編帶來的好處如消除寄存器的 bank conflict n...

2022-11-28 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)矩陣代碼 1.3k 0

龍架構(gòu)向量創(chuàng)新賦能AI圖像識別計(jì)算，促進(jìn)NCNN神經(jīng)網(wǎng)絡(luò)前向計(jì)算框架性能翻倍

近期，經(jīng)過龍芯中科與NCNN社區(qū)的共同努力，在NCNN中使用龍架構(gòu)（LoongArch）向量優(yōu)化實(shí)現(xiàn)了大部分算子，得益于龍架構(gòu)向量的高效實(shí)現(xiàn)，優(yōu)化后NC...

2022-11-25 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AI龍芯中科 2.1k 0

TinyMaix - 面向單片機(jī)的超輕量級的神經(jīng)網(wǎng)絡(luò)推理庫

大多數(shù)用于創(chuàng)建物聯(lián)網(wǎng)(IoT)的設(shè)備都是用小電池工作的。由于當(dāng)前消費(fèi)電子的動態(tài)性，測量這些物聯(lián)網(wǎng)設(shè)備的能耗是一項(xiàng)艱巨的任務(wù)。開發(fā)人員經(jīng)常需要使用多種儀器...

2022-11-24 標(biāo)簽：單片機(jī)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí) 3.7k 0

基本圖像處理技術(shù)的數(shù)據(jù)增強(qiáng)方法介紹

數(shù)據(jù)增強(qiáng)(DA)是訓(xùn)練先進(jìn)的AI算法模型的必要技術(shù)，不過并不是所有的數(shù)據(jù)增強(qiáng)都能提升模型精度，在今天的分享中，從數(shù)據(jù)增強(qiáng)的角度，對于多種增強(qiáng)方式的效果進(jìn)...

2022-11-23 標(biāo)簽：神經(jīng)網(wǎng)絡(luò)AI 3.6k 0