英偉達(dá)推出歸一化Transformer，革命性提升LLM訓(xùn)練速度
英偉達(dá)團(tuán)隊近日在AI領(lǐng)域投下了一枚震撼彈，他們提出了一種全新的神經(jīng)網(wǎng)絡(luò)架構(gòu)——歸一化Transformer(nGPT)。這一創(chuàng)新架構(gòu)基于超球面(hypersphere)進(jìn)行表示學(xué)習(xí)，為AI領(lǐng)域帶來了新的突破。
相較于傳統(tǒng)的Transformer架構(gòu)，nGPT在保持原有精度的同時，直接將大型語言模型(LLM)的訓(xùn)練速度提升了高達(dá)20倍。這一顯著的性能提升，無疑將極大地推動AI技術(shù)的發(fā)展和應(yīng)用。
在nGPT中，所有的向量(包括嵌入向量、多層感知機(MLP)向量、注意力矩陣向量以及隱藏狀態(tài)向量)都被歸一化為單位范數(shù)(unit norm)。這一設(shè)計不僅簡化了模型訓(xùn)練過程，還提高了模型的穩(wěn)定性和泛化能力。
英偉達(dá)團(tuán)隊的這一創(chuàng)新成果，無疑為AI領(lǐng)域注入了新的活力。nGPT架構(gòu)的提出，不僅將推動AI技術(shù)的進(jìn)一步發(fā)展，還將為各種應(yīng)用場景提供更加高效、準(zhǔn)確的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4838瀏覽量
107889 -
英偉達(dá)
+關(guān)注
關(guān)注
23文章
4091瀏覽量
99278 -
Transformer
+關(guān)注
關(guān)注
0文章
156瀏覽量
6941 -
LLM
+關(guān)注
關(guān)注
1文章
348瀏覽量
1340
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
邁向吉瓦級AI工廠的能源變革：英偉達(dá)Rubin平臺電源架構(gòu)解析
轉(zhuǎn)變。英偉達(dá)(NVIDIA)推出的Rubin平臺，作為Blackwell架構(gòu)的繼任者，不僅是算力密度的又一次飛躍，更是對數(shù)據(jù)中心能源基礎(chǔ)設(shè)施的一
美對華芯片出口“松綁”：英偉達(dá)H200獲準(zhǔn)進(jìn)入中國市場#AI芯片#英偉達(dá)#H200芯片
英偉達(dá)
jf_15747056
發(fā)布于 :2026年01月14日 18:39:59
傳統(tǒng)檢漏VS紅外熱成像：一場效率與安全的革命性跨越
在工業(yè)生產(chǎn)、能源輸送、環(huán)境監(jiān)測等眾多領(lǐng)域，氣體泄漏檢測是保障安全、控制成本、保護(hù)環(huán)境的關(guān)鍵環(huán)節(jié)。傳統(tǒng)檢漏方法與紅外熱成像檢漏技術(shù)作為兩大主流手段，在效率與安全性上呈現(xiàn)出天壤之別，紅外熱成像技術(shù)的出現(xiàn)，無疑是一場革命性的跨越。
NVIDIA新聞：英偉達(dá)10億美元入股諾基亞 英偉達(dá)推出全新量子設(shè)備
研發(fā)并推出相關(guān)產(chǎn)品。 英偉達(dá)CEO黃仁勛出現(xiàn)在美國華盛頓的GTC DC大會上的演講中表示；“今天我們宣布與諾基亞建立了合作關(guān)系，諾基亞是世界第二大電信制造商，這是一個價值3萬億美元的產(chǎn)
無刷吸塵器在吸塵器領(lǐng)域帶來了革命性的提升，其優(yōu)勢是全方位的【其利天下】
無刷電機相對于傳統(tǒng)有刷電機，在吸塵器領(lǐng)域帶來了革命性的提升，其優(yōu)勢是全方位的。從研發(fā)的角度來剖析無刷電機相對于有刷電機的優(yōu)勢，我們會發(fā)現(xiàn)這遠(yuǎn)不止是性能參數(shù)的提升，而是一場從“模擬機械”
發(fā)表于 10-28 09:35
第四次工業(yè)革命AI將實現(xiàn)十億倍增長 | 中國AI芯片與英偉達(dá)的角色
內(nèi)容提要:黃仁勛BG2專訪：英偉達(dá)、OpenAI、算力未來與美國夢AI規(guī)模定律與推理的革命：在傳統(tǒng)的AI規(guī)模定律（預(yù)訓(xùn)練、后訓(xùn)練）之上，引入
愛立信推出革命性OSS/BSS產(chǎn)品組合
愛立信近日推出革命性OSS/BSS產(chǎn)品組合，賦能運營商在AI意圖驅(qū)動及自智網(wǎng)絡(luò)時代實現(xiàn)全方位創(chuàng)新突破！告別傳統(tǒng)模式，擁抱敏捷、智能服務(wù)的新時代。
革命性神經(jīng)形態(tài)微控制器 ?**Pulsar**? 的深度技術(shù)解讀
以下是對荷蘭公司Innatera推出的革命性神經(jīng)形態(tài)微控制器 ? Pulsar ? 的深度技術(shù)解讀，結(jié)合其架構(gòu)設(shè)計、性能突破、應(yīng)用場景及產(chǎn)業(yè)意義進(jìn)行綜合分析： 一、核心技術(shù)原理：神經(jīng)形態(tài)架構(gòu)的突破
部隊模擬訓(xùn)練系統(tǒng)：技術(shù)融合與實戰(zhàn)化訓(xùn)練的革命性突破
管理系統(tǒng)
北京華盛恒輝科技
發(fā)布于 :2025年06月05日 15:43:53
SiC MOSFET模塊在英偉達(dá)800V HVDC電源系統(tǒng)中的技術(shù)優(yōu)勢與應(yīng)用價值
大、功率密度不足等問題已難以滿足需求。英偉達(dá)推出的800V高壓直流（HVDC）架構(gòu)通過集中式配電和高效功率轉(zhuǎn)換技術(shù)，為數(shù)據(jù)中心提供了革命性的能源解決方案。而基本半導(dǎo)體BMF240R12
特朗普要叫停英偉達(dá)對華特供版 英偉達(dá)H20出口限制 或損失55億美元
是“中國特供版”人工智能芯片；是英偉達(dá)公司為符合美國出口規(guī)定專門為中國市場開發(fā)的定制芯片，H20芯片在訓(xùn)練AI模型方面不如英偉達(dá)其他芯片
Melexis推出革命性熱成像傳感器芯片MLX90642
Melexis推出革命性熱成像傳感器芯片MLX90642。該芯片搭載32x24像素紅外（IR）陣列，樹立行業(yè)新標(biāo)桿。其通過顯著提升信噪比，和全局快門讀取以及板載溫度計算功能，在實現(xiàn)性能突破的同時
NVIDIA Isaac 是英偉達(dá)推出的綜合性機器人開發(fā)平臺
NVIDIA Isaac 是英偉達(dá)推出的綜合性機器人開發(fā)平臺，旨在通過 GPU 加速、物理仿真和生成式 AI 技術(shù)，加速自主移動機器人（AMR）、機械臂及人形機器人的開發(fā)與部署。以下從
新思科技攜手英偉達(dá)加速芯片設(shè)計，提升芯片電子設(shè)計自動化效率
宣布在英偉達(dá) Grace Blackwell 平臺上實現(xiàn)高達(dá) 30 倍的預(yù)期性能提升，加速下一代半導(dǎo)體的電路仿真 ? 摘要： 在今年GTC主題演講中，新思科技作為生態(tài)系統(tǒng)的
發(fā)表于 03-19 17:59
?512次閱讀
新思科技亮相英偉達(dá)GTC 2025大會
為了實現(xiàn)這一速度提升，新思科技在GTC全球AI大會上宣布，正在使用英偉達(dá) CUDA-X庫優(yōu)化其下一
工商網(wǎng)監(jiān)
評論