AMD發(fā)布首款小語言AI模型Llama-135m
近日，AMD在Huggingface平臺上正式推出了自家首款“小語言模型”——AMD-Llama-135m。這款模型以其獨特的推測解碼功能，吸引了業(yè)界的廣泛關(guān)注。
AMD-Llama-135m模型擁有6700億個token，并采用了Apache 2.0開源許可，為用戶提供了更多的靈活性和自由度。據(jù)AMD介紹，該模型主打“推測解碼”能力，這一功能的基本原理是通過使用一個小型草稿模型來生成一組候選token，然后由更大的目標(biāo)模型對這些候選token進行驗證。這種方法不僅能夠確保生成的token的準(zhǔn)確性和可靠性，而且允許每次前向傳遞生成多個token，從而顯著提高了效率。
與傳統(tǒng)的AI模型相比，AMD-Llama-135m在RAM占用方面也有了顯著的優(yōu)化。由于采用了推測解碼技術(shù)，該模型能夠在不影響性能的前提下，減少RAM的占用，實現(xiàn)了更加高效的計算和存儲資源利用。
AMD-Llama-135m的發(fā)布，標(biāo)志著AMD在AI領(lǐng)域邁出了重要的一步。未來，AMD將繼續(xù)致力于AI技術(shù)的研發(fā)和創(chuàng)新，為全球用戶提供更加智能、高效和可靠的解決方案。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請聯(lián)系本站處理。
舉報投訴
-
amd
+關(guān)注
關(guān)注
25文章
5684瀏覽量
139985 -
AI
+關(guān)注
關(guān)注
91文章
39793瀏覽量
301454 -
模型
+關(guān)注
關(guān)注
1文章
3752瀏覽量
52113
發(fā)布評論請先 登錄
相關(guān)推薦
熱點推薦
大模型 ai coding 比較
序
我主要用途是 ai coding，從各種渠道獲取到了很多 不同的大模型排序 最多的是 opus 4.6 > k2.5 > glm5 >
發(fā)表于 02-19 13:43
國內(nèi)首款AI助盲眼鏡發(fā)布，1700萬視障人士的新眼睛
在國際殘疾人日（12 月 3 日）這一天，杭州瞳行科技公司正式發(fā)布國內(nèi)首款 AI 助盲眼鏡。該眼鏡由眼鏡主體、手機、遙控指環(huán)、盲杖四部分組成，目前已正式面市。
【CIE全國RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
的 落地方案 ：
1. 系統(tǒng)部署方案書 (System Proposal)
方案要點
部署工具 ：使用官方提供的 spacemit-llama.cpp (v0.0.4) 二進制包。
模型策略 ：采用
發(fā)表于 11-27 14:43
AMD Vitis AI 5.1測試版現(xiàn)已開放下載
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元（ NPU ）的支持。Vit
AMD Vitis AI 5.1測試版發(fā)布
AMD Vitis AI 5.1全新發(fā)布——新增了對 AMD Versal AI Edge 系列神經(jīng)網(wǎng)絡(luò)處理單元 (NPU) 的支持。Vit
偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎(chǔ)設(shè)施平臺
偉創(chuàng)力重磅發(fā)布全球首款面向千兆瓦級數(shù)據(jù)中心的AI基礎(chǔ)設(shè)施平臺，平臺集成了電源和冷卻產(chǎn)品、計算能力和服務(wù)，專為AI和高性能計算而設(shè)計，幫助數(shù)據(jù)
皓麗全球首款四攝AI會議平板：AI全視之眼 + AI智會大模型雙加持
2025年，智能會議設(shè)備市場迎來里程碑式突破——連續(xù)多年蟬聯(lián)電商銷量冠軍的皓麗（Horion）正式推出全球首款四攝AI會議平板，以“AI全視之眼+A
深蘭科技發(fā)布全球首款兒童心理健康AI陪伴玩偶產(chǎn)品
近日，深蘭科技在上海舉辦“AI機器人場景應(yīng)用渠道合作峰會”，會議上重磅發(fā)布了全球首款兒童心理健康AI陪伴玩偶產(chǎn)品，標(biāo)志著深蘭科技叩響C端消費
使用 NPU 插件對量化的 Llama 3.1 8b 模型進行推理時出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號 int 的錯誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
探索在Arm平臺運行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當(dāng)今的開源大語言模型不僅功能強大，而且在設(shè)計時充分考慮了實際部署的需求，因而具有輕量化和經(jīng)濟高效的特點，可大規(guī)模部署到數(shù)十億臺設(shè)備上。簡而言之，對于開發(fā)者可能想到的各種情形，當(dāng)今
首創(chuàng)開源架構(gòu)，天璣AI開發(fā)套件讓端側(cè)AI模型接入得心應(yīng)手
模型、通義千問、混元等多種先進端側(cè)大模型，還包含視覺、語言、多模態(tài)等多種多樣的大模型，開發(fā)者可以通過Gen-AI Model Hub一鍵調(diào)用
發(fā)表于 04-13 19:52
人民網(wǎng)發(fā)布首款智能硬件AI之眼
昨天，在成都舉辦的第十二屆中國網(wǎng)絡(luò)視聽大會智慧媒體論壇上，人民網(wǎng)正式發(fā)布了智能硬件“AI之眼”。據(jù)悉，此次發(fā)布的“AI之眼”1.0版本名叫“AIyou（愛游）”。 這也是人民網(wǎng)研發(fā)的
銷售易在騰訊云城市峰會上發(fā)布中國首款AI CRM
各行各業(yè)的200余位來賓共同探討AI時代下客戶數(shù)字化轉(zhuǎn)型的新路徑。 會上,銷售易發(fā)布 中國首款AI CRM——NeoAgent?產(chǎn)品矩陣和C
NVIDIA 推出開放推理 AI 模型系列，助力開發(fā)者和企業(yè)構(gòu)建代理式 AI 平臺
月 18 日 —— ?NVIDIA 今日發(fā)布具有推理功能的開源 Llama Nemotron 模型系列，旨在為開發(fā)者和企業(yè)提供業(yè)務(wù)就緒型基礎(chǔ)，助力構(gòu)建能夠獨立工作或以團隊形式完成復(fù)雜任務(wù)的高級
發(fā)表于 03-19 09:31
?394次閱讀
工商網(wǎng)監(jiān)
評論