Meta發(fā)布Llama 3.2量化版模型
近日，Meta在開源Llama 3.2的1B與3B模型后，再次為人工智能領(lǐng)域帶來了新進(jìn)展。10月24日，Meta正式推出了這兩個(gè)模型的量化版本，旨在進(jìn)一步優(yōu)化模型性能，拓寬其應(yīng)用場(chǎng)景。
據(jù)Meta介紹，量化后的Llama 3.2模型在大小上平均減少了56%，RAM使用量也平均降低了41%。這一顯著的優(yōu)化使得模型在運(yùn)行過程中能夠占用更少的資源，同時(shí)速度提高了2至4倍。此外，量化后的模型還降低了功耗，這對(duì)于將其部署到移動(dòng)設(shè)備上具有重要意義。
此次Meta推出的量化版Llama 3.2模型，不僅展示了其在人工智能領(lǐng)域的持續(xù)創(chuàng)新能力，也為更多開發(fā)者提供了高效、便捷的工具。隨著這些模型在移動(dòng)設(shè)備上的廣泛應(yīng)用，人工智能將更深入地融入人們的日常生活，為社會(huì)帶來更多的便利和可能性。
聲明：本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人，不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用，如有內(nèi)容侵權(quán)或者其他違規(guī)問題，請(qǐng)聯(lián)系本站處理。
舉報(bào)投訴
-
人工智能
+關(guān)注
關(guān)注
1817文章
50090瀏覽量
265199 -
開源
+關(guān)注
關(guān)注
3文章
4203瀏覽量
46109 -
Meta
+關(guān)注
關(guān)注
0文章
322瀏覽量
12452
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
熱點(diǎn)推薦
正面對(duì)決GPT-5和Germini-3，DeepSeek-V3.2震撼發(fā)布
12月1日，中國(guó) AI創(chuàng)新企業(yè) DeepSeek 再度加速技術(shù)迭代，今日宣布推出 DeepSeek-V3.2 與 V3.2-Speciale 兩款模型。公司在官網(wǎng)上指出，DeepSeek-V3
【CIE全國(guó)RISC-V創(chuàng)新應(yīng)用大賽】基于 K1 AI CPU 的大模型部署落地
8GB 物理內(nèi)存 （且操作系統(tǒng)還要占用約 500MB+）。
結(jié)論 ：如果直接照搬官方文檔下載 Q4 模型， 100% 會(huì)因?yàn)閮?nèi)存不足（OOM）而無法運(yùn)行 。
為了滿足賽題要求，必須采用 “極限量化
發(fā)表于 11-27 14:43
寒武紀(jì)成功適配DeepSeek-V3.2-Exp模型
2025年9月29日，寒武紀(jì)已同步實(shí)現(xiàn)對(duì)深度求索公司最新模型DeepSeek-V3.2-Exp的適配，并開源大模型推理引擎vLLM-MLU源代碼。代碼地址和測(cè)試步驟見文末，開發(fā)者可以在寒武紀(jì)軟硬件平臺(tái)上第一時(shí)間體驗(yàn)DeepSee
下一波輕量化AI+AR眼鏡熱潮將至
近期，Meta發(fā)布了今年第二季度的財(cái)報(bào)，2025 年第二季度，Meta Reality Labs共實(shí)現(xiàn)了 3.7 億美元的收入，比 2024 年第二季度的 3.53 億美元增長(zhǎng) 5%。在這增長(zhǎng)背后的主要原因，是輕
利用Arm i8mm指令優(yōu)化llama.cpp
本文將為你介紹如何利用 Arm i8mm 指令，具體來說，是通過帶符號(hào) 8 位整數(shù)矩陣乘加指令 smmla，來優(yōu)化 llama.cpp 中 Q6_K 和 Q4_K 量化模型推理。
使用 NPU 插件對(duì)量化的 Llama 3.1 8b 模型進(jìn)行推理時(shí)出現(xiàn)“從 __Int64 轉(zhuǎn)換為無符號(hào) int 的錯(cuò)誤”，怎么解決？
安裝了 OpenVINO? GenAI 2024.4。
使用以下命令量化 Llama 3.1 8B 模型：
optimum-cli export openvino -m meta-llama
發(fā)表于 06-25 07:20
瑞芯微模型量化文件構(gòu)建
模型是一張圖片輸入時(shí)，量化文件如上圖所示。但是我現(xiàn)在想量化deepprivacy人臉匿名模型，他的輸入是四個(gè)輸入。該模型訓(xùn)練時(shí)數(shù)據(jù)集只標(biāo)注
發(fā)表于 06-13 09:07
探索在Arm平臺(tái)運(yùn)行的Llama 4 Scout模型
人工智能 (AI) 正在加速發(fā)展，也越來越智能化。當(dāng)今的開源大語(yǔ)言模型不僅功能強(qiáng)大，而且在設(shè)計(jì)時(shí)充分考慮了實(shí)際部署的需求，因而具有輕量化和經(jīng)濟(jì)高效的特點(diǎn)，可大規(guī)模部署到數(shù)十億臺(tái)設(shè)備上。簡(jiǎn)而言之，對(duì)于開發(fā)者可能想到的各種情形，當(dāng)今的開源大語(yǔ)言
今日看點(diǎn)丨臺(tái)積電、Intel合資運(yùn)營(yíng)代工業(yè)務(wù)；韓國(guó)計(jì)劃向當(dāng)?shù)仄囆袠I(yè)注入3萬(wàn)億韓元援助
1. Meta 發(fā)布人工智能新模型系列 Llama 4 ，首次采用“混合專家”架構(gòu) ? 當(dāng)?shù)貢r(shí)間周六(4月5日)，美國(guó)科技巨頭Meta推出了
發(fā)表于 04-07 11:26
?623次閱讀
將Deepseek移植到i.MX 8MP|93 EVK的步驟
此共享介紹了如何將 deepseek 移植到i.MX93EVK使用 llama.cpp 的 Yocto BSP
本文檔使用的主要測(cè)試模型是在 deepseek 模型的基礎(chǔ)上進(jìn)行提煉和量化
發(fā)表于 03-26 06:08
IBM發(fā)布全新Granite 3.2 AI模型
Granite 3.2 是小型的 AI 模型，通過對(duì)開發(fā)人員友好的授權(quán)條款，提供推理、視覺和護(hù)欄功能。
是否可以輸入隨機(jī)數(shù)據(jù)集來生成INT8訓(xùn)練后量化模型？
無法確定是否可以輸入隨機(jī)數(shù)據(jù)集來生成 INT8 訓(xùn)練后量化模型。
發(fā)表于 03-06 06:45
無法在OVMS上運(yùn)行來自Meta的大型語(yǔ)言模型 （LLM），為什么?
無法在 OVMS 上運(yùn)行來自 Meta 的大型語(yǔ)言模型 （LLM），例如 LLaMa2。
從 OVMS GitHub* 存儲(chǔ)庫(kù)運(yùn)行 llama_chat Python* Demo 時(shí)
發(fā)表于 03-05 08:07
一種基于正交與縮放變換的大模型量化方法
近年來，大規(guī)模語(yǔ)言模型（Large Language Models, LLMs）在自然語(yǔ)言處理領(lǐng)域取得了革命性進(jìn)展。以 GPT 系列、LLaMA 等為代表的模型，通過千億級(jí)參數(shù)的復(fù)雜結(jié)構(gòu)展現(xiàn)出強(qiáng)大的語(yǔ)義理解和生成能力。
工商網(wǎng)監(jiān)
評(píng)論