【比特熊充電?！繉?shí)戰(zhàn)演練構(gòu)建LLM對(duì)話引擎

大模型時(shí)代，安全問題不容小覷。但如果把大模型比作孫悟空，那 NVIDIA NeMo Guardrails 就是“安全護(hù)欄”，可以輕松的為基于 LLM 的...

2023-09-19 標(biāo)簽：微軟NVIDIAOpenAI 1.8k 0

淺談大模型在汽車上的作用

智能汽車不僅僅是一種交通工具，更是一個(gè)全新的生活空間。夏一平強(qiáng)調(diào)，真正的智能汽車應(yīng)該具備三個(gè)核心能力：自然交流、自由移動(dòng)和自我成長(zhǎng)。

2024-04-03 標(biāo)簽：AI智能汽車大模型 1.8k 0

探索推理時(shí)KV Cache的動(dòng)態(tài)內(nèi)存壓縮方法

DMC通過一個(gè)決策變量（α）來有效地對(duì)輸入序列進(jìn)行分段，每個(gè)段落可以獨(dú)立地決定是繼續(xù)追加還是進(jìn)行累積。這允許模型在不同段落之間動(dòng)態(tài)調(diào)整內(nèi)存使用。

2024-03-22 標(biāo)簽：AI動(dòng)態(tài)內(nèi)存DMC 1.8k 0

Intel OpenVINO? Day0 實(shí)現(xiàn)阿里通義 Qwen3 快速部署

本文將以 Qwen3-8B 為例，介紹如何利用 OpenVINO 的 Python API 在英特爾平臺(tái)（GPU, NPU）Qwen3 系列模型。

2025-05-11 標(biāo)簽：intel阿里大模型 1.8k 0

如何設(shè)計(jì)一個(gè)高效的分布式日志服務(wù)平臺(tái)

shippers 和 sources 是收集的原始日志組件，承接著原始日志（log文件日志、系統(tǒng)日志、網(wǎng)絡(luò)日志等）采集和發(fā)送，其中 Elastic Ag...

2023-06-26 標(biāo)簽：服務(wù)器大模型 1.8k 0

AI服務(wù)器異構(gòu)計(jì)算深度解讀

AI服務(wù)器按芯片類型可分為CPU+GPU、CPU+FPGA、CPU+ASIC等組合形式，CPU+GPU是目前國(guó)內(nèi)的主要選擇（占比91.9%）。

2024-04-12 標(biāo)簽：gpu服務(wù)器異構(gòu)計(jì)算 1.8k 0

深度解析數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展趨勢(shì)

開源數(shù)據(jù)庫(kù)MySQL和PostgreSQL占據(jù)全球數(shù)據(jù)庫(kù)市場(chǎng)格局TOP2。開源數(shù)據(jù)庫(kù)正在重構(gòu)企業(yè)核心系統(tǒng)。同時(shí)為確保業(yè)務(wù)平穩(wěn)運(yùn)行，分布式數(shù)據(jù)庫(kù)存算分離架...

2023-12-06 標(biāo)簽：SSD數(shù)據(jù)存儲(chǔ)AI 1.8k 0

Yuan2.0千億大模型在通用服務(wù)器NF8260G7上的推理部署

巨量模型的智能生產(chǎn)力正在逐步滲透到各行各業(yè)，但它們的部署和運(yùn)行通常需要專用的AI加速卡，能否在CPU上運(yùn)行千億大模型，對(duì)千行百業(yè)智能化轉(zhuǎn)型的深化與普惠至關(guān)重要。

2024-07-30 標(biāo)簽：cpu服務(wù)器浪潮 1.8k 0

字節(jié)跳動(dòng)攻克GPU萬(wàn)卡互聯(lián)技術(shù)突破與解決方案

在分布式訓(xùn)練中大規(guī)模使用默認(rèn)的DCQCN協(xié)議時(shí)，all-to-all通信可能會(huì)導(dǎo)致?lián)砣蚉FC級(jí)別的提高。過度使用PFC可能會(huì)導(dǎo)致頭部阻塞（HoL），從...

2024-04-01 標(biāo)簽：gpu人工智能網(wǎng)絡(luò)拓?fù)?/a> 1.7k 0

RK3568自制底板狂丟包？教你5分鐘用Delayline一鍵復(fù)活網(wǎng)口

在使用飛凌嵌入式RK3568核心板搭配自制底板時(shí)，由于PCB走線與參考設(shè)計(jì)存在差異，常導(dǎo)致RGMII接口時(shí)序異常，進(jìn)而出現(xiàn)網(wǎng)口不通或頻繁丟包的情況。本文...

2025-07-25 標(biāo)簽：嵌入式AIVLMx234 1.7k 0

NeurlPS'23開源 | 首個(gè)！開放詞匯3D實(shí)例分割！

我們介紹了開放詞匯3D實(shí)例分割的任務(wù)。當(dāng)前的3D實(shí)例分割方法通常只能從訓(xùn)練數(shù)據(jù)集中標(biāo)注的預(yù)定義的封閉類集中識(shí)別對(duì)象類別。這給現(xiàn)實(shí)世界的應(yīng)用程序帶來了很大...

2023-11-14 標(biāo)簽：3DAI大模型 1.7k 0

基于Transformer多模態(tài)先導(dǎo)性工作

多模態(tài)（Multimodality）是指在信息處理、傳遞和表達(dá)中涉及多種不同的感知模態(tài)或信息來源。這些感知模態(tài)可以包括語(yǔ)言、視覺、聽覺、觸覺等，它們共同...

2023-08-21 標(biāo)簽：數(shù)據(jù)人工智能Transformer 1.7k 0

快速全面了解大模型長(zhǎng)文本能力

那關(guān)于LLM的長(zhǎng)文本能力，目前業(yè)界通常都是怎么做的？有哪些技術(shù)點(diǎn)或者方向？今天我們就來總結(jié)一波，供大家快速全面了解。

2024-02-22 標(biāo)簽：GPT位置編碼器大模型 1.7k 0

使用OpenVINO?在你的本地設(shè)備上離線運(yùn)行Llama3之快手指南

在人工智能領(lǐng)域，大型語(yǔ)言模型（LLMs）的發(fā)展速度令人震驚。2024年4月18日，Meta正式開源了LLama系列的新一代大模型Llama3，在這一領(lǐng)域...

2024-04-26 標(biāo)簽：人工智能聊天機(jī)器人大模型 1.7k 0

解讀大模型FP量化的解決方案

在 LLaMA, BERT 以及 ViTs 模型上，4-bit 量化皆取得了遠(yuǎn)超 SOTA 的結(jié)果。特別是，這篇文章展示了 4-bit 量化的 LLaM...

2023-11-24 標(biāo)簽：浮點(diǎn)數(shù)大模型LLM 1.7k 0

DeepSeek 正當(dāng)紅，聊聊大模型應(yīng)用的四大關(guān)鍵要素和未來

引言 大模型應(yīng)用的春天來了。在人工智能的浪潮中，大模型正成為推動(dòng)技術(shù)變革的核心力量。春節(jié)前，DeepSeek R1 的發(fā)布在全球范圍內(nèi)引發(fā)了巨大轟動(dòng)，它...

2025-04-18 標(biāo)簽：人工智能大模型DeepSeek 1.6k 0

如何用10分鐘接入AI管家？涂鴉智能家居App極速開發(fā)指南，超強(qiáng)兼容DeepSeek等大模型

在萬(wàn)物皆可AI的時(shí)代，涂鴉一直在思考，如何通過AI賦能，幫助各大智能家居App從簡(jiǎn)單的“遙控器”升級(jí)為能感知、會(huì)思考的“家庭管家”，提供：更智能化的主動(dòng)...

2025-07-04 標(biāo)簽：涂鴉智能大模型DeepSeek 1.6k 0

RAG實(shí)踐:一文掌握大模型RAG過程

RAG（Retrieval-Augmented Generation，檢索增強(qiáng)生成）, 一種AI框架，將傳統(tǒng)的信息檢索系統(tǒng)(例如數(shù)據(jù)庫(kù))的優(yōu)勢(shì)與生成式大...

2025-10-27 標(biāo)簽：數(shù)據(jù)庫(kù)大模型 1.6k 0