什么是虛擬GPU？虛擬GPU的優(yōu)勢有哪些？

虛擬 GPU，也稱為 vGPU，是通過將數(shù)據(jù)中心 GPU 進行虛擬化，用戶可在多個虛擬機中共享該 GPU。

2023-11-10 標簽：NVIDIAgpu數(shù)據(jù)中心 3.4k 0

177倍加速！NVIDIA最新開源 | GPU加速各種SDF建圖！

但最近，NVIDIA和ETHZ就聯(lián)合提出了nvblox，是一個使用GPU加速SDF建圖的庫。計算速度非?？?，相較CPU計算TSDF甚至快了177倍。更重...

2023-11-09 標簽：機器人gpu深度學習 2.6k 0

數(shù)據(jù)中心處理器采用Chiplet有何優(yōu)勢？

生成式人工智能和大模型的驅(qū)動下，我們正置身于一個算力領(lǐng)域千載難逢的拐點：一個類似于個人電腦、互聯(lián)網(wǎng)、移動設(shè)備和云誕生的時刻。

2023-11-07 標簽：英特爾gpu服務(wù)器 1.5k 0

一文解析Numenta加速AI推理的的秘密

Numenta成立于2005年，由Jeff Hawkins和Donna Dubinsky創(chuàng)立，公司的目標是將更多的大腦工作方式應用于人工智能問題。提出的...

2023-11-06 標簽：英特爾cpuNVIDIA 616 0

CPU與GPPU架構(gòu)比較分析 在GPU上執(zhí)行Kernel的具體步驟

大多數(shù)工程師對CPU和順序編程都十分熟悉，這是因為自從他們開始編寫CPU代碼以來，就與之密切接觸。然而，對于GPU的內(nèi)部工作原理及其獨特之處，他們的了解...

2023-11-05 標簽：處理器cpugpu 2.7k 0

人工智能技術(shù)在水聲通信中的研究進展

多年來，從非相干水聲通信到相干水聲通信，直擴、跳頻、OFDM、Turbo均衡、時間反轉(zhuǎn)和自適應等各種理論和技術(shù)均被引入水聲通信中，以期克服復雜多變海洋環(huán)...

2023-11-05 標簽：gpu人工智能機器學習 4.3k 0

示波器帶寬要求解析

PCI Express（PCIe）技術(shù)是服務(wù)器中最重要的高速串行總線。由于其高帶寬和低延遲特性，PCI Express架構(gòu)廣泛應用于各種服務(wù)器互連場景。

2023-11-03 標簽：示波器gpu帶寬 4.3k 0

如何提供光計算與電子信號計算的高效接口

如何提供光計算與電子信號計算的高效接口。當前常見的模數(shù)轉(zhuǎn)換功耗，較光計算每步乘加運算高出多個數(shù)量級，掩蓋了光計算本身的性能優(yōu)勢，導致光芯片難以在實際應用...

2023-11-02 標簽：芯片神經(jīng)網(wǎng)絡(luò)gpu 1.4k 0

如何定義一款新的AI處理器？AI芯片案例分析

采用Wormhole芯片，Tenstorrent設(shè)計了nebula（星云）服務(wù)器，一個4U服務(wù)器包含32個Wormhole芯片。

2023-11-02 標簽：gpu服務(wù)器人工智能 1.8k 0

蘋果發(fā)布業(yè)界首款3納米工藝M3系列計算機芯片

M3 系列芯片配備了下一代 GPU，代表了 Apple 芯片圖形架構(gòu)史上最大的飛躍。GPU 更快、更高效，并引入了稱為動態(tài)緩存的新技術(shù)，同時首次為 Ma...

2023-11-01 標簽：gpu蘋果晶體管 1.4k 0

FlashAttenion-V3: Flash Decoding詳解

因此，本文提出了Flash-Decoding，可以推理過程中顯著加速attention操作（例如長序列生成速度提高8倍）。其主要思想是最大化并行加載ke...

2023-10-31 標簽：gpu模型LLM 2.6k 0

基于BERT算法搭建一個問答搜索引擎

鼎鼎大名的 Bert 算法相信大部分同學都聽說過，它是Google推出的NLP領(lǐng)域“王炸級”預訓練模型，其在NLP任務(wù)中刷新了多項記錄，并取得state...

2023-10-30 標簽：gpu算法搜索引擎 1.4k 0

深度學習框架DeepSpeed使用指南

最常見的深度學習框架應該是TensorFlow、Pytorch、Keras，但是這些框架在面向大規(guī)模模型的時候都不是很方便。 比如Pytorch的分布式...

2023-10-30 標簽：gpu顯存模型 7k 0

瘋狂的H100：現(xiàn)代GPU體系結(jié)構(gòu)淺析，從算力焦慮開始聊起

昂貴 H100 的一時洛陽紙貴，供不應求，大模型訓練究竟需要多少張卡呢？GPT-4 很有可能是在 10000 到 20000 張 A100 的基礎(chǔ)上訓練...

2023-10-29 標簽：gpuAI芯片算力 1.5萬 0

高通驍龍8 Gen 3處理器基礎(chǔ)規(guī)格參數(shù)

新款 8 Gen 3 的性能比前代產(chǎn)品提高了 30%，能效提高了 20%。它還提供了 25% 的 GPU 性能提升和 20% 的能效提升。Adreno ...

2023-10-27 標簽：處理器cpugpu 1.6萬 0

芯片封裝：向上堆疊，翻越內(nèi)存墻

AMD 在代號 Milan-X 的 EPYC 7003X 系列處理器上應用了第一代 3D V-Cache 技術(shù)。這些處理器采用 Zen 3 架構(gòu)核心，每...

2023-10-27 標簽：處理器amdgpu 1.7k 0

一文詳解多模態(tài)大模型發(fā)展及高頻因子計算加速GPU算力 | 英偉達顯卡被限，華為如何力挽狂瀾？

近年來，全球范圍內(nèi)的芯片禁令不斷升級，給許多企業(yè)和科研機構(gòu)帶來了很大的困擾，需要在技術(shù)層面進行創(chuàng)新和突破。一方面，可以探索使用國產(chǎn)芯片和其他不受限制的芯...

2023-10-26 標簽：gpuAI算力 2.8k 0

大語言模型Fine-tuning踩坑經(jīng)驗分享

當然 MPT-7B-StoryWriter-65k+ [5] 模型也有較長的外推能力，主要在于，注意力這塊使用了 ALIBI [6]。要擁有什么樣的長度...

2023-10-26 標簽：gpu數(shù)據(jù)處理ChatGPT 985 0