千億量級的搜索背后，浪潮軟件定義存儲如何將小文件讀寫性能提升30%

打開購物軟件，搜索早已經(jīng)“種草”的商品并下單，這是我們再也習(xí)慣不過的生活方式。但在輕松愉快的購物旅程的背后，海量小文件的讀寫，成為存儲系統(tǒng)“難題”。為了幫助電商、交通、廣電等行業(yè)化解海量小文件的存儲壓力，浪潮AS13000 進行了廣泛創(chuàng)新，能夠提升30%以上的小文件讀寫性能，將業(yè)務(wù)處理速度增加數(shù)倍。

面對千億量級的小文件，存儲系統(tǒng)壓力山大

所謂小文件，指的是存儲占用空間相對較小的文件，一般來說低于64MB的文件就可以被認定為小文件，而大量的小文件大小則在幾KB到幾十KB之間。在云計算、大數(shù)據(jù)業(yè)務(wù)中，文本、圖片、音樂等是典型的小文件應(yīng)用場景。

隨著數(shù)字化創(chuàng)新的加速，組織內(nèi)部的數(shù)據(jù)呈現(xiàn)出指數(shù)級增長的趨勢，特別是小文件更是隨著業(yè)務(wù)增長到一個巨大的量級。與大文件的存儲不同的是，大量磁盤在小文件存儲場景中的性能極低，單塊企業(yè)級SATA磁盤如果全部存儲4KB左右的小文件，帶寬只有520KB/s，遠遠小于應(yīng)有的120MB/s的帶寬標(biāo)準值，很容易因為存儲系統(tǒng)的性能不足造成上層應(yīng)用“卡頓”。把磁盤全部換成固態(tài)盤固然可以解決問題，但是，固態(tài)盤的價格數(shù)倍于SATA磁盤，對于很多用戶來說，全面的應(yīng)用固態(tài)盤在成本上仍然不現(xiàn)實。

百億~萬億量級的小文件對存儲性能提出

而且，每個應(yīng)用場景對于存儲系統(tǒng)的性能往往有著不同的要求。例如，某領(lǐng)先電商平臺已經(jīng)存儲了數(shù)量以百億計算的圖片文件，這些圖片平均大小在15KB左右，用戶對于這些圖片文件的讀取完全是隨機讀取，一旦大量用戶同時在線訪問網(wǎng)址或者搜索商品，往往就會給存儲系統(tǒng)的隨機讀寫能力帶來巨大的挑戰(zhàn)；在交警系統(tǒng)中，路口的抓拍攝像頭會將違章圖片傳送至區(qū)中心的計算服務(wù)器，不僅攝像頭數(shù)量多，而且每臺攝像頭每天都可能生成數(shù)千乃至上萬張照片，某市每天相關(guān)圖片寫入甚至超過一億張，要降低存儲系統(tǒng)的壓力，就需要及時刪除正常的圖片，這對存儲系統(tǒng)的寫入、刪除能力要求很高。

浪潮存儲產(chǎn)品經(jīng)理杜劍表示：“海量小文件的讀寫需求在近幾年來快速增長，特別是在人工智能、高性能計算等應(yīng)用場景中，往往需要對于海量的數(shù)據(jù)集進行隨機讀寫操作，存儲系統(tǒng)的性能不足將會帶來高時延，從而直接影響應(yīng)用的效果。為了解決海量小文件的讀寫問題，浪潮除了嘗試在硬件上進行重構(gòu)之外，還致力于通過軟件層面的技術(shù)創(chuàng)新來進行改善?！?/span>

解決海量小文件的讀寫難題浪潮有三板斧

作為了面向云計算、大數(shù)據(jù)存儲的高性能集群架構(gòu)產(chǎn)品，浪潮軟件定義存儲 AS13000 可以幫助用戶搭建存儲資源池，為上端應(yīng)用提供其所需的存儲資源。為了提升海量小文件的讀寫性能，浪潮 AS13000 從云數(shù)據(jù)集群、小文件聚合、文件分層三個層面進行了創(chuàng)新。

浪潮軟件定義存儲AS13000

首先，云數(shù)據(jù)集群技術(shù)創(chuàng)新。AS13000 可以根據(jù)系統(tǒng)規(guī)模統(tǒng)一規(guī)劃，保證元數(shù)據(jù)服務(wù)散布于每個存儲節(jié)點，使系統(tǒng)能夠通過多個元數(shù)據(jù)服務(wù)器提供元數(shù)據(jù)服務(wù)，實現(xiàn)元數(shù)據(jù)并發(fā)操作，有效的提升處理海量小文件的能力。而且，AS13000 還提供了目錄負載平衡特性。將目錄自動分配到系統(tǒng)中的所有元數(shù)據(jù)服務(wù)，減少相關(guān)元數(shù)據(jù)的通信壓力。

其次，小文件聚合技術(shù)創(chuàng)新。在前面我們也提到過，磁盤讀寫大文件的速度往往要顯著高于小文件。為了利用這一特性，AS13000 中的小文件并非直接落盤，而是合并為64MB之后再進行落盤操作，從而有效降低小文件寫入磁盤次數(shù)、減輕寫數(shù)據(jù)壓力，同時還提高讀取命中率并縮短讀 I/O 路徑。

最后，文件分級計算創(chuàng)新。AS13000 會根據(jù)集群系統(tǒng)中文件的大小、類型、存放時間等元數(shù)據(jù)屬性，將滿足用戶所設(shè)置分級策略的文件分別遷移到不同性能存儲介質(zhì)上的存儲池中。其中，在線存儲使用高速存儲介質(zhì)，應(yīng)用于文件讀寫頻繁且對性能要求較高的場景，近線存儲使用低價、低速的存儲介質(zhì)，應(yīng)用于對文件讀寫帶寬和存儲容量要求較高的高帶寬、大容量場景，這樣有利于實現(xiàn)速度與成本的平衡。

經(jīng)過驗證，在應(yīng)用了這些技術(shù)創(chuàng)新之后，浪潮 AS13000 在海量小文件的讀寫性能方面有了顯著的提升，理論測試中的提升幅度超過30%。

閱讀全文

12 下一頁全文

浪潮存儲刷新分布式存儲性能全球最高記錄

近日，IDC公布2022年第一季度中國軟件定義存儲（SDS）市場報告。報告顯示，受短期市場波動影響，一季度中國SDS市場銷售額整體呈現(xiàn)負增長，同比下滑1%。但浪潮存儲逆勢上漲，分布式存儲出貨量和裝機容量均位居中國前二，銷售額同比增長34%，增速中國第一。

2022-07-22 09:09:44

928

如何在Rust中讀寫文件

見的內(nèi)存安全問題和數(shù)據(jù)競爭問題。在Rust中，讀寫文件是一項非常常見的任務(wù)。本教程將介紹如何在Rust中讀寫文件，包括基礎(chǔ)用法和進階用法。基礎(chǔ)用法讀取文件內(nèi)容使用 std::fs::File 和 std::io::Read 模塊可以讀取文件內(nèi)容。首先，我們需要打開一個文件，

2023-09-20 10:57:52

3043

如何將.bin文件加載到Huzzah ？

文件夾中創(chuàng)建一個 .cpp.adafruit.bin 文件）但我不知道如何將 .bin 文件加載到 Huzzah . 來自https://github.com/themadinventor/esptool

2023-06-09 06:01:38

如何將DSP性能提升到極限？

如何將DSP性能提升到極限？FPGA用做數(shù)字信號處理應(yīng)用

2021-04-30 06:34:56

如何將TDMS格式大文件分割為小文件

用labview做數(shù)據(jù)采集，得到的數(shù)據(jù)文件是二進制的TDMS格式，單個文件有3G這么大，為了便于后面的分析，需將文件拆分成小文件，10M一個。現(xiàn)在用的方法是將Write to measurement

2014-02-10 15:47:29

如何將jpg文件轉(zhuǎn)word格式的工具軟件

`如何將jpg文件轉(zhuǎn)word格式的工具軟件Solid Converter PDF是一套專門將PDF文件轉(zhuǎn)換成DOC的軟件，除了轉(zhuǎn)換成DOC文件外，還可以轉(zhuǎn)換成RTF以及Word XML文件。除此之外

2011-01-23 21:17:58

如何將變量定義在外部RAM呢？

隨著單片機功能的拓展，協(xié)議棧or算法因此變得越來越龐大，此時內(nèi)部RAM是不能滿足需求了，必須將變量定義在外部RAM（如SDSRAM）。那么如何將變量定義在外部RAM呢？1.定義變量至外部存儲區(qū)域方法

2022-01-21 08:28:01

如何將實時運行的大數(shù)據(jù)存儲在TXT文件中？

我用的是PIC24E系列單片機，我現(xiàn)在利用芯片USB模塊，開發(fā)了USB通信功能即能在向所連接優(yōu)盤設(shè)備中寫文件，但是如何將實時運行的大數(shù)據(jù)存儲在TXT文件中現(xiàn)在不會，有誰能給出很好的例程？最好是能實現(xiàn)一秒讀一個數(shù)據(jù)，類似2015-1-22 09:56:09,10如能答出，不慎感激?。?！

2019-07-12 05:55:57

如何將寄存器從用Verilog編寫的組件連接到軟件

你好。我正在尋找一個非常簡單的解釋，說明如何將寄存器從用Verilog編寫的組件連接到軟件。我不想在數(shù)據(jù)表中閱讀幾十頁（已經(jīng)厭倦了）。我在自定義組件中有一個寄存器模塊MyModule（…）；Reg [15:0]計數(shù)器；…終端模塊我希望能用軟件讀寫它。請幫助！

2019-10-22 09:10:06

如何將電腦里面的文件存儲到NAS網(wǎng)絡(luò)存儲中？

`如果你要將文件存儲到本地網(wǎng)絡(luò)中的NAS，推薦使用Windows OS Samba文件服務(wù)或Mac OS AFS文件服務(wù)。這樣，你可以獲得更便捷的操作和更快的存儲速度將Windows電腦中的文件保存

2019-08-14 17:23:53

如何將簇里不同數(shù)據(jù)類型的數(shù)據(jù)批量讀寫到ini文件里？

如何將簇里不同數(shù)據(jù)類型的數(shù)據(jù)批量讀寫到ini文件里？

2017-05-20 10:30:46

軟件定義存儲

，但在現(xiàn)實面前，有時候魚和熊掌不能兼得。　　與高端陣列相比，軟件定義存儲成本和靈活性是增加了，但這也是以犧牲性能和可靠性為前提的，因此有人將軟件定義存儲定位在中端存儲，這是有一定的道理的。有業(yè)內(nèi)專家指出

2016-01-17 08:31:21

GPU爆炸式發(fā)展背后的深層原因？

Bifrost架構(gòu)如何提高效率和性能？Mali-G71如何通過創(chuàng)新技術(shù)來提升GPU性能？GPU爆炸式發(fā)展背后的深層原因？

2021-03-11 06:48:49

OpenHarmony littlefs文件系統(tǒng)存儲結(jié)構(gòu)與IO性能優(yōu)化分析

的文件系統(tǒng)，實現(xiàn)了文件系統(tǒng)基本的數(shù)據(jù)緩存、掉電恢復(fù)、磨損均衡等功能，在資源相對富裕的環(huán)境中，開發(fā)者們可以對其運行機制甚至存儲結(jié)構(gòu)進行“使用空間換時間”的優(yōu)化策略，提升讀寫的IO性能。學(xué)會有效地利用文件系統(tǒng)往往能起到事半功倍的作用，希望開發(fā)者能夠將所學(xué)知識有效應(yīng)用到未來的開發(fā)工作中，從而提高開發(fā)工作的效率。

2022-07-18 12:18:40

Sharp7是如何將數(shù)據(jù)讀寫到目標(biāo)PLC中去的

Sharp7有哪些功能？Sharp7是如何將數(shù)據(jù)讀寫到目標(biāo)PLC中去的？

2021-08-24 06:20:58

cc3200如何讀寫大文件

請教一下TI的工程師，如果需要讀寫一個大文件，文件大小為300k。而cc3200 RAM 為256k， ROM可以為1M。而且寫的時候，只能全部讀出來，再寫。不能追加。那有什么好方法可以讀寫一個大文件了？是不是將這個大文件，分解成幾個小文件進行讀寫了？

2020-06-16 14:27:57

llabview如何將vi文件生成exe文件

2014-09-15 10:52:57

基于FPGA的高性能數(shù)據(jù)存儲技術(shù)

接口，完成對輸入數(shù)字信號的實時接收記錄存儲功能；2、數(shù)據(jù)回放功能通過外部控制軟件的操控，能夠將記錄的數(shù)據(jù)文件，通過底板高速總線接口，發(fā)送到外部設(shè)備；3、訪問及控制通過對外的千兆/萬兆網(wǎng)口，使用FTP

2022-09-21 11:05:30

基于閃存存儲的Apache Kafka性能提升方法

作者：Dennis Lattka我是美光科技的首席存儲解決方案工程師Dennis Lattka。這個頭銜的真正含義是，我要致力于確定如何利用閃存存儲改善工作負載應(yīng)用的性能和結(jié)果。為此，我決定對大數(shù)

2019-07-24 06:58:39

處理浪潮存儲變頻器恒速過電壓的方法

。　　存儲、網(wǎng)絡(luò)、計算全面強化　　浪潮存儲服務(wù)器NF5266M5可支持24塊前置2．5寸／3．5寸硬盤、4塊后置的NVMe SSD以及內(nèi)置2塊M．2硬盤，2塊M．2硬盤為系統(tǒng)盤，保證了系統(tǒng)性能。24塊機械硬盤

2020-07-03 10:06:01

如何提升SRAM性能？

提升SRAM性能的傳統(tǒng)方法

2021-01-08 07:41:27

如何提升基站性能？

2021-05-26 06:33:50

架起線上線下存儲橋梁，云存儲網(wǎng)關(guān)開放性能型文件網(wǎng)關(guān)及塊網(wǎng)關(guān)公測

的讀寫有較大的性能提升，同時提高了POSIX兼容性和第三方軟件的兼容性。塊網(wǎng)關(guān)，適用于期望用塊存儲協(xié)議訪問OSS存儲空間的客戶。在OSS中創(chuàng)建存儲卷，為應(yīng)用程序提供iSCSI協(xié)議訪問，本地應(yīng)用程序可將

2018-06-13 16:33:06

深度剖析OpenHarmony輕量級數(shù)據(jù)存儲

一、輕量級數(shù)據(jù)存儲的版本openharmony的輕量級數(shù)據(jù)存儲現(xiàn)有兩個版本，但是harmonyOS的官網(wǎng)上只有一個輕量級數(shù)據(jù)存儲。二、應(yīng)用目錄的獲取數(shù)據(jù)存儲需要獲取到應(yīng)用的存放目錄，便于新建存儲數(shù)據(jù)

2022-03-31 14:45:19

請問如何將數(shù)組定義到外擴的SRAM中？

本帖最后由一只耳朵怪于 2018-6-11 16:45 編輯專家好，請問如何將數(shù)組定義到外擴的SRAM中？定義的程序代碼能簡單寫一下嗎？（比如數(shù)組num[50]定義到Xintf的zone6中，地址假設(shè)為0x100000）.謝謝

2018-06-11 00:31:38

請問利用shell腳本如何將一個.txt 的文件轉(zhuǎn)換成為.db數(shù)據(jù)庫的形式存儲？

請問利用shell腳本如何將一個.txt 的文件轉(zhuǎn)換成為.db數(shù)據(jù)庫的形式存儲？.TXT的文件內(nèi)容如下，從name到num中間一共有20個字符的空間 name numxiaoming 88xiaohua77xiao66......

2017-11-06 21:17:21

如何將pads2007轉(zhuǎn)換成cadence文件

pads2007轉(zhuǎn)cadence:如何將pads2007轉(zhuǎn)換成cadence文件

2009-09-14 09:55:37

如何用百度硬盤搜索將PDF轉(zhuǎn)換為文本文件txt

如何用百度硬盤搜索將PDF轉(zhuǎn)換為文本文件txt的方法現(xiàn)在有很多“PDF”轉(zhuǎn)換為“TXT”的軟件，不

2008-10-12 01:54:14

1918

如何將PDF文件轉(zhuǎn)化為WORD文檔的步驟

如何將PDF文件轉(zhuǎn)化為WORD文檔的步驟操作步驟：1. 確保電腦上已經(jīng)正確安裝了如下軟件：Acrobat 或 Acrobat Reader、Office XP 或 Office

2009-12-25 16:07:55

9493

USB接口彩電存儲器讀寫器軟件免費下載

USB接口的彩電存儲器讀寫器讀寫軟件

2011-03-19 11:00:11

1619

基于C#的OPT存儲器數(shù)據(jù)的讀寫測試軟件

實現(xiàn)在PC上進行OPT存儲器數(shù)據(jù)的讀寫的測試軟件。由于必需對OTP存儲器的功能進行測試才能得到OPT存儲器中被燒錄的正確數(shù)據(jù)，因此怎樣使用上位機軟件讀取到通過串口與PC相連的高性能的OTP存儲器中的數(shù)據(jù)成為一個我們非常關(guān)心的課題。C#語法簡

2017-11-11 15:02:58

文件搜索軟件Everything下載

Everything是一個運行于Windows系統(tǒng)，基于文件、文件夾名稱的快速文件搜索軟件。Everything在搜索之前就會把所用的文件和文件夾都列出來，這一點與Windows自帶的搜索系統(tǒng)不一樣

2017-12-13 17:18:58

一種云存儲中文件分界點確定方法

，作為一種開源軟件框架，憑借其可靠性、可擴展性和分布式的計算和存儲而迅速發(fā)展。針對Hadoop分布式文件系統(tǒng)（HDFS）中小文件定義模糊導(dǎo)致HDFS處理小文件性能不佳的問題，提出了一種云存儲系統(tǒng)中文件分界點的確定方法-Cut-GAR。該方法

2018-01-03 09:55:17

基于小文件的內(nèi)存云存儲優(yōu)化策略

。為了解決這個問題，提出基于文件分類的RAMCloud小文件存儲優(yōu)化策略。該策略首先根據(jù)文件的相關(guān)特性將小文件分為結(jié)構(gòu)相關(guān)文件、邏輯相關(guān)文件以及相互獨立文件三類；然后在存儲時對結(jié)構(gòu)相關(guān)的文件使用文件合并算法，邏輯相關(guān)和相互獨立的小文件則使用分

2018-01-24 13:55:31

小文件存取優(yōu)化方法

模型，并根據(jù)基于文件關(guān)聯(lián)關(guān)系的合并算法將小文件組裝成大文件之后存至HDFS；當(dāng)從HDFS獲取文件時，根據(jù)基于文件關(guān)聯(lián)關(guān)系的預(yù)取算法來提高文件訪問效率，并提出基于預(yù)取的緩存替換算法來管理緩存空間，從而提高文件的命中率。實驗結(jié)果表明，SmartFS有效減少了HDFS中Nam

2018-01-24 15:16:16

破解元數(shù)據(jù)存儲與管理難題，是浪潮軟件定義存儲馳騁海量數(shù)據(jù)時代的關(guān)鍵

移動互聯(lián)與人工智能時代，從根本上破解元數(shù)據(jù)存儲與管理難題，是浪潮軟件定義存儲AS13000馳騁海量數(shù)據(jù)時代的關(guān)鍵。

2018-02-05 13:46:55

6298

您如何評價浪潮存儲渠道政策？

在產(chǎn)品線不斷豐富的背后，即是浪潮在高端行業(yè)市場的持續(xù)突破。2017年，浪潮存儲用戶增加了近900家，其中高端行業(yè)客戶就可列舉出一系列名單，例如中國移動、郵儲銀行、中國石化、華科大、廣東省檢、重慶國土等。在中國移動分布式文件存儲集成中，浪潮成為最終入圍的三家企業(yè)之一，中標(biāo)份額達到30%。

2018-05-08 15:58:56

5511

浪潮存儲將攜手千家合作伙伴向中國存儲市場前二的目標(biāo)進軍

浪潮存儲研發(fā)從2001年啟動，歷經(jīng)十幾年，從發(fā)布第一款FC光纖存儲，到前幾年加快發(fā)展中高端存儲，最近一兩年發(fā)布關(guān)鍵數(shù)據(jù)存儲、軟件定義存儲、智能存儲G2平臺，乃至今年最新的智能全閃G2-F，新的產(chǎn)品和技術(shù)一直在快速推向市場，并且陸續(xù)取得了重量級用戶與合作伙伴的認可。

2018-05-16 11:34:22

3709

軟件定義存儲真的可以節(jié)省開支嗎？

如今，軟件定義的采用率正在不斷增加，這使得軟件定義存儲(SDS)成為企業(yè)關(guān)注的焦點。采用軟件定義存儲(SDS)的主要驅(qū)動因素之一是節(jié)約成本。

2018-06-27 10:27:09

3808

Atmel Studio 6如何將QTouch調(diào)節(jié)到最佳性能

2018-07-04 09:50:00

2792

關(guān)于AS SSD Benchmark軟件和4K讀寫性能淺析

我們在測試SSD時經(jīng)常用到AS SSD Benchmark這個軟件。通過這個軟件大致了解到一些SSD的讀寫情況。但是一些高逼格的朋友，竟然可以通過這個軟件測試出來的4K讀寫性能，來判定SSD的性能好壞。

2018-07-25 17:20:41

32425

浪潮存儲孫斌：軟件是怎么定義存儲的

云計算走向2.0時代，開始成為企業(yè)IT基礎(chǔ)的核心引擎，軟件定義存儲也被賦予了新的角色，成為跨云的橋梁。任意云、任意設(shè)備、任意應(yīng)用、任意數(shù)據(jù)，軟件定義存儲，構(gòu)建了云2.0時代數(shù)據(jù)流動的平臺。

2018-12-22 09:33:43

1575

MaxCompute小文件問題優(yōu)化方案

小文件背景知識 小文件定義分布式文件系統(tǒng)按塊Block存放，文件大小比塊大小小的文件（默認塊大小為64M），叫做小文件。如何判斷存在小文件數(shù)量多的問題查看文件數(shù)量 desc?extended

2018-12-27 15:39:25

706

成都紅星路： PB級數(shù)據(jù)交給浪潮SDS，構(gòu)建智慧交通

系統(tǒng)，通過創(chuàng)新的軟硬件組合，實現(xiàn)了小文件讀寫性能提高100%，讀集群性能提高50%，同時滿足未來業(yè)務(wù)發(fā)展的海量數(shù)據(jù)存儲、處理需求。數(shù)百套視頻監(jiān)控設(shè)備考驗存儲“肚量” 說起“紅星路”，對于老成都人來說，承載著童年記憶，上

2019-01-17 11:07:01

379

數(shù)百套視頻監(jiān)控設(shè)備考驗存儲“肚量”

更大的挑戰(zhàn)在于小文件的存儲性能問題，這些海量小文件在寫入時，每個小文件存儲都會執(zhí)行一次全寫流程，操作頻繁，使得分布式文件系統(tǒng)的磁盤壓力劇增。其不僅會由于有用數(shù)據(jù)占獲取數(shù)據(jù)量比例過低，導(dǎo)致內(nèi)存、帶寬

2019-01-17 16:37:44

3722

浪潮李輝：構(gòu)建了新數(shù)據(jù)時代軟件定義存儲的新高度與新可能

本次大會，以“軟件定義存儲未來”為主題，DOIT主辦，中國開源云聯(lián)盟、中國超融合產(chǎn)業(yè)聯(lián)盟、Ceph中國社區(qū)和騰訊云+社區(qū)提供支持，吸引了來自全國各地的數(shù)百位專業(yè)觀眾參與。大會探討了SDS業(yè)內(nèi)最熱

2019-04-25 08:57:56

3577

企業(yè)云下的軟件定義存儲

軟件定義是2012年VMware提出軟件定義數(shù)據(jù)中心的概念，其中SDS作為軟件定義數(shù)據(jù)中心一個非常核心的技術(shù)之一，軟件定義計算、軟件定義網(wǎng)絡(luò)+軟件定義存儲，構(gòu)成了軟件定義數(shù)據(jù)中心和云的基礎(chǔ)技術(shù)，這改變了整個行業(yè)的架構(gòu)范式。

2019-05-30 10:50:14

1392

硬盤文件搜索軟件應(yīng)用程序免費下載

本文檔的主要內(nèi)容詳細介紹的是硬盤文件搜索軟件應(yīng)用程序免費下載，包內(nèi)有32位與64位搜索原文件，方便找到硬盤文件。注：需要NTFS分區(qū)才能正常使用。

2019-06-05 08:00:00

軟件定義存儲將改變數(shù)據(jù)中心

最近幾年，存儲行業(yè)最火熱的名詞恐怕應(yīng)該就是“軟件定義存儲(SDS)”了。幾乎每一個存儲解決方案供應(yīng)商都或多或少會提供基于SDS形式的產(chǎn)品。

2019-07-02 11:07:32

903

DCS存儲控制系統(tǒng)將成為浪潮高端存儲的核心引擎

浪潮自研的DCS（Data Control System）存儲操作系統(tǒng)，是浪潮高端存儲的技術(shù)基石，存儲系統(tǒng)的各種高級軟件功能都運行在DCS存儲操作系統(tǒng)之上；今后DCS將進一步遷移到浪潮全系列的存儲系統(tǒng)上。

2019-07-05 14:13:01

1389

海量小文件存儲的問題以及解決方案

海量小文件是業(yè)界難題，甚至有專門的名詞，LOSF(lots of samll file)。通常我們認為大小在1MB以內(nèi)的文件稱為小文件，百萬級數(shù)量及以上稱為海量文件，由此量化定義海量小文件。

2019-08-20 10:27:03

4440

解決海量小文件存儲的大魚集群存儲系統(tǒng)的詳細資料介紹

大數(shù)據(jù)時代數(shù)據(jù)量爆炸式增長，數(shù)據(jù)對象數(shù)量也指數(shù)級升高，海量小文件已成為一類非常典型的海量數(shù)據(jù)應(yīng)用，如擁有數(shù)以億計商品圖片的電商平臺，每日上傳大量用戶文字、照片的Web2.0網(wǎng)站等。但現(xiàn)有傳統(tǒng)文件系統(tǒng)多面向機械磁盤設(shè)計，難以高效應(yīng)對海量小文件應(yīng)用場景，存在諸多問題。

2019-11-19 15:51:00

AI助力下 IBM推出了新一代軟件定義存儲

近幾年，存儲領(lǐng)域最火的軟件定義存儲、智能存儲等概念背后，都有一個關(guān)鍵詞——智能化。原因就在于，越來越多的企業(yè)已經(jīng)意識到，相比擁有數(shù)據(jù)而言，善于利用數(shù)據(jù)、從數(shù)據(jù)中獲取價值，才是真正的競爭優(yōu)勢。

2019-11-27 10:19:27

696

海量小文件存儲最優(yōu)解決方案，杉巖數(shù)據(jù)MOS完美解決

面對千億量級的小文件，存儲系統(tǒng)壓力山大所謂小文件，指的是存儲占用空間相對較小的文件，一般來說低于64MB的文件就可以被認定為小文件，而大量的小文件大小則在幾KB到幾十KB之間。在云計算、大數(shù)

2019-12-10 12:49:31

1659

杉巖：破解海量小文件存儲的大難題

導(dǎo)語：海量小文件的元數(shù)據(jù)管理、存儲性能以及訪問效率等問題是目前學(xué)術(shù)界和工業(yè)界公認的難題。杉巖海量對象存儲MOS利用包括小文件聚合功能在內(nèi)的獨特技術(shù)，幫助用戶應(yīng)對存儲資源浪費、效率低下等諸多挑戰(zhàn)，成就

2020-03-17 13:50:35

1066

杉巖：軟件定義存儲（SDS），存儲新時代

軟件定義存儲在行業(yè)內(nèi)不斷的被熱捧，發(fā)展至今，軟件定義存儲不僅僅代表著一個熱門話題，更代表整個存儲領(lǐng)域的全新發(fā)展方向。 2013，軟件定義元年對于軟件定義存儲，行業(yè)內(nèi)沒有統(tǒng)一的說法。當(dāng)國際存儲巨頭

2020-03-26 11:39:34

1703

應(yīng)對海量圖片存儲的分布式存儲解決方案

MB以內(nèi))，以GFS、HDFS為代表的適用于流式訪問大文件的分布式存儲系統(tǒng)，若直接用來存儲圖片，由于元數(shù)據(jù)膨脹，在擴展性和性能方面均存在嚴重問題。為了解決HDFS在小文件存儲方面的問題，通常的做法是先將很多小文件合并成一個大文件再

2020-01-09 15:41:00

4328

如何將變量存儲在指定內(nèi)存地址（基于Keil MDK-ARM）

如何將變量存儲在指定內(nèi)存地址（基于Keil MDK-ARM）

2020-02-29 16:32:52

17035

浪潮存儲是怎么靠技術(shù)創(chuàng)新制勝的？

一波波新技術(shù)浪潮的到來，讓數(shù)據(jù)的重要性不斷上升，業(yè)界正重新審視其背后的新存儲之變。

2020-03-07 15:42:43

2224

一張圖讀懂軟件定義存儲

什么是軟件定義存儲？杉巖老司機帶你一張圖讀懂軟件定義存儲！

2020-03-10 11:21:32

1020

軟件定義存儲的實施是對的嗎

在合理實施的情況下，軟件定義存儲能夠在應(yīng)用和物理存儲資源之間建立硬件獨立和負載無關(guān)的存儲應(yīng)用層。與任何技術(shù)實現(xiàn)一樣，在實施軟件定義存儲抽象層時也有正確和錯誤的方式。

2020-03-20 16:14:43

704

浪潮16控存儲產(chǎn)品性能創(chuàng)造紀錄

日前，存儲性能委員會（Storage Performance Council,簡稱SPC）公布最新的SPC-1基準測試報告。浪潮存儲評測值超越國內(nèi)廠商全部高端存儲，創(chuàng)造了16控存儲產(chǎn)品性能的全球最高紀錄。

2020-03-27 16:08:50

2172

Spark優(yōu)化：小文件合并的步驟

，想要它快，就得充分利用好系統(tǒng)資源，尤其是內(nèi)存和CPU。有時候我們也需要做一些優(yōu)化調(diào)整來減少內(nèi)存占用，例如將小文件進行合并的操作。

2020-08-13 17:53:11

8354

Google正在測試移動版Google搜索中自定義配置文件標(biāo)題的選項

現(xiàn)在，我們了解了公司的新概念，通過它我們可以更改搜索引擎的某些元素的外觀。Google開發(fā)人員正在測試移動版Google搜索中自定義配置文件標(biāo)題的選項。

2020-09-25 17:14:08

1929

新華三對軟件定義存儲市場做出的努力

　存儲協(xié)議迭代為軟件定義存儲市場帶來發(fā)展契機。新華三將軟件定義存儲視作近三年的重點方向，并提出：存儲業(yè)務(wù)的本質(zhì)需求是高可靠、高性能及易維護，閃存+融合+AI是軟件定義存儲的方向。

2020-11-26 09:47:48

2184

使用FPGA讀寫SDRAM存儲器的實例工程文件和程序免費下載

本文檔的主要內(nèi)容詳細介紹的是使用FPGA讀寫SDRAM存儲器的實例工程文件和程序免費下載。

2020-12-18 16:13:13

Alitum中如何將原有默認的板框刪除或重新定義板框

Alitum中如何將原有默認的板框刪除或重新定義板框

2020-12-24 09:25:39

軟件定義存儲到底是什么？軟件定義存儲在國內(nèi)有什么樣的發(fā)展

存儲是我們每天都要與之打交道的設(shè)備，SD卡、SSD等器件、設(shè)備都是存儲的具體實現(xiàn)。往期文章中，小編對云存儲、組合式存儲有所闡述。為繼續(xù)增進大家對存儲的了解，本文將對軟件定義存儲加以介紹。在本文中，您將了解到何為軟件定義存儲以及軟件定義存儲在中國的發(fā)展現(xiàn)狀。

2021-01-03 14:25:00

1629

軟件定義存儲SDS的現(xiàn)狀及發(fā)展趨勢

SDS的定義，說法不一。 “軟件定義”的基本概念意味著對硬件和存儲介質(zhì)功能的抽象化。SDS可以視為基于標(biāo)準化指標(biāo)（如IOPS，帶寬和延遲）交付的存儲。這些指標(biāo)通過服務(wù)質(zhì)量功能進行調(diào)整，底層硬件不應(yīng)該對I/O性能產(chǎn)生直接影響。

2021-02-13 16:53:00

3151

軟件定義存儲的特點

分布式存儲可以通過彈性選擇價格的高低和性能的強弱，軟件定義存儲讓其成為可能。同時相比傳統(tǒng)的存儲，軟件定義的存儲要更具性價比。

2021-03-01 10:32:22

2867

軟件定義的存儲：功能強大但不簡單

軟件定義的存儲（SDS）使存儲智能與底層存儲設(shè)備分離。環(huán)境將多個存儲設(shè)備編排到在物理存儲層之上運行的軟件存儲管理層中。通過將智能升級，客戶可以購買支持SDS策略驅(qū)動的工作負載處理，負載平衡，重復(fù)

2021-03-08 11:46:47

3555

浪潮存儲刷新分布式存儲性能全球最高成績

（每秒讀寫操作次數(shù)）、0.781ms時延的評測值，刷新了分布式存儲性能全球最高成績。至此浪潮存儲五年五次霸榜，成為全球唯一在分布式存儲和集中式全閃兩大賽道領(lǐng)跑的存儲廠商。 SPC-1 基準評測榜單由

2021-08-12 10:27:43

4714

浪潮軟件定義存儲全面布局致力于存儲即平臺的理念探索和落地

深化軟件定義。加快發(fā)展軟件定義計算、軟件定義存儲、軟件定義網(wǎng)絡(luò)，重點布局工業(yè)互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、人工智能、自動駕駛等新興軟件定義平臺。引導(dǎo)企業(yè)制定相關(guān)體系架構(gòu)和應(yīng)用規(guī)范，推動創(chuàng)新應(yīng)用。

2021-12-10 17:32:31

3242

浪潮存儲高效存儲產(chǎn)品提升數(shù)據(jù)存儲效率

浪潮存儲基于“云存智用運籌新數(shù)據(jù)”的理念，不斷技術(shù)創(chuàng)新，將智能壓縮技術(shù)適配到存儲平臺，打造敏捷高效的存儲產(chǎn)品，在保障性能無損的情況下，提升數(shù)據(jù)存儲的效率，提高了存儲空間利用率，降低數(shù)據(jù)存儲成本，讓用戶能輕松應(yīng)對數(shù)字經(jīng)濟時代的海量數(shù)據(jù)的挑戰(zhàn)。

2022-04-08 09:27:42

7069

浪潮存儲打造智能駕駛地圖服務(wù)平臺

不僅如此，浪潮存儲在支持容器存儲接口背后，還在代碼級進行了深度優(yōu)化，讓存儲系統(tǒng)在云原生時代“不僅夠用、更要好用”。

2022-04-11 15:13:21

1535

華為存儲四大舉措提升EDA仿真效率

目前，EDA仿真平臺面臨幾個困境，一個是面對混合型業(yè)務(wù)，存儲更容易成為瓶頸。這是因為EDA仿真主要分前端業(yè)務(wù)和后端業(yè)務(wù)。前端業(yè)務(wù)主要以RTL編碼仿真為主，數(shù)據(jù)特點基本都是KB級別的小文件，并且主要是8KB左右的文件為主，超過60%以上都是元數(shù)據(jù)讀寫，這類場景針對存儲的要求就是更高的OPS性能訴求。

2022-06-08 10:21:50

3551

浪潮分布式存儲高速增長背后的原因

近日，IDC公布2022年第一季度中國軟件定義存儲(SDS)市場報告。報告顯示，受短期市場波動影響，一季度中國SDS市場銷售額整體呈現(xiàn)負增長，同比下滑1%。但浪潮存儲逆勢上漲，分布式存儲出貨量和裝機容量均位居中國前二，銷售額同比增長34%，增速中國第一。

2022-07-22 09:02:37

923

浪潮新一代ZNS SSD固態(tài)盤解碼：如何將性能提升210%

面對SSD固態(tài)盤價格快速上漲，浪潮在固態(tài)盤方面持續(xù)創(chuàng)新，推出了新一代ZNS（Zoned Namespace，分區(qū)命名空間）SSD，在性能、容量、壽命、成本、易用性等方面實現(xiàn)了飛躍式提升。這是繼2019年IPF大會上浪潮存儲發(fā)布NVMe SSD固態(tài)盤之后，浪潮存儲在固態(tài)盤技術(shù)方面的全面升級。

2022-08-09 16:09:18

1579

如何將軟件定義汽車變?yōu)楝F(xiàn)實？

目前，汽車市場對軟件定義功能和應(yīng)用的需求越來越旺盛，行業(yè)正迫切需要一種先進的網(wǎng)關(guān)，能夠提供通用性并為客戶提供數(shù)據(jù)加速和數(shù)據(jù)分析功能。此外，由于 OEM 車輛和軟件定義車輛在需求上存在較大差異，因此需要一種功能更強大且良好平衡的通用型解決方案。

2022-08-02 08:03:40

1367

浪潮存儲入選分布式存儲代表性廠商

近日，Gartner公布2022年存儲和數(shù)據(jù)保護技術(shù)成熟度曲線（Hype Cycle for Storage and Data Protection Technologies， 2022），軟件定義

2022-08-09 11:31:41

1191

【Python】如何將Python腳本打包成exe可執(zhí)行文件

【Python實用技巧】如何將Python腳本打包成exe可執(zhí)行文件？

2022-08-18 12:40:15

19460

EPLAN P8 軟件如何將項目源文件保存與打開

本篇文章主要講解一下EPLAN P8 軟件如何將項目源文件保存與打開。一共我分了三篇文章來說明，每一篇文章說的格式都不相同，不同格式我們按需所取即可。這篇是打包與解包的說明

2023-02-06 15:49:28

17722

EPLAN P8 軟件如何將項目源文件保存與打開-2

本篇文章主要講解一下EPLAN P8 軟件如何將項目源文件保存與打開。一共我分了三篇文章來說明，每一篇文章說的格式都不相同，不同格式我們按需所取即可

2023-02-06 15:51:24

20223

PLAN P8 軟件如何將項目源文件保存與打開-3

篇文章主要講解一下EPLAN P8 軟件如何將項目源文件保存與打開。一共我分了三篇文章來說明，每一篇文章說的格式都不相同，不同格式我們按需所取即可。這篇是epj格式導(dǎo)出與導(dǎo)入的說明

2023-02-06 16:06:34

9198

如何將包含XIlinx IP的用戶模塊封裝成網(wǎng)表文件

那么如何將包含XIlinx IP的用戶模塊封裝成網(wǎng)表文件，下面將給出詳細步驟

2023-05-18 11:12:36

3431

浪潮信息澎湃認證：浪潮分布式存儲攜手博雅云OneSRM SMP存儲管理平臺完成兼容性認證

融合存儲AS13000系列產(chǎn)品完全兼容，滿足功能需求，系統(tǒng)運行可靠穩(wěn)定，性能表現(xiàn)優(yōu)異。浪潮信息澎湃技術(shù)認證是浪潮信息基于自身多元、創(chuàng)新的通用計算平臺，與供應(yīng)鏈及軟件服務(wù)等生態(tài)合作伙伴共同構(gòu)建的產(chǎn)品兼容性認證體系，包含“產(chǎn)品部件認證”、“平臺軟件認證”、

2023-07-12 09:15:03

1113

軟件定義的存儲：重塑存儲環(huán)境

電子發(fā)燒友網(wǎng)站提供《軟件定義的存儲：重塑存儲環(huán)境.pdf》資料免費下載

2023-08-10 16:54:44

文件存儲和塊存儲的區(qū)別和聯(lián)系

文件存儲和塊存儲是兩種常見的數(shù)據(jù)存儲方式，它們在設(shè)計思想、數(shù)據(jù)組織方式、應(yīng)用場景等方面存在著一些區(qū)別和聯(lián)系。首先，文件存儲是指將數(shù)據(jù)以文件的形式進行存儲。文件系統(tǒng)是一種用于管理和組織文件的軟件

2023-12-20 17:16:19

2282

?簡單認識軟件定義存儲(SDS)

?軟件定義存儲(SDS)即利用分布式和虛擬化等軟件技術(shù)，將存儲硬件資源按需進行分割和重新組合，達到靈活按需拓展、提高存儲利用率等目標(biāo)。在數(shù)字經(jīng)濟發(fā)展背景下，SDS高度符合數(shù)據(jù)基礎(chǔ)設(shè)施發(fā)展演進趨勢。

2024-01-02 11:07:54

2811

TARGET3001!用法篇-如何將Altium文件導(dǎo)入到TARGET中

的，如果可以把以前用AD做的文件直接導(dǎo)入到這款軟件中使用，這確實能給我們也帶來很多方便。通過了解部分資料，我大概講一下如何將Altium文件導(dǎo)入到TARGET 3001!中，所以真正使用一段時間你就會發(fā)現(xiàn)它確實是一款性價比很高的EDA軟件！

2024-02-20 14:38:51

1417

裝了固態(tài)硬盤還要裝機械硬盤嗎

需求，固態(tài)硬盤是更好的選擇。隨機讀寫性能：固態(tài)硬盤在隨機讀寫方面也有明顯優(yōu)勢，能夠快速響應(yīng)多個小文件的讀寫請求，適合需要頻繁讀寫小文件的場景。二、存儲容量固態(tài)硬盤容量：固態(tài)硬盤的存儲容量相對較小，常見的有256GB、51

2024-10-10 15:51:42

3894

emc軟件定義存儲的未來發(fā)展

學(xué)習(xí) 隨著人工智能（AI）和機器學(xué)習(xí)（ML）技術(shù)的發(fā)展，EMC軟件定義存儲將更加智能化。通過集成AI和ML技術(shù)，EMC SDS能夠?qū)崿F(xiàn)自動化的數(shù)據(jù)管理，提高存儲效率和性能。例如，通過預(yù)測分析，EMC SDS可以預(yù)測存儲需求，自動調(diào)整資源分配，以滿足業(yè)

2024-11-01 15:28:00

1254