電子發(fā)燒友App
創(chuàng)作
發(fā)文章
發(fā)帖 
提問 
發(fā)資料
發(fā)視頻資料介紹
關(guān)于Spark性能的研究目前正在成為熱點，但調(diào)優(yōu)策略多位于應(yīng)用層，而不是系統(tǒng)層。操作系統(tǒng)作為硬件之上的第一層軟件，對硬件性能發(fā)揮起著根本作用。Linux內(nèi)核提供了豐富的參數(shù)作為優(yōu)化性能的接口，但實際中，這些參數(shù)的作用并沒有得到充分發(fā)揮。人們更多是采用系統(tǒng)默認(rèn)值，而不是根據(jù)具體環(huán)境進(jìn)行調(diào)整。然而本文實驗發(fā)現(xiàn)，系統(tǒng)默認(rèn)值并不一定是最好的選擇，有時甚至是最壞的。定義了“影響比”這一概念，并基于此概念提出了一種通過分析內(nèi)核函數(shù)的執(zhí)行情況來認(rèn)識參數(shù)對Spark應(yīng)用影響的方法。針對Spark內(nèi)存計算的特點，從大頁、NUMA這兩個與使用內(nèi)存緊密相關(guān)的方面分析了相關(guān)內(nèi)核參數(shù)對幾種典型Spark負(fù)載的性能影響，并由此得出一些結(jié)論。希望本文的分析和結(jié)論可以為Spark平臺合理設(shè)置內(nèi)核參數(shù)提供一些參考。
SPARK
加入交流群
掃碼添加小助手
加入工程師交流群
下載該資料的人也在下載
下載該資料的人還在閱讀
更多 >
- 基于Spark的學(xué)術(shù)論文熱點數(shù)據(jù)挖掘方法 4次下載
- Spark機(jī)器學(xué)習(xí)教材 5次下載
- 參數(shù)域邊界平直化的模型表面參數(shù)化方法 7次下載
- 基于Spark平臺的并行化關(guān)聯(lián)規(guī)則挖掘方法 0次下載
- 基于樹狀結(jié)構(gòu)Parzen估計方法的超參數(shù)優(yōu)化方法 23次下載
- 小型電動無人機(jī)的總體參數(shù)設(shè)計方法研究說明 19次下載
- 如何使用Spark Streaming進(jìn)行快速視頻轉(zhuǎn)碼方法說明 7次下載
- 如何在Spark環(huán)境下進(jìn)行犯罪人員時空關(guān)聯(lián)規(guī)則挖掘 8次下載
- 如何使用Spark計算框架進(jìn)行分布式文本分類方法的研究 3次下載
- Bright Spark 1.10版電子設(shè)計仿真軟件免費下載 0次下載
- Bright Spark電路教學(xué)仿真演示軟件及其應(yīng)用.pdf 42次下載
- 電路模擬軟件_Bright Spark 1.10綠色版 0次下載
- 一種Spark高光譜遙感圖像稀疏表分類并行化方法 6次下載
- 最全SPARK內(nèi)存管理機(jī)制 5次下載
- 基于Spark的電力設(shè)備在線監(jiān)測數(shù)據(jù)可視化方法 3次下載
- 如何在DGX Spark上運行NVIDIA Omniverse 336次閱讀
- NVIDIA DGX Spark系統(tǒng)恢復(fù)過程與步驟 4.6k次閱讀
- 在NVIDIA DGX Spark平臺上對NVIDIA ConnectX-7 200G網(wǎng)卡配置教程 4.8k次閱讀
- NVIDIA DGX Spark快速入門指南 5.3k次閱讀
- Mahony濾波算法參數(shù)自動調(diào)節(jié)方法介紹 2.4k次閱讀
- Classes -方法參數(shù) 868次閱讀
- 新規(guī)劃PCI核查工具的使用方法和應(yīng)用事例 4.6k次閱讀
- FANUC機(jī)器人建立part carrier和跟蹤參數(shù)的方法 4.7k次閱讀
- 如何實現(xiàn)電平轉(zhuǎn)換，多種方法 1.4w次閱讀
- 機(jī)器學(xué)習(xí)實例：Spark與Python結(jié)合設(shè)計 3.1k次閱讀
- 一文讀懂 Spark 內(nèi)存管理 1.3k次閱讀
- 構(gòu)建機(jī)器學(xué)習(xí)管道和使用Apache Spark時的一些經(jīng)驗 5.6k次閱讀
- 瓷片電容參數(shù)如何識別_瓷片電容的讀數(shù)方法介紹 11.4w次閱讀
- spark和hadoop的區(qū)別 1.6w次閱讀
- AD靜態(tài)參數(shù)和動態(tài)參數(shù)的測試方法介紹 1.7w次閱讀
上傳資料賺積分下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊
- 2.33 MB | 次下載 | 免費
- 2MDD品牌三極管S9012數(shù)據(jù)手冊
- 2.62 MB | 次下載 | 免費
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費
- 4收音環(huán)繞擴(kuò)音機(jī) AVR-1507手冊
- 2.50 MB | 次下載 | 免費
- 524Pin Type-C連接器設(shè)計報告
- 1.06 MB | 次下載 | 免費
- 6新一代網(wǎng)絡(luò)可視化（NPB 2.0）
- 3.40 MB | 次下載 | 免費
- 7MS1000TA 超聲波測量模擬前端芯片技術(shù)手冊
- 0.60 MB | 次下載 | 免費
- 8MS1022高精度時間測量(TDC)電路數(shù)據(jù)手冊
- 1.81 MB | 次下載 | 免費
本月
- 1愛華AIWA HS-J202維修手冊
- 3.34 MB | 37次下載 | 免費
- 2PC5502負(fù)載均流控制電路數(shù)據(jù)手冊
- 1.63 MB | 23次下載 | 免費
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準(zhǔn)諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費下載
- 340992 | 191439次下載 | 10 積分
- 5十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
工商網(wǎng)監(jiān)
評論