資料介紹
大圖數(shù)據(jù)的處理與分析是近年來的熱點(diǎn)研究問題,分布式圖計算是目前處理大圖數(shù)據(jù)的主流技術(shù),但是存在諸多無法避免的問題。比如分布式計算的負(fù)載均衡和分布式實(shí)現(xiàn)的調(diào)試和優(yōu)化仍然非常困難.另一方面。近幾年的研究表明。通過設(shè)計合理的數(shù)據(jù)結(jié)構(gòu)和處理模型,在單個PC上基于大容量磁盤的大圖計算往往可以獲得與分布式圖計算相當(dāng)?shù)奶幚硇阅埽疚慕Y(jié)合累加迭代計算和單機(jī)并行處理技術(shù),提出流式處理的異步計算模型ASP.它實(shí)現(xiàn)了對磁盤的完全順序訪問。允許流式的順序載入結(jié)構(gòu)數(shù)據(jù)的同時進(jìn)行異步更新計算,基于ASP模型,我們提出了一種流式處理的異步圖處理框架S-Maiter,實(shí)現(xiàn)了高效率的基于外存的單機(jī)大圖處理。通過I/O線程優(yōu)化、內(nèi)存資源監(jiān)控、shard級優(yōu)先級調(diào)度等優(yōu)化技術(shù),大大提高了系統(tǒng)處理大圖數(shù)據(jù)的性能.實(shí)驗(yàn)結(jié)果表明,在處理大圖數(shù)據(jù)(1300萬頂點(diǎn)。5億連邊)時,僅僅需要1臺PC機(jī)計算資源的S-Maiter與在16臺PC上運(yùn)行的分布式Maiter的性能幾乎相當(dāng).并且S-Maiter比另外一個流行的單機(jī)大圖處理系統(tǒng)GraphChi怏1.5倍.

掃碼添加小助手
加入工程師交流群
- 一種面向現(xiàn)代應(yīng)用處理器的PMIC
- USART中斷方式接收無響應(yīng)問題的一種情況及其處理方法資料下載
- 一種基于框架特征的共指消解方法 7次下載
- 如何將一種異步時鐘域轉(zhuǎn)換成同步時鐘域 5次下載
- 如何使用FPGA實(shí)現(xiàn)一種圖像預(yù)處理結(jié)構(gòu)及典型算法 37次下載
- 一種高性能數(shù)據(jù)處理模塊 1次下載
- 一種閾值調(diào)控節(jié)能策略 0次下載
- 一種成分取證的理論分析模式的分類框架 0次下載
- 一種實(shí)用的銅電阻測溫的信號處理方法 23次下載
- 一種WCDMA基帶信號處理方法的研究 12次下載
- 一種處理信號相位誤差電路的設(shè)計 45次下載
- .NET下不連續(xù)異步消息處理的研究 17次下載
- 納濾(NF)膜法—— 一種新型的水處理技術(shù)
- 一種基于TMS320VC33 DSP的通用圖像處理系統(tǒng)設(shè)計
- 一種基于共享總線的冗余容錯多處理器系統(tǒng)
- 一種實(shí)時多線程VSLAM框架vS-Graphs介紹 818次閱讀
- dsp是嵌入式微處理器的一種設(shè)備嗎 ARM嵌入式微處理器有何特點(diǎn)? 1.9k次閱讀
- 一種可重構(gòu)的硬件處理器方法 1.7k次閱讀
- DeferredResult異步請求處理 提高系統(tǒng)吞吐量的一把利器 1.9k次閱讀
- 同步整流式和異步整流式DC/DC轉(zhuǎn)換器變壓器方式的區(qū)別 6.3k次閱讀
- 一種基于FPGA內(nèi)部存儲器的適合音頻解嵌的高效異步FIFO設(shè)計 1.3k次閱讀
- 人工智能是一種改進(jìn)數(shù)據(jù)控制和處理的方法 3.6k次閱讀
- 基于流式計算的DPI數(shù)據(jù)處理方案 5.8k次閱讀
- 一種異質(zhì)多傳感器的異步量測融合算法驗(yàn)證 2k次閱讀
- 關(guān)于一種面向異步FIFO的低開銷容錯機(jī)制研究 3.8k次閱讀
- 介紹學(xué)習(xí)一種模擬信號的處理方式:對數(shù)處理 1.2w次閱讀
- 圖像其實(shí)是一種波,可以用波的算法處理圖像 1.1w次閱讀
- 一種基于DSP+FPGA視頻圖像采集處理系統(tǒng)的設(shè)計與實(shí)現(xiàn) 5.7k次閱讀
- 一種基于Mailbox核間機(jī)制的多核處理系統(tǒng) 1.3w次閱讀
- 用FPGA芯片實(shí)現(xiàn)高速異步FIFO的一種方法 9.3k次閱讀
下載排行
本周
- 1MDD品牌三極管MMBT3906數(shù)據(jù)手冊
- 2.33 MB | 次下載 | 免費(fèi)
- 2MDD品牌三極管S9012數(shù)據(jù)手冊
- 2.62 MB | 次下載 | 免費(fèi)
- 3聯(lián)想flex2-14D/15D說明書
- 4.92 MB | 次下載 | 免費(fèi)
- 4收音環(huán)繞擴(kuò)音機(jī) AVR-1507手冊
- 2.50 MB | 次下載 | 免費(fèi)
- 524Pin Type-C連接器設(shè)計報告
- 1.06 MB | 次下載 | 免費(fèi)
- 6新一代網(wǎng)絡(luò)可視化(NPB 2.0)
- 3.40 MB | 次下載 | 免費(fèi)
- 7MS1000TA 超聲波測量模擬前端芯片技術(shù)手冊
- 0.60 MB | 次下載 | 免費(fèi)
- 8MS1022高精度時間測量(TDC)電路數(shù)據(jù)手冊
- 1.81 MB | 次下載 | 免費(fèi)
本月
- 1愛華AIWA HS-J202維修手冊
- 3.34 MB | 37次下載 | 免費(fèi)
- 2PC5502負(fù)載均流控制電路數(shù)據(jù)手冊
- 1.63 MB | 23次下載 | 免費(fèi)
- 3NB-IoT芯片廠商的資料說明
- 0.31 MB | 22次下載 | 1 積分
- 4H110主板CPU PWM芯片ISL95858HRZ-T核心供電電路圖資料
- 0.63 MB | 6次下載 | 1 積分
- 5UWB653Pro USB口測距通信定位模塊規(guī)格書
- 838.47 KB | 5次下載 | 免費(fèi)
- 6技嘉H110主板IT8628E_BX IO電路圖資料
- 2.61 MB | 4次下載 | 1 積分
- 7蘇泊爾DCL6907(即CHK-S007)單芯片電磁爐原理圖資料
- 0.04 MB | 4次下載 | 1 積分
- 8100W準(zhǔn)諧振反激式恒流電源電路圖資料
- 0.09 MB | 2次下載 | 1 積分
總榜
- 1matlab軟件下載入口
- 未知 | 935137次下載 | 10 積分
- 2開源硬件-PMP21529.1-4 開關(guān)降壓/升壓雙向直流/直流轉(zhuǎn)換器 PCB layout 設(shè)計
- 1.48MB | 420064次下載 | 10 積分
- 3Altium DXP2002下載入口
- 未知 | 233089次下載 | 10 積分
- 4電路仿真軟件multisim 10.0免費(fèi)下載
- 340992 | 191439次下載 | 10 積分
- 5十天學(xué)會AVR單片機(jī)與C語言視頻教程 下載
- 158M | 183353次下載 | 10 積分
- 6labview8.5下載
- 未知 | 81602次下載 | 10 積分
- 7Keil工具M(jìn)DK-Arm免費(fèi)下載
- 0.02 MB | 73822次下載 | 10 積分
- 8LabVIEW 8.6下載
- 未知 | 65991次下載 | 10 積分
電子發(fā)燒友App





創(chuàng)作
發(fā)文章
發(fā)帖
提問
發(fā)資料
發(fā)視頻
上傳資料賺積分
評論