近日，綠色計算產(chǎn)業(yè)聯(lián)盟“服務(wù)器典型應(yīng)用場景性能評測行動”正式啟動，本次評測行動包括大數(shù)據(jù)、分布式存儲、Web應(yīng)用、高性能計算、集中式關(guān)系型數(shù)據(jù)庫管理系統(tǒng)、ARM原生云手機、虛擬化7大服務(wù)器典型應(yīng)用場景。星環(huán)科技大數(shù)據(jù)基礎(chǔ)平臺Transwarp Data Hub（TDH），經(jīng)由中國電子技術(shù)標準化研究院作為國家權(quán)威檢測機構(gòu)及綠色計算產(chǎn)業(yè)聯(lián)盟專業(yè)評測團隊進行權(quán)威評測，最終順利通過《服務(wù)器應(yīng)用場景性能測試方法大數(shù)據(jù)》標準評測。

本次測試選用了四臺Arm服務(wù)器和四臺X86服務(wù)器進行對比，軟件層面Arm服務(wù)器集群使用的是星環(huán)科技的TDH大數(shù)據(jù)軟件，X86集群使用的是開源軟件CDH。

TDH是星環(huán)科技自主研發(fā)的企業(yè)級一站式多模型大數(shù)據(jù)基礎(chǔ)平臺，經(jīng)過多年的快速演進，不斷發(fā)展成熟。

TDH采用“四層統(tǒng)一的多模型技術(shù)架構(gòu)”，包括了11款核心產(chǎn)品：實時流計算引擎Slipstream、關(guān)系型分析引擎Inceptor、寬表數(shù)據(jù)庫Hyperbase、搜索引擎Scope、文檔數(shù)據(jù)庫DocStore、圖數(shù)據(jù)庫StellarDB、時空數(shù)據(jù)庫Spacture、時序數(shù)據(jù)庫TimeLyre、鍵值數(shù)據(jù)庫KeyByte、事件存儲庫Event Store、數(shù)據(jù)科學(xué)平臺Sophon Discover，能夠滿足用戶不同應(yīng)用場景的需求。同時配套Aquila Insight、Manager、Audit、Guardian等工具，使TDH的安裝、管理、開發(fā)、運維、升級十分便捷，給用戶帶來極致的開發(fā)和運維體驗。

目前，TDH在政府、金融、能源、運營商、交通等各行各業(yè)積累了豐富的部署實施經(jīng)驗，并且不斷向大數(shù)據(jù)技術(shù)新興前沿領(lǐng)域進行持續(xù)探索和深入研究。 通過部署、安裝、使用TDH，企業(yè)能夠更有效的利用大數(shù)據(jù)平臺構(gòu)建核心商業(yè)系統(tǒng)，加速商業(yè)創(chuàng)新。

NoSQL數(shù)據(jù)庫場景，測試結(jié)果以X86結(jié)果為基礎(chǔ)，作了歸一化處理。星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺與開源大數(shù)據(jù)軟件部署在X86平臺相比，1T數(shù)據(jù)使用ImportTsv方式批量導(dǎo)入耗時差距不大，均為40min左右。隨機寫、隨機讀和范圍掃描場景下，在吞吐量上Arm結(jié)果均要領(lǐng)先于X86結(jié)果，平均在13%左右。

搜索分析場景，吞吐量指標上Arm結(jié)果領(lǐng)先X86結(jié)果較多，平均在52%左右，表現(xiàn)出了較大的性能優(yōu)勢，時延數(shù)據(jù)上兩者差距不大。核心組件Scope中每個EsNode進程存在多種線程池，包括與查詢相關(guān)的search、get線程池、與入庫相關(guān)的bulk線程池；該類型的線程池線程數(shù)量被固定為節(jié)點CPU核數(shù)，因此Arm處理器的多核特點，具有天然的性能優(yōu)勢，可以增大數(shù)據(jù)處理并發(fā)度，降低響應(yīng)時延。

流處理測試項以1000w條數(shù)據(jù)量為輸入?yún)?shù)，ETL場景下單線程寫入kafka partition為1的topic時Arm上流處理組件的吞吐達25萬條/秒，而X86的吞吐為20萬條/秒，且用時更短。Filter場景與ETL場景類似，Arm平臺上的結(jié)果均表現(xiàn)出了一定的優(yōu)勢。窗口場景下對窗內(nèi)數(shù)據(jù)進行計數(shù)時，TDH在Arm上的結(jié)果與Flink在X86上的結(jié)果相差不大。核心組件Slipstream計算框架是分布式并行流計算框架，其任務(wù)由taskslot數(shù)量決定并發(fā)度，taskslot數(shù)量取決于CPU物理核數(shù)。Arm處理器的多核特點可以增大流處理的并發(fā)度，提升數(shù)據(jù)處理效率。

數(shù)倉/數(shù)集場景下，星環(huán)科技TDH結(jié)合Arm服務(wù)器平臺較開源大數(shù)據(jù)軟件部署在X86平臺的測試結(jié)果平均領(lǐng)先幅度較大。分析平臺通過多任務(wù)并發(fā)，解決海量數(shù)據(jù)的處理問題，CPU核數(shù)越多，任務(wù)并發(fā)度越高，任務(wù)處理性能越高。這主要得益于TDH強大的離線、在線處理分析性能。另外，在硬件層面，Arm處理器相比業(yè)界主流處理器，其特點是多核計算，物理核數(shù)高，能夠提升任務(wù)并發(fā)度，對加速大數(shù)據(jù)的計算性能也有一定的幫助。

星環(huán)科技TDH產(chǎn)品特性與優(yōu)勢

自主研發(fā)

TDH核心技術(shù)自主研發(fā)，滿足信創(chuàng)驗收要求

主流信創(chuàng)生態(tài)廠商的適配兼容，國產(chǎn)CPU、GPU、操作系統(tǒng)、服務(wù)器、中間件

完整多模型能力

9種存儲引擎支持10種數(shù)據(jù)模型：關(guān)系型分析、圖、寬表、文檔數(shù)據(jù)庫、時序數(shù)據(jù)庫、時空數(shù)據(jù)庫、鍵值數(shù)據(jù)庫、事件存儲庫、搜索引擎、對象存儲

統(tǒng)一SQL引擎

支持SQL2003、OraclePL/SQL、兼容Oracle、DB2和Teradata方言

支持完整的分布式事務(wù)操作；

全產(chǎn)品線的SQL統(tǒng)一訪問和開發(fā)

統(tǒng)一存儲管理

基于Raft一致性協(xié)議，具備自動故障遷移、數(shù)據(jù)修復(fù)能力

支持單節(jié)點穩(wěn)定存儲百萬數(shù)據(jù)分片

支持橫向動態(tài)線性擴展

一次數(shù)據(jù)寫入，多種數(shù)據(jù)模型存儲

統(tǒng)一資源管理框架

采用容器編排技術(shù)進行資源管理

支持基于優(yōu)先級的搶占式資源調(diào)度和細粒度資源分配

資源隔離互不影響，支持集群在線擴縮容

支持服務(wù)器、操作系統(tǒng)異構(gòu)部署

高性能分布式文件系統(tǒng)

基于Raft一致性協(xié)議，兼容Hadoop生態(tài)

全量緩存元數(shù)據(jù)，小文件存儲無瓶頸，支持10億以上文件數(shù)，遠超開源HDFS 5倍

高并發(fā)、高吞吐對象存儲