1. 電網(wǎng)場(chǎng)景中的時(shí)序數(shù)據(jù)

今天在手機(jī)上就可以直接交電費(fèi)、查看剩余電量、電量不足還可以發(fā)出告警提醒、以及分析過(guò)去的用電情況、預(yù)估未來(lái)用電情況等等。再也不用去繳費(fèi)點(diǎn)繳費(fèi)，也不用人工去每個(gè)電表上抄每家的使用情況，這些都基于我們國(guó)家的智能電網(wǎng)建設(shè)，而以上只是對(duì)消費(fèi)者帶來(lái)的一些便利。智能電網(wǎng)在電網(wǎng)線路監(jiān)控、電力調(diào)度、配電等方面發(fā)揮著越來(lái)越重要的作用。

智能電網(wǎng)是由許多部分組成，包括智能變電站，線路輸送，智能交互終端，智能電表，智能中央系統(tǒng)等等。每個(gè)部分都集成了大量的傳感器，這些分布在全網(wǎng)各節(jié)點(diǎn)的傳感器無(wú)時(shí)無(wú)刻不在收集各類數(shù)據(jù)。隨著中國(guó)智能電網(wǎng)建設(shè)的不斷完善，其測(cè)點(diǎn)的規(guī)模越來(lái)越大，達(dá)到數(shù)千萬(wàn)級(jí)以上，并且單個(gè)測(cè)點(diǎn)將以分鐘級(jí)甚至秒級(jí)的頻率產(chǎn)生數(shù)據(jù)。將會(huì)產(chǎn)生海量的監(jiān)控?cái)?shù)據(jù)，而且這些數(shù)據(jù)大部分屬于時(shí)序數(shù)據(jù)。

因此在針對(duì)智能電網(wǎng)構(gòu)建集中式數(shù)據(jù)中心時(shí)，如何存儲(chǔ)、處理、分析海量的監(jiān)控?cái)?shù)據(jù)成為一個(gè)難點(diǎn)，具體包括以下面三個(gè)方面 :

· 數(shù)據(jù)規(guī)模超大，分布密集，數(shù)據(jù)存儲(chǔ)難

以智能電網(wǎng)中WAMS 系統(tǒng)為例，每秒需要處理的時(shí)序數(shù)據(jù)記錄數(shù)可達(dá)到一千萬(wàn)，因此需要支撐每秒千萬(wàn)級(jí)別的寫入。常規(guī)的數(shù)據(jù)處理方式根本無(wú)法滿足需求。

· 數(shù)據(jù)處理實(shí)時(shí)性需求高

針對(duì)數(shù)千萬(wàn)的電表終端，客戶在充值后要立即生效，客戶產(chǎn)生的電量要實(shí)時(shí)的計(jì)費(fèi)，并反饋給客戶等場(chǎng)景，都需要實(shí)時(shí)的處理海量數(shù)據(jù)

針對(duì)數(shù)千公里的電網(wǎng)線路監(jiān)控，如果出現(xiàn)異常，要能及時(shí)告警等，

· 數(shù)據(jù)價(jià)值挖掘困難

電網(wǎng)檢測(cè)點(diǎn)多，檢測(cè)信息密集，在如此海量的數(shù)據(jù)中挖掘出有價(jià)值的信息也會(huì)遇到很大的挑戰(zhàn)。

1.1 智能電網(wǎng)設(shè)備中的時(shí)序數(shù)據(jù)

智能電網(wǎng)中的時(shí)序數(shù)據(jù)一般是指由設(shè)備／儀表產(chǎn)生，由傳感器進(jìn)行收集，與某一設(shè)備具體相關(guān)，在時(shí)間上前后存在關(guān)聯(lián)性的一類數(shù)據(jù)。如上圖所示，對(duì)于電網(wǎng)中的電表設(shè)備，其電壓、電流值就是典型的時(shí)序數(shù)據(jù)。

一條時(shí)序數(shù)據(jù)記錄一般可定義為三元組：

· DeviceID : 產(chǎn)生該條數(shù)據(jù)的物理設(shè)備／傳感器

· TimeStamp為記錄產(chǎn)生的時(shí)間戳

· Value : 為設(shè)備測(cè)點(diǎn)具體的值。

在智能電網(wǎng)設(shè)備運(yùn)行中，需要存儲(chǔ)的數(shù)據(jù)包括狀態(tài)量和模擬量。狀態(tài)量反應(yīng)設(shè)備的運(yùn)行狀態(tài)和告警狀態(tài)，一般通過(guò)事件順序（Sequence of Event，SOE）記錄可滿足對(duì)數(shù)據(jù)的檢索和分析需求。電流、電壓和功率等模擬量會(huì)隨著設(shè)備運(yùn)行時(shí)刻變化，具有明顯的時(shí)序特性，需要進(jìn)行時(shí)序存儲(chǔ)。通過(guò)在選定的時(shí)間內(nèi)查詢 SOE 記錄，可以將狀態(tài)量和模擬量進(jìn)行關(guān)聯(lián)分析。智能電網(wǎng)監(jiān)控系統(tǒng)中，已對(duì)斷路器、隔離開關(guān)，變壓器、負(fù)荷和聯(lián)絡(luò)線等電網(wǎng)設(shè)備進(jìn)行建模，數(shù)據(jù)模型包括狀態(tài)量和模擬量，其中模擬量包括電壓、電流、有功、無(wú)功和頻率等，不同的設(shè)備類型需要采集和存儲(chǔ)的模擬量不同。以智能電表為例子，智能電表是組成智能電網(wǎng)的基礎(chǔ)設(shè)施，通常安裝在用戶樓宇，用于收集每戶產(chǎn)生的電力負(fù)荷數(shù)據(jù)，智能電表至少每天將這些信息反饋給中央系統(tǒng)。智能電網(wǎng)時(shí)間序列數(shù)據(jù)主要由大量的時(shí)間戳/值對(duì)組成，且通常一次寫入，多次查詢，很少修改或刪除，但可追加，根據(jù)智能電網(wǎng)應(yīng)用場(chǎng)景，一般訪問(wèn)一段時(shí)間內(nèi)或某一時(shí)間點(diǎn)的數(shù)據(jù)。

下面我們可以具體看一下不同的電網(wǎng)設(shè)備采集和存儲(chǔ)時(shí)序數(shù)據(jù)也大有不同。

1.2 各類智能電網(wǎng)設(shè)備時(shí)序數(shù)據(jù)測(cè)點(diǎn)舉例

· 線路輸送設(shè)備數(shù)據(jù)存儲(chǔ)需求

智能電網(wǎng)線路設(shè)備主要包括母聯(lián)，母線，變壓器，容抗器，聯(lián)絡(luò)線，負(fù)荷和發(fā)電機(jī)，這些設(shè)備采集和觀測(cè)的指標(biāo)也各有不同。

· 智能電表設(shè)備數(shù)據(jù)存儲(chǔ)需求

主要指安裝在用戶樓宇的智能電表收集的電力負(fù)荷數(shù)據(jù)，本質(zhì)上是時(shí)間序列數(shù)據(jù)。以固定的短暫的時(shí)間間隔為單位持續(xù)記錄，并實(shí)時(shí)反饋給中央監(jiān)控系統(tǒng)。其對(duì)于客戶和電網(wǎng)公司非常重要，因其可被用于許多電網(wǎng)服務(wù)，比如跟蹤電能消耗和預(yù)測(cè)電力負(fù)荷。除此之外，

電能表凍結(jié)電量值 - 電能表定時(shí)凍結(jié)，瞬時(shí)凍結(jié)，日凍結(jié)，整點(diǎn)凍結(jié)也是很重要的指標(biāo)，用于計(jì)費(fèi)用戶用電量和管理梯度用電使用情況。一般會(huì)對(duì)電能表定時(shí)凍結(jié)，瞬時(shí)凍結(jié)，日凍結(jié)，整點(diǎn)凍結(jié)數(shù)據(jù)存儲(chǔ)和查詢，方便對(duì)年度、季度、月度的電量進(jìn)行計(jì)算查詢。

1.3 電網(wǎng)數(shù)據(jù)常用的查詢場(chǎng)景

智能電網(wǎng)數(shù)據(jù)采集及監(jiān)控系統(tǒng)（SCADA）作為智能電力物聯(lián)網(wǎng)的一部分，對(duì)于時(shí)序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求，不僅需要實(shí)時(shí)監(jiān)控，需要?dú)v史數(shù)據(jù)分析，例如歷史 PDR 反演和事故分析。

因此智能電網(wǎng)行業(yè)應(yīng)用場(chǎng)景對(duì)時(shí)序數(shù)據(jù)的訪問(wèn)方式主要有三種 :

· **折線查詢 : **獲取指定設(shè)備一段時(shí)間內(nèi)的相關(guān)量測(cè)值，如查詢特定用戶智能電表在一段連續(xù)時(shí)間內(nèi)的有功電能量。即測(cè)量對(duì)象為正向有功尖能量 (fd.shark.electricity)，測(cè)量屬性為 user= lvsejiayuan.A.unit2.603，dtype=ammeter，需查詢 2014.09.01 這一天的正向有功尖電能量。

o 對(duì)于折線查詢，對(duì)象為監(jiān)測(cè)的設(shè)備或關(guān)注的指標(biāo)，特征集可標(biāo)識(shí)為 FSet = <(t1,v1), (t2,v2), ......, (tn,vn)>，其中 (t1, t2, t3, ......, tn) 為特定的時(shí)間序列，使用基于時(shí)間戳的偏移表示；(v1, v2, v3, ......, vn) 為與時(shí)間序列相對(duì)應(yīng)的量測(cè)值。

· **斷面查詢 : **獲取特定時(shí)間點(diǎn)特定區(qū)域內(nèi)所有設(shè)備的相關(guān)量測(cè)值，如查詢特定時(shí)間點(diǎn)某地區(qū)所有用戶智能電表的有功電能量。及測(cè)量對(duì)象為正向有功尖能量 (fd.shark.electricity)，測(cè)量屬性 dtype=ammeter， 時(shí)間戳為 1409529600 (2014.09.01 08:00:00)，需查詢某地區(qū)特定時(shí)刻所有智能電表的正向有功尖電能量。

o 對(duì)于斷面查詢，對(duì)象為關(guān)注的區(qū)域/邏輯對(duì)象 (如街道/生活區(qū)/電廠)，特征集可標(biāo)識(shí)為 FSet = <(d1,v1), (d2,v2), ......, (dn,vn)>，其中 (d1, d2, d3, ......, dn) 為區(qū)域/邏輯對(duì)象所包含的設(shè)備/測(cè)點(diǎn)，(v1, v2, v3, ......, vn) 為對(duì)應(yīng)的設(shè)備/測(cè)點(diǎn)在指定時(shí)間戳的值。

· **設(shè)備最新狀態(tài)查詢 : **這種場(chǎng)景類似于斷面查詢，只是針對(duì)最新最近的數(shù)據(jù)。通常用于檢測(cè)設(shè)備是否正常工作。

2. 電網(wǎng)時(shí)序數(shù)據(jù)存儲(chǔ)探索

最早的時(shí)候，智能電網(wǎng)相關(guān)應(yīng)用系統(tǒng)中，一般使用 Oracle，Db2 等關(guān)系型數(shù)據(jù)庫(kù)處理時(shí)序數(shù)據(jù)。

然而，傳統(tǒng)的實(shí)體關(guān)系模型在應(yīng)對(duì)時(shí)序數(shù)據(jù)時(shí)存在如下問(wèn)題 :

· 數(shù)據(jù)存儲(chǔ)孤立分離。按照實(shí)體關(guān)系模型，一條時(shí)序數(shù)據(jù)記錄被保存為單獨(dú)的一行，因此連續(xù)時(shí)間段內(nèi)的數(shù)據(jù)被孤立分離地存儲(chǔ)在數(shù)據(jù)庫(kù)中。

· 數(shù)據(jù)的訪問(wèn)速度與數(shù)據(jù)量的大小成反比。隨著數(shù)據(jù)量的增加，訪問(wèn)速度越來(lái)越慢。同時(shí)，大多數(shù)關(guān)系型數(shù)據(jù)庫(kù)為了提升查詢性能，針對(duì)大量數(shù)據(jù)建立索引，由此消耗大量的系統(tǒng)資源。

· 無(wú)法滿足時(shí)序數(shù)據(jù)的實(shí)時(shí)處理需求。對(duì)于海量時(shí)序數(shù)據(jù)，關(guān)系型數(shù)據(jù)庫(kù)無(wú)法高速的加載并滿足處理需求。

后來(lái)，電力系統(tǒng)內(nèi)的普遍做法轉(zhuǎn)向使用商業(yè)時(shí)序數(shù)據(jù)庫(kù)軟件，如 OSIsoft Pi、eDNA 等作為時(shí)序數(shù)據(jù)的存儲(chǔ)和讀取工具。利用實(shí)時(shí)數(shù)據(jù)庫(kù)進(jìn)行時(shí)序數(shù)據(jù)處理。

然而實(shí)時(shí)數(shù)據(jù)庫(kù)在應(yīng)對(duì)智能電網(wǎng)大數(shù)據(jù)時(shí)存在如下問(wèn)題：

· 無(wú)法支持大規(guī)模測(cè)點(diǎn)管理。對(duì)于國(guó)家級(jí)或省級(jí)智能電網(wǎng)而言，需要支持上億甚至上十億的測(cè)點(diǎn)規(guī)模。然而，無(wú)論 PI，eDNA，均無(wú)法為大規(guī)模測(cè)點(diǎn)管理提供支撐。

· 擴(kuò)展能力不足。實(shí)時(shí)數(shù)據(jù)庫(kù)一般只支持單機(jī)部署，無(wú)法集群部署，無(wú)法支撐大規(guī)模數(shù)據(jù)應(yīng)用。

· 高可用與數(shù)據(jù)安全性不足。實(shí)時(shí)數(shù)據(jù)庫(kù)一般不具備高可用特性，對(duì)于所存儲(chǔ)的數(shù)據(jù)的安全性，也完全依賴于硬件與數(shù)據(jù)庫(kù)軟件本身，不支持?jǐn)?shù)據(jù)冗余備份，無(wú)法應(yīng)對(duì)大數(shù)據(jù)分析場(chǎng)景。

隨著大數(shù)據(jù)技術(shù)的發(fā)展，近年來(lái)也有一些基于開源的 HBase，Cassandra 等 NoSQL 數(shù)據(jù)庫(kù)處理時(shí)序數(shù)據(jù)的研究和應(yīng)用。

這些分布式 NoSQL 數(shù)據(jù)庫(kù)雖然解決了擴(kuò)展能力，但是其通用的數(shù)據(jù)組織方式并不完全適合智能電網(wǎng)行業(yè)對(duì)時(shí)序數(shù)據(jù)存儲(chǔ)和查詢需求，用戶必須根據(jù)實(shí)際應(yīng)用場(chǎng)景，進(jìn)行特殊設(shè)計(jì)甚至大量數(shù)據(jù)冗余存儲(chǔ)才能較好的利用資源處理請(qǐng)求。

大部分僅提供的單個(gè)測(cè)點(diǎn)的數(shù)據(jù)存儲(chǔ)接口，無(wú)法將設(shè)備模型數(shù)據(jù)與離散測(cè)點(diǎn)結(jié)合，難以支撐歷史潮流分析、故障分析和 WAMS 等智能電網(wǎng)高級(jí)應(yīng)用。除此之外，它們的數(shù)據(jù)模型單一，對(duì)于讀取一定時(shí)間范圍內(nèi)的數(shù)據(jù)記錄效率較高，但對(duì)于定位某個(gè)時(shí)間點(diǎn)的多條記錄，過(guò)濾，組合等一系列操作將浪費(fèi)大量 I/O 資源。其次，二維數(shù)據(jù)模型中的每個(gè)存儲(chǔ)單元由主鍵和列限定符唯一表示，因而大部分磁盤都浪費(fèi)在存儲(chǔ)重復(fù)的主鍵，存在大量冗余信息，存儲(chǔ)效率低。同時(shí)，由于智能電網(wǎng)場(chǎng)景對(duì)于時(shí)序數(shù)據(jù)處理有著多種維度查需和數(shù)據(jù)聚合需求，通用 KV 數(shù)據(jù)庫(kù)往往需要結(jié)合 ElasticSearch / Solr 等搜索引擎進(jìn)行加速或者需要開發(fā)巧妙設(shè)計(jì) KV 結(jié)構(gòu)才能達(dá)到很好的效果，但是這樣大幅度提升了開發(fā)員人的學(xué)習(xí)和運(yùn)維成本。

針對(duì)電網(wǎng)場(chǎng)景中時(shí)序數(shù)據(jù)，專業(yè)的分布式時(shí)序數(shù)據(jù)庫(kù)是最好的選擇，因?yàn)樗麄兙邆湟韵轮匾奶匦?:

· **靈活多變的數(shù)據(jù)模型 : **用戶根據(jù)業(yè)務(wù)需求，通過(guò)標(biāo)簽組合的方式自由定義數(shù)據(jù)模型，同時(shí)也可以根據(jù)業(yè)務(wù)變化和演進(jìn)進(jìn)行變更。

· **高寫入吞吐量 : **分布式時(shí)序數(shù)據(jù)庫(kù)解決大規(guī)模集群的橫向擴(kuò)展問(wèn)題，保證高性能平穩(wěn)寫入的需求。

o 在一些大規(guī)模的應(yīng)用性能監(jiān)控、物聯(lián)網(wǎng)場(chǎng)景，海量的設(shè)備持續(xù)產(chǎn)生時(shí)序數(shù)據(jù)，例如省域級(jí)別的電網(wǎng)用電測(cè)量數(shù)據(jù)，9000萬(wàn)數(shù)量級(jí)的電表設(shè)備，原來(lái)每個(gè)月采集一次，后續(xù)業(yè)務(wù)升級(jí)后15分鐘采集一次，每秒需要處理的時(shí)序數(shù)據(jù)點(diǎn)數(shù)達(dá)到數(shù)百萬(wàn)甚至千萬(wàn)數(shù)據(jù)點(diǎn)，需要龐大且可以橫向水平擴(kuò)展的集群來(lái)支撐全量的業(yè)務(wù)寫入。

· **高效的時(shí)序數(shù)據(jù)查詢與分析 : **時(shí)序數(shù)據(jù)庫(kù)支持多維時(shí)間線檢索、并具備流式處理、預(yù)計(jì)算等能力，滿足大規(guī)模 APM、物聯(lián)網(wǎng)，工業(yè)物聯(lián)網(wǎng)等業(yè)務(wù)場(chǎng)景的典型查詢需求。

o 在典型的監(jiān)控場(chǎng)景，通常需要對(duì)長(zhǎng)周期的數(shù)據(jù)進(jìn)行查詢分析，比如針對(duì)某些指標(biāo)最近1天、3天、7天、1個(gè)月的趨勢(shì)分析、報(bào)表等；而在物聯(lián)網(wǎng)場(chǎng)景，有一類比較典型的斷面查詢需求，例如查詢某個(gè)省指定時(shí)間所有電表的用電量量明細(xì)數(shù)據(jù)，查詢某個(gè)品牌空調(diào)的某個(gè)時(shí)間的平均運(yùn)行溫度；這些查詢要掃描大量的集群數(shù)據(jù)才能拿到結(jié)果，同時(shí)查詢的結(jié)果集也可能非常大。

· **低成本的時(shí)序數(shù)據(jù)存儲(chǔ) : **時(shí)序數(shù)據(jù)庫(kù)充分利用好時(shí)序數(shù)據(jù)量大、冷熱訪問(wèn)特征明顯，進(jìn)行計(jì)算、存儲(chǔ)資源的解耦，通過(guò)低成本存儲(chǔ)介質(zhì)、壓縮編碼、冷熱分離、高效 TTL等技術(shù)將數(shù)據(jù)存儲(chǔ)成本降低到極致。

o 在車聯(lián)網(wǎng)場(chǎng)景，20000輛車每小時(shí)就產(chǎn)生近百 GB 的車輛指標(biāo)數(shù)據(jù)。如果要保存一年的運(yùn)行數(shù)據(jù)就需要PB級(jí)的數(shù)據(jù)存儲(chǔ)規(guī)模。由于數(shù)據(jù)規(guī)模巨大，對(duì)存儲(chǔ)的低成本要求很高，另外時(shí)序數(shù)據(jù)的冷熱特征明顯。

· **豐富的生態(tài)協(xié)同 : **時(shí)序數(shù)據(jù)庫(kù)與數(shù)據(jù)可視化平臺(tái)、大數(shù)據(jù)處理、流式分析系統(tǒng)等對(duì)接，與周邊生態(tài)形成協(xié)同來(lái)創(chuàng)造業(yè)務(wù)價(jià)值。

o 在物聯(lián)網(wǎng)、工業(yè)互聯(lián)網(wǎng)等場(chǎng)景，時(shí)序數(shù)據(jù)通常有進(jìn)一步做運(yùn)營(yíng)分析處理的需求，在很多情況下時(shí)序數(shù)據(jù)只是業(yè)務(wù)數(shù)據(jù)的一部分，需要與其他類型的數(shù)據(jù)組合來(lái)完成查詢分析。

3. 智能電網(wǎng)數(shù)據(jù)模型

下面我們具體看一下智能電網(wǎng)中的數(shù)據(jù)模型，從而進(jìn)一步體現(xiàn)為什么時(shí)序數(shù)據(jù)庫(kù)是智能電網(wǎng)場(chǎng)景中數(shù)據(jù)處理的最佳選擇。

3.1 統(tǒng)一標(biāo)準(zhǔn) SG-CIM

針對(duì)現(xiàn)在電力行業(yè)各企業(yè)業(yè)務(wù)數(shù)據(jù)模型多樣化，非統(tǒng)一，交互困難等問(wèn)題，國(guó)家電網(wǎng)公司通過(guò)分析整合，提出了一個(gè)新型的企業(yè)公共數(shù)據(jù)模型（SG-CIM）， 形成了統(tǒng)一的信息視圖，實(shí)現(xiàn)多企業(yè)多業(yè)務(wù)應(yīng)用系統(tǒng)間的數(shù)據(jù)交互共享。SG-CIM 和時(shí)序數(shù)據(jù)庫(kù)模型非常匹配。

在智能電網(wǎng)管理平臺(tái)中，SG-CIM 數(shù)據(jù)模型中的每個(gè)葉子節(jié)點(diǎn)稱為測(cè)量對(duì)象，葉子節(jié)點(diǎn)標(biāo)簽稱為測(cè)量屬性，它由一個(gè)或多個(gè)鍵值對(duì)組成，用于進(jìn)一步刻畫補(bǔ)充測(cè)量對(duì)象的屬性信息，根至葉子節(jié)點(diǎn)的全路徑稱為用戶屬性，作為一個(gè)特殊屬性處理。

測(cè)量對(duì)象+時(shí)間戳+測(cè)量屬性+測(cè)量值的組合稱為一條時(shí)間序列數(shù)據(jù)記錄，也稱電力負(fù)荷數(shù)據(jù)測(cè)點(diǎn)。 以某樓宇中某居民用戶安裝的智能電表為例，描述 SG-CIM 數(shù)據(jù)模型在海量數(shù)據(jù)管理平臺(tái)中的應(yīng)用，如下圖所示。

根據(jù) SG-CIM 數(shù)據(jù)模型，一條時(shí)間序列數(shù)據(jù)記錄由如下幾部分組成 :

· **測(cè)量對(duì)象 (obj) : **一個(gè)被定量測(cè)量對(duì)象的名稱，比如電能量，吞吐量等。

· **時(shí)間戳 (timestamp) : **以 UNIX 時(shí)間表示（秒或毫秒），用于標(biāo)識(shí)這條時(shí)間序列被記錄/存儲(chǔ)的時(shí)間。

· **測(cè)量屬性 (tag) : **鍵值對(duì)，用于區(qū)分或組組織測(cè)量對(duì)象相同，但來(lái)自不同源或相關(guān)實(shí)體的相似數(shù)據(jù)點(diǎn)，增加靈活性。

· **測(cè)量值 (value) : **該測(cè)量對(duì)象在當(dāng)前時(shí)刻的實(shí)際測(cè)量值，整型或浮點(diǎn)型。

測(cè)量對(duì)象 (obj) 以 SG-CIM 數(shù)據(jù)模型中的每個(gè)葉子節(jié)點(diǎn)來(lái)刻畫，例如正向有功尖能量 (fd.shark.electricity)。

測(cè)量屬性 (tag) 以 SG-CIM 數(shù)據(jù)模型中葉子節(jié)點(diǎn)的屬性：用戶 (user) 和設(shè)備類型 (dtype) 等屬性來(lái)描述，例如 user= lvsejiayuan.A.unit2.603，dtype=ammeter，user 是一個(gè)特殊的屬性，用根至葉子節(jié)點(diǎn)的全路徑刻畫。

3.2 根據(jù) SG-CIM 模型進(jìn)行時(shí)序數(shù)據(jù)模型設(shè)計(jì) - 多值模型和單值模型

· 單值模型 : 即對(duì)測(cè)點(diǎn)建模，以單個(gè)測(cè)點(diǎn)對(duì)測(cè)點(diǎn)定義時(shí)序采樣。

o 按設(shè)備將每個(gè)設(shè)備的測(cè)量值屬性分別定義到時(shí)序數(shù)據(jù)庫(kù)中。

o 這種存儲(chǔ)方式數(shù)據(jù)定義、變化值提交和歷史值查詢都相對(duì)簡(jiǎn)單。

o 缺點(diǎn)同樣明顯，存儲(chǔ)在時(shí)序數(shù)據(jù)庫(kù)中數(shù)據(jù)沒(méi)有關(guān)聯(lián)性，如需同時(shí)查詢線路的有功和電流，則需要分兩次查詢，查詢性能較低，同時(shí)也不利于做關(guān)聯(lián)性分析。

o OpenTSDB 和 Prometheus 時(shí)序數(shù)據(jù)庫(kù)采用的是單值模型。

· 多值模型 : 即對(duì)設(shè)備/數(shù)據(jù)源進(jìn)行建模，例如基于智能電網(wǎng)設(shè)備建模。

o 在時(shí)序數(shù)據(jù)庫(kù)中，將同一個(gè)設(shè)備采集的不同測(cè)點(diǎn)屬性存儲(chǔ)在一張表的不同域。

o 這要只需要一次查詢，即可得到一個(gè)設(shè)備的所有量測(cè)，查詢效率和數(shù)據(jù)同步行都相對(duì)較高。

o 線路設(shè)別在時(shí)序數(shù)據(jù)庫(kù)中的記錄可定義為八元組：。

o GaussDB(for Influx), InfluxDB，TimeScaleDB 等時(shí)序數(shù)據(jù)庫(kù)采用的是多值模型。

4. GaussDB(for Influx) 如何支撐龐大的智能電網(wǎng)數(shù)據(jù)

4.1 GaussDB(for Influx)

云原生分布式時(shí)序數(shù)據(jù)庫(kù) GaussDB(for Influx) 采用存儲(chǔ)計(jì)算分離架構(gòu)。

· 集群能力方面 : 具備非常平滑快速的彈性擴(kuò)縮容能力。集群可以輕松擴(kuò)展至每秒千萬(wàn)點(diǎn)寫入吞吐量，PB界別的存儲(chǔ)支持。

· 服務(wù)和數(shù)據(jù)高可用方面 : 數(shù)據(jù)三副本存儲(chǔ)確保數(shù)據(jù)可用性；集群跨 AZ 可用區(qū)容災(zāi)部署，集群最大支持 N - 1 節(jié)點(diǎn)故障，同時(shí)數(shù)據(jù)自動(dòng)負(fù)載均衡避免熱點(diǎn)。

· 時(shí)序數(shù)據(jù)存儲(chǔ)方面 : 深度優(yōu)化存儲(chǔ)引擎，確保穩(wěn)定的高吞吐量寫入；同時(shí)時(shí)序數(shù)據(jù)的自適應(yīng)壓縮能力，讓時(shí)序數(shù)據(jù)壓縮比達(dá)到20 : 1；自動(dòng)的數(shù)據(jù)冷熱分層存儲(chǔ)，進(jìn)一步降低數(shù)據(jù)存儲(chǔ)成本。

· 時(shí)序數(shù)據(jù)計(jì)算方面 : 集成了豐富的數(shù)據(jù)聚合，降采樣，插值，預(yù)算，異常檢測(cè)等算子。同時(shí)支持邊云同步能力，實(shí)現(xiàn)數(shù)據(jù)邊云一體化。

· 在生態(tài)和開源兼容方面 : 支持多種開源時(shí)序數(shù)據(jù)庫(kù)協(xié)議，例如 Prometheus，Graphite 和 OpenTSDB，同時(shí)完全兼容 InfluxDB 生態(tài)。

4.2 基于 GaussDB(for Influx) 的電網(wǎng)數(shù)據(jù)模型設(shè)計(jì)

GuassDB(for Influx) 在生態(tài)和協(xié)議方面完美兼容 InfluxDB。InfluxDB 靈活多變的 Schema-Free 行協(xié)議可以完美匹配 SG-CIM 模型。

數(shù)據(jù)寫入時(shí)候，不需要提前創(chuàng)建 Schema 定義，同時(shí)支持 Tags 和 Fields 字段自由擴(kuò)展，未來(lái)有需要新增維度的時(shí)候，可以動(dòng)態(tài)進(jìn)行增加。

可以參考下面簡(jiǎn)單的例子 :

我們以智能電網(wǎng)中線路設(shè)備數(shù)據(jù)為例子，根據(jù)行協(xié)議如何將 SG-CIM 模型轉(zhuǎn)化成 GaussDB(for Influx) 數(shù)據(jù)模型 :

· Measurement : stbl_line，相當(dāng)于關(guān)系型數(shù)據(jù)庫(kù)中的表概念。

· Fields : SG-CIM 模型中的多個(gè)測(cè)量對(duì)象 (Obj)，即線路設(shè)備采集和上報(bào)的指標(biāo)項(xiàng)，后期可以動(dòng)態(tài)擴(kuò)展。

o i_value, i_status : 電流相關(guān)指標(biāo)

o p_value, p_status : 電壓相關(guān)指標(biāo)

o q_value, q_status : 功率相關(guān)指標(biāo)

o 其中各個(gè)指標(biāo)項(xiàng)采集的值是測(cè)量值 (value)

· Tags : SG-CIM 模型中的測(cè)量屬性 (Tag)，表示線路設(shè)備靜態(tài)屬性標(biāo)簽，可以根據(jù)系統(tǒng)需要自定義和擴(kuò)展

o deviceId : 設(shè)備標(biāo)識(shí) ID

o deviceType : 設(shè)備類型標(biāo)識(shí)

o line : 線路標(biāo)識(shí) ID

· Timestamp : SG-CIM 模型中時(shí)間戳項(xiàng)。

stbl_line , line = XXX線路 , deviceType =XXX,deviceId=**E08995** **i_value**=**X**,**i_status**=**X**,**p_value**=**X**,**p_status**=**X**,**q_value**=**X**,**q_status**=**X** **1663121437010000000**

**5. 總結(jié) **

GaussDB(for Influx) 是一款基于計(jì)算存儲(chǔ)分離架構(gòu)，完全兼容 InfluxDB 生態(tài)的云原生時(shí)序數(shù)據(jù)庫(kù)。依托于華為云計(jì)算平臺(tái)高性能，高可靠，高安全，可彈性伸縮的基礎(chǔ)上，GaussDB(for Influx) 提供時(shí)序數(shù)據(jù)高效存儲(chǔ)、分析、展示功能，同時(shí)具有高寫入性能、靈活擴(kuò)容、高壓縮率和高查詢性能等特點(diǎn)。GaussDB(for Influx) 可以廣泛應(yīng)用于各種時(shí)序數(shù)據(jù)處理場(chǎng)景，例如工業(yè)物聯(lián)網(wǎng)，車聯(lián)網(wǎng)，物聯(lián)網(wǎng)，運(yùn)維監(jiān)控，銀行金融等。

審核編輯：湯梓紅