物聯(lián)網(wǎng)正在不斷產(chǎn)生不可思議的數(shù)據(jù)量。分析師預(yù)計，2019年將有266.6億臺物聯(lián)網(wǎng)設(shè)備投入使用。此外，IDC預(yù)計，到2025年，物聯(lián)網(wǎng)設(shè)備將產(chǎn)生超過90 zettabytes的數(shù)據(jù)。

所有這些數(shù)據(jù)意味著什么？

通過流式分析，它意味著可以對拯救生命事件的實時反應(yīng)。例如，卡車接收關(guān)于道路上結(jié)冰的數(shù)據(jù)，然后，卡車不僅可以提醒駕駛員，而且還可以提醒其他車輛結(jié)冰的確切位置。

為了使這種實時數(shù)據(jù)能夠以高容量和高速度從物聯(lián)網(wǎng)傳感器和網(wǎng)絡(luò)操作中不斷流入組織，您需要一種不同于傳統(tǒng)靜態(tài)事務(wù)數(shù)據(jù)所需的數(shù)據(jù)管理解決方案。

以卡車為例。想象一下，冬天的時候，你在路上開著一輛卡車。貴公司為車輛安裝了物聯(lián)網(wǎng)傳感器，可持續(xù)監(jiān)控車輪打滑、氣溫、速度和轉(zhuǎn)速情況。突然，當(dāng)氣溫降至冰點以下時，車輪打滑測量值急劇上升，如果卡車或司機能在幾毫秒內(nèi)做出反應(yīng)，事故就可以避免，如果沒有，傳感器數(shù)據(jù)就沒有意義。

事件流處理

事件流處理系統(tǒng)使您能夠通過實時數(shù)據(jù)清理和分析及時處理這些數(shù)據(jù)。

讓我們定義事件流處理：“事件”是在明確定義的時間發(fā)生并記錄在數(shù)據(jù)字段集合中的任何事件; “流”是數(shù)據(jù)事件的持續(xù)流動，或者是從成千上萬個連網(wǎng)設(shè)備流入企業(yè)內(nèi)部和企業(yè)周圍的持續(xù)數(shù)據(jù)流;“處理”是指分析數(shù)據(jù)的行為。

當(dāng)事件流處理系統(tǒng)管理來自物聯(lián)網(wǎng)傳感器的數(shù)據(jù)時，它們會執(zhí)行將原始數(shù)據(jù)轉(zhuǎn)化為實時操作信息的過程。隨著大量數(shù)據(jù)快速流入系統(tǒng)，事件流處理系統(tǒng)會立即清理、規(guī)范和聚合內(nèi)存中的數(shù)據(jù)。同時，在這些數(shù)據(jù)流中編碼的實時分析模型將執(zhí)行分析，以確定特定事件是否相關(guān)，并在需要緊急行動時生成即時警報。

實時分析與事后分析

事件流處理系統(tǒng)實時過濾數(shù)據(jù)。因為這些系統(tǒng)最初存儲數(shù)據(jù)的內(nèi)存是有限的，所以事件流處理系統(tǒng)決定要丟棄哪些數(shù)據(jù)或者要保存哪些數(shù)據(jù)，甚至可能以聚合形式保存，因為多個事件通常比單個事件更具信息性。

例如，當(dāng)卡車在結(jié)冰的道路上有打滑的危險時，網(wǎng)絡(luò)邊緣的實時分析會立即提醒司機減速，甚至自動減速。

相比之下，傳統(tǒng)的關(guān)系數(shù)據(jù)庫管理系統(tǒng)（RDBMS）存儲所有數(shù)據(jù)，并在事后進(jìn)行清理和分析。關(guān)系數(shù)據(jù)庫管理系統(tǒng)從預(yù)定義的來源收集數(shù)據(jù)，并將其存儲在存儲系統(tǒng)中，如數(shù)據(jù)集市。一旦進(jìn)入存儲，數(shù)據(jù)就會被清理、規(guī)范化并整合到數(shù)據(jù)倉庫或Hadoop中。只有這樣，用戶才能通過報告、歷史分析，甚至預(yù)測分析和機器學(xué)習(xí)，從數(shù)據(jù)中獲得意義。

例如，對于事件流處理，如果傳感器跟蹤氣溫并且氣溫保持穩(wěn)定，則系統(tǒng)不會存儲持續(xù)的讀數(shù)。相反，它可能只保留指示變化的讀數(shù)。

多階段分析提供了優(yōu)勢

事件流處理為您提供了多個從數(shù)據(jù)中提取價值的機會。對于傳統(tǒng)的數(shù)據(jù)管理，數(shù)據(jù)是歷史的，不會改變。它可能會在事后進(jìn)行分析一兩次，而不是更多。

事件流處理系統(tǒng)首先實時分析數(shù)據(jù)，從而能夠?qū)κ录龀黾磿r響應(yīng)。然后，您可以實時或接近實時地將來自多個傳感器的數(shù)據(jù)子集帶回云端或現(xiàn)場進(jìn)行跨傳感器分析。

假設(shè)您希望對整個卡車車隊進(jìn)行分析，以確定在某一海拔處發(fā)生的故障情況。如果系統(tǒng)檢測到問題，則可能觸發(fā)車隊中所有卡車的大規(guī)模維修。

最后，事件流處理系統(tǒng)還將指定的數(shù)據(jù)存儲在數(shù)據(jù)倉庫或Hadoop中。在那里，您可以對現(xiàn)在的歷史數(shù)據(jù)進(jìn)行可視化分析或可視化統(tǒng)計。

利用數(shù)據(jù)倉庫中的歷史數(shù)據(jù)，您可以使用機器學(xué)習(xí)算法進(jìn)行預(yù)測性維護(hù)。隨著時間推移，機器學(xué)習(xí)算法可以學(xué)習(xí)模式，指示卡車何時需要維護(hù)并提前發(fā)現(xiàn)故障。

在多階段分析的所有步驟中，機器學(xué)習(xí)可以訓(xùn)練系統(tǒng)更好地預(yù)測結(jié)果。隨著模型的變化，流處理解決方案可以根據(jù)需要在邊緣、本地或云中更新模型。

流數(shù)據(jù)允許您在需要時從物聯(lián)網(wǎng)數(shù)據(jù)中收集見解，并實時地和歷史地識別跨傳感器分析的趨勢。通過處理邊緣數(shù)據(jù)，組織、個人和社區(qū)可以從實時數(shù)據(jù)提供的見解中受益。這些實時數(shù)據(jù)有望拯救生命、改善交通狀況和危機溝通。

讓我們生活在邊緣，看看它會把我們帶去哪里！