為什么需要凈化傳感器數(shù)據(jù)，它為何對(duì)系統(tǒng)設(shè)計(jì)的各個(gè)層面都有廣泛影響。

傳感器是一條紐帶，它將數(shù)字世界和物理世界迷人地連接在一起。但是，要獲得有價(jià)值的可用數(shù)據(jù)并非易事。實(shí)際上，許多剛剛進(jìn)入物聯(lián)網(wǎng)領(lǐng)域的設(shè)計(jì)人員都對(duì)傳感器數(shù)據(jù)的混亂沒(méi)有足夠的心理預(yù)期。

引導(dǎo)客戶相信，他們看到的大量“錯(cuò)誤”數(shù)據(jù)并不是因?yàn)閭鞲衅鞅旧沓隽斯收希蔀槲锫?lián)網(wǎng)運(yùn)動(dòng)傳感器公司MbientLab的日常工作。之所以數(shù)據(jù)錯(cuò)誤，是因?yàn)榧闪诉@些傳感器的系統(tǒng)設(shè)計(jì)中缺少一些進(jìn)行數(shù)據(jù)清理的關(guān)鍵步驟。

“我每天都在應(yīng)對(duì)這些抱怨?！盡bientLab首席執(zhí)行官Laura Kassovic在最近的一次演講中表示。她同時(shí)還警告工程師，必須正確理解通過(guò)機(jī)器學(xué)習(xí)訓(xùn)練物聯(lián)網(wǎng)的難度?！岸嗄陙?lái)，工具和硬件都取得了長(zhǎng)足進(jìn)步，但是，對(duì)于數(shù)據(jù)處理的基本理解仍然沒(méi)有多少改進(jìn)?！?/p>

“我對(duì)用戶嘗試使用傳感器來(lái)解決問(wèn)題、研究復(fù)雜課題非常歡迎，”Laura Kassovic表示?！斑@是一種勇敢的行為，很有趣，思路很開(kāi)放，但是也很難。很多人沒(méi)有使用正確的方法，未能解決實(shí)際問(wèn)題，就把失敗歸咎于我們的傳感器，我對(duì)此感到很無(wú)奈。要知道，傳感器不會(huì)撒謊，它沒(méi)有任何偏見(jiàn)，傳感器的數(shù)據(jù)始終是正確的。用戶濫用或誤解了傳感器數(shù)據(jù)，卻把鍋甩給了傳感器!”

實(shí)際上，傳感器并非總是易于使用，傳感器生成的所有數(shù)據(jù)也并非都很有價(jià)值。關(guān)鍵在于，要搞清楚哪些數(shù)據(jù)有價(jià)值，分離出這些數(shù)據(jù)，然后把其它垃圾數(shù)據(jù)丟棄掉。

Synopsys公司董事長(zhǎng)兼聯(lián)席首席執(zhí)行官Aart de Geus表示，“大多數(shù)傳感數(shù)據(jù)都不是系統(tǒng)價(jià)值的關(guān)鍵。但是也有一些例外，比如人造眼睛。有一些可以歸類(lèi)到人工智能設(shè)備的范疇，比如可以進(jìn)行各種測(cè)量的手表。這些測(cè)量數(shù)據(jù)能夠反映什么問(wèn)題?可以預(yù)測(cè)心臟病的發(fā)作嗎?如果可以，這類(lèi)數(shù)據(jù)的價(jià)值非常高，你愿意為此付多少錢(qián)?如果它能在一分鐘之前提示你，你可以給你的妻子寫(xiě)下臨別遺言‘謝謝你，我愛(ài)你’。如果你有一個(gè)小時(shí)的提前提示時(shí)間，你可以打電話給急救中心，如果有幾個(gè)小時(shí)，數(shù)據(jù)的價(jià)值和風(fēng)險(xiǎn)將會(huì)再次改變?！?/p>

在各種應(yīng)用中，數(shù)據(jù)以各種不同的形式出現(xiàn)，在某一個(gè)應(yīng)用場(chǎng)景中被認(rèn)為是干凈的數(shù)據(jù)，到另一個(gè)場(chǎng)景中可能還需要進(jìn)行進(jìn)一步的清理。有些數(shù)據(jù)的清理工作可以在本地完成，而其它數(shù)據(jù)可以在數(shù)據(jù)中心里進(jìn)行清理。

“假如說(shuō)你有一個(gè)面部識(shí)別應(yīng)用，只允許某些授權(quán)員工進(jìn)入這棟大樓，”Geus說(shuō)?！澳忝總€(gè)月都要更新邊緣設(shè)備中的AI網(wǎng)絡(luò)，保證AI網(wǎng)絡(luò)可以識(shí)別所有面孔。因?yàn)殡S時(shí)都會(huì)有大量的人進(jìn)入這棟樓，所以這個(gè)工作不輕松。不過(guò)，這個(gè)安全級(jí)別并不是太高，并不是所有數(shù)據(jù)都需要隨時(shí)更新。”

而在其它一些應(yīng)用中，數(shù)據(jù)需要實(shí)時(shí)進(jìn)行清理。最近就有一個(gè)現(xiàn)成的慘痛案例。10月29日，印尼獅航一架波音MAX 8飛機(jī)墜毀，所有機(jī)上人員全部遇難。現(xiàn)在的調(diào)查可能正在朝著將傳感器定為罪魁禍?zhǔn)椎姆较蚯斑M(jìn)。恢復(fù)的黑匣子數(shù)據(jù)顯示，在飛行過(guò)程中，兩個(gè)迎角傳感器(AOA)數(shù)據(jù)不一致。顯然有一半數(shù)據(jù)都不正確，這足以誤導(dǎo)這架飛機(jī)的防失速系統(tǒng)，使飛機(jī)轉(zhuǎn)頭向下，直至機(jī)毀人亡。

判斷這次飛行事故中到底發(fā)生了什么，現(xiàn)在還為時(shí)尚早?！翱赡懿粌H僅是一個(gè)傳感器的問(wèn)題，畢竟這個(gè)數(shù)據(jù)處理系統(tǒng)有很多環(huán)節(jié)，”意法半導(dǎo)體戰(zhàn)略平臺(tái)和物聯(lián)網(wǎng)卓越中心主任Mahesh Chowdhary說(shuō)?！跋仁且粋€(gè)傳感部分，然后經(jīng)過(guò)一個(gè)連接部分，最后到達(dá)計(jì)算部分。有一些算法可以查看傳感器數(shù)據(jù)并確定飛機(jī)的方向。多個(gè)功能必須協(xié)調(diào)一致地同步工作，以提供有關(guān)飛機(jī)方向的信息。”

在傳感器提供的大量數(shù)據(jù)中，并非所有數(shù)據(jù)都有用，而且，即便是我們認(rèn)為有價(jià)值的數(shù)據(jù)也可能被污染了，或者不準(zhǔn)確。從看似簡(jiǎn)單的物聯(lián)網(wǎng)系統(tǒng)，到更復(fù)雜的安全關(guān)鍵系統(tǒng)，當(dāng)傳感器系統(tǒng)設(shè)計(jì)失效時(shí)，我們能單純地把數(shù)據(jù)-特別是被污染的臟數(shù)據(jù)-認(rèn)定為罪魁禍?zhǔn)讍?你怎么判斷傳感器壞了，數(shù)據(jù)不對(duì)?也許是算法的邏輯或者讀取數(shù)據(jù)的固件出了故障了呢?為了揀擇出真正的失效原因，必須首先對(duì)什么是“臟數(shù)據(jù)”達(dá)成一致。

“這是一個(gè)模棱兩可的領(lǐng)域。傳感器目前工作正常嗎?嗯，不好說(shuō)，它沒(méi)有按照你想象的那樣工作，那么，是用戶造成的錯(cuò)誤還是傳感器本身的故障?我發(fā)現(xiàn)，目前對(duì)于臟數(shù)據(jù)的定義是非常模糊的一個(gè)概念。有時(shí)候，因?yàn)橛脩粝到y(tǒng)存在缺陷，如果您的傳感器工作正常的話，用戶系統(tǒng)就沒(méi)法正常工作了。”TT Electronics的產(chǎn)品線總監(jiān)Robert Pohlen說(shuō)道，這是一家設(shè)計(jì)傳感器并幫助客戶創(chuàng)建各種基于傳感器的系統(tǒng)的公司。

數(shù)據(jù)處理路徑

要搞清楚干凈數(shù)據(jù)和臟數(shù)據(jù)之間的區(qū)別，很重要的一點(diǎn)是，看看數(shù)據(jù)是如何從A點(diǎn)到達(dá)B點(diǎn)的。

概括來(lái)說(shuō)，傳感器的原始數(shù)據(jù)需要進(jìn)行后端處理?；A(chǔ)傳感器將原始信號(hào)從一種形式的能量轉(zhuǎn)換成模擬信號(hào)或者數(shù)字信號(hào)，可能需要施加外部電源，也可能不需要。最初的原始轉(zhuǎn)換來(lái)源于現(xiàn)實(shí)世界的模擬信號(hào)：力、熱、光、磁、聲音。經(jīng)過(guò)傳感器轉(zhuǎn)換后，沿著傳感器內(nèi)部或者印刷電路板上的信號(hào)路徑繼續(xù)前行，如果有需要，模擬信號(hào)可以經(jīng)過(guò)調(diào)節(jié)、放大環(huán)節(jié)轉(zhuǎn)換成數(shù)字信號(hào)。然后，將數(shù)據(jù)發(fā)送到微處理器或者其它類(lèi)型的計(jì)算單元中，通過(guò)算法進(jìn)一步過(guò)濾噪聲，并以應(yīng)用所需要的方式提取相關(guān)信息。

計(jì)算體系架構(gòu)剛剛開(kāi)始著手研究怎么有效地進(jìn)行這種數(shù)據(jù)處理，有些數(shù)據(jù)需要在邊緣設(shè)備上進(jìn)行預(yù)處理，其它數(shù)據(jù)則發(fā)送到更強(qiáng)大的服務(wù)器中進(jìn)行清理。

“邊緣計(jì)算將發(fā)揮巨大作用，”Achronix總裁兼首席執(zhí)行官Robert Blake說(shuō)?！盎A(chǔ)構(gòu)建模塊都有了，我們現(xiàn)在需要弄清楚，怎么有效地移動(dòng)任意格式的傳感器數(shù)據(jù)，數(shù)據(jù)移動(dòng)過(guò)程中涉及的內(nèi)存層次結(jié)構(gòu)如何設(shè)計(jì)，以使得可以實(shí)現(xiàn)最佳計(jì)算性能。一句話，就是如何提高傳感器數(shù)據(jù)的計(jì)算效率?！?/p>

圖1 一個(gè)傳感器的例子

有些操作需要基于那些用來(lái)鑒別一段時(shí)間內(nèi)趨勢(shì)的數(shù)據(jù)立即進(jìn)行動(dòng)作，這類(lèi)數(shù)據(jù)的提取非常關(guān)鍵，此外，清除已經(jīng)喪失了價(jià)值的數(shù)據(jù)也很重要。考慮到存在多種類(lèi)型的這種數(shù)據(jù)，而且有些情況下，需要多種數(shù)據(jù)類(lèi)型來(lái)建模物理世界或判斷某人是否應(yīng)該立即進(jìn)行醫(yī)療急救，這種數(shù)據(jù)提取和清除工作更加艱難了。

數(shù)據(jù)也可能一開(kāi)始是干凈的，但是經(jīng)過(guò)更新或者病毒入侵后變臟了。Rambus研究員Helena Handschuh說(shuō)：“在全球范圍內(nèi)，所有組件都需要盡可能安全，因此您希望從硬件中建立信任。組件安全啟動(dòng)后，通信數(shù)據(jù)本身就已經(jīng)具備了某種程度的可信度。但是，有的系統(tǒng)也可能存在不安全的未知組件，這就需要對(duì)數(shù)據(jù)進(jìn)行入侵檢測(cè)和軟件分析，以查看數(shù)據(jù)和組件是否存在任何損壞。在汽車(chē)中，我們希望檢測(cè)出那些給出異?；蚱婀?jǐn)?shù)據(jù)的部件，這不僅是組件安全問(wèn)題，還涉及到人身安全?！?/p>

臟數(shù)據(jù)肯定要清理掉，但是它在哪里變臟的以及是如何變臟的，決定了下一步采取的行動(dòng)。是不是傳感器本身產(chǎn)生了臟數(shù)據(jù)，設(shè)計(jì)人員需要一開(kāi)始就考慮到這一點(diǎn)?！敖鉀Q傳感器問(wèn)題需要大量的專業(yè)知識(shí)，”Kassovic說(shuō)。 “它需要設(shè)計(jì)人員在硬件層面了解傳感器，理解從傳感器中提取的數(shù)據(jù)，具備軟件(算法)開(kāi)發(fā)的經(jīng)驗(yàn)。”

例如，從數(shù)據(jù)理解層面上，不要將加速度計(jì)的數(shù)據(jù)與GPS數(shù)據(jù)混淆?！凹铀俣扔?jì)只測(cè)量身體的加速度，”她說(shuō)。“大多數(shù)人都無(wú)法理解它為什么不能代替GPS，GPS給出的是身體在空間的絕對(duì)位置。每個(gè)應(yīng)用都足夠獨(dú)特，需要一種獨(dú)特的方法來(lái)最可靠地提取正確的最終數(shù)據(jù)。很多用戶認(rèn)為來(lái)自傳感器的數(shù)據(jù)應(yīng)該與他們的大學(xué)教科書(shū)完全相同，其實(shí)并非如此。

現(xiàn)實(shí)世界的傳感器數(shù)據(jù)并不完美。當(dāng)你打開(kāi)你的物理、工程或計(jì)算機(jī)科學(xué)教科書(shū)時(shí)，會(huì)看到書(shū)本里充滿了完美的運(yùn)動(dòng)曲線。但是，當(dāng)您從現(xiàn)實(shí)世界中獲取數(shù)據(jù)時(shí)，實(shí)際曲線看起來(lái)會(huì)和書(shū)中的完美曲線有很大不同。現(xiàn)實(shí)世界中充滿了噪音和錯(cuò)誤?！?/p>

每個(gè)應(yīng)用都足夠獨(dú)特，需要一種獨(dú)特的方法來(lái)最可靠地提取正確的最終數(shù)據(jù)。

理解數(shù)據(jù)

那么，對(duì)臟數(shù)據(jù)到底如何處理呢?第一步是理解和解讀傳感器輸出的數(shù)據(jù)。傳感器數(shù)據(jù)的準(zhǔn)確度往往是相對(duì)的，而不是絕對(duì)正確。現(xiàn)實(shí)世界中的傳感器讀取數(shù)據(jù)并非完美。

傳感器制造商關(guān)注的是噪聲、濾波器和算法這些基本問(wèn)題，并給系統(tǒng)設(shè)計(jì)人員提供了相應(yīng)的幫助性工具。一些系統(tǒng)設(shè)計(jì)者和平臺(tái)供應(yīng)商則站在系統(tǒng)用戶端的視角上，關(guān)注的是填入其數(shù)據(jù)庫(kù)中的數(shù)據(jù)是否有效，它們提供了一個(gè)監(jiān)測(cè)工具來(lái)幫助鑒別數(shù)據(jù)是否出現(xiàn)錯(cuò)誤。

“我在模擬信號(hào)鏈路中發(fā)現(xiàn)了臟數(shù)據(jù)，數(shù)字鏈路的數(shù)據(jù)是干凈的，”TT Electronics的Pohlen說(shuō)道?！霸S多不同的源頭都會(huì)誘發(fā)噪聲。你可以在線束中拾取電噪聲，性能變壞的元件也會(huì)產(chǎn)生電氣噪聲。”

在Pohlen眼中，由某種對(duì)實(shí)際感應(yīng)機(jī)制的外部影響造成的噪聲不算是臟數(shù)據(jù)?！氨热纾瑢?duì)于一個(gè)光傳感器，如果有一個(gè)環(huán)境光源的話，不能因?yàn)樗o出的數(shù)據(jù)不是你真正想要測(cè)量的，就認(rèn)為那是臟數(shù)據(jù)，因?yàn)椴还苁遣皇亲匀还庠?，它確實(shí)正確地測(cè)量了光強(qiáng)度?！?/p>

未經(jīng)校準(zhǔn)的傳感器通常會(huì)比校準(zhǔn)過(guò)的傳感器產(chǎn)生更多臟數(shù)據(jù)?！拔覀兺ǔＫf(shuō)的臟數(shù)據(jù)基本上是指未經(jīng)校準(zhǔn)的原始傳感器數(shù)據(jù)，以及信號(hào)上有很多噪聲的數(shù)據(jù)?！币夥ò雽?dǎo)體的Chowdhary說(shuō)?！俺耸褂媚承┈F(xiàn)象機(jī)制感應(yīng)信號(hào)的物理元件，比如測(cè)量科里奧利加速度以檢測(cè)設(shè)備、人或者手機(jī)的旋轉(zhuǎn)，系統(tǒng)里還有信號(hào)調(diào)理單元。這些信號(hào)調(diào)理模塊可以工作在不同條件下，也可以在低功耗模式下工作，以盡量降低傳感器的電流消耗。但是，如果工作在低功耗模式，傳感器數(shù)據(jù)的噪聲就會(huì)增加，因?yàn)轱@而易見(jiàn)的是，用于信號(hào)調(diào)理的功耗越大，數(shù)據(jù)就越干凈?！?/p>

“考慮到所有這些不同層面，我們可以給臟數(shù)據(jù)下個(gè)定義，即未經(jīng)校準(zhǔn)的傳感器輸出的數(shù)據(jù)以及受到噪聲影響的傳感器數(shù)據(jù)，無(wú)論噪聲來(lái)自于信號(hào)調(diào)理模塊還是外部干擾，”Chowdhary說(shuō)。 他將外部干擾(例如當(dāng)磁力計(jì)受外部磁場(chǎng)影響時(shí))也歸類(lèi)到了臟數(shù)據(jù)中。

即便是在同一批傳感器中，不同傳感器也可能存在制造上的差異。一旦被部署到應(yīng)用現(xiàn)場(chǎng)，傳感器就可能會(huì)損壞。比如，地勤人員可能會(huì)損壞飛機(jī)的傳感器，甚至包括至關(guān)重要的迎角傳感器。傳感器可能會(huì)老化、性能變差，所以需要定期重新校準(zhǔn)。

可以站在企業(yè)的角度來(lái)理解數(shù)據(jù)?！霸诨趥鞲衅鞯脑O(shè)備網(wǎng)絡(luò)中，臟數(shù)據(jù)可能是由單個(gè)或者多個(gè)問(wèn)題共同產(chǎn)生的。問(wèn)題可能來(lái)自于時(shí)間序列跳躍、傳感器單元本身的測(cè)量有誤、日期/時(shí)間未及時(shí)校準(zhǔn)、傳感器之間的不恰當(dāng)關(guān)聯(lián)、跨域數(shù)據(jù)點(diǎn)的不正確聚合等。也可能是僅僅因?yàn)楫a(chǎn)生的數(shù)據(jù)不符合業(yè)務(wù)目標(biāo)，不穩(wěn)定或者無(wú)法使用，就被認(rèn)為是臟數(shù)據(jù)?！盠iaison Technologies公司產(chǎn)品營(yíng)銷(xiāo)總監(jiān)Pratikh表示。這家公司幫助把可用數(shù)據(jù)放到一個(gè)平臺(tái)上，以供企業(yè)使用。

其它人也對(duì)臟數(shù)據(jù)給出了自己的具體定義?！芭K數(shù)據(jù)是那些由您的設(shè)備按照正確的格式報(bào)告，但是在某種程度上無(wú)效的數(shù)據(jù)。我們甚至無(wú)法對(duì)這些數(shù)據(jù)做出解釋，”物聯(lián)網(wǎng)系統(tǒng)集成商Bright Wolf的聯(lián)合創(chuàng)始人James Branigan說(shuō)。“你完全可以讀取它，但是你會(huì)發(fā)現(xiàn)，某些數(shù)據(jù)實(shí)際上是完全無(wú)效的?！?/p>

在智能物聯(lián)網(wǎng)和物聯(lián)網(wǎng)中，臟數(shù)據(jù)的風(fēng)險(xiǎn)在于它會(huì)污染公司的大數(shù)據(jù)庫(kù)，引發(fā)其它危險(xiǎn)行為，而且也浪費(fèi)錢(qián)?！芭K數(shù)據(jù)之所以會(huì)成為一個(gè)問(wèn)題，是因?yàn)樵谒羞@些物聯(lián)網(wǎng)系統(tǒng)中，當(dāng)你在數(shù)據(jù)中尋找價(jià)值，在這些輸入的數(shù)據(jù)上進(jìn)行某些程序化分析時(shí)，你會(huì)把分析結(jié)果在部分程度上反饋到企業(yè)系統(tǒng)中，”Branigan說(shuō)?！皩?duì)這些數(shù)據(jù)處理分析并反饋后，會(huì)發(fā)生一些有趣的事情。但是，如果你把分析建立在糟糕的假設(shè)-臟數(shù)據(jù)-上，那么，垃圾輸入必然導(dǎo)致垃圾輸出。臟數(shù)據(jù)可能會(huì)給你帶來(lái)真正的傷害，因?yàn)檫@些實(shí)際上無(wú)效的數(shù)據(jù)會(huì)導(dǎo)致一些自動(dòng)化操作被禁能，從而產(chǎn)生實(shí)際的經(jīng)濟(jì)成本?！?/p>

Branigan發(fā)現(xiàn)了三種臟數(shù)據(jù)?！暗谝环N來(lái)自傳感器的物理故障。它既無(wú)法檢測(cè)環(huán)境的變化，也無(wú)法檢測(cè)自身的故障，雖然它仍將向你提供格式良好的數(shù)據(jù)，但是這種數(shù)據(jù)完全是垃圾。第二種來(lái)自設(shè)備運(yùn)行的固件的軟件錯(cuò)誤。即使是較新版本的固件也可能產(chǎn)生格式良好但完全錯(cuò)誤的數(shù)據(jù)。第三種臟數(shù)據(jù)真正可惡，你需要對(duì)具體的機(jī)器操作非常了解，才能理解如何解釋進(jìn)來(lái)的數(shù)據(jù)。如果不了解這些，你會(huì)把錯(cuò)誤的數(shù)據(jù)解釋為有效數(shù)據(jù)，但是系統(tǒng)其它部分卻會(huì)給出不同的解釋。”

那么，臟數(shù)據(jù)能否被洗白白呢?

數(shù)據(jù)清洗工具

有許多工具可以幫助清洗數(shù)據(jù)?！艾F(xiàn)在已經(jīng)有了很多很棒的工具，比如大受歡迎的Matlab、Labview和Python。我們自己的MetaWear API可以在所有主要編碼語(yǔ)言下幫助實(shí)現(xiàn)數(shù)據(jù)過(guò)濾器。我通常建議客戶們使用它們最熟悉的工具，而不是強(qiáng)行兜售我們自己的API。Python是一個(gè)很棒的工具，它有許多機(jī)器學(xué)習(xí)庫(kù)，開(kāi)源、易用，而且有很好的文檔記錄?！盡bientLab的Kassovic說(shuō)。MbientLab還使用博世的FusionLab，因?yàn)樗鼈儾粌H自己提供傳感器，還銷(xiāo)售提供博世的傳感器。

MEMS市場(chǎng)領(lǐng)導(dǎo)者博世傳感技術(shù)公司也會(huì)其傳感器提供驅(qū)動(dòng)程序和庫(kù)，幫助傳感器實(shí)現(xiàn)檢測(cè)、解讀、監(jiān)控、感知情境并預(yù)測(cè)意圖，負(fù)責(zé)MEMS產(chǎn)品組合業(yè)務(wù)開(kāi)發(fā)的Marcellino Gemelli寫(xiě)道。意法半導(dǎo)體提供庫(kù)、驅(qū)動(dòng)程序和傳感器設(shè)置工具，以及可幫助簡(jiǎn)化設(shè)計(jì)的微控制器。

尋找具備合適專業(yè)知識(shí)的專業(yè)人才并非易事?！澳悴荒芘梢幻浖こ處熑ジ晒碳こ處煹幕?。”Kassovic說(shuō)。

在企業(yè)的角度來(lái)看，讓數(shù)據(jù)科學(xué)家參與清洗數(shù)據(jù)將花費(fèi)太多的時(shí)間?！艾F(xiàn)在，各種機(jī)器都在源源不斷地產(chǎn)生數(shù)據(jù)，可能會(huì)產(chǎn)生比人類(lèi)產(chǎn)生的臟數(shù)據(jù)還要復(fù)雜的新級(jí)別臟數(shù)據(jù)，這將成為臟數(shù)據(jù)清洗的重點(diǎn)對(duì)象?！盉ranigan說(shuō)。“大數(shù)據(jù)市場(chǎng)里有很多數(shù)據(jù)清洗工具，但是這些工具都以數(shù)據(jù)科學(xué)家為中心。對(duì)于一個(gè)相對(duì)靜態(tài)的數(shù)據(jù)集，數(shù)據(jù)科學(xué)家清洗它，分析它，然后可以找到一些有趣的東西。這種方式應(yīng)對(duì)人類(lèi)生成數(shù)據(jù)的速度確實(shí)很有效，但是很難甚至不可能應(yīng)對(duì)機(jī)器生成數(shù)據(jù)的速度。你最終需要一個(gè)自動(dòng)化的系統(tǒng)，它從設(shè)備上獲得實(shí)時(shí)數(shù)據(jù)，流水化地進(jìn)行分析，然后把分析結(jié)果輸出到企業(yè)的某個(gè)業(yè)務(wù)系統(tǒng)中，以便自動(dòng)化地執(zhí)行業(yè)務(wù)操作。”

傳感器轉(zhuǎn)向數(shù)字化可能會(huì)有所幫助。“數(shù)字通信絕對(duì)有好處。那些你從中獲取并收集優(yōu)質(zhì)數(shù)據(jù)的傳感器，它的噪聲是不是因?yàn)槟M才產(chǎn)生的?我看到傳感器行業(yè)存在向數(shù)字化轉(zhuǎn)變的自然趨勢(shì)，你可以在其中內(nèi)置一些錯(cuò)誤檢查功能。數(shù)字系統(tǒng)存在一定的噪聲區(qū)間，如果這些噪聲出現(xiàn)在數(shù)字電路通道中，誰(shuí)會(huì)在乎它呢?因?yàn)閿?shù)據(jù)要么是1，要么是0，基本不可能出現(xiàn)數(shù)據(jù)反轉(zhuǎn)，你可以對(duì)數(shù)據(jù)傳輸加入校驗(yàn)機(jī)制，如果校驗(yàn)失敗，你可以把數(shù)據(jù)丟掉?！盤(pán)ohlen說(shuō)。

“盡管原始數(shù)據(jù)可能被過(guò)濾、補(bǔ)償、糾正，但是在大部分情況下，用戶的操作也有一定的限制?！必?fù)責(zé)博世傳感器MEMS產(chǎn)品組合的業(yè)務(wù)開(kāi)發(fā)的Marcello Gemelli在最近的一篇文章中指出。

“克服這些挑戰(zhàn)的第一步是實(shí)施和集成適當(dāng)?shù)那逑垂ぞ?，”Liaison Technologies的Parikh說(shuō)?！斑@些清洗工具不僅處理數(shù)據(jù)質(zhì)量，還要從項(xiàng)目的角度驗(yàn)證數(shù)據(jù)源頭身份、可信度、時(shí)間序列。每個(gè)項(xiàng)目都有各自獨(dú)特的要求。項(xiàng)目實(shí)施者可以應(yīng)用一些通用的技術(shù)手段，但是必須做好準(zhǔn)備，根據(jù)需要進(jìn)行大規(guī)模定制，以實(shí)現(xiàn)業(yè)務(wù)目標(biāo)?！?/p>

Liaison Technologies提供數(shù)據(jù)清洗、過(guò)濾、管理以及重復(fù)數(shù)據(jù)刪除檢測(cè)等業(yè)務(wù)?！拔覀兲峁┑囊粋€(gè)關(guān)鍵功能是追蹤數(shù)據(jù)的血統(tǒng)，即從數(shù)據(jù)原始源頭到清洗過(guò)的結(jié)構(gòu)化數(shù)據(jù)的鏈路跟蹤?！?/p>

對(duì)于安全關(guān)鍵系統(tǒng)而言，冗余可能是一種優(yōu)秀且昂貴的解決方案。TT電子公司的Pohlen表示，“每個(gè)人都希望達(dá)到更高的ASIL等級(jí)，但他們是否一定要承諾提供更多感應(yīng)能力?同樣，ASIL等級(jí)也可以歸結(jié)為數(shù)據(jù)是否正確，以及在后端如何解讀這些數(shù)據(jù)，除非您可以在傳感器中進(jìn)行某種自診斷，否則最好的方法是冗余。”