機(jī)器學(xué)習(xí)是一種強(qiáng)大的技術(shù)，它通過(guò)開(kāi)發(fā)算法從其經(jīng)驗(yàn)中學(xué)習(xí)和改進(jìn)。算法是計(jì)算、訪問(wèn)和處理輸入數(shù)據(jù)并預(yù)測(cè)結(jié)果的程序。機(jī)器學(xué)習(xí)模型旨在計(jì)算復(fù)雜的計(jì)算和學(xué)習(xí)模式，并在此基礎(chǔ)上提供相關(guān)的輸出。該模型適用于數(shù)字、二元、多變量、分類和相關(guān)數(shù)據(jù)集等普通數(shù)據(jù)集。

然而，截至今天，由于理解輸入數(shù)據(jù)的上下文的局限性，大多數(shù)機(jī)器學(xué)習(xí)模型都面臨著預(yù)測(cè)時(shí)間序列數(shù)據(jù)的挑戰(zhàn)。這就是遞歸神經(jīng)網(wǎng)絡(luò)，其中長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）——一種人工神經(jīng)網(wǎng)絡(luò)。LSTM 可以識(shí)別數(shù)據(jù)序列中的模式，例如來(lái)自傳感器、文本、基因組、手寫和口語(yǔ)的數(shù)字時(shí)間序列數(shù)據(jù)。

什么是 LSTM 網(wǎng)絡(luò)？

LSTM – 長(zhǎng)期短期記憶網(wǎng)絡(luò)，是一種特殊類型的RNN（遞歸神經(jīng)網(wǎng)絡(luò)）。RNN是一個(gè)神經(jīng)網(wǎng)絡(luò)，它將前一個(gè)狀態(tài)的輸出作為下一階段的輸入，這樣它就可以記住前一個(gè)狀態(tài)的數(shù)據(jù)。它將借助先前的數(shù)據(jù)精確預(yù)測(cè)最終輸出。

然而，RNN存在梯度消失問(wèn)題，即信息在較長(zhǎng)的序列中褪色，因此在較長(zhǎng)時(shí)間內(nèi)持久化數(shù)據(jù)時(shí)面臨困難。此問(wèn)題可以通過(guò) LSTM 解決。LSTM已經(jīng)表現(xiàn)出擺脫了長(zhǎng)期依賴問(wèn)題并消除了RNN的缺點(diǎn)。

LSTM的重要性

在這個(gè)現(xiàn)代時(shí)代，機(jī)器正在使用機(jī)器學(xué)習(xí)智能地執(zhí)行任務(wù)。現(xiàn)在，每個(gè)行業(yè)都有大量的設(shè)備歷史數(shù)據(jù)，這些數(shù)據(jù)必須以機(jī)器學(xué)習(xí)模型能夠有效預(yù)測(cè)數(shù)據(jù)的方式使用。

作為人類，我們總是非常規(guī)地選擇一些重要的關(guān)鍵字，而忽略其他有助于我們理解任何句子或段落上下文的單詞。例如，在閱讀電影評(píng)論時(shí)，大腦只試圖記住或?qū)Ｗ⒂谝恍╆P(guān)鍵詞，如“動(dòng)感十足”、“令人嘆為觀止”、“無(wú)聊”和“驚人”。每次我們不必思考，記住并重新開(kāi)始。LSTM的行為也類似。此外，LSTM 專為傳統(tǒng)神經(jīng)網(wǎng)絡(luò)失敗的順序數(shù)據(jù)集而設(shè)計(jì)。LSTM 允許數(shù)據(jù)持久化。

在每個(gè)行業(yè)中，當(dāng)局都會(huì)根據(jù)過(guò)去的重要數(shù)據(jù)做出任何決定，這將提供更好的結(jié)果。與機(jī)器學(xué)習(xí)模型相同，與其他模型相比，LSTM 展示了準(zhǔn)確的結(jié)果，因?yàn)樗谡麄€(gè)模型學(xué)習(xí)過(guò)程中只記住相關(guān)數(shù)據(jù)。它可以輕松保留重要信息以進(jìn)行預(yù)測(cè)。

LSTM 如何工作？

LSTM 使用一系列不同的邏輯門。借助這一點(diǎn)，它可以調(diào)節(jié)信息流并解決RNN中的消失梯度問(wèn)題。梯度消失問(wèn)題發(fā)生在訓(xùn)練機(jī)器學(xué)習(xí)模型的反向傳播期間。梯度是可用于更新神經(jīng)網(wǎng)絡(luò)權(quán)重的值。在反向傳播時(shí)，梯度將變得如此之小，以至于在更新權(quán)重方面可以忽略不計(jì)。

這最終將停止學(xué)習(xí)該層，以便這些層不會(huì)學(xué)習(xí)。因此，RNN 會(huì)在更長(zhǎng)的時(shí)間內(nèi)忘記數(shù)據(jù)，因?yàn)?RNN 只有短期記憶。

LSTM和RNN在控制流方面是相似的。兩者都在傳遞和向前傳播時(shí)處理信息。唯一的區(qū)別是每個(gè)單元格內(nèi)的操作。LSTM的主要概念是在整個(gè)網(wǎng)絡(luò)中傳遞相關(guān)信息。根據(jù)輸入，它會(huì)將該數(shù)據(jù)添加到內(nèi)存中，如果不需要數(shù)據(jù)，則忘記或刪除數(shù)據(jù)，如果信息不相關(guān)，則忽略信息。這就是 LSTM 不僅將信息傳遞到下一個(gè)狀態(tài)，而且還為以后的狀態(tài)保留數(shù)據(jù)的方式。

LSTM的工作分為三個(gè)部分，每個(gè)部分執(zhí)行以下單獨(dú)的功能：

第一部分確定來(lái)自前一個(gè)時(shí)間戳的信息是相關(guān)的，然后記住它，如果它不相關(guān)，它可以被遺忘。這部分稱為遺忘門。

在第二部分中，單元格嘗試從單元格的當(dāng)前輸入中學(xué)習(xí)新數(shù)據(jù)，這稱為輸入門。

最后，在第三部分中，單元格將更新的信息從當(dāng)前時(shí)間戳傳遞到下一個(gè)時(shí)間戳。這部分稱為輸出門。

這就是 LSTM 在訓(xùn)練過(guò)程中有選擇地忘記和記住信息的方式。

LSTM的應(yīng)用

工業(yè)物聯(lián)網(wǎng)：每個(gè)行業(yè)的深刻本質(zhì)是始終如一地提高產(chǎn)品質(zhì)量。在制造單位中，有許多設(shè)備、傳感器和機(jī)器，每個(gè)設(shè)備、傳感器和機(jī)器都有大量的數(shù)據(jù)。這些受到的關(guān)注非常少，這可能導(dǎo)致該行業(yè)陷入磨損情況。

LSTM將在上述情況下發(fā)揮至關(guān)重要的作用。基于執(zhí)行器、振動(dòng)、溫度、噪聲、用電量等不同參數(shù)的歷史數(shù)據(jù)，該模型可以提前預(yù)測(cè)機(jī)器的早期維護(hù)和異常檢測(cè)。這將有助于制造單元進(jìn)行及時(shí)維護(hù)。最終，它將提高效率并減少機(jī)器的停機(jī)時(shí)間。提高設(shè)備的利用率很有用。因此，生產(chǎn)產(chǎn)品的時(shí)間更少，數(shù)量更多。對(duì)于大型電力行業(yè)，它可以使用過(guò)去的電力供應(yīng)數(shù)據(jù)預(yù)測(cè)特定州、城市或街道即將到來(lái)的電力需求。電力負(fù)荷預(yù)測(cè)將有助于減輕能源損失，并根據(jù)預(yù)測(cè)管理和傳輸電力。

家庭自動(dòng)化：在家庭自動(dòng)化中，有兩個(gè)最重要的事情：

準(zhǔn)確性

處理和執(zhí)行操作的速度

在智能建筑中，HVAC供暖，通風(fēng)和空調(diào)系統(tǒng)將有助于預(yù)測(cè)能源消耗以及室內(nèi)空氣溫度，并根據(jù)外部天氣進(jìn)行控制。基于人類行為，設(shè)備應(yīng)執(zhí)行預(yù)定義的任務(wù)，其中可以通過(guò)逐個(gè)分析視頻幀來(lái)識(shí)別人類活動(dòng)。在這里，LSTM將根據(jù)早期行動(dòng)精確預(yù)測(cè)下一步行動(dòng)。

任何與音頻分析相關(guān)的應(yīng)用程序，例如預(yù)測(cè)用于竊賊檢測(cè)的玻璃破碎、語(yǔ)音識(shí)別和預(yù)測(cè)語(yǔ)音命令。這些具有基于時(shí)間序列的數(shù)據(jù)，其中每個(gè)信息都帶有其頻率和時(shí)間。

在語(yǔ)音命令或語(yǔ)音識(shí)別中，了解 LSTM 的優(yōu)勢(shì)的實(shí)際上下文非常重要。

汽車：每個(gè)行業(yè)都有關(guān)于各自市場(chǎng)的大量數(shù)據(jù)，借助這些數(shù)據(jù)，LSTM將分析即將到來(lái)的市場(chǎng)趨勢(shì)并預(yù)測(cè)即將到來(lái)的產(chǎn)品需求。

這將幫助汽車制造商根據(jù)需求預(yù)測(cè)管理其供應(yīng)鏈和庫(kù)存，并制定計(jì)劃以加速需求并減少不必要的成本。它可以幫助組織根據(jù)市場(chǎng)需求發(fā)現(xiàn)新的機(jī)會(huì)。它還向零售客戶推薦使用過(guò)去訂單的相關(guān)產(chǎn)品，從而提供更好的用戶體驗(yàn)并促進(jìn)銷售。LSTM 在預(yù)測(cè)時(shí)間序列數(shù)據(jù)方面令人滿意。

醫(yī)療保健：在醫(yī)療保健行業(yè)中，心跳、神經(jīng)模式、血壓和氧氣水平對(duì)于嚴(yán)重入院的患者至關(guān)重要。如果這些參數(shù)中的任何一個(gè)發(fā)生變化，那么患者可能會(huì)死亡。這些參數(shù)應(yīng)在早期階段準(zhǔn)確預(yù)測(cè)，這有助于相應(yīng)地治療患者。

最重要的是，所有參數(shù)都具有LSTM優(yōu)于其他模型的時(shí)間序列數(shù)據(jù)。它還可以使用健康報(bào)告提前診斷任何健康問(wèn)題，例如檢測(cè)癌癥或任何重大疾病。在智能可穿戴設(shè)備的幫助下，它可以提前預(yù)測(cè)心臟病發(fā)作，并向相關(guān)人員發(fā)送其健康狀況的信息。它會(huì)建議根據(jù)他們的健康狀況咨詢醫(yī)生，并提醒他們定期檢查。

審核編輯：郭婷