91欧美超碰AV自拍|国产成年人性爱视频免费看|亚洲 日韩 欧美一厂二区入|人人看人人爽人人操aV|丝袜美腿视频一区二区在线看|人人操人人爽人人爱|婷婷五月天超碰|97色色欧美亚州A√|另类A√无码精品一级av|欧美特级日韩特级

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

關(guān)于深度學習被濫用的調(diào)查淺析

新機器視覺 ? 來源:InfoQ 中文站 ? 作者:Michael Grogan ? 2021-04-26 14:23 ? 次閱讀
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

在某些情況下,神經(jīng)網(wǎng)絡(luò)之類模型的表現(xiàn)可能會勝過更簡單的模型,但很多情況下事情并不是這樣的。

打個比方:假設(shè)你需要購買某種交通工具來跑運輸,如果你經(jīng)常需要長距離運輸大型物品,那么, 購買卡車是很劃算的投資;但如果你只是要去本地超市買點牛奶,那么買一輛卡車就太浪費了。一輛汽車(如果你關(guān)心氣候變化的話,甚至可以買一輛自行車)也足以完成上述任務(wù)。

深度學習的使用場景也開始遇到這種問題了:我們假設(shè)它們的性能優(yōu)于簡單模型,然后把相關(guān)數(shù)據(jù)一股腦兒地塞給它們。此外,我們在應(yīng)用這些模型時往往并沒有對相關(guān)數(shù)據(jù)有適當?shù)睦斫?;比如說我們沒有意識到,如果對數(shù)據(jù)有直觀的了解,就不必進行深度學習。

任何模型被裝在黑匣子里來分析數(shù)據(jù)時,總是會存在危險,深度學習家族的模型也不例外。

時間序列分析我最常用的是時間序列分析,因此我們來考慮一個這方面的例子。

假設(shè)一家酒店希望預測其在整個客戶群中收取的平均每日費用(或每天的平均費用)——ADR。每位客戶的平均每日費用是每周開銷的平均值。

LSTM 模型的配置如下:

model = tf.keras.Sequential()

model.add(LSTM(4, input_shape=(1, lookback)))

model.add(Dense(1))

model.compile(loss=‘mean_squared_error’, optimizer=‘a(chǎn)dam’)

history=model.fit(X_train, Y_train, validation_split=0.2, epochs=100, batch_size=1, verbose=2)

下面是預測與實際的每周 ADR:

2ada365c-a648-11eb-aece-12bb97331649.jpg

獲得的 RMSE 為 31,均值 160。RMSE(均方根誤差)的大小是平均 ADR 大小的 20%。誤差并不算高,但不得不承認,神經(jīng)網(wǎng)絡(luò)的目的是盡可能獲得比其他模型更高的準確度,所以這個結(jié)果還是有些令人失望。

此外,這個 LSTM 模型是一個一步預測——意味著如果沒有可用的時間 t 之前的所有數(shù)據(jù),該模型就無法進行長期預測。

也就是說,我們是不是太急著對數(shù)據(jù)應(yīng)用 LSTM 模型了呢?

我們先回到出發(fā)點,首先對數(shù)據(jù)做一個全面的分析。

下面是 ADR 波動的 7 周移動平均值:

2b066ee8-a648-11eb-aece-12bb97331649.jpg

當數(shù)據(jù)通過 7 周的移動平均值進行平滑處理后,我們可以清楚地看到季節(jié)性模式的證據(jù)。

我們來仔細看看數(shù)據(jù)的自相關(guān)函數(shù)。

2b3c6f7a-a648-11eb-aece-12bb97331649.jpg

我們可以看到,峰值相關(guān)性(在一系列負相關(guān)性之后)滯后 52,表明數(shù)據(jù)中存在年度季節(jié)屬性。

有了這一信息后,我們可以使用 pmdarima 配置 ARIMA 模型來預測 ADR 波動的最后 15 周,并自動選擇 p、d、q 坐標以最小化赤池量信息準則。

》》》 Arima_model=pm.auto_arima(train_df, start_p=0, start_q=0, max_p=10, max_q=10, start_P=0, start_Q=0, max_P=10, max_Q=10, m=52, stepwise=True, seasonal=True, information_criterion=‘a(chǎn)ic’, trace=True, d=1, D=1, error_action=‘warn’, suppress_warnings=True, random_state = 20, n_fits=30)Performing stepwise search to minimize aic

ARIMA(0,1,0)(0,1,0)[52] : AIC=422.399, Time=0.27 sec

ARIMA(1,1,0)(1,1,0)[52] : AIC=inf, Time=16.12 sec

ARIMA(0,1,1)(0,1,1)[52] : AIC=inf, Time=19.08 sec

ARIMA(0,1,0)(1,1,0)[52] : AIC=inf, Time=14.55 sec

ARIMA(0,1,0)(0,1,1)[52] : AIC=inf, Time=11.94 sec

ARIMA(0,1,0)(1,1,1)[52] : AIC=inf, Time=16.47 sec

ARIMA(1,1,0)(0,1,0)[52] : AIC=414.708, Time=0.56 sec

ARIMA(1,1,0)(0,1,1)[52] : AIC=inf, Time=15.98 sec

ARIMA(1,1,0)(1,1,1)[52] : AIC=inf, Time=20.41 sec

ARIMA(2,1,0)(0,1,0)[52] : AIC=413.878, Time=1.01 sec

ARIMA(2,1,0)(1,1,0)[52] : AIC=inf, Time=22.19 sec

ARIMA(2,1,0)(0,1,1)[52] : AIC=inf, Time=25.80 sec

ARIMA(2,1,0)(1,1,1)[52] : AIC=inf, Time=28.23 sec

ARIMA(3,1,0)(0,1,0)[52] : AIC=414.514, Time=1.13 sec

ARIMA(2,1,1)(0,1,0)[52] : AIC=415.165, Time=2.18 sec

ARIMA(1,1,1)(0,1,0)[52] : AIC=413.365, Time=1.11 sec

ARIMA(1,1,1)(1,1,0)[52] : AIC=415.351, Time=24.93 sec

ARIMA(1,1,1)(0,1,1)[52] : AIC=inf, Time=21.92 sec

ARIMA(1,1,1)(1,1,1)[52] : AIC=inf, Time=30.36 sec

ARIMA(0,1,1)(0,1,0)[52] : AIC=411.433, Time=0.59 sec

ARIMA(0,1,1)(1,1,0)[52] : AIC=413.422, Time=11.57 sec

ARIMA(0,1,1)(1,1,1)[52] : AIC=inf, Time=23.39 sec

ARIMA(0,1,2)(0,1,0)[52] : AIC=413.343, Time=0.82 sec

ARIMA(1,1,2)(0,1,0)[52] : AIC=415.196, Time=1.63 sec

ARIMA(0,1,1)(0,1,0)[52] intercept : AIC=413.377, Time=1.04 sec

Best model: ARIMA(0,1,1)(0,1,0)[52]

Total fit time: 313.326 seconds

根據(jù)上面的輸出,ARIMA(0,1,1)(0,1,0)[52] 是 AIC 的最佳擬合模型。使用這個模型,對于 160 的平均 ADR,可獲得 10 的 RMSE。

這比 LSTM 實現(xiàn)的 RMSE 要低得多(這是一件好事),僅占均值大小的 6%多。

對數(shù)據(jù)進行適當?shù)姆治龊?,人們會認識到,數(shù)據(jù)中存在的年度季節(jié)屬性可以讓時間序列更具可預測性,而使用深度學習模型來嘗試預測這種屬性在很大程度上是多余的。

回歸分析:預測客戶 ADR 值我們換個角度來討論上述問題。

現(xiàn)在我們不再嘗試預測平均每周 ADR,而是嘗試預測每個客戶的 ADR 值。

為此我們使用兩個基于回歸的模型:

線性 SVM(支持向量機)

基于回歸的神經(jīng)網(wǎng)絡(luò)

兩種模型均使用以下特征來預測每個客戶的 ADR 值:

IsCanceled:客戶是否取消預訂

country:客戶的原籍國

marketsegment:客戶的細分市場

deposittype:客戶是否已支付訂金

customertype:客戶類型

rcps:所需的停車位

arrivaldateweekno:到達的星期數(shù)

我們使用平均絕對誤差作為效果指標,來對比兩個模型相對于平均值獲得的 MAE。

線性支持向量機這里定義了 epsilon 為 0.5 的 LinearSVR,并使用訓練數(shù)據(jù)進行了訓練:

svm_reg_05 = LinearSVR(epsilon=0.5)

svm_reg_05.fit(X_train, y_train)

現(xiàn)在使用測試集中的特征值進行預測:

》》》 svm_reg_05.predict(atest)array([ 81.7431138 , 107.46098525, 107.46098525, 。.., 94.50144931,

94.202052 , 94.50144931])

這是相對于均值的均值絕對誤差:

》》》 mean_absolute_error(btest, bpred)

30.332614341027753》》》 np.mean(btest)

105.30446539770578

MAE 是均值大小的 28%。讓我們看看基于回歸的神經(jīng)網(wǎng)絡(luò)是否可以做得更好。

基于回歸的神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的定義如下:

model = Sequential()

model.add(Dense(8, input_dim=8, kernel_initializer=‘normal’, activation=‘elu’))

model.add(Dense(2670, activation=‘elu’))

model.add(Dense(1, activation=‘linear’))

model.summary()

使用的批大小是 150,用 30 個 epoch 訓練模型:

model.compile(loss=‘mse’, optimizer=‘a(chǎn)dam’, metrics=[‘mse’,‘mae’])

history=model.fit(xtrain_scale, ytrain_scale, epochs=30, batch_size=150, verbose=1, validation_split=0.2)

predictions = model.predict(xval_scale)

現(xiàn)在將測試集的特征輸入到模型中,以下是 MAE 和平均值:

》》》 mean_absolute_error(btest, bpred)

28.908454264679218》》》 np.mean(btest)

105.30446539770578

我們看到,MAE 僅僅比使用 SVM 所獲得的 MAE 低一點。因此,當線性 SVM 模型顯示出幾乎相同的準確度時,很難證明使用神經(jīng)網(wǎng)絡(luò)來預測客戶 ADR 是合適的選項。

無論如何,用于“解釋”ADR 的特征選擇之類的因素比模型本身有著更大的相關(guān)性。俗話說,“進垃圾,出垃圾”。如果特征選取很爛,模型輸出也會很差。

在上面這個例子里,盡管兩個回歸模型都顯示出一定程度的預測能力,但很可能要么 1)選擇數(shù)據(jù)集中的其他特征可以進一步提高準確性,要么 2)ADR 的變量太多,對數(shù)據(jù)集中特征的影響太大。例如,數(shù)據(jù)集沒有告訴我們關(guān)于每個客戶收入水平的任何信息,這些因素將極大地影響他們每天的平均支出。

結(jié)論

在上面的兩個示例中我們已經(jīng)看到,使用“更輕”的模型已經(jīng)能夠匹配(或超過)深度學習模型所實現(xiàn)的準確性。

在某些情況下,數(shù)據(jù)可能非常復雜,需要“從頭開始”在數(shù)據(jù)中使用算法學習模式,但這往往是例外,而不是規(guī)則。

對于任何數(shù)據(jù)科學問題,關(guān)鍵是首先要了解我們正在使用的數(shù)據(jù),模型的選擇往往是次要的。

可以在此處找到上述示例的數(shù)據(jù)集和 Jupyter 筆記本。
編輯:lyn

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學習之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴

原文標題:深度學習正在被濫用

文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏
加入交流群
微信小助手二維碼

掃碼添加小助手

加入工程師交流群

    評論

    相關(guān)推薦
    熱點推薦

    突發(fā)!大疆遭調(diào)查!

    電子發(fā)燒友網(wǎng)報道(文/李彎彎)10月31日,意大利反壟斷監(jiān)管機構(gòu)AGCM對中國無人機制造商大疆創(chuàng)新的歐洲子公司及其意大利進口商展開調(diào)查。此次調(diào)查源于大疆指施壓零售商并操控產(chǎn)品價格。 AGCM收到
    的頭像 發(fā)表于 11-01 08:17 ?1.3w次閱讀

    人工智能與機器學習在這些行業(yè)的深度應(yīng)用

    自人工智能和機器學習問世以來,多個在線領(lǐng)域的數(shù)字化格局迎來了翻天覆地的變化。這些技術(shù)從誕生之初就為企業(yè)賦予了競爭優(yōu)勢,而在線行業(yè)正是受其影響最為顯著的領(lǐng)域。人工智能(AI)與機器學習(ML)的深度應(yīng)用,徹底重塑了整個行業(yè)的發(fā)展模
    的頭像 發(fā)表于 02-04 14:44 ?484次閱讀

    機器學習深度學習中需避免的 7 個常見錯誤與局限性

    無論你是剛?cè)腴T還是已經(jīng)從事人工智能模型相關(guān)工作一段時間,機器學習深度學習中都存在一些我們需要時刻關(guān)注并銘記的常見錯誤。如果對這些錯誤置之不理,日后可能會引發(fā)諸多麻煩!只要我們密切關(guān)注數(shù)據(jù)、模型架構(gòu)
    的頭像 發(fā)表于 01-07 15:37 ?194次閱讀
    機器<b class='flag-5'>學習</b>和<b class='flag-5'>深度</b><b class='flag-5'>學習</b>中需避免的 7 個常見錯誤與局限性

    穿孔機頂頭檢測儀 機器視覺深度學習

    LX01Z-DG626穿孔機頂頭檢測儀采用深度學習技術(shù),能夠?qū)崿F(xiàn)頂頭狀態(tài)的在線實時檢測,頂頭丟失報警,頂頭異常狀態(tài)報警等功能,響應(yīng)迅速,異常狀態(tài)視頻回溯,檢測頂頭溫度,配備吹掃清潔系統(tǒng),維護周期長
    發(fā)表于 12-22 14:33

    如何深度學習機器視覺的應(yīng)用場景

    深度學習視覺應(yīng)用場景大全 工業(yè)制造領(lǐng)域 復雜缺陷檢測:處理傳統(tǒng)算法難以描述的非標準化缺陷模式 非標產(chǎn)品分類:對形狀、顏色、紋理多變的產(chǎn)品進行智能分類 外觀質(zhì)量評估:基于學習的外觀質(zhì)量標準判定 精密
    的頭像 發(fā)表于 11-27 10:19 ?223次閱讀

    高通立案調(diào)查 高通罰款金額或達17.9億美元 高通回應(yīng)正積極配合有關(guān)調(diào)查

    據(jù)央視新聞報道美國芯片巨頭高通中方立案調(diào)查,原因是高通在收購以色列芯片企業(yè)Autotalks時未依法申報經(jīng)營者集中,這涉嫌違反了《中華人民共和國反壟斷法》,市場監(jiān)管總局依法對高通公司開展立案調(diào)查
    的頭像 發(fā)表于 10-11 11:11 ?831次閱讀

    高通立案調(diào)查 美國芯片巨頭高通中方立案調(diào)查

    據(jù)央視新聞報道美國芯片巨頭高通中方立案調(diào)查,原因是高通在收購以色列芯片企業(yè)Autotalks時未依法申報經(jīng)營者集中,這涉嫌違反了《中華人民共和國反壟斷法》,市場監(jiān)管總局依法對高通公司開展立案調(diào)查。
    的頭像 發(fā)表于 10-10 17:49 ?881次閱讀

    如何在機器視覺中部署深度學習神經(jīng)網(wǎng)絡(luò)

    圖 1:基于深度學習的目標檢測可定位已訓練的目標類別,并通過矩形框(邊界框)對其進行標識。 在討論人工智能(AI)或深度學習時,經(jīng)常會出現(xiàn)“神經(jīng)網(wǎng)絡(luò)”、“黑箱”、“標注”等術(shù)語。這些概
    的頭像 發(fā)表于 09-10 17:38 ?902次閱讀
    如何在機器視覺中部署<b class='flag-5'>深度</b><b class='flag-5'>學習</b>神經(jīng)網(wǎng)絡(luò)

    深度學習對工業(yè)物聯(lián)網(wǎng)有哪些幫助

    深度學習作為人工智能的核心分支,通過模擬人腦神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu),能夠自動從海量工業(yè)數(shù)據(jù)中提取復雜特征,為工業(yè)物聯(lián)網(wǎng)(IIoT)提供了從數(shù)據(jù)感知到智能決策的全鏈路升級能力。以下從技術(shù)賦能、場景突破
    的頭像 發(fā)表于 08-20 14:56 ?1030次閱讀

    自動駕駛中Transformer大模型會取代深度學習嗎?

    [首發(fā)于智駕最前沿微信公眾號]近年來,隨著ChatGPT、Claude、文心一言等大語言模型在生成文本、對話交互等領(lǐng)域的驚艷表現(xiàn),“Transformer架構(gòu)是否正在取代傳統(tǒng)深度學習”這一話題一直
    的頭像 發(fā)表于 08-13 09:15 ?4186次閱讀
    自動駕駛中Transformer大模型會取代<b class='flag-5'>深度</b><b class='flag-5'>學習</b>嗎?

    深度學習遇上嵌入式資源困境,特征空間如何破局?

    近年來,隨著人工智能(AI)技術(shù)的迅猛發(fā)展,深度學習(Deep Learning)成為最熱門的研究領(lǐng)域之一。在語音識別、圖像識別、自然語言處理等領(lǐng)域,深度學習取得了顯著成果。從原理上看
    發(fā)表于 07-14 14:50 ?1243次閱讀
    當<b class='flag-5'>深度</b><b class='flag-5'>學習</b>遇上嵌入式資源困境,特征空間如何破局?

    同步電機失步淺析

    純分享帖,需要者可點擊附件免費獲取完整資料~~~*附件:同步電機失步淺析.pdf【免責聲明】本文系網(wǎng)絡(luò)轉(zhuǎn)載,版權(quán)歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權(quán)問題,請第一時間告知,刪除內(nèi)容!
    發(fā)表于 06-20 17:42

    嵌入式AI技術(shù)之深度學習:數(shù)據(jù)樣本預處理過程中使用合適的特征變換對深度學習的意義

    ? 作者:蘇勇Andrew 使用神經(jīng)網(wǎng)絡(luò)實現(xiàn)機器學習,網(wǎng)絡(luò)的每個層都將對輸入的數(shù)據(jù)做一次抽象,多層神經(jīng)網(wǎng)絡(luò)構(gòu)成深度學習的框架,可以深度理解數(shù)據(jù)中所要表示的規(guī)律。從原理上看,使用
    的頭像 發(fā)表于 04-02 18:21 ?1519次閱讀

    用樹莓派搞深度學習?TensorFlow啟動!

    介紹本頁面將指導您在搭載64位Bullseye操作系統(tǒng)的RaspberryPi4上安裝TensorFlow。TensorFlow是一個專為深度學習開發(fā)的大型軟件庫,它消耗大量資源。您可以在
    的頭像 發(fā)表于 03-25 09:33 ?1210次閱讀
    用樹莓派搞<b class='flag-5'>深度</b><b class='flag-5'>學習</b>?TensorFlow啟動!