人工智能改變世界，這一觀點已經(jīng)被越來越多的人所認(rèn)可。

過去的兩三年里，在各種 AI 行業(yè)會議中，總能看到一些管理者抱著極大的疑惑和焦慮心態(tài)來學(xué)習(xí) AI 新技術(shù)，他們對公司的痛點往往認(rèn)知清晰，隱約覺得 AI 能幫助他們提升企業(yè)運營效率。很多時候，AI 仿佛成了一根救命稻草。

而在提供 AI 解決方案的企業(yè)口中，AI 就是一劑萬能解藥。精心包裝好的成功企業(yè)案例和優(yōu)雅簡潔的代碼演示，都極力證明算法模型的優(yōu)越性。最終，一些企業(yè)為 AI 解決方案付費，可效果并沒有當(dāng)初承諾的那么好，甚至出現(xiàn)業(yè)務(wù)倒退現(xiàn)象，這到底是怎么回事？

“悄悄死亡的模型”

本文提供一個案例供大家參考。

這是一家線上購物公司，有著一個簡單卻高效的技術(shù)團隊：一位前端工程師和一位后端工程師。他們所搭建的網(wǎng)站在過去幾年里，為公司積累了大量的用戶數(shù)據(jù)。

如何開發(fā)這個數(shù)據(jù)“金礦”呢？公司領(lǐng)導(dǎo)近幾年被“大數(shù)據(jù)”和“機器學(xué)習(xí)”等熱點概念不斷轟炸，決定在網(wǎng)站中搭建一個由數(shù)據(jù)和機器學(xué)習(xí)驅(qū)動的推薦系統(tǒng)來優(yōu)化用戶的購物體驗，進而提高業(yè)務(wù)量。經(jīng)過一番研究，公司領(lǐng)導(dǎo)聘請了一位數(shù)據(jù)科學(xué)家。

訓(xùn)練模型需要干凈的被標(biāo)注數(shù)據(jù)，所以數(shù)據(jù)科學(xué)家首先花了兩個月時間清理日志中的數(shù)據(jù)，接下來，又花了三個月時間開發(fā)和測試不同類型的算法，終于找到了一個效果驚人的推薦系統(tǒng)，并且是最新的深度學(xué)習(xí)算法：使用圖形卷積網(wǎng)絡(luò)的半監(jiān)督分類模型。在歷史數(shù)據(jù)集中，這一模型實現(xiàn)了高達 97％的準(zhǔn)確率。

接下來，就是將訓(xùn)練好的模型整合到網(wǎng)站中。數(shù)據(jù)科學(xué)家表示，他在部署方面的經(jīng)驗有限。但后端工程師十分靠譜，主動幫助數(shù)據(jù)科學(xué)家將模型部署到生產(chǎn)網(wǎng)絡(luò)。

實際上，DL 模型部署是一個相當(dāng)復(fù)雜的過程。最好的辦法是模型構(gòu)建者親自部署，可絕大多數(shù)來自數(shù)學(xué)或物理背景的數(shù)據(jù)科學(xué)家并沒有接受過這方面的培訓(xùn)。

不過，推薦系統(tǒng)模型在兩人的努力下終于部署好了。這個平平無奇的購物網(wǎng)站已經(jīng)進化為“由大數(shù)據(jù)驅(qū)動的購物網(wǎng)站了”！

這時，公司的前端工程師表示受不了“996”了，他要逃離北上廣。沒事，公司分分鐘又招到一名新的前端工程師。

這是一位非常有想法的人，他主動提出了網(wǎng)站更改建議，比如針對不同市場呈現(xiàn)不同外觀，并且把用戶購買時需要填的表單進行優(yōu)化，提高用戶體驗。

幾個月后，新網(wǎng)站上線，頁面非常漂亮，訪客很喜歡，領(lǐng)導(dǎo)也很高興。

但是在統(tǒng)計業(yè)務(wù)量時，卻發(fā)現(xiàn)沒有任何提升。用戶的點擊量很高，做的幾次營銷活動也非常成功，但最終的交易量為什么沒有變化呢？

最終，數(shù)據(jù)科學(xué)家用一個測量腳本發(fā)現(xiàn)，推薦系統(tǒng)的準(zhǔn)確率只有 40%，與預(yù)期的 97% 相差甚遠。

數(shù)據(jù)不規(guī)范，模型兩行淚

推薦系統(tǒng)是數(shù)據(jù)科學(xué)家用歷史日志數(shù)據(jù)訓(xùn)練的。而這些日志文件又是按照上一位前端工程師和后端工程師的設(shè)計生成的。他們通常不必?fù)?dān)心數(shù)據(jù)結(jié)構(gòu)，只保證記錄數(shù)據(jù)和可檢索即可。

畢竟，在全棧開發(fā)環(huán)境下，日志一般是為了記錄錯誤而非提供用戶趨勢。這也是為什么數(shù)據(jù)科學(xué)家一開始需要花大量時間去清理數(shù)據(jù)。

而新的前端開發(fā)者在更改用戶表單時，將字段名稱從“email”更改為“user_email”。此更改會影響數(shù)據(jù)預(yù)處理流程。還將 2 個輸入字段“first name”和“l(fā)ast name”合并為“user_name”，刪除了模型所依賴的輸入字段。最后，他還引入了一個新的測量單元，在美國市場提供“l(fā)bs”（英制的磅），在其他國家提供“kg”（公制的公斤）。導(dǎo)致模型收到的重量從 1.0 變?yōu)?2.20462。

這就是整個過程中沒有人犯錯，但最后的結(jié)果卻令人失望的原因。

由于推薦系統(tǒng)的數(shù)據(jù)預(yù)處理系統(tǒng)沒能正確處理上述更改，這些“壞數(shù)據(jù)”被保存在數(shù)據(jù)庫里并被輸入推薦系統(tǒng)，導(dǎo)致它輸出錯誤的推薦。而這些錯誤的推薦則會通過后端系統(tǒng)被展示給網(wǎng)站的用戶，嚴(yán)重影響用戶體驗。

可以想象一下，一名剛和男朋友分手的女性在瀏覽網(wǎng)站時，網(wǎng)站竟然給她推薦孕婦裝，會是怎樣一種尷尬。

那，該怎么辦？

這個案例展現(xiàn)了目前 AI 的能力與限制。

應(yīng)該說，雖然 AI 取得了前所未有的進展，但在行業(yè)運用還處于早期階段。

尤其是，在開發(fā)和部署機器學(xué)習(xí)應(yīng)用時并沒有最佳實踐指南。這導(dǎo)致了 AI 技術(shù)團隊在面對具體行業(yè)中問題時，很容易暴露出部署經(jīng)驗不足，缺乏領(lǐng)域知識，將現(xiàn)實問題簡單化，盲目崇信機器學(xué)習(xí)模型，最終導(dǎo)致業(yè)務(wù)轉(zhuǎn)型失敗。

需要注意的是，失敗的模型并不會立馬表現(xiàn)出來，往往需要幾個月的時間驗證才會凸顯出問題。這時候，傳統(tǒng)企業(yè)已經(jīng)投入巨大的資源和精力，如果沒有足夠的業(yè)務(wù)能力支撐運轉(zhuǎn)，很容易癱瘓。

在大多數(shù)情況下，很難預(yù)測模型是否按預(yù)期運行。如果考慮成為一家數(shù)據(jù)驅(qū)動型公司，前期最好聘請一位數(shù)據(jù)工程師，而不僅僅是科學(xué)家，必須保證數(shù)據(jù)預(yù)處理、傳輸和存儲始終正確。

其次，機器學(xué)習(xí)模型在投入使用后沒有即時的反饋循環(huán)，所以整個技術(shù)團隊需要時刻了解數(shù)據(jù)性質(zhì)、流程、屬性、用途等。處于數(shù)據(jù)流路徑中的每個人，包括前端開發(fā)人員、后端開發(fā)人員、數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家、云架構(gòu)師和軟件工程師等都必須有明確的溝通和記錄。

最后，要時刻監(jiān)控數(shù)據(jù)，尤其是機器學(xué)習(xí)模型集成前后的關(guān)鍵點，注意異常值和異常數(shù)據(jù)，保持?jǐn)?shù)據(jù)的平均值并注意偏差較大的數(shù)據(jù)。前端開發(fā)人員必須對輸入數(shù)據(jù)進行單元測試。

再次，我們由衷地希望每一家傳統(tǒng)企業(yè)在智能時代都能轉(zhuǎn)型成功。