如果說去年“機器換人”的輿論來自車間的機器人手，那今年在全球范圍內(nèi)揮舞起“自動化”大棒的，就成了機器學(xué)習(xí)。上月，李飛飛發(fā)布面向商業(yè)公司的機器學(xué)習(xí)庫AutoML，技術(shù)門檻之低，讓不少工程師擔(dān)憂不已。一波未平，8月月初，美國德州農(nóng)工大學(xué)開源Auto Keras，同樣的功能，但是完全免費。而今天，軟件巨頭Salesforce也入場了，他們帶來的TransmogrifAI，才可能是真正的AutoML“殺手”。

以下內(nèi)容來自Salesforce Einstein數(shù)據(jù)科學(xué)高級總監(jiān)Shubha Nabar：

在過去十年中，盡管機器學(xué)習(xí)取得了巨大進步，但構(gòu)建可用的機器學(xué)習(xí)系統(tǒng)卻依然是件難事。三年前，當(dāng)我們著手把機器學(xué)習(xí)功能部署到Salesforce平臺時，大家才發(fā)現(xiàn)，原來構(gòu)建企業(yè)級機器學(xué)習(xí)系統(tǒng)更加困難。為了解決這個問題，我們開發(fā)了TransmogrifAI（發(fā)音為trans-mog-ri-phi）——一種用于處理結(jié)構(gòu)化數(shù)據(jù)的端到端自動化機器學(xué)習(xí)庫，它也是現(xiàn)在Einstein平臺優(yōu)化功能的一個工具。

今天，我們把這個項目分享給開源社區(qū)。未來，數(shù)據(jù)科學(xué)家和開發(fā)人員可以用它快速大規(guī)模地構(gòu)建機器學(xué)習(xí)解決方案。

TransmogrifAI GitHub：github.com/salesforce/TransmogrifAI

當(dāng)數(shù)據(jù)科學(xué)家在為商業(yè)產(chǎn)品構(gòu)建機器學(xué)習(xí)功能時，他們通常會關(guān)注易于理解的樣本和數(shù)據(jù)集。相比之下，企業(yè)擁有的數(shù)據(jù)和樣本是多樣化的，這種多樣性使構(gòu)建企業(yè)級機器學(xué)習(xí)系統(tǒng)成了一項挑戰(zhàn)。在Salesforce，我們的客戶可能希望預(yù)測一系列結(jié)果——從客戶流失、銷售預(yù)測、潛在用戶轉(zhuǎn)化，到數(shù)字廣告點擊、網(wǎng)購、報價接受、設(shè)備故障和延遲付款等，

對于企業(yè)客戶來說，他們的數(shù)據(jù)是保密的、不可共享的，這兩點至關(guān)重要。這意味著我們必須針對客戶，用給定的數(shù)據(jù)樣本構(gòu)建機器學(xué)習(xí)模型。同時，構(gòu)建全局模型絕對沒有意義，因為每個企業(yè)都獨立無二，他們有不同的商業(yè)模式，也有各自的經(jīng)營規(guī)模和業(yè)務(wù)渠道，用機器學(xué)習(xí)的術(shù)語講，就是有不同的偏差。

為了讓機器學(xué)習(xí)真正為客戶服務(wù)，我們要做的就是構(gòu)建和部署上千個用不同數(shù)據(jù)樣本訓(xùn)練得到的個性化機器學(xué)習(xí)模型！而如果不想聘請大批數(shù)據(jù)科學(xué)家，實現(xiàn)這一目標(biāo)的唯一方法就是自動化。

TransmogrifAI工作流程

通常情況下，如果要構(gòu)建性能良好的機器學(xué)習(xí)模型，它需要的研究量和開發(fā)量是相當(dāng)可觀的。數(shù)據(jù)準(zhǔn)備、特征工程、模型訓(xùn)練……這些繁瑣過程需要不斷迭代，為了得到成熟的模型，數(shù)據(jù)科學(xué)家們可能要耗費數(shù)周乃至數(shù)月的時間。

TransmogrifAI是一個基于Scala和SparkML構(gòu)建的庫，它能承擔(dān)這個過程中的部分工作。只需幾行代碼，數(shù)據(jù)科學(xué)家就可以自動完成數(shù)據(jù)清理、特征工程和模型選擇，然后訓(xùn)練出一個高性能模型，進行進一步探索和迭代。

它封裝了機器學(xué)習(xí)過程的五個主要步驟：

特征推斷（Feature Inference）

數(shù)據(jù)是所有機器學(xué)習(xí)管道的第一步。數(shù)據(jù)科學(xué)家先收集所有相關(guān)數(shù)據(jù)，再進行整平操作，添加、聚合不同數(shù)據(jù)源，從中提取可能有助于預(yù)測的原始信號。這之后，提取得到的信號會被放進靈活的數(shù)據(jù)結(jié)構(gòu)中，也就是DataFrame，方便后續(xù)操作。雖然這些數(shù)據(jù)結(jié)構(gòu)簡單且易于操作，但其中還是存在一些錯誤，可能會對下游造成影響，比如存在類型錯誤和空值錯誤。

TransmogrifAI可以幫助解決這類問題。它允許用戶為其數(shù)據(jù)指定類型，自動把原始預(yù)測變量和響應(yīng)信號提取為“特征”。除了原始類型，TransmogrifAI的支持面更豐富、更細(xì)化，地理位置、電話號碼、郵政編碼……凡是數(shù)據(jù)科學(xué)家可能頻繁遇到的，它都能進行區(qū)分。

事實上，即便用戶沒有指定，TransmogrifAI也可以自行推斷。例如，當(dāng)它檢測到數(shù)據(jù)中的文本特征其實是分類特征時，它會記錄這個錯誤并進行適當(dāng)處理。不用等到運行時再報錯，數(shù)據(jù)科學(xué)家在編譯時就能找出大多數(shù)錯誤。

自動化特征工程（Transmogrification）

雖然找到正確的類型有助于數(shù)據(jù)推理和減少對下游的不良影響，但最終所有特征都是要被轉(zhuǎn)換成數(shù)字表示的。只有這樣，機器學(xué)習(xí)算法才能尋找并利用其中的規(guī)律。這個過程被稱為特征工程。

舉個例子，我們該怎么把美國的各個州（如CA, NY, TX等）轉(zhuǎn)成數(shù)字？一種方法是把每個州映射為1到50之間的數(shù)字，因為美國一共有50個州。但這種編碼方法的缺點在于沒有保留州與州之間地理位置上的關(guān)系。那么如果我們計算州中心點到美國中心點的距離，并以此為編碼依據(jù)呢？這確實可以解決之前提到的問題，但它同樣無法反映東西南北位置。

所以特征工程的方法有無數(shù)種，但是找出正確的一種十分不容易。

TransmogrifAI可以幫數(shù)據(jù)科學(xué)家自動化這個惱人的過程。它為自己支持的所有特征類型提供了無數(shù)種編碼技術(shù)，能做到不僅把數(shù)據(jù)轉(zhuǎn)成算法可用的格式，還能優(yōu)化轉(zhuǎn)換，使機器學(xué)習(xí)算法更容易從數(shù)據(jù)中學(xué)習(xí)。例如，同樣是年齡數(shù)字特征，它能根據(jù)特定問題（時尚行業(yè)、金融理財）把它們轉(zhuǎn)成最合適的年齡段。

盡管TransmogrifAI已經(jīng)具備了上述強大能力，但考慮到特征工程是一場無窮無盡的“博弈”，它也支持用戶自定義和擴展默認(rèn)值。

自動化特征驗證（Feature Validation）

特征工程可能導(dǎo)致數(shù)據(jù)維度出現(xiàn)爆炸性增長，而高維數(shù)據(jù)往往會讓模型出現(xiàn)差錯！其中最典型的是模型過擬合，另一個容易被忽視但影響巨大的問題是數(shù)據(jù)泄露。

假設(shè)我們手頭有一個包含交易信息的數(shù)據(jù)集，任務(wù)是預(yù)測最終的交易金額，而數(shù)據(jù)集上一個條目叫“已結(jié)算交易金額”，這是完成交易后才能統(tǒng)計到的信息。如果我們不慎把這個信息也放進訓(xùn)練集里，模型就會發(fā)現(xiàn)它的“可參考性”極強，最后成為一個測試時精度極高，實踐時一無所用的廢品。

事實上，在Salesforce業(yè)務(wù)中，這種后見之明的偏見尤其成問題，因為大部分客戶的數(shù)據(jù)很復(fù)雜，平時也是自動填充的，這使得數(shù)據(jù)科學(xué)家很容易混淆因果關(guān)系。

TransgmogrifAI包含執(zhí)行自動特征驗證的算法，可以刪除幾乎沒有預(yù)測能力的特征——隨著時間的推移而使用的特征，表現(xiàn)出零方差的特征，或者在訓(xùn)練樣本中的分布與預(yù)測時的分布存在顯著不同的特征。在處理含有偏差的高維數(shù)據(jù)時，這些算法會用一系列基于特征類型的統(tǒng)計測試，結(jié)合特征譜系來檢測和排除偏差。

自動化模型選擇（Model Selection）

完成所有關(guān)于數(shù)據(jù)預(yù)處理的工作后，數(shù)據(jù)科學(xué)家就該把機器學(xué)習(xí)算法應(yīng)用于準(zhǔn)備好的數(shù)據(jù)以構(gòu)建預(yù)測模型。如果是手動完成，他們往往需要嘗試許多不同的算法，并找到合適的參數(shù)設(shè)置。這是個耗時的工程。

TransmogrifAI的模型選擇器可以在數(shù)據(jù)上運行多種算法，并比較它們的平均驗證錯誤，從中挑出最佳算法。除此之外，它還能通過適當(dāng)?shù)貙?shù)據(jù)進行采樣并重新校準(zhǔn)預(yù)測以匹配真實的先驗，自動處理不平衡數(shù)據(jù)的問題，進一步提高模型性能。

超參數(shù)優(yōu)化（Hyperparameter Optimization）

上述自動化步驟的基礎(chǔ)都涉及超參數(shù)優(yōu)化，它幾乎無處不在。而就是這么一個耗時久、任務(wù)量重、讓數(shù)據(jù)科學(xué)家望而生畏的操作，它背后的技術(shù)原理卻不難，可以直接看成一個高性能模型和一個隨機數(shù)生成器模型。這個任務(wù)，TransmogrifAI可以代勞。、

賦予每個人使用ML技術(shù)的權(quán)利

總的來看，現(xiàn)在TransmogrifAI在Salesforce內(nèi)部已經(jīng)成功把訓(xùn)練模型所需的總時間從幾周、幾個月縮短到了幾個小時。而封裝所有這些復(fù)雜操作的代碼卻非常簡單，只需短短幾行就能搞定：

// 讀取交易數(shù)據(jù)

val dealData = DataReaders.Simple.csvCase[Deal](path = pathToData).readDataset().toDF()

// 提取原始信號，預(yù)測特征

val (isClosed, predictors) = FeatureBuilder.fromDataFrame[RealNN](dealData, response = "isClosed")

// 自動化特征工程

val featureVector = predictors.transmogrify()

// 自動化特征驗證

val cleanFeatures = survived.sanityCheck(featureVector, removeBadFeatures = true)

// 自動化模型選擇

val (pred, raw, prob) = BinaryClassificationModelSelector().setInput(isClosed, cleanFeatures).getOutput()

// 設(shè)置工作流程，訓(xùn)練模型

val model = newOpWorkflow().setInputDataset(dealData).setResultFeatures(pred).train()

這意味著TransmogrifAI已經(jīng)成為一個變革。

在我們眼里，這種自動化水平的工具對開發(fā)面向企業(yè)的機器學(xué)習(xí)系統(tǒng)至關(guān)重要，因此我們也相信，隨著機器學(xué)習(xí)在各行各業(yè)的應(yīng)用場景不斷拓寬，對運營方式產(chǎn)生巨大影響，未來企業(yè)對機器學(xué)習(xí)系統(tǒng)的需求會不斷增大，而那時，TransmogrifAI這樣的自動化機器學(xué)習(xí)庫可以幫助他們實現(xiàn)目標(biāo)，實現(xiàn)轉(zhuǎn)變。