谷歌首席決策智能工程師Cassie Kozyrkov最近寫(xiě)了一篇AI/機(jī)器學(xué)習(xí)項(xiàng)目構(gòu)建“終極指南”。既然是入門(mén)級(jí)，文中對(duì)算法、模型等技術(shù)內(nèi)容幾乎沒(méi)提，而是從尋找合適項(xiàng)目負(fù)責(zé)人開(kāi)始，講到用戶(hù)案例、性能指標(biāo)、再到團(tuán)隊(duì)招募、測(cè)試標(biāo)準(zhǔn)制定等，洋洋灑灑而又條理清晰，值得初涉AI項(xiàng)目的人士參考。

目前，許多團(tuán)隊(duì)正在試圖通過(guò)深入研究算法和數(shù)據(jù)來(lái)啟動(dòng)一個(gè)應(yīng)用型AI項(xiàng)目，然后再確定期望的輸出和目標(biāo)。

不幸的是，這個(gè)過(guò)程就好比在公寓里養(yǎng)了幾年小狗，然后驚訝地發(fā)現(xiàn)它不能幫你放羊。

相反，你需要在養(yǎng)小狗（ML/AI系統(tǒng)）之前，明確自己的目標(biāo)或需求是什么，然后再有計(jì)劃地對(duì)其進(jìn)行訓(xùn)練。

這篇指南就深入的研究了如何正確的開(kāi)展ML/AI系統(tǒng)，并將從以下五個(gè)方面進(jìn)行講解：

明確項(xiàng)目負(fù)責(zé)人

識(shí)別用戶(hù)案例

做一些事實(shí)核查

制定性能指標(biāo)

設(shè)定測(cè)試標(biāo)準(zhǔn)，來(lái)消除認(rèn)知因素產(chǎn)生的偏差

本指南使用人群：決策者、倫理學(xué)家、ML/AI工程師、分析師、定性專(zhuān)家、經(jīng)濟(jì)學(xué)家、心理學(xué)家、可靠性工程師、人工智能研究員、領(lǐng)域?qū)＜?、用?hù)體驗(yàn)專(zhuān)家、統(tǒng)計(jì)學(xué)家、人工智能控制理論家。

明確項(xiàng)目負(fù)責(zé)人：找到說(shuō)了算的人！

在機(jī)器學(xué)習(xí)和人工智能項(xiàng)目中，第一步應(yīng)該是明確正確的領(lǐng)導(dǎo)人選

我們將要解決的問(wèn)題是誰(shuí)來(lái)當(dāng)項(xiàng)目負(fù)責(zé)人，也就是說(shuō)，該由誰(shuí)來(lái)發(fā)號(hào)施令。

如果你選擇了一個(gè)博士研究員來(lái)?yè)?dān)任這個(gè)職位，那可能是由于這個(gè)人的決策能力和對(duì)你的業(yè)務(wù)的深刻理解。如果你打算讓他們擔(dān)任這個(gè)角色，事后再對(duì)他們的能力進(jìn)行評(píng)定，那么你選錯(cuò)人了。我們所稱(chēng)的決策者(可以是個(gè)人或委員會(huì))是應(yīng)該擁有最終決定權(quán)的實(shí)體。

如果決策者不精通決策的藝術(shù)和科學(xué)，有一個(gè)解決辦法：將他們和定性專(zhuān)家進(jìn)行配對(duì)。

識(shí)別用戶(hù)案例

關(guān)注輸出

ML/AI不是魔法，它不能解決所有問(wèn)題。它們只是一個(gè)標(biāo)簽，你需要自己去弄清楚你要往上面貼什么標(biāo)簽。

事物標(biāo)簽不僅僅意味著分類(lèi)。這里的標(biāo)簽是指輸出。它可以是一個(gè)類(lèi)別，一個(gè)數(shù)字，一個(gè)句子，一個(gè)波形，一組ID，一個(gè)單一動(dòng)作，一個(gè)操縱桿運(yùn)動(dòng)，一個(gè)動(dòng)作序列等等。

如果你讀了我最近一篇關(guān)于算法如何工作的文章，你就會(huì)注意到這篇文章想當(dāng)然地認(rèn)為有必要給一杯茶貼上Cassie喜歡或不喜歡的標(biāo)簽。

誰(shuí)會(huì)同意浪費(fèi)每個(gè)人的時(shí)間去做這樣的用例呢？！它將如何幫到企業(yè)？那個(gè)分類(lèi)器甚至應(yīng)該存在嗎？假設(shè)它可以工作，那它值得花時(shí)間和精力去建造嗎?

現(xiàn)在談“輸入”并不是一個(gè)好時(shí)機(jī)

決策者中有很多人對(duì)數(shù)據(jù)非常熟悉。有些人可以同時(shí)談?wù)撦斎牒洼敵龇矫娴氖虑椤５业慕ㄗh是：不要談?wù)摗拜斎搿?！原因如下?/p>

原因1：會(huì)錯(cuò)失良機(jī)

這是非常顯而易見(jiàn)的。有些利益相關(guān)者對(duì)數(shù)據(jù)并不會(huì)像你那樣熟悉，他們很容易混淆。在早期，你可能會(huì)向他們介紹你的想法，希望為你的項(xiàng)目獲得資源。但不要讓他們對(duì)此產(chǎn)生困惑！要告訴他們項(xiàng)目是做什么的，而不是怎么做的。

很多對(duì)數(shù)據(jù)比較熟悉人都會(huì)遇到一個(gè)問(wèn)題，那就是他們會(huì)想當(dāng)然的認(rèn)為別人對(duì)數(shù)據(jù)也是非常敏感、熟悉的。而讓我干到非常震驚的是，科技界許多絕頂聰明的人對(duì)數(shù)據(jù)并不了解，所以我現(xiàn)在知道不應(yīng)該將這件事情看得那么理所當(dāng)然。

原因2: 我們默認(rèn)的情形不一定是最優(yōu)的

作為一名有著多年經(jīng)驗(yàn)工程師，我發(fā)現(xiàn)我們這些人越來(lái)越喜歡關(guān)注細(xì)節(jié)，去他的大局觀。這實(shí)際上一種是風(fēng)險(xiǎn)很大的選擇：比如當(dāng)你花了6個(gè)小時(shí)與你的伙伴討論，變量x是否是一個(gè)很好的輸入，是否可以作為預(yù)測(cè)輸出y的適當(dāng)記錄，這時(shí)其實(shí)你已經(jīng)默認(rèn)y是值得尋求的產(chǎn)出了。你已經(jīng)確信了這一點(diǎn)，最后可能會(huì)做出并不需要的東西。

你可能還沒(méi)有為機(jī)器學(xué)習(xí)做好準(zhǔn)備

仍在忙著尋找用戶(hù)實(shí)例嗎？先停下來(lái)分析一下吧，分析的目標(biāo)是為決策者創(chuàng)造靈感。一旦你受到了啟發(fā)，你就可以回到ML /AI過(guò)程中并重新開(kāi)始。分析（比如數(shù)據(jù)挖掘）對(duì)于每個(gè)項(xiàng)目而言都是一個(gè)好主意，而ML / AI僅適用于利用數(shù)據(jù)自動(dòng)化標(biāo)記的項(xiàng)目。

雖然它們之間的數(shù)學(xué)基礎(chǔ)通常是相同的，但具體過(guò)程有很大差異。數(shù)據(jù)挖掘就是最大限度地提高發(fā)現(xiàn)速度，而機(jī)器學(xué)習(xí)是實(shí)現(xiàn)高性能的自動(dòng)化過(guò)程。在數(shù)據(jù)挖掘中，你的團(tuán)隊(duì)只會(huì)犯一個(gè)錯(cuò)誤，而后者可能犯的錯(cuò)誤不勝枚舉。只有處理確實(shí)值得投入資源的實(shí)例時(shí)，再著手處理這些令人頭疼的問(wèn)題。

讓我們想象一下這個(gè)用例，標(biāo)記圖片是不是一杯茶。首先要確保不是僅僅考慮標(biāo)記一兩個(gè)杯子。 ML/AI對(duì)于自動(dòng)執(zhí)行許多重復(fù)決策很有意義，它不是一次性的。

拿一支筆，寫(xiě)下你自己判斷的標(biāo)記，（本例中只涉及是/否，很容易）。寫(xiě)下你如何判斷出這個(gè)結(jié)果的，寫(xiě)下標(biāo)記錯(cuò)誤會(huì)是什么樣子的。然后預(yù)計(jì)機(jī)器學(xué)習(xí)中會(huì)出現(xiàn)的錯(cuò)誤。

核對(duì)事實(shí)很重要

一旦你能清楚地表達(dá)出你所尋求的標(biāo)記，就可以快速檢查一下：你手頭關(guān)于這個(gè)商業(yè)問(wèn)題的數(shù)據(jù)嗎？

這些數(shù)據(jù)必須具有相關(guān)性。你不能使用大數(shù)據(jù)的模式來(lái)預(yù)測(cè)你的血糖水平。顯然，無(wú)用的數(shù)據(jù)是不算數(shù)的。你不必分析數(shù)據(jù)（這事放在項(xiàng)目的后期來(lái)做），但應(yīng)該確定在時(shí)機(jī)成熟時(shí)需要進(jìn)行分析的內(nèi)容。因?yàn)闆](méi)有數(shù)據(jù)，AI項(xiàng)目就不復(fù)存在了。

此外，你還需要確認(rèn)是否具備處理數(shù)據(jù)的計(jì)算力。

沒(méi)有數(shù)據(jù)支持，AI項(xiàng)目就會(huì)像這頭牛一樣

在組建團(tuán)隊(duì)之前，有必要檢查以下事實(shí)。確保以下問(wèn)題的答案都是肯定的，下面是這些問(wèn)題的概覽：

適當(dāng)?shù)娜蝿?wù):你是否在自動(dòng)進(jìn)行許多決策和標(biāo)記過(guò)程？是否無(wú)法每次都完美找到答案？

合理的期望:你的系統(tǒng)可能會(huì)很優(yōu)秀，但并不是完美無(wú)瑕的，你能否接受偶爾會(huì)出錯(cuò)的系統(tǒng)？

潛在的有用輸入是否存在？你能否獲取到這些輸入（目前沒(méi)有這些數(shù)據(jù)也沒(méi)問(wèn)題，未來(lái)制定計(jì)劃可以拿到這些數(shù)據(jù)就行）

充足的實(shí)例:當(dāng)有機(jī)會(huì)和統(tǒng)計(jì)學(xué)家或機(jī)器學(xué)習(xí)工程師一起喝酒時(shí)，記得提一嘴現(xiàn)在自己手頭有多少實(shí)例可用，想要獲得什么樣的輸出。

計(jì)算機(jī)性能:你是否擁有足夠的計(jì)算力來(lái)應(yīng)對(duì)你使用的數(shù)據(jù)集？有了云技術(shù)，這一點(diǎn)其實(shí)不再是什么大問(wèn)題了。

團(tuán)隊(duì):你是否足夠自信，認(rèn)為一定可以招募到擁有必要技能的隊(duì)友？

基本事實(shí):除非從事非監(jiān)督式學(xué)習(xí)研究，你能夠正確獲取輸出嗎？如果不能，是不是要花錢(qián)請(qǐng)人為你完成這項(xiàng)任務(wù)？

可以開(kāi)始組建團(tuán)隊(duì)了！

明智地確定衡量標(biāo)準(zhǔn)

如果你是個(gè)新手，下一步可能會(huì)有點(diǎn)棘手。你要決定每個(gè)標(biāo)記結(jié)果的價(jià)值。被標(biāo)記為“是”的令人作嘔的一杯茶的味道比一杯被標(biāo)記為“否”的美味的茶的爛多少倍？ 全都由你決定！

如果你已經(jīng)頭大了，可以找一些對(duì)數(shù)字敏感的人一起頭腦風(fēng)暴。如果你想要最好的幫助者，可以向一些經(jīng)濟(jì)學(xué)家求助。經(jīng)濟(jì)學(xué)家為AI項(xiàng)目提供了很多有用的意見(jiàn)。

在搞清楚如何把握單一輸出結(jié)果的權(quán)衡問(wèn)題之后，就該考慮如何處理幾千個(gè)結(jié)果的問(wèn)題了。使用平均值是一個(gè)一般選擇，但不一定非要取平均值。

制定指標(biāo)

制定指標(biāo)的方法有很多種。在本文中上面的例子里，你可以選擇一個(gè)非常簡(jiǎn)單的標(biāo)準(zhǔn)：準(zhǔn)確性！也就是說(shuō)“不要出錯(cuò)。”假設(shè)每個(gè)錯(cuò)誤都同樣糟糕（取值為0），每個(gè)正確反應(yīng)的作用都一樣好（取值為1），然后取平均值。

也許你不想浪費(fèi)自己的時(shí)間，你要確保當(dāng)系統(tǒng)判定為美味時(shí)，它真的值得喝喝看，但你可能因此錯(cuò)過(guò)非常好喝的茶。嗯，這個(gè)度量標(biāo)準(zhǔn)稱(chēng)為精度。

遇到問(wèn)題需要幫助了？你之前找來(lái)的經(jīng)濟(jì)學(xué)家已經(jīng)走了？沒(méi)問(wèn)題！或者你有喜歡設(shè)計(jì)游戲的朋友嗎？游戲愛(ài)好者在不知不覺(jué)中在整個(gè)生命中都在進(jìn)行訓(xùn)練！如果你和這類(lèi)人沒(méi)那么深的交情，你可以打電話(huà)給你的分析專(zhuān)家，他們的工作就是幫助決策者確認(rèn)對(duì)這類(lèi)事情的觀點(diǎn)。

咨詢(xún)專(zhuān)家意見(jiàn)

在涉及到重大問(wèn)題的應(yīng)用中，請(qǐng)多咨詢(xún)專(zhuān)家，確認(rèn)不會(huì)以某種不正當(dāng)和有害的方式對(duì)某些指標(biāo)打了高分。

應(yīng)該請(qǐng)哪些專(zhuān)家？你是否聽(tīng)說(shuō)過(guò)一個(gè)笑話(huà)，說(shuō)一位決策者、倫理學(xué)家，AI控制理論家，統(tǒng)計(jì)學(xué)家，用戶(hù)體驗(yàn)研究員，行為經(jīng)濟(jì)學(xué)家，領(lǐng)域?qū)＜液涂煽啃怨こ處熞黄鹱哌M(jìn)酒吧......

當(dāng)然，這種情況對(duì)于無(wú)害的商業(yè)應(yīng)用程序來(lái)說(shuō)可能有點(diǎn)過(guò)分，因此您求助的專(zhuān)家對(duì)這些學(xué)科的熟悉程度非常重要。

創(chuàng)建業(yè)績(jī)指標(biāo)！

當(dāng)你完成上面的步驟后，就已經(jīng)創(chuàng)建了業(yè)務(wù)績(jī)效指標(biāo)！

與損失函數(shù)不同，在績(jī)效指標(biāo)方面，存在的可能是無(wú)窮無(wú)盡的，要由決策者決定哪些指標(biāo)才是真正重要的。如果您對(duì)解決這個(gè)問(wèn)題感到焦慮，我正在醞釀更多文章來(lái)幫助您掌握這些指標(biāo)的開(kāi)發(fā)。

損失函數(shù)是用于優(yōu)化的，不是用來(lái)測(cè)試的

“在AI應(yīng)用中，損失函數(shù)應(yīng)該用于優(yōu)化，而不是用于統(tǒng)計(jì)測(cè)試。統(tǒng)計(jì)測(cè)試中應(yīng)該問(wèn)的問(wèn)題是：“模型的性能是否足以構(gòu)建和啟動(dòng)？”

為方便起見(jiàn)，您可以使用標(biāo)準(zhǔn)化的損失函數(shù)進(jìn)行優(yōu)化，前提是該函數(shù)與你的領(lǐng)導(dǎo)想象中的函數(shù)相同（可通過(guò)分析或模擬執(zhí)行相關(guān)性檢查），但測(cè)試時(shí)，請(qǐng)使用自己的損失函數(shù)。

針對(duì)目標(biāo)人群設(shè)置測(cè)試標(biāo)準(zhǔn)

明確你感興趣的目標(biāo)人群

在指定打算使用哪些實(shí)例之前，談?wù)撓到y(tǒng)是否能夠“正常工作”是沒(méi)有意義的。是的，這意味著你需要指定對(duì)那些特定的人群感興趣。

設(shè)置測(cè)試系統(tǒng)的標(biāo)準(zhǔn)是決策者的責(zé)任，應(yīng)該引起重視。

預(yù)先設(shè)定標(biāo)準(zhǔn)是保護(hù)我們避免打造出可怕的機(jī)器學(xué)習(xí)和人工智能系統(tǒng)的重要一步。

這個(gè)標(biāo)準(zhǔn)不是唯一的。你也可以制定一個(gè)團(tuán)隊(duì)可以達(dá)到的性能水平，但這不是測(cè)試標(biāo)準(zhǔn)的，測(cè)試時(shí)請(qǐng)使用最低限度的標(biāo)準(zhǔn)。

克服固有認(rèn)知偏見(jiàn)的影響

事實(shí)證明，作為人類(lèi)的一員，我們都存在一些可愛(ài)的認(rèn)知偏見(jiàn)，可以簡(jiǎn)單歸結(jié)為：當(dāng)我們?yōu)槟臣峦度肓藭r(shí)間和精力，我們就會(huì)愛(ài)上它，即使產(chǎn)生的是一堆有毒的垃圾！

所以，趁著你現(xiàn)在仍然清醒，在將大部分時(shí)間和精力投入某個(gè)項(xiàng)目之前，應(yīng)該對(duì)業(yè)務(wù)項(xiàng)目中問(wèn)題進(jìn)行冷酷而嚴(yán)格的審視，并能夠達(dá)到：“如果這個(gè)項(xiàng)目達(dá)不到最低要求，我保證砍掉它！”

不要太苛刻

如果你總是要求AI模型的表現(xiàn)比人類(lèi)更好，那你可能會(huì)讓你錯(cuò)過(guò)機(jī)會(huì)。這有點(diǎn)像說(shuō)，你只愿意聘請(qǐng)奧運(yùn)會(huì)金牌得主來(lái)為你家的裝修鋪地磚。也許奧林匹克運(yùn)動(dòng)員比普通人的能力更強(qiáng)，但采用如此嚴(yán)格的招聘標(biāo)準(zhǔn)可能會(huì)讓你無(wú)人可招。

應(yīng)該適當(dāng)?shù)亟档蜆?biāo)準(zhǔn)，使其能夠滿(mǎn)足業(yè)務(wù)需求即可，但不低于最低標(biāo)準(zhǔn)。正如經(jīng)濟(jì)學(xué)家所說(shuō)，將標(biāo)準(zhǔn)放低至最低限度是具有激勵(lì)作用的。

有時(shí)自動(dòng)化生產(chǎn)的產(chǎn)品的單位質(zhì)量會(huì)低于手工制品，但機(jī)器制造的規(guī)模和速度使其具備了商業(yè)上的價(jià)值。這對(duì)你的業(yè)務(wù)有價(jià)值嗎？嘿，負(fù)責(zé)人是你，不是我。祝你好運(yùn)！

以上就是AI/機(jī)器學(xué)習(xí)項(xiàng)目搭建的第一步指南！如果你發(fā)現(xiàn)本指南中的任何觀點(diǎn)還算有價(jià)值，請(qǐng)分享給身邊的人中最有可能負(fù)責(zé)決策的人。讓我們建立一支技術(shù)嫻熟、負(fù)責(zé)任的人工智能領(lǐng)導(dǎo)者團(tuán)隊(duì)，共創(chuàng)AI的美好未來(lái)！