人們口口聲聲擔(dān)心「人工智能的推斷不可靠」，實(shí)則連個(gè)數(shù)據(jù)泄露的問題都敢忽略。

人們常會提到，當(dāng)今流行的深度學(xué)習(xí)模型是黑箱狀態(tài)——給它一個(gè)輸入，模型就會決策出一個(gè)結(jié)果，其中的過程不為人所知。人們無法確切知道深度學(xué)習(xí)的決策依據(jù)以及結(jié)果是否可靠。近年來，越來越多的新研究面向構(gòu)建可信的機(jī)器學(xué)習(xí)方法獲得了成果。 然而最近發(fā)生的一件事情告訴我們，很多時(shí)候被廣泛應(yīng)用的機(jī)器學(xué)習(xí)模型出問題的原因，壓根就不會深入到算法層面。一點(diǎn)數(shù)據(jù)上的紕漏就會造成讓人啼笑皆非的結(jié)果，而且最重要的是，這樣的事比所謂「模型不可解釋」造成的損失還要多出不少。

上個(gè)星期，美國賓夕法尼亞州歷史保護(hù)官員和交通部門之間發(fā)送了大量郵件，其中內(nèi)容混合了悲傷、困惑和沮喪的情緒。這一丑聞造成的影響仍在繼續(xù)，在官方做出回應(yīng)之前，我們還不能了解更多情況（盡管此事在當(dāng)?shù)乜脊艑W(xué)家之間已經(jīng)人盡皆知了）。 一個(gè)價(jià)值 36.5 萬美元的機(jī)器學(xué)習(xí)模型打了水漂。 發(fā)生甚么事了？ 五年前，一些人帶著創(chuàng)意拜訪了賓州交通部，提出為史前考古遺址創(chuàng)建一個(gè)全州范圍預(yù)測模型。最終，政府部門選擇與一家大型工程公司合作，后者一直在考古調(diào)查方面花錢。

從合同中我們可以看到，這家公司花費(fèi)了納稅人 36.59 萬美元，承諾提供一款最強(qiáng)大的模型，該模型還整合了 GIS（地理信息系統(tǒng)）疊加分析，其結(jié)果可供考古學(xué)家們使用。

從那以后直到今天，絕大多數(shù)賓夕法尼亞州交通部門的項(xiàng)目和所有需要進(jìn)行文化資源調(diào)查的項(xiàng)目，在進(jìn)行前都使用了這個(gè)機(jī)器學(xué)習(xí)模型的推斷結(jié)果。

從數(shù)據(jù)準(zhǔn)備、模型選擇再到性能測試，這一項(xiàng)目原本看起來有模有樣，然而錯(cuò)誤一旦被人揭穿，情況就變得不忍直視了。 他們將待預(yù)測區(qū)域當(dāng)做負(fù)樣本 從 2013 年中到 2015 年，項(xiàng)目承包商花了一年半左右的時(shí)間向賓州交通部門交付了一個(gè)模型和 7 冊文檔。 不幸的是，到目前為止，似乎沒有人閱讀過該文檔。模型似乎會輸出一些毫無意義的數(shù)字，而背后原因非常神奇。

咨詢公司將未調(diào)研的土地用作負(fù)樣本數(shù)據(jù)集，但是，這些土地不就是模型將要預(yù)測的那部分嗎？一個(gè)花費(fèi)了 30 多萬美元的模型，卻真實(shí)地包含了這樣的錯(cuò)誤。

無論如何，在一個(gè)（混合了回歸和隨機(jī)森林的）模型中使用 null 數(shù)據(jù)都是不合適的，這些本不應(yīng)該作為負(fù)樣本數(shù)據(jù)而出現(xiàn)。即使這些 null 數(shù)據(jù)存在于自變量中，而不是因變量，它們依舊能夠?qū)δＰ偷耐评斫Y(jié)果造成嚴(yán)重破壞。 他們檢查項(xiàng)目時(shí)沒有使用數(shù)據(jù)處理的最佳實(shí)踐 可為什么開發(fā)團(tuán)隊(duì)的數(shù)據(jù)科學(xué)家們辛苦工作了一年半，也沒有意識到他們在第一步中就犯了錯(cuò)？這與他們檢查項(xiàng)目的方式有關(guān)。 一般來說，檢查的金標(biāo)準(zhǔn)是留出一部分隨機(jī)選擇的部分。此時(shí)，只要你訓(xùn)練了模型，就可以知道該模型在給到真實(shí)數(shù)據(jù)時(shí)是否 work。

顯然，在這件事中，相關(guān)研究人員未曾進(jìn)行這樣的驗(yàn)證。也許他們使用了一些神秘的統(tǒng)計(jì)方法？這就不得而知了。 他們將已知地點(diǎn)視為隨機(jī)采樣的結(jié)果 眾所周知，即使在一個(gè)項(xiàng)目區(qū)域內(nèi)，也并非所有土地的采樣率都相同。僅使用鏟測試坑（Shovel Test Pit），并假設(shè)你有 100 英畝的土地，其中 50 英畝是高概率，50 英畝是低概率，并以不同的間隔（常見的有 15 米、30 米）對其進(jìn)行測試。這意味著你有 80% 的測試是在高概率土地上進(jìn)行的，因?yàn)槟憧梢栽谝挥€土地上以 15 米的間隔進(jìn)行 16 次鏟土測試，以 30 米的間隔進(jìn)行約 4 次測試。因此你需要在高概率部分上找到 80% 的站點(diǎn)。 因此我們有一些已知的站點(diǎn)，這些站點(diǎn)并不是從隨機(jī)采樣的土地中發(fā)現(xiàn)的，而是從人們認(rèn)為能夠找到它們的位置發(fā)現(xiàn)的。 直覺上，大多數(shù)考古學(xué)家都知道這一點(diǎn)。這很重要，因?yàn)橐阎恼龢颖緮?shù)據(jù)集的自變量分布已用于這些統(tǒng)計(jì)測試。這種分布是有偏置的，數(shù)據(jù)科學(xué)家不知道如何解釋這些偏置。 因此，我們需要留出一部分?jǐn)?shù)據(jù)。 項(xiàng)目管理，沒有管理？

花費(fèi) 36.5 萬美元，并不意味著簡單地讓承包商派一個(gè)人過來，在辦公室角落里搗鼓幾年，而無需他人管理。 追溯到 2014 年初，這個(gè)項(xiàng)目在交付給賓州交通部門的第三卷文檔中，已經(jīng)犯了致命的錯(cuò)誤（使用 null 數(shù)據(jù)作為負(fù)樣本數(shù)據(jù)）。難道這個(gè)項(xiàng)目無人監(jiān)督嗎？為什么在向賓州交通部門收取數(shù)十萬美元之前，這個(gè)融合了 GIS 和機(jī)器學(xué)習(xí)的模型不值得其他人（無論是同事還是上級）關(guān)注？ 交通部門盡到職責(zé)了嗎？ 交付文檔之后，賓州交通部門中誰閱讀過這些文檔？作者猜測可能沒人閱讀，也沒人能理解這些文檔。不過這純粹是猜測了，我們更愿意相信文檔被讀過，只是讀地不仔細(xì)。

針對該模型中最大的錯(cuò)誤而言，任何上過大學(xué)統(tǒng)計(jì)學(xué)課程的人都應(yīng)該能夠解決這個(gè)問題。但是正如有人指出的那樣，考古學(xué)家很少學(xué)習(xí)這些數(shù)學(xué)課程，因此可能不會有考古學(xué)家來指出這些錯(cuò)誤。 教訓(xùn) 這一錯(cuò)誤浪費(fèi)了納稅人 36.5 萬美元，顯示了美國交通部門和售賣該模型的公司在質(zhì)量控制方面的漫不經(jīng)心，同時(shí)也表明，一些有問題的模型目前仍在某些重要的大型項(xiàng)目中使用。 老實(shí)說，如果想要一個(gè)預(yù)測模型，你拿出這個(gè)項(xiàng)目 3–5% 的經(jīng)費(fèi)就夠了。把模型做得簡單一點(diǎn)，這樣你就能自己對它進(jìn)行更新、測試。即使這個(gè)模型沒有大量的質(zhì)量控制問題，復(fù)雜的數(shù)學(xué)模型也不比簡單的性能要好。 揭露此事的人，Medium 博主 Archaic Inquiries 表示，他目前還在等待 SHPO 和 DOT 的回復(fù)。他特別強(qiáng)調(diào)，他既不在這個(gè)州工作，近期也沒有這個(gè)打算，寫這篇批評文章也沒拿到什么報(bào)酬。他的動機(jī)很簡單：看到這個(gè)模型由于缺乏監(jiān)管而用于政策指導(dǎo)，作為一名專業(yè)人員的他為自己的領(lǐng)域感到尷尬。

機(jī)器學(xué)習(xí)的推斷結(jié)果出錯(cuò)造成的損失有大有小，在這里可能意味著不少古人類遺跡被忽略，但最可怕的地方在于，在機(jī)器學(xué)習(xí)技術(shù)被廣泛應(yīng)用的今天，這樣的錯(cuò)誤其實(shí)屢見不鮮。 在社交網(wǎng)絡(luò)上，賓州算法事件被機(jī)器學(xué)習(xí)圈的人廣泛討論，有人表示：「我遇到的大多數(shù)數(shù)據(jù)科學(xué)家，都完全沒有意識到這種錯(cuò)誤推理的問題（數(shù)據(jù)泄露），而且因?yàn)閷τ跈C(jī)器學(xué)習(xí)的無條件信任，甚至相信算法，更甚于相信自己的領(lǐng)域知識。」 「我認(rèn)識一個(gè)政府機(jī)構(gòu)的數(shù)據(jù)科學(xué)家，有很多次，我不得不向他解釋一些數(shù)據(jù)科學(xué)領(lǐng)域中的基本概念。我不會點(diǎn)明他在哪個(gè)機(jī)構(gòu)，但當(dāng)美國人的生命受到威脅時(shí)，它會是人們首先想要求助的那個(gè)部門。」在 Reddit 上，用戶 Stereoisomer 說道。 不知此類在技術(shù)上沒有什么解決難度的問題，以后會不會越來越少。

原文標(biāo)題：模型花費(fèi)幾十萬美元，五年之間指導(dǎo)無數(shù)項(xiàng)目，才發(fā)現(xiàn)負(fù)樣本用的是null？

文章出處：【微信公眾號：人工智能與大數(shù)據(jù)技術(shù)】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq