背景

應(yīng)用安全領(lǐng)域，各類攻擊長久以來都危害著互聯(lián)網(wǎng)上的應(yīng)用，在web應(yīng)用安全風(fēng)險中，各類注入、跨站等攻擊仍然占據(jù)著較前的位置。WAF(Web應(yīng)用防火墻)正是為防御和阻斷這類攻擊而存在，也正是這些針對Web應(yīng)用的安全威脅促使了WAF這個產(chǎn)品的不斷發(fā)展和進(jìn)化。同時，各種機(jī)器學(xué)習(xí)算法和模型也被不斷提出和應(yīng)用在WAF等安全產(chǎn)品中，以期望解決這些風(fēng)險。

然而這些算法大多都以監(jiān)督學(xué)習(xí)為主，通過標(biāo)注的正負(fù)樣本數(shù)據(jù)，構(gòu)建針對特定攻擊類型的分類模型。安全領(lǐng)域通常面臨著「問題空間不閉合」、「正負(fù)樣本空間嚴(yán)重不對稱」等通用問題，只是利用機(jī)器學(xué)習(xí)算法做攻擊檢測同傳統(tǒng)安全檢測技術(shù)一樣，并不能解決「漏誤報難平衡」、「覆蓋規(guī)模與檢測性能難平衡」等問題。

那阿里云WAF智能防御體系A(chǔ)I內(nèi)核是如何突破這些問題的？本文就來一探究竟。

阿里云WAF 已入選Gartner 2019 WAF魔力象限，且是亞太唯一入圍的廠商，同時阿里云WAF算法能力被Gartner評為強勢功能。云WAF AI內(nèi)核為云WAF提供核心機(jī)器智能能力，為客戶提供精細(xì)化個性化智能化的防護(hù)，最大程度降低安全風(fēng)險。AI驅(qū)動的智能安全系統(tǒng)趨勢明顯，所帶來的收益也會越來越大。

阿里云WAF-AI內(nèi)核技術(shù)簡介

在阿里云WAF的智能防御體系中，內(nèi)嵌一顆AI內(nèi)核，不同于以往的只關(guān)注攻擊檢測的算法或規(guī)則。阿里云WAF-AI內(nèi)核采用「流量分層治理」與「千站千面防護(hù)」的智能安全思想，將流量整體分為白、灰、黑三大層，在每一層中部署不同類型的機(jī)器智能模型（主動防御模型、異常檢測模型、LTD攻擊檢測模型、故障預(yù)警模型、漏報感知模型、誤報感知模型等），各層之間的各個智能模型各司其職、各體自洽、各級聯(lián)動，共同協(xié)同形成一套對抗應(yīng)用層基礎(chǔ)威脅的決策智能體。同時，對不同的站點利用機(jī)器智能自主生成自適應(yīng)與該站點業(yè)務(wù)的防護(hù)規(guī)則或模型，即一千個站點有著一千套不同的定制化的防御體系，相當(dāng)于增加了成千上萬的安全專家與黑客攻擊進(jìn)行對抗，總體形成精細(xì)化個性化的智能安全系統(tǒng)。

主動防御模型

主動防御采用阿里云自研的流量模式學(xué)習(xí)算法自動學(xué)習(xí)域名的合法流量，利用無監(jiān)督的方式，對每個站點合法訪問流量進(jìn)行學(xué)習(xí)和刻畫，機(jī)器自主生成對白流量的安全白規(guī)則。同時在線上生成數(shù)百萬條規(guī)則，相當(dāng)于增加了成千上萬的安全專家。

異常檢測模型

異常檢測模型同樣利用「千站千面」的思想，采用多種異常檢測器從請求片段、時序序列等各種維度識別每個站點的灰流量，機(jī)器自主生成對灰流量的數(shù)百萬個檢測模型；

攻擊檢測模型

LTD攻擊檢測模型（Locate-Then-Detect）是基于機(jī)器視覺方法的深度學(xué)習(xí)攻擊檢測模型，由兩個深度神經(jīng)網(wǎng)絡(luò)組成，分別為PLN（Payload Locating Network 攻擊載荷靶向定位網(wǎng)絡(luò)）與PCN（Payload Classification Network 攻擊載荷分類網(wǎng)絡(luò)）。通過兩個深度神經(jīng)網(wǎng)絡(luò)的結(jié)合，可以準(zhǔn)確的定位惡意Payload所在的位置，并對其類型進(jìn)行精準(zhǔn)識別。LTD一方面借助深度學(xué)習(xí)強大的特征提取能力，增強了對威脅檢測的泛化，能夠發(fā)現(xiàn)更多變種攻擊，另一方面LTD模型結(jié)合了Object Detection和注意力機(jī)制的思想，首次解決了深度學(xué)習(xí)在網(wǎng)絡(luò)攻擊檢測領(lǐng)域的可解釋性問題。該成果已入選人工智能頂級學(xué)術(shù)會議IJCAI 2019。

其他模型

除此之外，阿里云WAF AI內(nèi)核還具備故障預(yù)警模型、漏報主動感知模型、誤報主動感知模型等。

阿里云WAF AI內(nèi)核的整體思想「分層治理」和「千站千面」屬于較大的技術(shù)創(chuàng)新變革，不僅僅可以應(yīng)用在應(yīng)用層的安全檢測中，在其他安全場景下也能適用，是通用的智能安全系統(tǒng)的核心范式。

阿里云WAF簡介

阿里云Web應(yīng)用防火墻（Web Application Firewall，簡稱WAF）基于云安全大數(shù)據(jù)和智能計算能力，通過防御SQL注入、XSS跨站腳本、常見Web服務(wù)器插件漏洞、木馬上傳、非授權(quán)核心資源訪問等OWASP常見Web攻擊，對網(wǎng)站或者App的業(yè)務(wù)流量進(jìn)行惡意特征識別和防護(hù)，將正常、安全的流量回源到服務(wù)器。避免網(wǎng)站或App業(yè)務(wù)服務(wù)器遭惡意入侵、保障業(yè)務(wù)核心數(shù)據(jù)安全、解決因惡意攻擊導(dǎo)致的服務(wù)器性能異常問題。

值得一提的是，Web應(yīng)用防火墻依托阿里云強大的計算和數(shù)據(jù)處理能力，通過業(yè)界領(lǐng)先的AI深度學(xué)習(xí)方法，在降低誤報率的同時有效地提高了檢出率。同時，Web應(yīng)用防火墻可以基于用戶業(yè)務(wù)訪問端上的模型收集和大數(shù)據(jù)分析能力準(zhǔn)實時處理高危請求。另外，Web應(yīng)用防火墻還提供自動報警和全局響應(yīng)規(guī)則的同步下發(fā)和升級功能。

阿里云Web應(yīng)用防火墻適用于金融、電商、o2o、互聯(lián)網(wǎng)+、游戲、政府、保險等行業(yè)各類網(wǎng)站或App業(yè)務(wù)的Web應(yīng)用安全防護(hù)。

Web應(yīng)用防火墻可以幫助用戶解決以下業(yè)務(wù)應(yīng)用安全問題：

防數(shù)據(jù)泄密：避免因黑客的注入入侵攻擊，導(dǎo)致網(wǎng)站核心數(shù)據(jù)被拖庫泄露。 防御惡意CC攻擊：通過阻斷海量的惡意請求，保障網(wǎng)站可用性。 阻止木馬上傳、網(wǎng)頁篡改，保障網(wǎng)站的公信力。 提供虛擬補丁：針對網(wǎng)站被曝光的最新安全漏洞，最大可能地提供快速修復(fù)規(guī)則。

Web應(yīng)用防火墻部署在網(wǎng)絡(luò)出入口位置，通過智能防護(hù)引擎、專家防護(hù)規(guī)則、主動防御檢測引擎并結(jié)合云端威脅情報能力，實時識別Web攻擊以及惡意Web請求，根據(jù)預(yù)先配置的防護(hù)策略實時防御，從而保障網(wǎng)站應(yīng)用的安全性與可用性。

阿里云WAF應(yīng)用的主要技術(shù)

1. 正則 + AI雙引擎檢測技術(shù)

2. Antibot實時模型算法反爬技術(shù)

3. 大數(shù)據(jù)威脅情報 + 百萬級IP爬蟲/黑名單一鍵封禁

4. 數(shù)據(jù)泄露防護(hù)技術(shù)

5. 海量日志存儲及智能檢索技術(shù)

阿里云WAF技術(shù)特點和優(yōu)勢：

阿里云WAF服務(wù)于對Web安全、CC攻擊、應(yīng)用層負(fù)載均衡與限速、業(yè)務(wù)安全、數(shù)據(jù)風(fēng)控有需求的云上云下用戶，經(jīng)過多年的技術(shù)積累，在傳統(tǒng)Web應(yīng)用防火墻的基礎(chǔ)技術(shù)架構(gòu)之上進(jìn)行了多項技術(shù)創(chuàng)新：

業(yè)務(wù)功能拓展：

阿里云WAF除傳統(tǒng)WAF產(chǎn)品所支持的基礎(chǔ)Web攻擊類防護(hù)功能、CC防護(hù)、頁面防篡改以外，額外拓展了如下功能特性： 1) 業(yè)務(wù)安全防護(hù): 線上票務(wù)系統(tǒng)惡意查詢/占座、論壇垃圾帖、惡意注冊、高風(fēng)險支付等

2) 客戶端SDK安全聯(lián)動，無需修改服務(wù)器端邏輯

3) 基于神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)和語義分析的攻擊檢測技術(shù)

4) 基于請求內(nèi)容類型特征概率分析的異常檢測技術(shù)

5) 指向性黑客威脅情報分析與溯源

6) 惡意爬蟲防護(hù)

7) 敏感信息泄露檢測與防護(hù)

8) 千萬級海量惡意IP庫聯(lián)動

9) 手機(jī)號、銀行卡、身份證信息數(shù)據(jù)風(fēng)控

10) 用戶網(wǎng)站業(yè)務(wù)性能分析

11) 海量訪問日志、攻擊日志存儲與自定義分析

12) 支持安全應(yīng)用商店：用戶可以直接通過云盾Web應(yīng)用防火墻中的生態(tài)商店一鍵開啟第三方合作方SaaS安全服務(wù)商提供的安全功能特性

13) 采用云方式接入，跨多云環(huán)境統(tǒng)一管控：云盾Web應(yīng)用防火墻基于云SaaS模式提供給用戶，接入節(jié)點遍布全球，國際版配置支持全球同步和任意國家節(jié)點智能就近接入。

威脅檢測/攔截方法創(chuàng)新：

1) 基于深度學(xué)習(xí)的實時分析與攔截：

將HTTP請求中的文本圖像化表示，使用深度卷積神經(jīng)網(wǎng)絡(luò)對不同攻擊類型的樣本進(jìn)行訓(xùn)練，避免人工提取和維護(hù)特征，通過添加樣本提升模型的檢測能力。 分離式GPU處理平臺，通過模型調(diào)優(yōu)和推理引擎優(yōu)化，時延<1.5ms (一般平臺時延在5ms以上)

2) 數(shù)據(jù)風(fēng)控與業(yè)務(wù)安全防御技術(shù)：

流式回應(yīng)注入采集腳本，用戶接入無需改造自身服務(wù)邏輯。 云端直接集成大數(shù)據(jù)風(fēng)控、人機(jī)識別能力。

3) 智能CC防護(hù)技術(shù)：

對全量用戶正常流量基線建模，對比基線數(shù)據(jù)模型實時檢測用戶流量異常發(fā)現(xiàn)cc攻擊事件，并自動產(chǎn)生正則表達(dá)式規(guī)則，生成并下發(fā)決策動作。 解決了傳統(tǒng)CC防護(hù)規(guī)則配置繁瑣，用戶學(xué)習(xí)門檻高，配置項只能基于經(jīng)驗進(jìn)行配置，容易誤殺漏殺的問題。

4) 基于隱性馬爾科夫過程的異常請求分析技術(shù)：

對用戶正常流量中的請求參數(shù)進(jìn)行文本歸一化映射，對字符分布、字串長度進(jìn)行隱馬序列概率模型建模，實時對于用戶流量中偏移正常概率的異常請求進(jìn)行異常攔截、進(jìn)一步攻擊識別等后續(xù)工作。

5) 語義分析攔截引擎：

傳統(tǒng)基于關(guān)鍵字正則表達(dá)式的SQL注入攻擊檢測、XSS攻擊檢測方法容易誤殺，且對于注釋變形、字符串語法變形等高級攻擊規(guī)避方法的檢測效果差。 語義分析攔截引擎基于實際SQL語句、XSS語句詞法、語法分析結(jié)合威脅等級綜合判斷攻擊行為，解決了對于高級黑客變形手段的攻擊檢測、攔截問題。

6) 行為分析引擎：

傳統(tǒng)WAF檢測引擎基于特定的攻擊特征進(jìn)行攻擊識別，無法檢測業(yè)務(wù)層的異常，例如刷票、搶紅包、惡意占座等場景。 云盾WAF的行為分析引擎對請求中的關(guān)鍵行為進(jìn)行定義、識別。通過分析行為分布、個體行為歷史特征、行為跳轉(zhuǎn)概率、停留時長、時間和地區(qū)分布特征等行為上下文信息，分析識別業(yè)務(wù)層異常。 線上業(yè)務(wù)實測可以降低99.8%的驗證碼、滑塊彈出場景，提升用戶體驗。

7) 全球分布式限流：

傳統(tǒng)的令牌桶機(jī)制可以較好的解決單機(jī)限流問題，但是在云上業(yè)務(wù)應(yīng)用場景下常見跨單機(jī)、跨集群、跨地域的分布式限流場景，使用傳統(tǒng)單機(jī)技術(shù)難以解決。 本系統(tǒng)通過分布式協(xié)議, 結(jié)合預(yù)估-租約-動作執(zhí)行的整體方案, 達(dá)到了可伸縮，低延時的資源全球統(tǒng)一管理效果。 通過實現(xiàn)本系統(tǒng)的匹配接口和動作執(zhí)行接口，可在限流的同時減少對用戶體驗的影響。如基于用戶流量價值的限流，或基于等待時間的限流。

8) 云+SDK整合攔截技術(shù)：

傳統(tǒng)WAF部署在網(wǎng)關(guān)端，無法直接獲取用戶客戶端環(huán)境的信息執(zhí)行強安全身份校驗，云盾WAF通過與安全SDK聯(lián)動，結(jié)合終端指紋、云上威脅判斷和人機(jī)交互識別滑塊/驗證碼提供傳統(tǒng)網(wǎng)關(guān)型WAF無法實現(xiàn)的強身份校驗和通信隧道加密的功能。

9) 無緩存檢測技術(shù)：

傳統(tǒng)WAF需要對需要檢測的數(shù)據(jù)進(jìn)行緩存，在高并發(fā)場景下會存在大量的內(nèi)存消耗，云盾WAF通過緩存檢測過程中檢測狀態(tài)機(jī)的快照狀態(tài)，不需要對具體的被檢測數(shù)據(jù)進(jìn)行緩存，可以支持超過1Gb的數(shù)據(jù)檢測深度(當(dāng)前市面上的商業(yè)化WAF普遍在100Mb以內(nèi))。

10）回應(yīng)修改與腳本插入技術(shù)：

云盾WAF基于自研檢測引擎支持對所處理流量進(jìn)行HTML標(biāo)簽粒度的內(nèi)容修改，可以動態(tài)插入新元素、替換現(xiàn)有流量數(shù)據(jù)，做到在不修改用戶服務(wù)器端代碼的情況下做到修改業(yè)務(wù)邏輯、插入執(zhí)行代碼等工作。

11）主動防御模型

云盾WAF通過主動對用戶的域名流量學(xué)習(xí)，定義出哪些是“白”，以達(dá)到最佳的防護(hù)效果的一種思路，目前主要采用歸一化的技術(shù)來將用戶流量中的合法的URL，參數(shù)通過模型自動生成正則表達(dá)式來表示。

安全事件分析方法創(chuàng)新：

1) 黑客溯源技術(shù)：

通過對攻擊者的攻擊會話進(jìn)行追蹤，持久化的跟蹤黑客攻擊路徑，云盾WAF可以分析單個黑客的攻擊鏈條、并捕獲真人黑客的定向web攻擊。

2) 大數(shù)據(jù)系統(tǒng)聯(lián)動與惡意IP情報系統(tǒng)：

通過對流量日志特征分析挖掘惡意IP，如代理IP、各類爬蟲IP、肉雞IP等多種情報信息。通過將惡意IP情報系統(tǒng)與云防護(hù)引擎聯(lián)動實現(xiàn)協(xié)同防御。

3) 全量日志存儲與分析檢索：

基于飛天大數(shù)據(jù)基礎(chǔ)設(shè)施，所有經(jīng)過云WAF處理的數(shù)據(jù)在經(jīng)過用戶同意后可以做到PB級別全量數(shù)據(jù)存儲，并進(jìn)行基于自定義統(tǒng)計語句的快速自定義實時分析和報表定義，并可以作為數(shù)據(jù)源與用戶自有的安全數(shù)據(jù)分析系統(tǒng)進(jìn)行數(shù)據(jù)對接。

4) 客戶業(yè)務(wù)質(zhì)量分析：

云盾WAF的數(shù)據(jù)分析系統(tǒng)可以基于用戶業(yè)務(wù)返回值、延遲時間、訪問分布分析客戶業(yè)務(wù)的實際運行情況與運行質(zhì)量，為用戶提供性能優(yōu)化建議。

5) 實況數(shù)據(jù)大屏

基于實時大數(shù)據(jù)分析技術(shù)和三維數(shù)據(jù)呈現(xiàn)渲染，云盾WAF提供實時的攔截報警大屏，可以通過WEB端或者YUNOS終端智能設(shè)備作為投屏源，幫助用戶實時感知安全威脅。

技術(shù)架構(gòu)創(chuàng)新：

1) 大規(guī)模分布式應(yīng)用層轉(zhuǎn)發(fā)集群

2) 縱深應(yīng)用層防御體系

3) 線上線下統(tǒng)一安全管理

4) OpenAPI管控接口

5) 安全與轉(zhuǎn)發(fā)平面分離、業(yè)務(wù)沙箱

阿里云WAF獲獎情況：

1. 作為國內(nèi)唯一廠商入選2019 Gartner WAF魔力象限，2018年進(jìn)入Gartner亞太地區(qū)報告

2. 連續(xù)兩年獲得Frost&Sullivan 大中華區(qū)云WAF市場占有率第一

3. 獲得CNCERT 2018年網(wǎng)絡(luò)安全創(chuàng)新產(chǎn)品一等獎

4. 產(chǎn)品的Antibot能力進(jìn)入到Forrester全球技術(shù)評測第一陣營

5. 榮獲Freebuf 2016年互聯(lián)網(wǎng)安全創(chuàng)新大會”年度云安全產(chǎn)品及服務(wù)”

6. 2017、2018年兩次獲得阿里云產(chǎn)品飛天獎、云鼎獎

評委點評

金湘宇 Sec-UN網(wǎng)站創(chuàng)始人/威脅情報推進(jìn)聯(lián)盟發(fā)起人：

人工智能技術(shù)已經(jīng)進(jìn)入了新的應(yīng)用階段，比起早年對于基礎(chǔ)技術(shù)、 平臺的關(guān)注，當(dāng)前業(yè)界更加關(guān)注于落地的業(yè)務(wù)場景、實際效果。阿里云將AI技術(shù)與其早已成熟的WAF產(chǎn)品結(jié)合，將傳統(tǒng)的基于規(guī)則、特征的WAF防護(hù)產(chǎn)品，利用AI技術(shù)實現(xiàn)了異常檢測、攻擊檢測、故障預(yù)警、漏洞主動感知和誤報主動感知，將傳統(tǒng)的WAF產(chǎn)品從之前的被動防御逐漸過渡至主動防御，并且在阿里云的眾多用戶中成功進(jìn)行了運用。阿里云WAF AI驅(qū)動的智能防御體系是近年網(wǎng)絡(luò)安全領(lǐng)域真正的實質(zhì)創(chuàng)新之一，也是我今年WitAwards我最推薦的項目之一。

原文鏈接

本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。