調研：黃勇 武宇

撰寫：蘭壹凡

隨著數(shù)字經(jīng)濟發(fā)展，各行業(yè)數(shù)字化轉型的深入和萬物互聯(lián)的發(fā)展趨勢下，“數(shù)據(jù)即資產(chǎn)”成為企業(yè)共識，數(shù)據(jù)價值挖掘成為企業(yè)關注的重點。與此同時，隨著企業(yè)對決策與分析時效性要求的日益提升，能夠傳遞實時、可用信息的“熱數(shù)據(jù)”價值逐步凸顯。

過去由于技術發(fā)展限制，雖然企業(yè)產(chǎn)生了大量的“熱數(shù)據(jù)”，但卻無法充分發(fā)揮其價值。因此，讓“熱數(shù)據(jù)”直接產(chǎn)生價值，解決業(yè)務場景下海量數(shù)據(jù)實時處理和智能決策的技術，成為企業(yè)在數(shù)字經(jīng)濟發(fā)展中提質增效高質量發(fā)展的關鍵。

提到大數(shù)據(jù)處理技術，不得不提在數(shù)據(jù)實時智能處理領域持續(xù)深耕并縱橫向前的邦盛科技，其核心技術之一就是能夠實時快速、高并發(fā)處理數(shù)據(jù)的流立方技術，特別是在海量數(shù)據(jù)規(guī)模大、分析延時短、復雜事件或復雜指標、智能化決策及時序數(shù)據(jù)等典型特征的行業(yè)場景中，通過實時感知、識別和智能決策，充分發(fā)揮“熱數(shù)據(jù)”即時、可用的業(yè)務價值，幫助企業(yè)更好地實現(xiàn)精準預測、瞬時決策、降低業(yè)務成本、提升服務質效。

又快又智能的人工智能才是真正的人工智能。為了探討實時智能決策技術的發(fā)展及應用趨勢，近期，愛分析專訪了邦盛科技CEO王新宇博士。邦盛科技是實時智能決策技術的領軍企業(yè)之一，其自研的實時智能決策與分析技術在數(shù)據(jù)規(guī)模量大、超低延時性要求和復雜事件決策等場景中給企業(yè)帶來了巨大的業(yè)務價值，并在數(shù)字金融、智慧交通、電子政務、信息通訊等領域實現(xiàn)了落地應用。

王新宇博士表示，隨著數(shù)字經(jīng)濟發(fā)展，新基建的規(guī)劃部署在各行各業(yè)深入推進，實時智能決策技術能夠很好地同時滿足海量數(shù)據(jù)實時處理和智能決策的復雜計算要求，并與具體業(yè)務場景相結合，真正賦能行業(yè)業(yè)務價值提升，不僅智能化，更要實時性。未來，實時智能決策技術覆蓋的業(yè)務場景會越來越廣，實時智能決策技術將大有可為。

01

在時效性和智能化兼?zhèn)涞膱鼍跋?，“熱?shù)據(jù)”價值得以體現(xiàn)

愛分析：您認為應該怎樣理解“熱數(shù)據(jù)”？

王新宇博士：數(shù)據(jù)從產(chǎn)生開始，它的應用價值就在隨著時間流逝呈指數(shù)式下降。數(shù)據(jù)的價值，就像是一座有無數(shù)寶藏的礦山，對數(shù)據(jù)的洞察力、提取力和分析力決定了能挖出的是鉆石還是煤炭。數(shù)據(jù)剛剛產(chǎn)生時熱度最強，也就是“熱數(shù)據(jù)”，通過對數(shù)據(jù)的及時處理、分析，最能夠體現(xiàn)數(shù)據(jù)在應用上的價值。

剛剛在線上產(chǎn)生的數(shù)據(jù)，需要結合歷史數(shù)據(jù)，才能對它進行實時的價值判斷，要讓數(shù)據(jù)分析兼具準確度和速度，這就好比魚和熊掌兼得，難度非常大。實時智能處理是實現(xiàn)“熱數(shù)據(jù)”價值最大化的唯一途徑，可以將實時采集到的“熱數(shù)據(jù)”和歷史數(shù)據(jù)相結合，進行實時處理和實時分析，并基于處理和分析結果給出智能化決策。

許多業(yè)務場景需要基于單個行為對整體意圖做出判斷，并快速做出處置。這些業(yè)務場景往往對時效性要求很高，比如互聯(lián)網(wǎng)/移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)等應用場景中，用戶體驗提升、個性化服務、智能分析、事中決策等，由于業(yè)務復雜度較高，如何能快速計算出支撐業(yè)務中的復雜指標成為實時業(yè)務場景中的關鍵因素。

愛分析：具體到應用中，實時智能決策技術是如何釋放“熱數(shù)據(jù)”價值的？

王新宇博士：和時間賽跑，邦盛科技的技術思路，繞不開對時間和速度的要求。邦盛的流立方在其中扮演的角色是一個實時大數(shù)據(jù)處理引擎，兼具數(shù)據(jù)的時間跨度和新鮮度，還有計算速度，解決數(shù)據(jù)倍增、數(shù)據(jù)處理時效性差和數(shù)據(jù)處理毫秒級需求的問題。

比如，在物聯(lián)網(wǎng)環(huán)境中，各個傳感器產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)通常包含時間、位置、環(huán)境和行為等內(nèi)容。由于傳感器的多元化、差異化及環(huán)境的多樣化，這些數(shù)據(jù)呈現(xiàn)出鮮明的異構性、多樣化、非結構化、有噪聲、高增長率等特征，所產(chǎn)生的數(shù)據(jù)量之密度、實時性之強、價值密度之低是前所未有的，這對計算系統(tǒng)的實時性、吞吐量、可靠性等方面的要求非常高，既要有智能化的判斷和分析，又疊加了時效性特征。

在金融領域的業(yè)務中，往往會產(chǎn)生大量數(shù)據(jù)，這些數(shù)據(jù)的時效性很短，每時每刻都有大量的數(shù)據(jù)在各個系統(tǒng)間流動，并需要實時計算。同時金融系統(tǒng)與其他系統(tǒng)也有大量的數(shù)據(jù)流動，這些數(shù)據(jù)不僅有結構化的數(shù)據(jù)，也有半結構化和非結構化的數(shù)據(jù)。通過對這些大數(shù)據(jù)的實時分析計算，發(fā)現(xiàn)隱含于其中的內(nèi)在特征，可以幫助金融機構進行實時的智能化決策。

以全國最大的收單機構為例，每年有1300多億刷卡流水，45億張銀行卡，峰值5萬TPS，近千個規(guī)則模型的超大數(shù)據(jù)量，同時要求在銀行卡刷卡請求時，50毫秒內(nèi)分析完成該卡過去1年交易行為的超高實時性。邦盛科技的這套基于“流立方”的實時智能決策技術，可以做到每一筆刷卡瞬間在10個毫秒內(nèi)完成近千個規(guī)則模型的全年刷卡行為分析計算，事中智能識別風險并做出相應的風險處置決策。

批流結合的實時智能決策技術，橫向來看，可以應用在金融、交通、通訊、政務、公安等各個行業(yè)。縱向來看，每個行業(yè)的報表數(shù)據(jù)實時處理、可視化分析、精準營銷、合規(guī)檢查等也都需要這項技術。

02

邦盛科技實時智能決策與分析技術釋放“熱數(shù)據(jù)”價值

愛分析：邦盛科技的實時智能決策與分析技術體系是怎樣的？解決的主要問題是什么？

王新宇博士：流批一體的概念提出最早是在2015年，但那時真正應用流批一體的落地案例極少。這是因為流批一體的大前提是需要統(tǒng)一的計算引擎，流計算和批計算從計算方式、支撐模塊、資源調度策略到流程規(guī)劃等都存在差異。因此，流批一體融合存在不少技術問題需要解決。

相較于流計算和批處理分離的系統(tǒng)架構來說，流批一體重點關注數(shù)據(jù)源的統(tǒng)一、開發(fā)的統(tǒng)一、計算的統(tǒng)一、存儲的統(tǒng)一，實現(xiàn)技術棧的收斂，減少開發(fā)和運維成本，消除重復的計算框架帶來的邏輯不一致性。

從整體架構來看，我們的流批一體實時智能決策與分析技術體系將常見的數(shù)據(jù)資產(chǎn)分為四層，并提出了對應的三層數(shù)據(jù)處理架構，以知識為媒介，揉合流處理、批處理、決策等多種技術體系，是一種面向業(yè)務的流批一體的數(shù)據(jù)處理體系架構。

這項技術降低了流批結合模式的開發(fā)和運維成本，也進一步拓寬了實時計算的應用范圍，為事件驅動型應用及高實時性的數(shù)據(jù)統(tǒng)計分析型應用提供了高效的計算模式，尤其是在對時效性非常關注的智能化判斷和分析場景下，這套技術體系具備獨一無二的競爭優(yōu)勢。

愛分析：市場上已經(jīng)有一些開源框架能解決實時數(shù)據(jù)處理的問題，邦盛科技為什么要選擇自主研發(fā)流立方？

王新宇博士：一般公司都是基于開源架構進行增強，然后產(chǎn)出產(chǎn)品實現(xiàn)商業(yè)化。而市場上的開源框架大部分是國外的技術產(chǎn)品，如果我們都基于國外的開源框架基礎上搭建實時數(shù)據(jù)產(chǎn)品體系，實時數(shù)據(jù)處理將成為國內(nèi)卡脖子的技術難題，所以我們開始自主研發(fā)構建基礎平臺，徹底實現(xiàn)實時數(shù)據(jù)處理基礎平臺國產(chǎn)化，讓我國能夠擁有自主研發(fā)的實時數(shù)據(jù)處理技術底座。

第二個原因是，傳統(tǒng)開源框架無法適配企業(yè)既快又靈活的實時決策需求。當前實時計算的框架分成兩個流派，一個是“原始態(tài)”，比如Oracle的數(shù)據(jù)庫，擁有靈活的特性但是處理速度較慢；一個是“最終態(tài)”，比如Spark、Storm，處理速度快但是不夠靈活，無法滿足在實時決策中進行實時智能調整和適配要求。

為了滿足這些要求，我們提出了“時序中間態(tài)”理念，在技術研發(fā)上投入五年時間和上億資金，最終形成流立方核心技術。流立方結合了“原始態(tài)”和“最終態(tài)”兩派的優(yōu)勢，每次計算都能夠進行實時數(shù)據(jù)的靈活重組，性能上提升了幾十倍，任何時間、復雜事件的中間段都可以在毫秒內(nèi)吐出結果，既迅速又靈活，遇到復雜因子及時間序列，流立方依舊可以做到毫秒級產(chǎn)出結果。

愛分析：流立方在技術上是如何實現(xiàn)性能提升的？

王新宇博士：流立方是大數(shù)據(jù)實時智能處理平臺，是基于“時序中間態(tài)”理念進行研發(fā)的，也就是在數(shù)據(jù)流轉過程中嵌入流處理引擎，對所有流過的數(shù)據(jù)進行實時處理，處理的結果是個中間結果。

比如同樣計算三個月交易平均額，F(xiàn)link是直接計算最終三個月交易結果，如果要求得到兩個月交易數(shù)據(jù)就需要重新計算。而流立方把時間切成了細碎的“切片”，可以計算出1小時內(nèi)、1分鐘或者500毫秒“切片”的交易平均額，這就是中間結果。目前流立方數(shù)據(jù)集群吞吐量可達到200萬筆每秒，當要求計算出任何一個時間段內(nèi)交易數(shù)據(jù)時，流立方都可以在微秒時間內(nèi)對“切片”進行動態(tài)重組，所以計算1年內(nèi)和計算3年內(nèi)平均交易額都可以在同樣時間內(nèi)得到結果。

流立方高性能的數(shù)據(jù)集群可以滿足數(shù)據(jù)量大、數(shù)據(jù)新鮮度高、事件/指標復雜、決策智能化等特征，通過我們的大數(shù)據(jù)實時處理平臺可以快速地、實時地采集、加工、處理多源數(shù)據(jù)，解決開源流數(shù)據(jù)處理技術無法解決的問題，為各領域大數(shù)據(jù)實時計算處理提供底層的技術支撐。

愛分析：您介紹了很多邦盛科技實時智能決策與分析體系的特點，邦盛科技是否有考慮通過自身優(yōu)勢進行更多的生態(tài)合作？

王新宇博士：在生態(tài)合作方面，目前我們以流立方和三核智能作為底層基礎決策軟件和決策引擎，進一步來構建上層的業(yè)務應用產(chǎn)品生態(tài)和服務生態(tài)。根據(jù)不同的行業(yè)設置了不同的事業(yè)部，對業(yè)務占比較大的行業(yè)需求，生態(tài)合作情況較少，主要由事業(yè)部來實現(xiàn)軟件的實施落地；而業(yè)務占比較小的行業(yè)事業(yè)部，會尋找有行業(yè)know how的合作伙伴，通過提供技術底座支持行業(yè)應用的方式，賦能合作伙伴，我們實現(xiàn)作為實時處理技術底座的價值，合作伙伴實現(xiàn)行業(yè)自動化的價值。

在未來，我們也會考慮和優(yōu)質的合作伙伴進行投資并購，結合公司的整體運作和業(yè)務布局實現(xiàn)更加深入的合作，為企業(yè)提供更符合需求的定制化解決方案。

03

國產(chǎn)化和產(chǎn)品化是實時智能決策技術的發(fā)展重點

愛分析：結合邦盛科技過往的案例實踐經(jīng)驗，您認為實時智能決策技術要服務好客戶，有哪些關鍵能力要求？

王新宇博士:實時智能決策技術的應用對于平臺的性能、模型的準確度、功能的完善性、平臺的易用性等幾個方面都有要求。

平臺的性能體現(xiàn)在吞吐量上。2015年我們完成了流立方的產(chǎn)品研發(fā)，之后憑借流立方為核心的實時處理解決方案拿下了全國最大收單機構的招標項目。該項目要求在50毫秒內(nèi)實現(xiàn)近一年的重大行為回溯，與其他國外老牌廠商提出的解決方案相比，我們的解決方案性能大大提升。

平臺的決策效率還受到?jīng)Q策模型準確度的影響，通過平臺輸出結果的誤報率和漏報率就能看出模型的準確程度，那么模型設計階段就極為關鍵。如果能將圖決策納入決策模型考慮范圍，可以大幅提升實時決策引擎的性能，也是提升平臺決策效率的方式。

功能的完善性是建立在廠商的服務經(jīng)驗基礎上的。當下企業(yè)要求實時智能引擎能夠匹配復雜的業(yè)務線，那么廠商對于復雜業(yè)務的理解程度和實時智能技術對多條業(yè)務線的支持能力決定了平臺功能的完善性。

平臺的易用性是要降低業(yè)務人員的平臺使用成本。以往業(yè)務人員想要調整模型時需要找到IT部門，運用歷史數(shù)據(jù)對模型進行反復訓練，后續(xù)還要上線和確認模型，整個周期需要2周到一個月時間。而平臺的易用性就體現(xiàn)在決策引擎是不是面向業(yè)務人員的，盡量讓業(yè)務人員使用拖拉拽的方式就能管理和調整模型，訓練好的模型在少量技術人員的幫助下就能上線知識應用平臺，大幅縮減業(yè)務人員的平臺使用時間，從而提升決策效率。

愛分析：您認為實時智能技術未來的發(fā)展方向是什么？

王新宇博士：大數(shù)據(jù)時代，數(shù)據(jù)是寶貴的資源，數(shù)字基礎設施建設是支持國家數(shù)字經(jīng)濟高速高質發(fā)展的必要前提條件，隨著新基建的規(guī)劃部署在各行各業(yè)深入開展，企業(yè)內(nèi)沉淀的數(shù)據(jù)量、業(yè)務系統(tǒng)的終端用戶量都在呈現(xiàn)爆發(fā)式增長的趨勢，很多大型企業(yè)尤其是國家的支柱性行業(yè)，對有效應對大規(guī)模、高時效、智能化等一系列的數(shù)字化技術需求將越來越旺盛。

從應用趨勢來看，想要大規(guī)模應用實時智能決策技術，要保證技術已經(jīng)實現(xiàn)高度的產(chǎn)品化。舉例來說，特征處理、模型訓練等底層技術產(chǎn)品化率較高，中大型客戶對數(shù)據(jù)采集、處理、計算等基礎功能需求最廣，產(chǎn)品化率也因此不斷提升，而面向應用價值的實時智能決策技術不容易實現(xiàn)高產(chǎn)品化率。隨著技術不斷積累和沉淀，決策模型的產(chǎn)品化率會逐漸提高。產(chǎn)品化是廠商期待實現(xiàn)的共同目標，但在實現(xiàn)產(chǎn)品化的同時也要保證對業(yè)務支持的靈活性，才能夠應對當下日益精細化的市場需求。

未來數(shù)字經(jīng)濟建設中，很多企業(yè)需要通過場景感知，實時捕捉、識別和判斷客戶需求，實時從決策引擎中獲取業(yè)務價值平衡決策，并通過集中的后臺服務實時響應客戶需求。實時智能決策與分析領域的提前布局，是很多行業(yè)、企業(yè)在數(shù)字化轉型中實現(xiàn)高質量發(fā)展的關鍵舉措。

審核編輯 黃昊宇