在自動(dòng)駕駛、具身智能等智慧物流高速動(dòng)態(tài)場(chǎng)景中，視覺(jué)感知的“反應(yīng)速度”直接決定技術(shù)落地的安全性與可靠性。近日，西井科技與同濟(jì)大學(xué)長(zhǎng)聘教授、上海創(chuàng)智學(xué)院全時(shí)導(dǎo)師陳廣研究團(tuán)隊(duì)，聯(lián)合研究成果成功登上國(guó)際頂級(jí)學(xué)術(shù)期刊《Nature Communications》：建立了一套全新的、面向真實(shí)世界部署的時(shí)延感知評(píng)估框架STARE并提出了有效的模型優(yōu)化策略。

2026年3月16日，《Nature Communications》發(fā)表了題為《Bridging the latency gap with a continuous stream evaluation framework in event-driven perception》的研究論文，旨在研究現(xiàn)有視覺(jué)評(píng)估體系在實(shí)時(shí)應(yīng)用中的時(shí)延缺陷問(wèn)題，引入基于事件流式感知的STARE框架，聚焦一個(gè)關(guān)鍵卻長(zhǎng)期未被充分關(guān)注的原則：事件相機(jī)連續(xù)感測(cè)、模型計(jì)算與現(xiàn)實(shí)任務(wù)需求之間的時(shí)間一致性，系統(tǒng)性地彌合事件相機(jī)（Event Camera）在理論速度和實(shí)際應(yīng)用之間的時(shí)延鴻溝，為開發(fā)真正低延遲、高可靠的實(shí)時(shí)事件視覺(jué)系統(tǒng)奠定了基礎(chǔ)。

圖：西井科技與同濟(jì)大學(xué)科研合作成果登刊《Nature Communications》

事件相機(jī)（Event Camera）是一種新型的生物啟發(fā)式視覺(jué)傳感器，與傳統(tǒng)的基于幀的相機(jī)（如RGB相機(jī)）不同，其設(shè)計(jì)靈感源于生物視覺(jué)系統(tǒng)對(duì)動(dòng)態(tài)環(huán)境的連續(xù)、自適應(yīng)感知機(jī)制。

在自動(dòng)駕駛、倉(cāng)儲(chǔ)搬運(yùn)機(jī)器等需要快速反應(yīng)的場(chǎng)景中，傳統(tǒng)相機(jī)通常以固定幀率捕捉圖像，這種離散的采樣方式天然存在時(shí)間上的不連續(xù)性。例如，對(duì)于一輛高速行駛中的無(wú)人駕駛車而言，如果純采用傳統(tǒng)幀相機(jī)進(jìn)行感知，這種離散采樣帶來(lái)的時(shí)間不連續(xù)性可能會(huì)直接導(dǎo)致系統(tǒng)的預(yù)測(cè)結(jié)果滯后，可能會(huì)直接導(dǎo)致系統(tǒng)的預(yù)測(cè)結(jié)果滯后，使其在面對(duì)突然闖入的障礙物等瞬態(tài)變化時(shí)難以做出及時(shí)的響應(yīng)，因此在實(shí)際生產(chǎn)場(chǎng)景下，業(yè)界會(huì)更多采用多傳感器融合的方式，來(lái)實(shí)現(xiàn)高冗余、高精度的實(shí)時(shí)定位與環(huán)境感知。

相比之下，事件相機(jī)（Event Camera）作為一種神經(jīng)形態(tài)傳感器，能夠以微秒分辨率異步編碼像素級(jí)亮度變化，輸出連續(xù)事件流。這一特性突破了傳統(tǒng) RGB 相機(jī)離散幀處理的局限，為自動(dòng)駕駛與機(jī)器人領(lǐng)域的實(shí)時(shí)感知賦予了天然的優(yōu)勢(shì)。

然而，現(xiàn)有視覺(jué)評(píng)估體系仍沿用RGB成像的幀處理范式，將連續(xù)的事件流強(qiáng)制轉(zhuǎn)換為固定頻率的事件幀進(jìn)行處理。這種評(píng)估范式往往假設(shè)計(jì)算是瞬時(shí)完成的，從而忽略了“感知時(shí)延”（Perception Latency）——即從事件發(fā)生到下游應(yīng)用接收到模型對(duì)應(yīng)輸出結(jié)果之間的時(shí)間差。這一被忽視的時(shí)延問(wèn)題，正成為制約真實(shí)世界實(shí)時(shí)應(yīng)用性能的關(guān)鍵瓶頸。

針對(duì)這一痛點(diǎn)，研究團(tuán)隊(duì)提出了STream-based lAtency-awaRe Evaluation（以下簡(jiǎn)稱STARE）框架。該框架通過(guò)兩大核心機(jī)制重構(gòu)了現(xiàn)有的評(píng)估體系：一是連續(xù)采樣（Continuous Sampling），最大化模型吞吐量，調(diào)度模型在前一推理周期結(jié)束后立即處理最新事件；二是時(shí)延感知評(píng)估（Latency-Aware Evaluation），首次將時(shí)延直接納入精度度量，量化了因輸出滯后導(dǎo)致的在線感知精度損失。

圖：STARE時(shí)延感知評(píng)估框架

為了驗(yàn)證STARE框架的有效性，研究團(tuán)隊(duì)構(gòu)建了包含500Hz高精度標(biāo)注的高動(dòng)態(tài)目標(biāo)跟蹤數(shù)據(jù)集ESOT500。實(shí)驗(yàn)數(shù)據(jù)顯示，感知時(shí)延可導(dǎo)致在線精度下降超過(guò)50%，深刻揭示了傳統(tǒng)評(píng)估方法與真實(shí)世界部署性能之間存在的巨大鴻溝。

圖：高動(dòng)態(tài)目標(biāo)跟蹤數(shù)據(jù)集ESOT500

基于這一洞察，研究團(tuán)隊(duì)進(jìn)一步提出了兩種模型增強(qiáng)策略，為實(shí)時(shí)感知系統(tǒng)的工程化落地提供了可行路徑：

異步跟蹤（Asynchronous Tracking）：采用“快-慢”雙架構(gòu)，利用輕量級(jí)的殘差模型對(duì)重型基礎(chǔ)模型進(jìn)行高頻修正，顯著提升模型吞吐量。

上下文感知采樣（Context-Aware Sampling）：根據(jù)目標(biāo)周圍的事件密度動(dòng)態(tài)調(diào)整模型的輸入與激活狀態(tài)，在事件稀疏等極具挑戰(zhàn)性的場(chǎng)景中依然保持了高度穩(wěn)健的感知性能。

實(shí)驗(yàn)結(jié)果表明，異步跟蹤將模型吞吐量提升了78%，時(shí)延感知精度提升高達(dá)60%；而上下文感知采樣則在復(fù)雜稀疏工況下實(shí)現(xiàn)了超過(guò)51%的性能增益。

圖：在STARE框架下對(duì)模型增強(qiáng)策略的定量評(píng)估

展望未來(lái)，STARE框架還為探索神經(jīng)形態(tài)視覺(jué)更廣泛的前沿問(wèn)題開辟了新途徑，如算法與硬件的協(xié)同設(shè)計(jì)、實(shí)時(shí)機(jī)器人控制以及基于學(xué)習(xí)的事件采樣策略。通過(guò)將時(shí)間一致性置于模型運(yùn)行和評(píng)估中，我們的研究為全面釋放事件驅(qū)動(dòng)系統(tǒng)的理論潛力提供了一條可行路徑，推動(dòng)相關(guān)技術(shù)在現(xiàn)實(shí)場(chǎng)景中實(shí)現(xiàn)高精度、低延遲與高可靠性。

本次與陳廣研究團(tuán)隊(duì)發(fā)布的頂刊成果，是西井科技在“實(shí)時(shí)感知”核心技術(shù)領(lǐng)域的關(guān)鍵布局，將為海、陸、空、鐵、工廠等大物流場(chǎng)景自動(dòng)駕駛解決方案，提供堅(jiān)實(shí)理論基石與工程化路徑，未來(lái)有望讓高速動(dòng)態(tài)感知更敏捷、更安全、更可靠。

作為深耕AI與自動(dòng)駕駛領(lǐng)域的科創(chuàng)企業(yè)，西井科技擁有豐富的多場(chǎng)景產(chǎn)業(yè)落地經(jīng)驗(yàn)，其自主研發(fā)的無(wú)人駕駛重載水平運(yùn)輸車等核心產(chǎn)品，已成功服務(wù)于海內(nèi)外多個(gè)港口、機(jī)場(chǎng)、工廠等大物流場(chǎng)景，積累深厚的工程化實(shí)踐經(jīng)驗(yàn)。未來(lái)，公司將繼續(xù)深化與更多頂尖高校及科研機(jī)構(gòu)的合作，聚焦行業(yè)核心痛點(diǎn)、深耕前沿技術(shù)研發(fā)，推動(dòng)更多頂尖科研成果從實(shí)驗(yàn)室走向產(chǎn)業(yè)一線，將更多“實(shí)驗(yàn)室里的突破”轉(zhuǎn)化為“場(chǎng)景中的價(jià)值”，賦能全球大物流行業(yè)的數(shù)字化、綠色化升級(jí)，攜手共繪智能科技高質(zhì)量發(fā)展新藍(lán)圖！