“全國大學(xué)生嵌入式芯片與系統(tǒng)設(shè)計競賽”是我國電子信息類頂級的大學(xué)生學(xué)科競賽之一，具有規(guī)格高、難度大、強應(yīng)用、重創(chuàng)新的特點，為全國各大高校相關(guān)專業(yè)學(xué)子提供了一個展示才華、切磋技藝、追逐夢想的國家級高端平臺，也是推進高校與企業(yè)協(xié)同育人合作的良好契機。

飛凌嵌入式作為本屆大賽協(xié)辦單位之一，聯(lián)合瑞芯微在應(yīng)用賽道中設(shè)立專項賽題，并采用基于瑞芯微RK3588芯片設(shè)計的ELF 2開發(fā)板作為參賽平臺，雙方希望通過這一合作，進一步深化產(chǎn)教融合，助力嵌入式系統(tǒng)領(lǐng)域創(chuàng)新人才的培養(yǎng)。

在2025年嵌入式大賽上，東南大學(xué)206團隊?wèi){借參賽項目“基于RK3588的智能座艙多模交互系統(tǒng)與大模型語義理解優(yōu)化”，榮獲全國一等獎。該團隊由自動化學(xué)院的王心果、方湘、陳逸煌三位同學(xué)組成，并得到李奇教授的悉心指導(dǎo)。下面，讓我們一起了解一下這個獲獎項目的具體內(nèi)容。

“基于RK3588的智能座艙多模交互系統(tǒng)與大模型語義理解優(yōu)化”項目介紹

隨著車載座艙系統(tǒng)功能日益復(fù)雜，傳統(tǒng)操作方式普遍存在交互繁瑣、過度依賴視覺、語義理解能力有限等問題，難以滿足現(xiàn)代智能駕駛場景對安全性與便捷性的雙重需求。為此，參賽項目基于瑞芯微RK3588設(shè)計的ELF 2開發(fā)板，設(shè)計并實現(xiàn)了一款多模態(tài)車載人機交互系統(tǒng)，旨在提升車載環(huán)境下的人機交互自然性與操作效率，改善用戶體驗，具體工作如下：

首先，針對實際車載需求，此參賽項目設(shè)計并集成了近十項功能模塊。在輔助駕駛方面，本項目設(shè)計了疲勞駕駛監(jiān)測、倒車助手、哨兵監(jiān)控和行車導(dǎo)航等常用功能模塊，全面覆蓋行車與駐車過程中的多種應(yīng)用需求；在休閑娛樂方面，本項目設(shè)計了音樂播放器和桌面寵物兩個模塊，此外，還集成了面部解鎖，手機投屏，天氣播報等功能，在確保行車安全的前提下提升用戶的使用體驗。用戶可通過語音指令、觸覺交互等多種方式與系統(tǒng)進行交互，交互方式靈活自然，能夠有效降低駕駛過程中對視覺操作的依賴，提升行車安全。

同時，針對傳統(tǒng)車載座艙自然語義理解難題，此參賽項目在車載語音交互環(huán)節(jié)引入了語言大模型（LLM）技術(shù)。相比傳統(tǒng)語音助手，本項目通過構(gòu)建高性能語音中樞，實現(xiàn)了對口語化表達的精準(zhǔn)理解，能夠靈活應(yīng)對多樣化指令，顯著改善語音交互體驗，有效降低駕駛員認(rèn)知負(fù)擔(dān)。

最后，此項目采用了模塊化架構(gòu)設(shè)計。各功能模塊獨立部署，便于按需裁剪與升級，滿足不同車型、不同用戶需求。借助RK3588平臺強大的AI算力與多媒體處理能力，系統(tǒng)能夠在實現(xiàn)復(fù)雜功能的同時保持快速響應(yīng)，保障用戶操作的實時性與流暢性。實際測試表明，系統(tǒng)各模塊穩(wěn)定可靠，語音識別準(zhǔn)確率高，響應(yīng)延遲低，具備較強的實用價值。

*免責(zé)聲明：本文所有作品介紹均來自2025第八屆全國大學(xué)生嵌入式芯片與系統(tǒng)設(shè)計競賽應(yīng)用賽道學(xué)生提交的參賽作品展示，由學(xué)生自行制作。飛凌嵌入式展示獲獎作品內(nèi)容僅為展示參賽者作品，為開發(fā)者帶來更多創(chuàng)意啟發(fā)，并已征得主辦方及參賽團隊同意。飛凌嵌入式不承擔(dān)作品展示內(nèi)容或視頻字體的相關(guān)法律責(zé)任。