很多人在拍旅游照、寵物照、生活照的時候，總覺得成片效果平淡無趣，缺少氛圍感。想讓某個人物居中、給素材加特效，對手殘黨來說操作又極其復(fù)雜繁瑣，折騰老半天，耗時又耗精力。那有沒有一種簡單易用的工具，能一鍵識別人/寵物并實(shí)現(xiàn)智能居中，點(diǎn)一下就能讓照片/視頻秒變質(zhì)感大片呢？

01

涂鴉助你一鍵生成氛圍感寫真

基于強(qiáng)大的On-App AI 技術(shù)架構(gòu)，涂鴉重磅推出AI 寫真+視頻前景開發(fā)方案，結(jié)合智能硬件，幫助完善一站式服務(wù)鏈路。它利用移動端的 AI 能力，能自動檢測+識別圖片/視頻中的目標(biāo)主體，并通過智能算法快速計(jì)算主體中心，實(shí)現(xiàn)精準(zhǔn)居中。結(jié)合云端下發(fā)的前景模板（包括靜態(tài)和動態(tài)模板），對圖片進(jìn)行編輯、編碼和封裝，最終一鍵生成趣味十足、主體突出的“寫真級”圖片或視頻。

在提供卓越視覺效果的同時，也兼顧了實(shí)時性、隱私安全和成本效益，是圖片/視頻編輯的創(chuàng)新選擇。

（On-App AI整體架構(gòu)圖）

比如：搭載 IPC 的寵物喂食器，在捕捉到寵物撒潑賣萌或出糗的瞬間后，手機(jī)就能同步收到相關(guān)照片或視頻，上傳至涂鴉賦能 App ，就可一鍵識別寵物并實(shí)現(xiàn)畫面居中。而且涂鴉提供前景模板庫，可供用戶自由選擇和添加，完成編輯后即可快速導(dǎo)出。整個過程簡單方便，相較傳統(tǒng)剪輯功能更智能。目前，該方案可廣泛應(yīng)用于任何需要突出主體、增加氛圍的場景中。

我們提供下方參考案例，幫助大家更直觀了解渲染效果：

這是抓拍到的狗狗原圖，稍顯單調(diào)普通：

• 智能居中，并一鍵添加前景模板后，照片畫面更有氛圍感：

• 再給圖片配上動效，效果更加生動，讓狗狗的顏值也瞬間 UP：

同時，也可以將動效圖片生成視頻

02

深度解析核心技術(shù)+亮點(diǎn)

1、核心技術(shù)是什么？

在部署移動端模型的時候，我們采用了 TensorFlow Lite 方案，它具備高效推理、低延遲、低功耗優(yōu)勢，且支持本地離線運(yùn)行。主體居中突出+精美前景模板，幫助用戶輕松提升內(nèi)容質(zhì)感。

（云端下發(fā)前景模板流程示意圖）

智能識別與居中：結(jié)合輕量級 AI 目標(biāo)檢測模型EfficientDet-D0，系統(tǒng)可實(shí)現(xiàn)毫秒級識別主體位置和類別的速度，并自動將主體調(diào)整至畫面中心；

前景特效管理與合成：涂鴉采用了自研的媒體合成器，云端提供前景模板庫，支持動態(tài)配置、更新和下發(fā)，不僅能生成全新的圖片和視頻，還支持合成音頻。

注：后期涂鴉將支持開發(fā)者自定義上傳前景模板，敬請期待～

2、技術(shù)亮點(diǎn)

2.1 更靈活的 AI 架構(gòu)：輕量化和動態(tài)化

輕量級檢測模型

涂鴉采用專門優(yōu)化移動端的輕量級對象檢測模型EfficientDet-D0，模型參數(shù)少、計(jì)算量小、推理速度快，可以精準(zhǔn)檢測圖片/視頻中指定主體（如寵物、人）的位置與類別。同時，基于智能分析快速篩除無主體片段，有效降低計(jì)算負(fù)擔(dān)，提升處理效率。

模型動態(tài)化

采用按需加載的動態(tài)模型管理機(jī)制，支持模型在線下載、更新與部署，始終確保使用最優(yōu)模型版本，同時減少初始安裝包體積，提高運(yùn)行效率。

（模型檢測與動態(tài)化運(yùn)行流程示意圖）

2.2 更優(yōu)的用戶體驗(yàn)：實(shí)時性和高效率

實(shí)時交互處理

依托高效的本地計(jì)算，涂鴉可確保流暢無延遲的用戶體驗(yàn)，無需依賴網(wǎng)絡(luò)，即可實(shí)現(xiàn)快速響應(yīng)與實(shí)時處理。

智能算法提升效果

在媒體合成過程中，當(dāng)檢測到主體的中心和前景模板的中心偏移超過閾值時，系統(tǒng)會自動縮放主體確保居中；如果一張圖片擁有多個主體，我們會直接合成，不做主體居中優(yōu)化，避免僅展示部分內(nèi)容，以確保最佳的合成效果。

微調(diào)模型提高準(zhǔn)確度

涂鴉花費(fèi)數(shù)年，累計(jì)了海量不同場景、不同光照條件下的主體圖片，在完成數(shù)據(jù)脫敏后，再對模型訓(xùn)練進(jìn)行微調(diào)，確保模型推理過程中的泛化能力。

（媒體處理流程示意圖）

2.3 更安全的計(jì)算能力：低成本和隱私保護(hù)

降低處理成本

相比云端處理，本地化處理成本低、更節(jié)約云端負(fù)荷，算力消耗每萬次減少 25 TFLOPs，節(jié)省成本10%左右。

保護(hù)隱私安全

所有處理均在本地完成，可顯著降低時延、提高響應(yīng)速度，同時避免數(shù)據(jù)外傳，有效保護(hù)用戶隱私，構(gòu)建更安全、高效的計(jì)算環(huán)境。

（本地化處理流程示意圖）