不久前，小米相機(jī)部迎來(lái)好消息

小米夜梟算法團(tuán)隊(duì)在被譽(yù)為“影像算法奧林匹克”的CVPR NTIRE 夜景渲染比賽中，獲得了大眾評(píng)審和攝影師評(píng)審的兩項(xiàng)世界冠軍。消息一出，公司上下，米粉及影像圈內(nèi)外投來(lái)了驚喜、驚嘆以及稱贊的目光。

于是，這不，活兒就應(yīng)運(yùn)而生了。我被委任了一項(xiàng)光榮任務(wù)，要和夜梟算法團(tuán)隊(duì)的技術(shù)專家聊聊，“夜梟”這項(xiàng)技術(shù)到底咋（duo）回（niu） 事 （bi） 。文科女孩不怕困難，在肝了2周，流下一些含有技術(shù)含量的淚水后，終于，肝出來(lái)了！

頂級(jí)盛會(huì)天花板

夜梟團(tuán)隊(duì)雙奪冠

首先，來(lái)隆重介紹一下有“影像算法奧林匹克”之稱的CVPR NTIRE 系列賽。

CVPR，是計(jì)算機(jī)視覺領(lǐng)域全球最具影響力、內(nèi)容最全面的頂級(jí)學(xué)術(shù)會(huì)議。說(shuō)得具象一點(diǎn)，與我們耳熟能詳?shù)腘ature 、Science的學(xué)術(shù)影響力可等量齊觀。NTIRE，是 CVPR中關(guān)于影像恢復(fù)與增強(qiáng)相關(guān)任務(wù)的專題研討會(huì)，是世界規(guī)模最大、水平最高的圖像恢復(fù)與增強(qiáng)的研討會(huì)和比賽。

NTIRE 提出業(yè)界前沿困難任務(wù)，用競(jìng)賽形式吸引全球?qū)＜覍W(xué)者參與挑戰(zhàn)，而競(jìng)賽中提出的解決方案也常被學(xué)術(shù)圈和工業(yè)界所借鑒，因而備受關(guān)注。今年是第七屆NTIRE 比賽，吸引了南開大學(xué)、米蘭大學(xué)、華為等眾多國(guó)內(nèi)外頂尖大學(xué)、研究機(jī)構(gòu)和公司參加。

小米夜梟團(tuán)隊(duì)本次參加的是NTIRE首次提出的比賽賽道，大賽提供單張夜景原始RAW圖，參賽者通過(guò)研發(fā)夜景渲染解決方案，生成夜景視覺效果圖像。（RAW圖，可以理解為圖片的原始檔案，是沒有被加工，也沒有任何損失的一種格式圖。）

為兼顧專業(yè)性與大眾性，最終夜景效果圖由大眾評(píng)審和攝影師評(píng)審共同投票評(píng)定。這次小米夜梟團(tuán)隊(duì)獲得的雙冠軍，可以說(shuō)是來(lái)自專業(yè)人士與普通用戶的雙重肯定。

與 NTIRE 的其他賽道相比，夜景渲染挑戰(zhàn)需要參賽者自發(fā)摸索和定義目標(biāo)效果，相當(dāng)于開放性考試，不僅考驗(yàn)團(tuán)隊(duì)的技術(shù)能力，也考驗(yàn)“技術(shù)審美”，難度更大，更具挑戰(zhàn)性。

夜梟算法有多牛

背后技術(shù)是一流

首先，來(lái)為大家科普一下「夜梟算法」。算法是用計(jì)算機(jī)解決問(wèn)題的方法、步驟。解決不同的問(wèn)題，需要不同的算法。夜梟算法是聚焦于暗光場(chǎng)景，小米自研的深度學(xué)習(xí)AI拍照算法，用于提升手機(jī)相機(jī)拍照和視頻的畫質(zhì)效果。

引用米粉的描述，小米手機(jī)+夜梟算法≈小米“夜視儀”。即在黑暗條件下，手機(jī)相機(jī)在夜梟算法加持下，突破手機(jī)相機(jī)感光下限，讓照片煥發(fā)「光彩」的技術(shù)。

打個(gè)比方，當(dāng)原始夜景照遇上夜梟算法，立刻碰撞出火花。照片將在不到3秒的時(shí)間里，經(jīng)歷去噪、提亮、色彩還原等環(huán)節(jié)，最終恢復(fù)出一張細(xì)節(jié)清晰、顏色真實(shí)、畫面干凈的夜景照片。

經(jīng)過(guò)夜梟算法處理的照片，背后調(diào)用了數(shù)十個(gè)核心算法，包括AI噪聲估計(jì)，AI去噪、AI細(xì)節(jié)增強(qiáng)、AI顏色還原、AI提亮、AI夜景深度估計(jì)、AI場(chǎng)景分割、AI選幀、AI對(duì)齊等。

那么讓夜景照越夜越美，夜梟算法是如何做的呢？

1 夜太黑，「去噪」辨是非

在伸手不見五指的黑夜，未經(jīng)算法處理的照片，自然是漆黑一片。

當(dāng)對(duì)照片進(jìn)行一點(diǎn)提亮，將得到一張?jiān)肼暫艽蟮恼掌Ｔ肼?，指一切不?guī)則的信號(hào)，體現(xiàn)在照片里的即為圖片噪聲。肉眼看，噪聲大的照片有“糊”的感覺，有時(shí)候甚至看不到具體的東西。

造成圖片噪聲的原因有很多，比如夜晚亮度低，燈光復(fù)雜，導(dǎo)致采集圖像存在噪聲。以及圖像在手機(jī)設(shè)備內(nèi)傳輸成像的過(guò)程，也會(huì)產(chǎn)生噪聲。

噪聲對(duì)圖像是一種“破壞”，去噪則可理解為去除圖像污染，恢復(fù)和重建圖像數(shù)據(jù)的過(guò)程。小米夜梟算法，通過(guò)自主研發(fā)夜晚場(chǎng)景噪聲標(biāo)定系統(tǒng)，對(duì)夜晚場(chǎng)景噪聲的分布和形態(tài)進(jìn)行數(shù)學(xué)建模，在干凈的圖像上同樣添加噪聲，從而補(bǔ)充大量模擬噪聲數(shù)據(jù)，提升訓(xùn)練數(shù)據(jù)的豐富度，讓去噪更有針對(duì)性。

與此同時(shí)，小米夜梟算法還自主研發(fā)了極暗光數(shù)據(jù)采集系統(tǒng)，使用多種真實(shí)相機(jī)進(jìn)行數(shù)據(jù)采集，補(bǔ)充的數(shù)據(jù)能讓去噪效果更好。

萬(wàn)事開頭難，圖像去噪是算法處理照片的重中之重，是起點(diǎn)也是重點(diǎn)。

2 夜太美，更需要「完美」的細(xì)節(jié)

暗光情況下，拍張好看的人像照不容易。有米粉曾提出疑問(wèn)，小米 11Ultra 在夜晚拍攝人像時(shí)，怎么做到把發(fā)絲、睫毛拍攝的絲絲分明的？

這其實(shí)本質(zhì)是一個(gè)如何在有效去除圖像噪聲的同時(shí)，恢復(fù)出更多圖像細(xì)節(jié)的問(wèn)題。從算法原理上看，需要更好地對(duì)齊。

打個(gè)比方，當(dāng)你在夜晚舉起手機(jī)拍一張夜景照，小米相機(jī)里的“算法小機(jī)靈鬼”已準(zhǔn)備就緒。

當(dāng)你按下快門，算法其實(shí)拍攝了多張照片，它們緊鑼密鼓地進(jìn)行多張照片的畫面對(duì)齊，并分析每張照片特征，擇優(yōu)錄取「真實(shí)」的畫面部分，從而融合出一張優(yōu)秀的夜景作品。

通俗解釋容易，背后的技術(shù)不簡(jiǎn)單。小米算法團(tuán)隊(duì)首次提出自引導(dǎo)的多尺度融合AI去噪算法，當(dāng)多幀原圖輸入時(shí)，進(jìn)行亞像素特征對(duì)齊和特征級(jí)別信息融合，降低拍攝手抖的影響，實(shí)現(xiàn)多幀信息的互相補(bǔ)充。

當(dāng)單幀原圖輸入時(shí)，進(jìn)行多尺度的特征重建，實(shí)現(xiàn)單幀內(nèi)信息充分利用。結(jié)合噪聲指導(dǎo)圖，還可以引導(dǎo)算法對(duì)不同區(qū)域進(jìn)行不同程度的融合去噪，指導(dǎo)局部信息殘缺的區(qū)域?qū)崿F(xiàn)細(xì)節(jié)恢復(fù)，在獲得更好去噪效果的同時(shí)，恢復(fù)更加豐富的細(xì)節(jié)信息。

當(dāng)我們看到恢復(fù)了更多細(xì)節(jié)的照片，在視覺上能感受到干凈、舒服。因?yàn)樗惴▍^(qū)分出了細(xì)節(jié)和噪聲，并保留好細(xì)節(jié)，比如紋理、發(fā)絲、睫毛，而不是直接抹掉。

如果用解一道難題來(lái)比喻，夜梟算法相當(dāng)于在解決暗光拍照這道考題時(shí)，發(fā)現(xiàn)了8種解題思路，并通過(guò)深度學(xué)習(xí)，融合不同思路的完美之處，最終提交了一個(gè)近似“圓滿”的答案。

3 夜太深，明暗色彩要分明

夜晚拍攝，由于燈光比較多，發(fā)出的光線不均勻，動(dòng)態(tài)范圍大?！皠?dòng)態(tài)范圍大”就是亮度信息太多，從最亮到最暗的幅度大。此時(shí)用手機(jī)拍攝，可能出現(xiàn)高光的地方很亮但丟失細(xì)節(jié)，稍微暗點(diǎn)的地方則只剩黑暗。

為處理多種光源混合的情況，夜梟算法提出了基于內(nèi)容自適應(yīng)的AI提亮模型。通過(guò)對(duì)圖像中不同的區(qū)域進(jìn)行不同程度提亮，在保證圖像對(duì)比度同時(shí)，保留亮區(qū)和暗區(qū)的信息，實(shí)現(xiàn)讓亮度過(guò)渡區(qū)域更平滑、自然。

圖像明暗過(guò)渡絲滑后，要想獲得更真的“夜感”，還需要準(zhǔn)確地還原夜景的顏色。

還原夜色，需要精準(zhǔn)的白平衡估計(jì)。白平衡就是白色的平衡，我們看到物體的顏色，會(huì)隨著環(huán)境光線出現(xiàn)偏差。夜晚光源較多，比如一只白色的狗在黃色的路燈下會(huì)偏黃，出現(xiàn)顏色失真。精確的白平衡估計(jì)，是讓照片更真實(shí)的必要條件。

Xiaomi 12 Pro 夜梟2.0 VS 友商

為讓夜景顏色更準(zhǔn)確，小米夜梟團(tuán)隊(duì)使用deepAWB來(lái)實(shí)現(xiàn)多光源的白平衡估計(jì)，并首提AI色彩還原模型，通過(guò)提取圖像中有效內(nèi)容，讓不同區(qū)域有不同的計(jì)算權(quán)重，避免受到過(guò)亮和過(guò)暗區(qū)域干擾造成混合光源顏色失真，提升了夜梟算法對(duì)環(huán)境的自適應(yīng)能力。

Xiaomi 12 Pro 夜梟2.0 VS 友商

也就是說(shuō)，夜梟算法中的AI提亮模型和顏色矯正模塊，能根據(jù)不同環(huán)境的亮度和場(chǎng)景中的內(nèi)容，實(shí)現(xiàn)不同程度的亮度提升和色彩還原，最終得出清晰、明亮的圖像。

哪些坑

可以不踩

和夜梟算法專家雷老師聊完，我基本對(duì)夜梟算法從云里霧里到了五體投地的地步。優(yōu)秀算法的關(guān)鍵，源自優(yōu)秀頭腦的寫就，是一群優(yōu)秀工程師的技術(shù)理想。

夜梟團(tuán)隊(duì)已成立近3年，成員多為熱愛研究技術(shù)的年輕工程師。他們主要負(fù)責(zé)結(jié)合AI 深度學(xué)習(xí)技術(shù)，提升手機(jī)相機(jī)拍照和視頻的畫質(zhì)效果，研究方向包括去噪、高動(dòng)態(tài)、顏色增強(qiáng)等，已經(jīng)交付了不少深受用戶喜愛的研究成果，比如AI大片、夜梟極暗光拍照、夜梟視頻、夜景抓拍等多個(gè)有自主知識(shí)產(chǎn)權(quán)的核心算法。

夜梟算法最初籌備時(shí)，并非是備受關(guān)注的熱門項(xiàng)目。當(dāng)時(shí)為解決夜景拍攝的技術(shù)難題，5位算法工程師憑借對(duì)技術(shù)的執(zhí)著、癡迷，以及對(duì)待工作的全力以赴，利用不到半年的時(shí)間創(chuàng)造出了夜梟算法1.0。夜梟算法更像是一次技術(shù)探索中，意外收獲的驚喜。

夜梟算法推出后，很快得到了多方肯定，并從幕后走到臺(tái)前，登上了發(fā)布會(huì)。團(tuán)隊(duì)的小伙伴們既興奮又緊張，期待著用戶使用后的反饋。一段時(shí)間里，工程師們泡在微博、B站等社交媒體平臺(tái)上，聽用戶的反饋，有時(shí)候聽得很高興，有時(shí)候也會(huì)有點(diǎn)小失落?！暗珜?duì)改進(jìn)有用的，還是會(huì)認(rèn)真看的?！?/p>

這個(gè)年輕的團(tuán)隊(duì)始終活力十足，成長(zhǎng)速度越來(lái)越快，規(guī)模也日漸擴(kuò)大。

當(dāng)我問(wèn)算法專家雷老師，能否提供夜景拍攝的技巧時(shí)，這其實(shí)并不在工程師的射程范圍內(nèi)。對(duì)于夜梟算法的專家來(lái)說(shuō)，相比于拍出一張好看的照片，他們更在意的是底層算法的準(zhǔn)確性，以及算法對(duì)色彩、場(chǎng)景還原的真實(shí)性?！皽?zhǔn)”與“真”是工程師相信的標(biāo)準(zhǔn)。

但他也從算法的邏輯角度，提出了3個(gè)小建議

1/ 穩(wěn)住，才有贏的機(jī)會(huì)該穩(wěn)定既是情緒上的穩(wěn)定，還有就是手要穩(wěn)，這可以讓算法進(jìn)行更好地對(duì)齊。雖然算法已經(jīng)在一定程度上降低了手抖的影響，但如果拍攝中，手如帕金森般劇烈抖動(dòng)或者大幅動(dòng)彈，對(duì)于拍攝將毫無(wú)益處，穩(wěn)住，贏的幾率更大。

如果你天生手抖，建議可以配一個(gè)三腳架或者其他固定工具，用來(lái)保持畫面的穩(wěn)定。如果不想配三腳架，也可以把手機(jī)放在可以倚靠的固定地方，比如欄桿，或者也可以邀請(qǐng)手部穩(wěn)定同伴幫忙。

2/ 避免拍攝“亮瞎眼”強(qiáng)光源強(qiáng)光源，不是指光頭，而是指光線比較強(qiáng)的物體，當(dāng)你試圖拍強(qiáng)光源或者強(qiáng)光源下的人時(shí)，由于光線進(jìn)入手機(jī)相機(jī)鏡頭內(nèi)，發(fā)生了多次的折射與反射，會(huì)讓畫面出現(xiàn)難以預(yù)測(cè)的意外，以及也可能會(huì)讓光線跑偏，當(dāng)然最直接的可能就是被拍攝人打。

3/ 擁有一臺(tái)夜拍神器最后，要想得到一個(gè)細(xì)節(jié)豐富、純凈度好的照片，最好的辦法是擁有一臺(tái)配置了夜梟算法的小米手機(jī)。目前夜梟算法已經(jīng)應(yīng)用到小米11 Ultra、小米12 Pro 等小米旗艦手機(jī)上，將助力你拍出更美的夜色。

每一次手機(jī)影像上的進(jìn)步，背后都離不開寶藏工程師們。在工程師眼中，代碼是語(yǔ)言，是表達(dá)的工具，是創(chuàng)新的力量。未來(lái)，伴隨手機(jī)硬件和算法的不斷提升，相信小米的工程師們將為手機(jī)影像的發(fā)展帶來(lái)更多新的體驗(yàn)。

提到未來(lái)的展望，夜梟算法專家雷老師說(shuō)，手機(jī)影像算法不僅會(huì)朝著拍照更快、更清晰、顏色更準(zhǔn)確、動(dòng)態(tài)范圍更高的方向發(fā)展，還會(huì)根據(jù)用戶更多元的需求，不斷攻堅(jiān)與創(chuàng)新，為米粉們帶來(lái)更好的拍照體驗(yàn)。

雖然距離「最好」，還有很長(zhǎng)的路要走，但務(wù)實(shí)的工程師們相信，只要鉆研，耐心用時(shí)間去實(shí)踐，總能開創(chuàng)出遠(yuǎn)大前程。