黑芝麻智能科技致力于提供基于圖像處理、計算圖像以及人工智能的嵌入式視覺感知平臺。安創(chuàng)成長營五期Demo Day現(xiàn)場，黑芝麻智能科技榮獲“最具潛力獎”，安創(chuàng)加速器聯(lián)合創(chuàng)始人楊宇欣先生為團(tuán)隊頒獎。

安創(chuàng)加速器聯(lián)合創(chuàng)始人楊宇欣先生

為“最具潛力獎”團(tuán)隊黑芝麻智能科技頒獎

黑芝麻智能科技演講實(shí)錄

非常高興，也很感謝安創(chuàng)加速器給我們提供了這樣的舞臺，為大家介紹黑芝麻智能科技。我們的slogan是“用芯，看懂世界”，提供基于圖像處理、計算圖像以及人工智能的嵌入式視覺感知平臺，不僅要看清楚世界，而且要理解世界。我們致力于成為全球領(lǐng)先的自動駕駛感知技術(shù)方案提供商。

最近，總會看到一些關(guān)于自動駕駛車禍的報道： Uber的感知系統(tǒng)不穩(wěn)定，所以把warning關(guān)掉了，結(jié)果發(fā)生了車禍；特斯拉沒有把隔離帶識別出來，結(jié)果直接撞了上去；右下角的是Mobileye無人駕駛測試車，沒有識別出紅綠燈，直接闖過去了。如果我們沒有一個好的感知系統(tǒng)，自動駕駛根本無法談起。

我們認(rèn)為，一個準(zhǔn)確的、穩(wěn)定的、可靠的感知系統(tǒng)需要有四個方面的功能：清晰的視覺、優(yōu)質(zhì)的算法、多傳感器融合、足夠的計算能力。

這是我們提出的解決方案。面對復(fù)雜的外部環(huán)境，如車、人、道路、交通標(biāo)識等，通過傳感器感知信號，利用控光技術(shù)把光場進(jìn)行處理（攝像頭），使得攝像頭能夠在實(shí)現(xiàn)在各種特殊工況條件下成像。再通過毫米波雷達(dá)、超聲波雷達(dá)、GPS、IMU與攝像頭融合，將這些信號傳入到黑芝麻感知系統(tǒng)。

在黑芝麻感知系統(tǒng)中搭載獨(dú)特的圖像處理技術(shù)，感知理解算法以及優(yōu)化的計算平臺。關(guān)于感知理解算法，比如人的特征、行為和場景的識別等；我們還有一個優(yōu)化的SoC計算平臺，這樣能夠?qū)⒏兄Y(jié)果傳達(dá)給下游自動駕駛企業(yè)去做決策、控制。因此，黑芝麻提供的是端到端、全棧式的感知解決方案。

這是我們第一次對外展示SoC的架構(gòu)。上面中間的部分是Arm 架構(gòu)CPU，藍(lán)色部分都是黑芝麻的技術(shù)，包含ISP、Codec、計算機(jī)視覺和神經(jīng)網(wǎng)絡(luò)等。和國內(nèi)很多企業(yè)只關(guān)注神經(jīng)網(wǎng)絡(luò)加速相比，我們的技術(shù)更加豐富。

目前，汽車是我們著重關(guān)注的領(lǐng)域。利用黑芝麻的獨(dú)特技術(shù)，黑芝麻能夠開發(fā)出車規(guī)級的芯片，實(shí)現(xiàn)的功能包括支持多種傳感器的輸入，針對超低光、超高動態(tài)范圍的圖像處理，也能夠滿足L3、L4自動駕駛的計算能力。同Mobileye EyeQ4和EyeQ5相比，黑芝麻感知芯片單位功耗下計算能力有優(yōu)勢。

我們的高動態(tài)成像當(dāng)中經(jīng)常會出現(xiàn)這樣的情景，通過黑芝麻的算法能夠得到完整的、比較清晰的圖片，這樣能夠?yàn)?a target="_blank">深度學(xué)習(xí)、網(wǎng)絡(luò)加速提供很好的圖像信息來源。

這個DEMO展示了我們在不同工況下，有效識別出車道和汽車、行人、交通標(biāo)志，在彎道，大逆光、低光、雨/霧天等情況下都能進(jìn)行識別。

接下來這個demo展示了黑芝麻利用多種傳感器的融合，進(jìn)行高精度定位。綠色的是我們定位的軌跡，紅色的是普通GPS信號的軌跡?？梢钥吹?，經(jīng)過傳感器融合后的定位跟實(shí)際位置幾乎沒有偏差。

黑芝麻智能成立于2016年8月，在硅谷、上海、深圳、武漢都建立了自己的研發(fā)機(jī)構(gòu)和辦事處，員工接近100人，都來自于細(xì)分領(lǐng)域的頂級公司，包括OV、Ambarella、高通、英偉達(dá)，甚至美國國防部，平均工作時間也都超過15年。

現(xiàn)在你們整機(jī)廠方面的進(jìn)展情況怎么樣？

車規(guī)級的芯片我們選擇了三家有代表性的汽車廠，一個是中國實(shí)力最強(qiáng)的主機(jī)廠，另一個是中國新能源汽車當(dāng)中的佼佼者，還有一個是新勢力造車的典型代表。

有沒有明確的計劃和時間表？

有的，因?yàn)槭擒囈?guī)級的，目前芯片設(shè)計部分已經(jīng)結(jié)束，完成所有驗(yàn)證要到2021年。

剛才我們看到了很棒的視頻展示，團(tuán)隊過去在傳感器方面有很多積累，非常惡劣的環(huán)境下表現(xiàn)非常好，大家對這方面應(yīng)該沒有任何疑問，能否分享一下具體團(tuán)隊成員的情況和經(jīng)驗(yàn)？如何把車規(guī)級的SoC做出來？

我們的團(tuán)隊成員在產(chǎn)業(yè)工作年限都超過15年，曾在行業(yè)尖端企業(yè)，比如高通、安霸等工作，在芯片的設(shè)計和驗(yàn)證方面有著豐富的經(jīng)驗(yàn)。

智能網(wǎng)聯(lián)汽車規(guī)劃當(dāng)中提到，中國需要有自主的智能駕駛計算平臺，國家也有一些戰(zhàn)略推動整車廠方面建立自主的計算平臺，現(xiàn)在這些大的整車廠大概是什么進(jìn)程？

現(xiàn)在中國的自主品牌主機(jī)廠都有一個很明確的A/B方案，A方案就是剛才說的外圍公司，B方案就是黑芝麻，所以需要跟著自主品牌一起成長。

傳感器方面現(xiàn)在的合作力度是比較緊密的，因?yàn)橹苯訒Q定信息的獲取，整個合作的過程當(dāng)中對傳感器是怎樣的影響力？

芯片的功能特征是有雷達(dá)、GPS等其他傳感器的接口。

比如激光雷達(dá)，全球短期內(nèi)有沒有比較容易做出來的？

目前激光雷達(dá)商業(yè)化確實(shí)比較難，成本也比較高，目前我們只是留了接口，但還沒有進(jìn)行具體布局，實(shí)現(xiàn)商業(yè)化還需要一定時間。

現(xiàn)在算法是已經(jīng)固化到里面了嗎？

我們沒有固化，就是留了接口。我們有ISP，加上神經(jīng)網(wǎng)絡(luò)、SOC架構(gòu)當(dāng)中還有基于RISK-V保密和加密安全方面。

基于視覺的識別都是你們自己做的嗎？

是的。

第三方有些很知名的，專門做機(jī)器視覺的公司，他們的算法也可以應(yīng)用于你們的芯片嗎？

可以。

所以CNN加速不依賴于自己的算法？

我們是比較開放的平臺。會給第三方開發(fā)兩種選擇：一是用我們提供的神經(jīng)網(wǎng)絡(luò)開發(fā)工具直接進(jìn)行原始網(wǎng)絡(luò)的硬件合成； 二是用我們提供的神經(jīng)網(wǎng)絡(luò)開發(fā)工具進(jìn)行網(wǎng)絡(luò)的深度優(yōu)化，包括剪裁和再訓(xùn)練。

黑芝麻智能科技（上海）有限公司是一家視覺感知核心技術(shù)開發(fā)與應(yīng)用提供商，該公司正致力于成為全球嵌入式圖像處理、計算機(jī)視覺的領(lǐng)跑者。2016年8月，分別在上海和美國加州硅谷成立研發(fā)中心。團(tuán)隊成員已接近100人，核心團(tuán)隊成員皆有15年以上產(chǎn)業(yè)工作經(jīng)驗(yàn)。公司核心業(yè)務(wù)為提供圖像處理、計算圖像的解決方案，以及基于人工智能的嵌入式視覺感知平臺。目前公司已經(jīng)完成A+輪融資。