根據(jù)威爾遜研究集團(tuán)和西門(mén)子EDA的數(shù)據(jù)，即使在EDA工具的研發(fā)上花費(fèi)了數(shù)十億美元，在驗(yàn)證人工上又花費(fèi)了數(shù)百億美元，但只有30%到50%的ASIC設(shè)計(jì)是第一次正確的。

即便如此，這些設(shè)計(jì)仍然有bug。只是它們的災(zāi)難性還不足以導(dǎo)致重新旋轉(zhuǎn)。這意味著需要更高效的驗(yàn)證。在此之前，驗(yàn)證團(tuán)隊(duì)繼續(xù)用各種方式的刺激來(lái)挑戰(zhàn)設(shè)計(jì)。但并沒(méi)有一個(gè)確切的科學(xué)方法來(lái)表明何時(shí)停止驗(yàn)證。

重旋在很多層面上都會(huì)造成痛苦。在28納米上的重旋可能會(huì)增加50萬(wàn)美元的新掩模成本，而在較小幾何尺寸上的重旋可能會(huì)花費(fèi)100萬(wàn)美元。還有就是失去目標(biāo)市場(chǎng)的問(wèn)題。如果一家芯片制造商服務(wù)的是一個(gè)價(jià)值數(shù)十億美元的市場(chǎng)，而在一個(gè)只有24個(gè)月的產(chǎn)品生命周期中卻晚了3個(gè)月，損失的收入可能是毀滅性的。但何時(shí)停止并不總是顯而易見(jiàn)的。

“要想讓驗(yàn)證被認(rèn)為是完整的，首先必須對(duì)驗(yàn)證覆蓋率有一個(gè)堅(jiān)實(shí)的理解，”O(jiān)neSpin Solutions公司設(shè)計(jì)驗(yàn)證解決方案產(chǎn)品經(jīng)理Nicolae Tusinschi說(shuō)?！叭绻恢莉?yàn)證中是否或在哪里存在差距，就很難達(dá)到IC完整性標(biāo)準(zhǔn)，也就是確保設(shè)計(jì)按預(yù)期操作，是安全、可信和可靠的。如果沒(méi)有精確的覆蓋率分析，你就無(wú)法放心地達(dá)到簽收。需要的是快速、精確地衡量進(jìn)度和覆蓋率的提高?！?/p>

根據(jù)開(kāi)發(fā)人員在生態(tài)系統(tǒng)中的位置，驗(yàn)證任務(wù)因不同程度的挑戰(zhàn)而變得更加復(fù)雜?！叭绻闶且患以O(shè)計(jì)硅片、封裝、電路板、系統(tǒng)和軟件的系統(tǒng)公司，你實(shí)際上可以奢侈地完全控制，”Cadence的產(chǎn)品營(yíng)銷(xiāo)總監(jiān)Michael Young說(shuō)?！暗窍胂笠幌?，你是博通公司的客戶(hù)，或者你正在設(shè)計(jì)某款芯片，該芯片裝在插入計(jì)算機(jī)主板的PCIe卡中。要了解系統(tǒng)方案是非常困難的。為了降低風(fēng)險(xiǎn)，以及重新旋轉(zhuǎn)的成本，以及發(fā)現(xiàn)客戶(hù)的bug，左移的概念已經(jīng)開(kāi)始發(fā)揮作用。所有過(guò)去在硬件層面做的活動(dòng)都被轉(zhuǎn)移到硬件/軟件中。而這種硬件/軟件的開(kāi)發(fā)是在SoC層面進(jìn)行的，SoC的開(kāi)發(fā)也在盡可能早的進(jìn)行。這里的挑戰(zhàn)是，仿真器并沒(méi)有像過(guò)去那樣提供同樣的速度提升，所以很多人都在左移仿真或原型系統(tǒng)來(lái)做額外的工作，并將更多的工作量轉(zhuǎn)移到驗(yàn)證上?！?/p>

這需要對(duì)需要驗(yàn)證的內(nèi)容有一個(gè)清晰的認(rèn)識(shí)。“你只能定義和驗(yàn)證你能指定的東西，”Young說(shuō)。“你不能指定的東西是會(huì)殺死你的東西。一旦你開(kāi)始規(guī)范，如果你做得不對(duì)--或者你的設(shè)備必須生活在一個(gè)不受你控制的外國(guó)環(huán)境中--你的風(fēng)險(xiǎn)就會(huì)高很多?！?/p>

圖1：以系統(tǒng)為中心的SoC視圖。來(lái)源：Cadence

什么時(shí)候能完成？

那么，在驗(yàn)證一個(gè)芯片或一個(gè)子系統(tǒng)或一個(gè)封裝時(shí)，“完成 ”究竟意味著什么？

“如今，采用功能和代碼覆蓋是必須的--你必須擁有它，而且你必須投資于它，”Vtool的CEO Hagai Arbel說(shuō)?！霸絹?lái)越多的公司都在這樣做，并且相當(dāng)嚴(yán)格地遵循它，然而第一次正確的芯片的比例卻在下降。如果你檢查那些有bug或bug嚴(yán)重到需要重新打磨的芯片，他們遵循了驗(yàn)證中‘完成’的最先進(jìn)定義，即功能覆蓋率和代碼覆蓋率100%。你會(huì)看到不少這樣的情況。這意味著它沒(méi)有幫助?！?/p>

Arbel說(shuō)，事實(shí)上，即使在功能覆蓋率達(dá)到100%，代碼覆蓋率達(dá)到100%之后，高技能的驗(yàn)證工程師也會(huì)發(fā)現(xiàn)關(guān)鍵的bug?！八麄兪侨绾伟l(fā)現(xiàn)它們的？他們?cè)趺粗?00%的覆蓋率它是不夠的？每個(gè)優(yōu)秀的驗(yàn)證工程師都會(huì)產(chǎn)生這樣的預(yù)感：‘它說(shuō)是覆蓋了，但我不放心。我覺(jué)得有些東西不對(duì)勁’。真正優(yōu)秀的驗(yàn)證工程師對(duì)此有某種第六感。他們就是知道。而如果你是一個(gè)非常優(yōu)秀的驗(yàn)證經(jīng)理，你就會(huì)對(duì)別人的驗(yàn)證產(chǎn)生這種感覺(jué)。如果你回顧一下覆蓋面，我不是說(shuō)它不重要。但是還不能確定，甚至還不能接近。除了代碼覆蓋率和功能覆蓋率之外，還應(yīng)該考慮其他指標(biāo)，比如驗(yàn)證工作的質(zhì)量。不過(guò)，你做這些事情能有多安全呢？有些公司確實(shí)在努力解決這個(gè)問(wèn)題。有些公司已經(jīng)設(shè)法制定了更好的流程和內(nèi)部流程，但作為EDA行業(yè)，我們甚至還沒(méi)有提供一個(gè)足夠好的解決方案。這里面有巨大的機(jī)會(huì)，我們要努力把記錄信息和做出結(jié)論的方法正式化?！?/p>

歸結(jié)到本質(zhì)，驗(yàn)證是一項(xiàng)風(fēng)險(xiǎn)管理工作。“如果你看看FPGA和ASIC之間的差異，以及他們對(duì)待驗(yàn)證的方式，從風(fēng)險(xiǎn)管理的角度來(lái)看，你開(kāi)始明白為什么他們對(duì)待事情的方式不同，”西門(mén)子EDA的IC驗(yàn)證解決方案營(yíng)銷(xiāo)總監(jiān)Neil Hand說(shuō)?！霸贔PGA中，他們承擔(dān)更多的風(fēng)險(xiǎn)，因?yàn)樗麄兛梢栽谑潞笮迯?fù)它，而在ASIC中，你不能。因此，如果你開(kāi)始把驗(yàn)證看成是一項(xiàng)風(fēng)險(xiǎn)管理工作，它就不再是一個(gè)何時(shí)完成的問(wèn)題，因?yàn)槟阌肋h(yuǎn)不可能完成。那么問(wèn)題就變成了，”我什么時(shí)候達(dá)到了我的風(fēng)險(xiǎn)承受能力？什么時(shí)候我已經(jīng)到了我覺(jué)得可以放心地簽下這個(gè)設(shè)計(jì)的地步？“

可以幫助的是擁有數(shù)據(jù)和工具來(lái)更快地完成覆蓋?！蹦阌懈采w率，這是今天很多人衡量風(fēng)險(xiǎn)的方式，但覆蓋率不是全部，“Hand說(shuō)。”你可能有覆蓋面的漏洞。你可能沒(méi)有定義覆蓋范圍?？赡苡泻芏嗖罹?。但如果有一套你定義的指標(biāo)，你可以根據(jù)這些指標(biāo)進(jìn)行衡量。另外，可以利用工具和技術(shù)來(lái)確定這些指標(biāo)是否良好。你可以有一個(gè)覆蓋方法論，你已經(jīng)定義了1000個(gè)覆蓋點(diǎn)。你擊中了這1000個(gè)覆蓋點(diǎn)，但這1000個(gè)覆蓋點(diǎn)只擊中了你設(shè)計(jì)的10%。那么你的風(fēng)險(xiǎn)暴露是什么？“

這些都是必須要解決的問(wèn)題。但這并不是那么簡(jiǎn)單。定義風(fēng)險(xiǎn)邊界是一個(gè)移動(dòng)的目標(biāo)，因?yàn)樗Q于設(shè)計(jì)，以及該設(shè)計(jì)在系統(tǒng)內(nèi)的背景和與其他系統(tǒng)的交互。

”有一個(gè)權(quán)衡，但對(duì)于每個(gè)芯片來(lái)說(shuō)，它是不同的，“他說(shuō)?！笨山邮艿娘L(fēng)險(xiǎn)對(duì)于每個(gè)設(shè)計(jì)都會(huì)不同。你要做的是給工具，不管是通過(guò)驗(yàn)證管理、需求管理、覆蓋率可追溯性，還是通過(guò)機(jī)器學(xué)習(xí)，了解你看了什么與沒(méi)看什么。當(dāng)我們?cè)谀骋粋€(gè)領(lǐng)域看的時(shí)候，我們往往會(huì)變得盲目。我們沒(méi)有看到右肩上那個(gè)準(zhǔn)備撲過(guò)來(lái)的怪物。我們可以利用機(jī)器學(xué)習(xí)技術(shù)來(lái)識(shí)別你做的都是正確的事情，但那個(gè)怪物還在那里?！?/p>

這在異構(gòu)系統(tǒng)中尤其如此，隨著摩爾定律的耗盡，異構(gòu)系統(tǒng)越來(lái)越常見(jiàn)。這迫使設(shè)計(jì)團(tuán)隊(duì)使用新的架構(gòu)作為各種應(yīng)用和市場(chǎng)的差異化因素。這既為定制加速器打開(kāi)了大門(mén)，也推動(dòng)了RISC-V的部分發(fā)展勢(shì)頭。但這也使設(shè)計(jì)變得更加復(fù)雜，更難驗(yàn)證。

”我們?cè)谑褂瞄_(kāi)源內(nèi)核的設(shè)計(jì)中看到了這一點(diǎn)，其中有我們以前從未見(jiàn)過(guò)的新的角落案例，“Aldec的營(yíng)銷(xiāo)總監(jiān)Louie de Luna說(shuō)。”驗(yàn)證也是如此。我們看到了新的UVM用例，我們也發(fā)現(xiàn)了很多錯(cuò)誤。“

De Luna指出，這也推動(dòng)了很多相關(guān)的活動(dòng)，比如虛擬建模和多核調(diào)試。實(shí)際上，工程師們正在利用一切可以利用的東西來(lái)應(yīng)對(duì)不斷上升的復(fù)雜性。

不像聽(tīng)起來(lái)那么簡(jiǎn)單

雖然這其中的大部分都取決于設(shè)計(jì)和用例，但也有越來(lái)越多的共識(shí)，即驗(yàn)證需要是一個(gè)連續(xù)的過(guò)程，而不僅僅是設(shè)計(jì)流程中的一個(gè)單一步驟。

”這個(gè)問(wèn)題的一個(gè)非常簡(jiǎn)單的答案是，‘當(dāng)你證明設(shè)計(jì)沒(méi)有任何缺陷時(shí)，驗(yàn)證就完成了’，“Valtrix系統(tǒng)公司首席執(zhí)行官Shubhodeep Roy Choudhury說(shuō)?！边@時(shí)你就可以稱(chēng)你的驗(yàn)證完成了。但這是一個(gè)NP硬問(wèn)題，永遠(yuǎn)也做不完。你有空間。測(cè)試的數(shù)量和覆蓋率是無(wú)限的，所以從技術(shù)上講，你永遠(yuǎn)無(wú)法真正完成你的驗(yàn)證活動(dòng)?！?/p>

還有一些其他因素需要考慮?！蹦惚仨毚_保功率和性能目標(biāo)得到滿(mǎn)足，并且你的最終用例向你設(shè)計(jì)的東西是按預(yù)期工作的，“Roy Choudhury說(shuō)。”其中一些標(biāo)準(zhǔn)可以用來(lái)判斷驗(yàn)證已經(jīng)接近完成，比如當(dāng)你擁有所有的代碼，代碼覆蓋率和功能覆蓋率都達(dá)到了你的設(shè)計(jì)和驗(yàn)證團(tuán)隊(duì)可以接受的數(shù)字。通常情況下，所有這些設(shè)計(jì)都是在你已經(jīng)有的一些以前的設(shè)計(jì)之上的迭代，所以從驗(yàn)證的角度來(lái)看，很多努力都花在了開(kāi)發(fā)測(cè)試上，這些測(cè)試行使了設(shè)計(jì)三角洲，以及新功能與舊功能的交互。這意味著要花費(fèi)大量的精力來(lái)編寫(xiě)測(cè)試。你需要確保這些測(cè)試按照預(yù)期工作，沒(méi)有任何故障或失敗。你需要優(yōu)秀的驗(yàn)證工程師來(lái)判斷是否滿(mǎn)足了意圖，以及設(shè)計(jì)是否按照預(yù)期進(jìn)行。有一些活動(dòng)，比如在設(shè)計(jì)的某些部分，你可以應(yīng)用形式化模型，得到設(shè)計(jì)真的沒(méi)有任何缺陷的證明，也可以在任何可以應(yīng)用的地方使用。“

這可以一步步來(lái)?！痹诠δ茯?yàn)證中，只要我們被要求驗(yàn)證一個(gè)功能，一切都要從測(cè)試規(guī)劃開(kāi)始。“他說(shuō)?！币虼?，我們確定了設(shè)計(jì)中的不同變化，然后我們創(chuàng)建了數(shù)百個(gè)場(chǎng)景，這些場(chǎng)景是確保特定功能按照預(yù)期工作所需的。然后，我們?cè)谠O(shè)計(jì)還沒(méi)出來(lái)之前，就會(huì)花一些時(shí)間來(lái)編寫(xiě)測(cè)試，確保它們?cè)谔摂M模型或功能準(zhǔn)確的模擬器上工作正常。一旦測(cè)試人員準(zhǔn)備好，設(shè)計(jì)可用，我們就會(huì)讓它運(yùn)行，并盡量確保沒(méi)有故障。在程序接近尾聲的時(shí)候，通常，設(shè)計(jì)錯(cuò)誤率可以作為一個(gè)很好的指標(biāo)來(lái)衡量整體驗(yàn)證的情況。當(dāng)你要完成整個(gè)驗(yàn)證任務(wù)的時(shí)候，它會(huì)趨于平穩(wěn)?！?/p>

所有這些都必須與功能和代碼覆蓋工具相配合。每次新版本的設(shè)計(jì)，通常都會(huì)有涉及代碼和功能覆蓋分析的階段，以確保所有預(yù)期的方案都能被擊中。這些都是用來(lái)確保設(shè)計(jì)得到驗(yàn)證的指標(biāo)。

這里的另一個(gè)考慮因素是決定衡量什么，以及如何衡量。Imperas軟件公司的首席執(zhí)行官Simon Davidmann以最近的一個(gè)RISC-V項(xiàng)目為例指出。”我們剛剛和OpenHW集團(tuán)一起參與了一個(gè)32位RISC核的項(xiàng)目，首先發(fā)生的一件事就是寫(xiě)了一個(gè)測(cè)試計(jì)劃，說(shuō)‘這些是設(shè)計(jì)中已經(jīng)測(cè)試好的位子，這些是新的位子，這些是我們擔(dān)心的位子，而這些位子可能有一些隱藏在翅膀上的東西，我們并不知道。他們提出了測(cè)試計(jì)劃，投入了資源，可以說(shuō)，’這一點(diǎn)的設(shè)計(jì)我們要用定向測(cè)試，對(duì)于這一點(diǎn)我們要用隨機(jī)。對(duì)于這一點(diǎn)我們要用異步和比較測(cè)試，對(duì)于這一點(diǎn)其實(shí)我們要用正式的來(lái)測(cè)試東西如何進(jìn)入和退出調(diào)試模式，這在傳統(tǒng)上是相當(dāng)難的事情。你基本上要看你所面臨的設(shè)計(jì)挑戰(zhàn)，然后計(jì)算出你知道什么，不知道什么，以及風(fēng)險(xiǎn)是什么。我必須達(dá)到什么水平才會(huì)對(duì) “足夠好 ”感到滿(mǎn)意，因?yàn)槟銦o(wú)法證明沒(méi)有bug？你只能說(shuō)它足夠好，可以出貨?！?/p>

知識(shí)共享

Vtool的Arbel說(shuō)，另一個(gè)障礙是如何與其他團(tuán)隊(duì)成員分享，這是整個(gè)設(shè)計(jì)和驗(yàn)證過(guò)程中的一個(gè)重要方面?！蓖ǔＧ闆r下，不止一個(gè)人參與。我是一名驗(yàn)證工程師，我認(rèn)為我有一個(gè)問(wèn)題。我把它發(fā)給設(shè)計(jì)師。他要把它發(fā)回來(lái)。架構(gòu)師在中間，軟件團(tuán)隊(duì)也會(huì)參與進(jìn)來(lái)。參與的人很多，大多是互相推諉，不能真正協(xié)作，共同解決這個(gè)問(wèn)題。驗(yàn)證工程師必須學(xué)會(huì)如何利用他們的綜合知識(shí)來(lái)提高工作效率。如今，調(diào)試是一條孤獨(dú)的路--孤獨(dú)在于很難讓人幫你，但也很難教你。“

對(duì)于這一點(diǎn)，Roy Choudhury表示，徹底記錄下所做的任何事情都是有幫助的?！比绻銓?duì)整個(gè)驗(yàn)證活動(dòng)有很好的記錄，就會(huì)有相當(dāng)大的幫助。在我以前的一家公司里，我們?cè)?jīng)保留了整個(gè)硅后驗(yàn)證過(guò)程的日志，這些日志曾經(jīng)在我們用來(lái)驗(yàn)證的服務(wù)器設(shè)計(jì)上完成。這是非常詳細(xì)的。例如，我們?cè)?jīng)為負(fù)載存儲(chǔ)單元、為CPU測(cè)試等設(shè)置了區(qū)域負(fù)責(zé)人，每個(gè)人都有一大套遺留測(cè)試，只要測(cè)試人員有空，就會(huì)給他們分配N(xiāo)個(gè)小時(shí)的時(shí)間來(lái)測(cè)試設(shè)計(jì)。隨著時(shí)間的推移，我們對(duì)所有這些驗(yàn)證活動(dòng)都有記錄。根據(jù)新功能的到來(lái)，例如，如果有很多功能發(fā)生，那么負(fù)載存儲(chǔ)單元區(qū)的所有者，將獲得更多的測(cè)試小時(shí)數(shù)。在這一點(diǎn)之后，如果你把所有的東西都記錄得非常清楚，如果你有整個(gè)歷史計(jì)劃在身邊，那么就會(huì)變得非常無(wú)縫?！?/p>

當(dāng)然，他指出，需要一定量的知識(shí)?！蹦阈枰拦ぞ撸⒂蟹椒ㄕ搧?lái)做得更好，以及可以投入的效率，如功能驗(yàn)證。這是一個(gè)很大的領(lǐng)域，我們所有人都對(duì)它感興趣，以確保我們擁有的整個(gè)刺激是完全可移植的，這樣我們就可以在設(shè)計(jì)的多個(gè)階段無(wú)縫地使用它，無(wú)論是硅的模擬還是其他方面。這將實(shí)現(xiàn)大量的重復(fù)使用，當(dāng)然也會(huì)帶來(lái)更高的效率。“

OneSpin的Tusinschi指出，通過(guò)基于形式的突變分析、基于模型的故障注入以及對(duì)源代碼的精確映射，可以快速、精確地衡量進(jìn)度和覆蓋率的提高。”其結(jié)果是可靠地識(shí)別驗(yàn)證差距和盲點(diǎn)。當(dāng)然，最佳的解決方案是將所有的驗(yàn)證指標(biāo)，如來(lái)自仿真和形式化的指標(biāo)納入一個(gè)視圖，以便更好地了解整體的驗(yàn)證工作和進(jìn)度?！八f(shuō)。

結(jié)語(yǔ)

當(dāng)你覺(jué)得你已經(jīng)完成了，Imperas的Davidmann說(shuō)：”你必須把測(cè)量到位，你必須分析。當(dāng)有問(wèn)題時(shí)，你需要了解流程是什么。這都是關(guān)于經(jīng)驗(yàn)的。你需要大量的經(jīng)驗(yàn)來(lái)研究如何做到這一切。此外，新的技術(shù)正在出現(xiàn)，希望在生成測(cè)試時(shí)使用AI的團(tuán)隊(duì)正在涌現(xiàn)新技術(shù)。您可以使用AI來(lái)查看測(cè)試的有效性，查看測(cè)試在設(shè)計(jì)中的位置以及什么是做事的更好方法，以便它可以幫助改善正在執(zhí)行的測(cè)試的質(zhì)量。如果做得正確，這可以節(jié)省完成所有測(cè)試和回歸測(cè)試以及改善事物質(zhì)量所花費(fèi)的時(shí)間。目前，我們正處于使用AI協(xié)助我們進(jìn)行驗(yàn)證的初期階段?！?/p>

最后，Cadence的Young強(qiáng)調(diào)，要確定何時(shí)完成驗(yàn)證。你基本上要盡量讓覆蓋率達(dá)到100%，在你的老板告訴你，如果你不帶出去，團(tuán)隊(duì)就會(huì)有危險(xiǎn)之前，盡可能多地跑。這顯然是基于經(jīng)驗(yàn)的，但你需要使用基于規(guī)格的覆蓋模型。你需要運(yùn)行盡可能多的回歸測(cè)試。你要確保即使發(fā)現(xiàn)了一些勘誤，也可以通過(guò)軟件來(lái)處理，而不是要重新做一次測(cè)試。

編輯：hfy