開(kāi)發(fā)板介紹

了解到星宸科技也開(kāi)始做開(kāi)發(fā)板了， 他們家的芯片主打性?xún)r(jià)比，剛好對(duì)端側(cè)的AI開(kāi)發(fā)比較感興趣，在他們商店買(mǎi)了一套Comake PI D1開(kāi)發(fā)板套件，此文記錄一下開(kāi)箱與使用體驗(yàn)！希望能幫助到大家

更多詳細(xì)的介紹可以去看[Comake官網(wǎng)] ，或者Comake社區(qū)的[貼子] 。

1.到手開(kāi)箱

開(kāi)箱！可以看到配件，開(kāi)發(fā)板都在箱子里，整個(gè)套件的東西還是很多的。

全部拿出來(lái)，可以看到包括了：開(kāi)發(fā)板、電源、串口板、亞克力板和螺栓、屏幕、麥克風(fēng)、揚(yáng)聲器還有組合固定用的亞克力板和螺栓。

接下來(lái)把整個(gè)套件安裝起來(lái)。

2.硬件環(huán)境搭建

在官方的[Sigdoc] 中，有對(duì)板子硬件的說(shuō)明，可以看到開(kāi)發(fā)板的系統(tǒng)介紹和接口介紹

從客服那邊了解到， 安裝可以參考官方Comake社區(qū)中的[配件安裝說(shuō)明] 以及相應(yīng)[安裝視頻]

另外這邊特別提醒如下：

1.一定要斷電狀態(tài)下安裝連接。

2.特別注意屏幕的連線(xiàn)一定要參考官方的配件安裝說(shuō)明，接錯(cuò)或者接反很可能燒壞屏幕。

整個(gè)配件安裝完就和下圖一樣

整個(gè)套件的內(nèi)容還是比較多的，全部連接上也比較分散。不過(guò)還好官方也提供了亞克力板來(lái)固定，參考官方的安裝教程，可以把開(kāi)發(fā)板和亞克力板組合起來(lái)，把攝像頭、屏幕等配件固定上去。全部安裝好之后應(yīng)該是這個(gè)樣子。

3.軟件環(huán)境搭建

3.1獲取軟件資料

Comake D1的相關(guān)開(kāi)發(fā)資料，可以到[Comake開(kāi)發(fā)者社區(qū)] 去下載。

這里注意，需要注冊(cè)賬號(hào)并且完成實(shí)名認(rèn)證，認(rèn)證通過(guò)后方可下載SDK等資料。注冊(cè)的時(shí)候需要提供認(rèn)證材料。審核是比較寬松也很快的，著急的話(huà)可以直接聯(lián)系客戶(hù)。

驗(yàn)證通過(guò)后就可以下載了。

可以根據(jù)需要下載，下載完后的資料包內(nèi)包括有軟硬件資料及說(shuō)明文檔，還有各種工具包。

另外他們還建了官方外網(wǎng)的git server， 下一個(gè)SDK大版本發(fā)布之前，如果想追新， 買(mǎi)了開(kāi)發(fā)板之后， 也可以聯(lián)系客戶(hù)去申請(qǐng)官方git賬戶(hù)，
實(shí)時(shí)的去下載開(kāi)發(fā)版本的SDK。

3.2開(kāi)發(fā)環(huán)境搭建

開(kāi)發(fā)環(huán)境通常包括 Linux服務(wù)器(用來(lái)編譯代碼)、Windows工作臺(tái)(用來(lái)編寫(xiě)代碼)和目標(biāo)板（用來(lái)運(yùn)行代碼），三者處于同一個(gè)網(wǎng)絡(luò)中。這里我在虛擬機(jī)上搭建了Ubuntu服務(wù)器用來(lái)編譯代碼。具體的步驟不再贅述，可以網(wǎng)上搜索，有很多詳細(xì)的教程。在官方的[Sigdoc 編譯環(huán)境搭建] 中也有對(duì)應(yīng)的教程。

如果遇到問(wèn)題也可以參考Comake社區(qū)上的這篇[貼子] 。

4.開(kāi)始使用

4.1. GUI 的功能體驗(yàn)

開(kāi)發(fā)板在出廠(chǎng)時(shí)，默認(rèn)燒錄了帶gui界面的32bit image。因此即使上面軟件環(huán)境搭建一時(shí)沒(méi)有完成，也可以先體驗(yàn)使用一下。配件和亞力克板安裝完成后，上電，啟動(dòng)，可以直接啟動(dòng)到gui界面，在屏幕上會(huì)顯示flythings的gui。

該GUI上面看介紹大概支持如下功能，可玩性還是挺高的：

1.音頻播放：演示錄音和播放的 Demo

演示不同麥克風(fēng)輸入硬件（ AMIC 模擬麥克風(fēng)，最大支持3通道輸入。 DMIC 數(shù)字矩陣麥克風(fēng)，最大支持 8通道輸入）的錄音效果，支持不同8K/16R/45K不同的采樣率，支持錄音音量調(diào)節(jié)。

2.視頻播放：演示視頻的播放，目前是固定演示一個(gè)片源，支持音量的調(diào)節(jié)

3.攝像頭：演示單路攝像頭的畫(huà)面顯示，并對(duì)接了 IPU 的物體識(shí)別算法，能夠?qū)崟r(shí)識(shí)別攝像頭看到的物體類(lèi)型和位置，例如人物、顯示器、鍵盤(pán)等

4.音頻算法播放：

• 人聲消除算法演示，算法打開(kāi)時(shí)消除播放聲音中的人聲，用于歌時(shí)，制作不帶原唱的背景音樂(lè)
• APC 算法演示，演示 ANR （降噪）、 EQ （均衡器處理）、 AGC （自動(dòng)增益控制）三個(gè)算法的集合，這個(gè)是音頻算法前處理的基本功能
• 環(huán)繞音渲染增強(qiáng)，增強(qiáng)空間音效
• 人聲關(guān)化算法，一般用于 R 歌，為輸入的人聲增加混響等效果，讓聲音聽(tīng)起來(lái)更好聽(tīng)

5.KMS + ASR :

• KWS 關(guān)鍵詞識(shí)別， DMIC 收音后，給到 IPU 做關(guān)鍵字匹配，如果識(shí)別到了就點(diǎn)亮右下角"你好小星"
• ASR 語(yǔ)音轉(zhuǎn)文字，暫時(shí)不支持語(yǔ)義識(shí)別

6.TTS ：文本轉(zhuǎn)語(yǔ)音， Demo 演示了5段不同的文本語(yǔ)音播放的效果，點(diǎn)擊文本位置觸發(fā)文字轉(zhuǎn)語(yǔ)音播放

7.火山模型： 對(duì)接了豆包大模型，支持模型功能的演示

接下來(lái)我們來(lái)一起看下其中一些功能的效果吧??！

4.1.1. 攝像頭顯示

滑動(dòng)GUI到第二頁(yè)，可以看到攝像頭的圖標(biāo)

點(diǎn)擊就可以打開(kāi)?？梢钥吹綌z像頭的畫(huà)面輸出到屏幕上。并且附帶了模型檢測(cè)，在攝像頭前的物體會(huì)被識(shí)別然后畫(huà)框。

4.1.2. 火山引擎大模型

在GUI界面第三頁(yè)，可以看到有火山引擎圖標(biāo)。這個(gè)是內(nèi)置的demo程序，不能直接使用，需要先在火山引擎上配置文件并且載入板端。

具體的操作可以跟著Comake社區(qū)的[貼子] ，一步一步操作。這里不贅述了。

在全部配置完成后，啟動(dòng)。屏幕會(huì)切換到攝像頭畫(huà)面

同時(shí)，揚(yáng)聲器會(huì)播放語(yǔ)音“你好，我是小星”的歡迎詞。如果你說(shuō)“你好小星”，那么也會(huì)有相應(yīng)的語(yǔ)句回應(yīng)。這里我們插上串口板，可以看見(jiàn)大模型的數(shù)據(jù)發(fā)送。

4.2. AI實(shí)戰(zhàn)Demo功能體驗(yàn)

另外建議把把串口也連上，串口的連接同樣可以參考Comake開(kāi)發(fā)者社區(qū)的這篇[貼子] 。 連上串口之后，除了
上述GUI功能， 該開(kāi)發(fā)板還提供了大量的demo程序，比如 /customer/opendla 提供了大量的AI 算法demo ,具體介紹可以參考 [IPU Sigdoc 開(kāi)源算法demo實(shí)戰(zhàn)的介紹]

/customer/opendla # ls 
models                      prog_sed_eat
prog_asr_conformer          prog_segmentation_yolov8
prog_benchmark              prog_separation_sepformer
prog_classification         prog_speaker
prog_detection_yolov11_obb  prog_tts_fastspeech2
prog_detection_yolov5       prog_tts_vits
prog_detection_yolov8       prog_vad_nemo
prog_llm_conformer_punc     prog_vlm_clip
prog_llm_transformerlm      prog_vlm_mobilesam
prog_ocr_lpr                prog_vlm_tag2text
prog_ocr_ppocr              prog_vlm_yolo_world
prog_pose_yolov8            resource

我這里跑了一下yolov8 算法的效果：

1.串口輸入如下cmd

cd /customer/opendla
  ./prog_detection_yolov8 -i ./resource/bus.jpg -m ./models/dectection/yolov8n_640x640.img

2.輸出結(jié)果如下：

4.3. 其他功能Demo的體驗(yàn)

在/customer/sample code 也放了海量demo，具體每個(gè)demo的用法可以參考SDK內(nèi)部對(duì)應(yīng)source code目錄下的readme.md .感興趣的小伙伴可以進(jìn)一步的去研究。

/customer/sample_code # ls -x
audio_ai_ao_demo
audio_alg_2mic_bf_ssl_demo
audio_alg_4mic_bf_ssl_demo
audio_alg_aec_demo
audio_alg_apc_demo
audio_alg_kws_demo
audio_alg_mix_demo
audio_alg_sed_demo
audio_alg_vad_demo
audio_mp3_play_demo
bootlogo_mem_free
crypto_aes_demo
crypto_rsa_demo
crypto_sha_demo
disp_panel_demo
disp_pspi_demo
disp_sensor2Panel_demo
dla_detection_demo
dla_ipu_utilization
double_sensor_transfer_double_sensor_openh264_transfer_demo
double_sensor_transfer_double_sensor_transfer_demo
gfx_gfx_demo
intercoremgr
ive_sample_16bit_to_8bit
ive_sample_acc
ive_sample_add
ive_sample_adp_thresh
ive_sample_alpha_blending
.....等

5.總結(jié)

1.comake PI D1的套件內(nèi)容非常齊全，在視頻相關(guān)、音頻相關(guān)、AI相關(guān)的開(kāi)發(fā)上有豐富的硬件資源和軟件資料。同時(shí)[Sigdoc]和[Comake開(kāi)發(fā)者論壇] 都有內(nèi)容豐富易上手的開(kāi)發(fā)指導(dǎo)資料，也可以在[Comake開(kāi)發(fā)者論壇] 上直接提問(wèn)。

2.買(mǎi)了開(kāi)發(fā)板還可以進(jìn)入vip 群，有什么問(wèn)題都可以及時(shí)的交流，原廠(chǎng)直接支持

總的來(lái)說(shuō)，Comake PI D1在智慧視覺(jué)、智慧音頻、智能機(jī)器人、小屏顯示、工業(yè)HML PLC等應(yīng)用的音視頻處理+AI方向上有非常不錯(cuò)的使用體驗(yàn)和使用前景。

審核編輯 黃宇