4 月 2 日消息，生成式 AI 迅速崛起的同時，其安全性、隱私性及可靠性問題亦愈發(fā)突出。為應(yīng)對潛在威脅，如 Supremacy AGI（聲稱掌控全球的 AI）等事件的發(fā)生，微軟近期推出了一系列措施，以確保生成式 AI 的穩(wěn)定運(yùn)行。

微軟公開聲明：“確保生成式 AI 免受提示詞注入攻擊已成為一項關(guān)鍵任務(wù)。這類攻擊企圖通過操縱人工智能系統(tǒng)達(dá)成其意料之外的結(jié)果，如制造不良內(nèi)容或泄露敏感數(shù)據(jù)?！?/p>

為此，微軟首先縮減了 Copilot 的字符數(shù)，以減輕幻覺現(xiàn)象；其次引進(jìn)了“基礎(chǔ)檢測”功能，幫助用戶識別基于文本生成的幻覺。此功能能夠自動偵測文本中的“不實(shí)內(nèi)容”，優(yōu)化 LLM（邏輯語言模型）輸出品質(zhì)，提升模型質(zhì)量與公信力。

以下是部分對應(yīng)產(chǎn)品如下：

1. Prompt Shields：專用于檢查并制止提示注入攻擊，新型模型目前正在Azure AI Content Safety內(nèi)展示，不久后即可正式上線；

2. Groundedness detection：專注于追蹤模型輸出中的“幻覺”狀況，即將發(fā)布；

3. Safety system messages：協(xié)助模型實(shí)現(xiàn)安全、負(fù)責(zé)任的發(fā)展方向；

4. Safety evaluations：檢測應(yīng)用程序越獄攻擊及生成內(nèi)容危險性的脆弱性，已開啟測試版本；

5. Risk and safety monitoring：旨在掌握可能觸發(fā)內(nèi)容過濾器的模型輸入、輸出及終端用戶信息，提供風(fēng)險降低參考，預(yù)定發(fā)布時間，技術(shù)演示版現(xiàn)已在Azure OpenAI服務(wù)內(nèi)呈現(xiàn)。