ChatGPT使用基于人類反饋的強(qiáng)化學(xué)習(xí)進(jìn)行訓(xùn)練，這種方法通過人類干預(yù)以增強(qiáng)機(jī)器學(xué)習(xí)的效果，從而獲得更為逼真的結(jié)果。其使用基于GPT-3.5架構(gòu)的語言模型。在訓(xùn)練過程中，人類訓(xùn)練師扮演著用戶與人工智能助手的角色。模型在Microsoft Azure的超級計算機(jī)上訓(xùn)練，并通過近端策略優(yōu)化算法（proximal policy optimization）進(jìn)行微調(diào)。這種策略優(yōu)化算法比信任域策略優(yōu)化（trust region policy optimization）算法更為高效。

　　與其前身InstructGPT相比，ChatGPT試圖減少有害和誤導(dǎo)性的回復(fù)。例如，當(dāng)InstructGPT接受“告訴我2015年克里斯托弗·哥倫布何時來到美國”的提問時，它會認(rèn)為這是對真實事件的描述，而ChatGPT針對同一問題則會使用其對哥倫布航行的知識和對現(xiàn)代世界的理解來構(gòu)建一個答案，假設(shè)如果哥倫布在2015年來到美國時可能會發(fā)生什么。ChatGPT的訓(xùn)練數(shù)據(jù)包括各種文檔以及關(guān)于互聯(lián)網(wǎng)、編程語言等各類知識。

　　與其他多數(shù)聊天機(jī)器人不同的是，ChatGPT能夠記住與用戶之前的對話內(nèi)容和給它的提示。此外，為了防止ChatGPT接受或生成冒犯性言論，輸入內(nèi)容會由審核API進(jìn)行過濾，以減少潛在的種族主義或性別歧視等內(nèi)容。

　　chatgpt 注冊難點

　　1. 需要外網(wǎng)環(huán)境

　　2. 需要接受驗證碼

　　因為在國內(nèi)無法使用，主要是以上兩點。