了解強(qiáng)化學(xué)習(xí)的要點(diǎn)！

強(qiáng)化學(xué)習(xí)（RL）是現(xiàn)代人工智能領(lǐng)域中最熱門的研究主題之一，其普及度還在不斷增長。 讓我們看一下開始學(xué)習(xí)RL需要了解的5件事。

1.什么是強(qiáng)化學(xué)習(xí)？ 與其他機(jī)器學(xué)習(xí)技術(shù)相比有何不同？

強(qiáng)化學(xué)習(xí)（RL）是一種機(jī)器學(xué)習(xí)技術(shù)，使代理能夠使用自身行為和經(jīng)驗(yàn)的反饋，通過反復(fù)試驗(yàn)，在交互式環(huán)境中學(xué)習(xí)。

盡管監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)都使用輸入和輸出之間的映射，但不同于監(jiān)督學(xué)習(xí)，后者提供給代理的反饋是執(zhí)行任務(wù)的正確動(dòng)作集，而強(qiáng)化學(xué)習(xí)則將獎(jiǎng)懲作為正面和負(fù)面行為的信號。

與無監(jiān)督學(xué)習(xí)相比，強(qiáng)化學(xué)習(xí)在目標(biāo)方面有所不同。 無監(jiān)督學(xué)習(xí)的目標(biāo)是發(fā)現(xiàn)數(shù)據(jù)點(diǎn)之間的相似點(diǎn)和差異，而在強(qiáng)化學(xué)習(xí)的情況下，目標(biāo)是找到合適的行為模型，以最大化代理的總累積獎(jiǎng)勵(lì)。 下圖說明了通用RL模型的動(dòng)作獎(jiǎng)勵(lì)反饋回路。

2.如何制定基本的強(qiáng)化學(xué)習(xí)問題？

描述RL問題基本要素的一些關(guān)鍵術(shù)語是：

環(huán)境-代理在其中運(yùn)行的物理世界

狀態(tài)—代理的現(xiàn)狀

獎(jiǎng)勵(lì)-來自環(huán)境的反饋

策略-將代理狀態(tài)映射到操作的方法

價(jià)值-代理在特定狀態(tài)下采取的行動(dòng)將獲得的未來獎(jiǎng)勵(lì)

RL問題可以通過游戲來最好地解釋。 讓我們以吃豆人的游戲?yàn)槔?，代理人（PacMan）的目標(biāo)是在網(wǎng)格中吃食物，同時(shí)避免途中出現(xiàn)鬼魂。 在這種情況下，網(wǎng)格世界是代理所作用的交互式環(huán)境。 如果特工被幽靈殺死（輸?shù)袅擞螒颍?，代理?huì)得到食物和懲罰的獎(jiǎng)勵(lì)。 狀態(tài)是代理在網(wǎng)格世界中的位置，總累積獎(jiǎng)勵(lì)是贏得比賽的代理。

為了建立最佳政策，代理面臨探索新狀態(tài)的困境，同時(shí)又要最大化其整體回報(bào)。 這稱為"探索與利用"的權(quán)衡。 為了平衡兩者，最佳的整體策略可能涉及短期犧牲。 因此，代理應(yīng)收集足夠的信息，以便將來做出最佳的總體決策。

馬爾可夫決策過程（MDP）是描述RL環(huán)境的數(shù)學(xué)框架，幾乎所有RL問題都可以使用MDP來表述。 一個(gè)MDP由一組有限的環(huán)境狀態(tài)S，在每個(gè)狀態(tài)下的一組可能的動(dòng)作A，一個(gè)實(shí)值獎(jiǎng)勵(lì)函數(shù)R和一個(gè)過渡模型P（s'，s | a）組成。 但是，現(xiàn)實(shí)環(huán)境更可能缺少任何有關(guān)環(huán)境動(dòng)力學(xué)的先驗(yàn)知識。 在這種情況下，無模型RL方法非常方便。

Q學(xué)習(xí)是一種常用的無模型方法，可用于構(gòu)建自播放的PacMan代理。 它圍繞更新Q值的概念展開，Q值表示在狀態(tài)s中執(zhí)行動(dòng)作a的值。 以下值更新規(guī)則是Q學(xué)習(xí)算法的核心。

3.什么是最常用的強(qiáng)化學(xué)習(xí)算法？

Q學(xué)習(xí)和SARSA（狀態(tài)行動(dòng)-獎(jiǎng)勵(lì)狀態(tài)行動(dòng)）是兩種常用的無模型RL算法。 它們的探索策略不同，而利用策略卻相似。 Q學(xué)習(xí)是一種非策略方法，其中代理根據(jù)從另一個(gè)策略得出的操作a *學(xué)習(xí)值，而SARSA是一種策略上方法，在其中根據(jù)其當(dāng)前操作a從當(dāng)前策略得出的值來學(xué)習(xí)值。 政策。 這兩種方法易于實(shí)現(xiàn)，但缺乏通用性，因?yàn)樗鼈儫o法估計(jì)未見狀態(tài)的值。

可以通過更高級的算法（例如使用神經(jīng)網(wǎng)絡(luò)來估計(jì)Q值的深度Q網(wǎng)絡(luò)（DQN））來克服這一問題。 但是DQN只能處理離散的低維動(dòng)作空間。

深度確定性策略梯度（DDPG）是一種無模型，脫離策略，對執(zhí)行者敏感的算法，它通過在高維連續(xù)動(dòng)作空間中學(xué)習(xí)策略來解決此問題。 下圖是評論體系結(jié)構(gòu)的表示。

4.強(qiáng)化學(xué)習(xí)的實(shí)際應(yīng)用是什么？

由于RL需要大量數(shù)據(jù)，因此最適用于容易獲得模擬數(shù)據(jù)（例如游戲性，機(jī)器人技術(shù)）的領(lǐng)域。

RL被廣泛用于構(gòu)建用于玩計(jì)算機(jī)游戲的AI。 AlphaGo Zero是第一個(gè)在古代中國的圍棋游戲中擊敗世界冠軍的計(jì)算機(jī)程序。 其他包括ATARI游戲，西洋雙陸棋等

在機(jī)器人技術(shù)和工業(yè)自動(dòng)化中，RL用于使機(jī)器人能夠?yàn)槠渥陨韯?chuàng)建高效的自適應(yīng)控制系統(tǒng)，該系統(tǒng)可以從自身的經(jīng)驗(yàn)和行為中學(xué)習(xí)。 DeepMind的"通過異步策略更新進(jìn)行機(jī)器人操縱的深度強(qiáng)化學(xué)習(xí)"就是一個(gè)很好的例子。 觀看這個(gè)有趣的演示視頻。

RL的其他應(yīng)用包括抽象文本摘要引擎，對話代理（文本，語音），這些代理可以從用戶的交互中學(xué)習(xí)并隨著時(shí)間的流逝而改善，學(xué)習(xí)醫(yī)療保健中的最佳治療策略，以及用于在線股票交易的基于RL的代理。

5.我如何開始進(jìn)行強(qiáng)化學(xué)習(xí)？

為了理解RL的基本概念，可以參考以下資源。

《強(qiáng)化學(xué)習(xí)-入門》，是強(qiáng)化學(xué)習(xí)之父的一本書-理查德·薩頓（Richard Sutton）和他的博士生導(dǎo)師安德魯·巴托（Andrew Barto）。 這本書的在線草稿可以在這里找到。

David Silver的教學(xué)材料（包括視頻講座）是有關(guān)RL的入門課程。

Pieter Abbeel和John Schulman（開放式AI /伯克利AI研究實(shí)驗(yàn)室）的另一本有關(guān)RL的技術(shù)教程。

對于開始構(gòu)建和測試RL代理，以下資源可能會(huì)有所幫助。

博客介紹了如何使用來自原始像素的Policy Gradients訓(xùn)練神經(jīng)網(wǎng)絡(luò)ATARI Pong代理，Andrej Karpathy將幫助您在130行Python代碼中啟動(dòng)并運(yùn)行您的第一個(gè)Deep Reinforcement Learning代理。

·DeepMind Lab是一個(gè)類似于開放源代碼的3D游戲平臺(tái)，用于具有豐富模擬環(huán)境的基于代理的AI研究。

馬爾默項(xiàng)目是另一個(gè)支持AI基礎(chǔ)研究的AI實(shí)驗(yàn)平臺(tái)。

OpenAI Gym是用于構(gòu)建和比較強(qiáng)化學(xué)習(xí)算法的工具包。