强化学习关注寻找一个智能体策略，在与动态环境交互的过程中产生最优的数据分布。

强化学习的基本范式：

其中 s 为状态（state），a 为动作（action），\pi 为策略（policy），\theta 为模型参数，R 为奖励（reward）函数。

背景知识

多臂老虎机

强化学习是一种试错性学习，而多臂老虎机则是不存在状态信息、只有动作和奖励的学习模型，但也是一种探索与利用问题。

多臂老虎机问题在于，一个老虎机有 K 个拉杆，每个拉杆有一个概率分布（未知），每次拉动拉杆可以获得奖励。

探索和利用：在几个未知的分布中，探索（获得数据，从而推断分布）和利用推断之间的权衡

\varepsilon-贪心算法

\varepsilon-贪心（\varepsilon-greedy）算法的核心：以 \varepsilon 的概率随机选择，而以 1 - \varepsilon 的概率贪心地选择期望估值最大的算法。

可以解释为，以 \varepsilon 的概率进行探索，以 1 - \varepsilon 的概率利用之前的经验。

特点：累计懊悔随时间线性增长。

多臂老虎机与 RL 的关系

多臂老虎机是无状态的 RL，其每一步的动作并不依赖于状态。也就是说，其策略函数与状态 s 无关，p(a \mid s) = p(a)。

Markov 决策过程

参考 Markov 决策过程，它利用 Markov 链 对强化学习进行建模。

强化学习的基本要素

概念

状态（state）：可以分为环境状态、智能体状态。

完全可观测性：环境状态完全由智能体观测到，此时强化学习可以用 Markov 决策过程 来描述。

部分可观测性：环境状态不可以由智能体直接观测得到，例如只有摄像头的机器人无法获得它的绝对位置，打扑克时无法观测到其他人的牌，这称为部分可观测性。

奖励（reward）：一个标量反馈信号，是强化学习最基础的组成部分。

如何设计奖励是强化学习中一个·非常重要的问题。衍生出逆强化学习、分层强化学习、知识驱动强化学习等重要的问题。

策略（policy）：智能体的行为函数，从状态到动作的映射。策略有表格、参数化（通常是神经网络）两种表示方式。

环境模型：环境的运行规律，通常由物理规律或游戏引擎决定，无法由智能体控制。

强化学习算法可以分为有环境模型和无环境模型两大类。当环境模型已知，即我们知道给定状态和动作后的转移分布，称为有环境模型的强化学习，简称有模型的强化学习。有环境模型包括 RL 动态规划 算法。强化学习的研究重点在于无模型的算法，包括 Q-Learning、Sarsa 等。

训练

episode（回合）：指的是强化学习的 agent 从初始状态到终止状态的一个过程。强化学习的目标就是最大化一个回合内的 return。

强化学习的历史

从历史上看，在现代强化学习之前，RL 大致分为两条路线：机器学习和最优控制理论。前者的代表是 REINFORCE 算法，后者的代表是 Q-Learning。

机器学习角度从朴素的动物行为、心理学等思想出发，动物和人类会从错误中学习，所以我们希望机器也通过某种反馈来逐渐调整自己的行为，现代语言即根据奖励 r_t 来调整策略 \pi。这一派在上世纪并没有特别系统的算法，因为当时这类算法还不成熟。

控制论角度则从 Markov 决策过程出发，说的是如果我们已知环境的收益，怎么导出最好的行动策略？从这个角度出发诞生了 Bellman 理论，从而又诞生了策略迭代算法、价值迭代算法。但这些算法都在数值分析的范围内，是某种收敛性算法。