条件期望

设在 Y = y 的条件下，随机变量 X 的概率密度函数为 p \left(x \, | \, y \right)，则定义

E(X \, | \, Y = y) = \int_{-\infty}^{+\infty} x p \left(x \, | \, y \right) \mathrm d x.

条件期望 - 变量

条件数学期望的定义：令函数 g(y) = E(X \mid Y = y)，然后将自变量 y 替换成随机变量 Y，则得到一个新的随机变量 Z = g(Y)，记为 E(X \mid Y) = Z = g(Y)，称 E(X \, | \, Y) 是 X 对 Y 的条件期望。

E(X \, | \, Y) 仍然是一个随机变量，它是随机变量 Y 的函数。

线性：

E \left( \sum\limits_{i=1}^{n}a_{i} X_{i} \, \middle | \, Y \right) = \sum_{i=1}^n a_i E(X_i \, | \, Y).

常数提取：

E[g(X) h(Y) \, | \, Y] = h(Y) E[g(X) \, | \, Y];

特别地，有

E[g(X) \, | \, X] = g(X).

独立：若 X 和 Y 独立，则 g(X) 的取值与 Y 无关，因此

E[g(X) \, | \, Y] = E[g(X)];

即 E[g(X) \, | \, Y] 是一个常数。

重期望公式：

E\left[E(X \mid Y)\right] = E(X)

当 Y 是离散型随机变量时，设其概率质量函数为 p(y)，则重期望公式成为：

E(X) = \sum_{p(y) > 0} E(X \mid Y = y) p(y) ,

这个离散形式的公式也成为全期望公式，它与全概率公式非常相似。

对三个随机变量 X, Y, Z，有：

\mathbb{E}(\mathbb{E}(X \, | \, Y, Z) \, | \, Z) = \mathbb{E}(X \, | \, Z).

这可以看作一种扩展形式的重期望公式。

\mathbb{E}[X \, | \, Y] 是，作为 Y 的函数的随机变量 g(Y)，对 X 的最小均方误差预测。也就是说，设 g(Y) = E[X \, | \, Y]，则

g = \arg \min_{f: \mathbb{R}^d \to \mathbb{R}^d} E[\Vert f(Y) - X \Vert^2].

给定随机变量 Y，如果设 T(X) = \mathbb{E}[X | Y]，那么 T 又可以视为一个线性算子。