概念直觉

sigma 代数

高等概率论经常提到 sigma 代数，会在同一个样本空间 \Omega 上定义不同的 sigma 代数 \mathcal{F}, \mathcal{G}，用于描述信息的多少。

直觉上，sigma 代数在有限维可以理解为：对样本空间划分等价类后再取幂集。也就是，我们不再区分一些结果 \omega_1, \omega_2，只能知道“两者是否至少有一个发生”，而不能确定是两者的具体哪一种发生。

一个典型的例子是骰子，样本空间 \Omega = \{1, 2, 3, 4, 5, 6\}，一般来说我们的事件是 \mathcal{F} = \mathcal{P}(\Omega)，但是如果我们取

则只能区分骰子得到的是奇数还是偶数，这对应的信息的减少。

在无穷维上，sigma 代数不再能简单描述为“划分等价类”，但是仍然继承了“不区分某些事件”的直觉。一个 sigma 代数，意味着

Hilbert 空间

在样本空间有限的情况下，随机变量可以直接对应 \mathbb{R}^n 内积空间。

设 \Omega = \{ \omega_1, \dots, \omega_n \}，表示一次随机试验只有 n 种可能结果，那么随机变量 X: \Omega \to \mathbb{R} 就只是一个定义这 n 种结果分别对应哪个数的映射，因此可以写成向量：

因此在指定了结果的排序后，两边存在自然同构，可以直接把 X 视为向量。

此时每个 sigma 代数都对应了线性空间里的一个子空间，可称为“信息子空间”，这个子空间的特点是：一定是由若干“两个坐标相等”的约束构成的。在样本空间大小为 3 时（对应三维空间 \mathbb{R}^3），这种信息子空间只能是全空间、平面 x = y、平面 x = z、平面 y = z、直线 x = y = z，全空间对应 \mathcal{P}(\Omega)，直线 x = y = z 对应“根本无法区分发生了什么”也就是常数随机变量，而三个平面则分别对应其中两者混同的情况。

由此也可以定义出随机变量 X 诱导的子空间 S_X = \{ g(X): g\text{ 是可测函数} \}，它实际上就是 X 诱导出的 \sigma 代数对应的信息空间。直觉上，它代表的是：如果我们已知 X 的值，哪些随机变量的取值也确定了？