定义

假设总体服从参数分布族 \{F_{\theta}, \theta \in \Theta\}，从总体中得到一组简单随机样本 X，如果我们能找到两个统计量 L(X), U(X)，使得对任意的参数 \theta，都有

\mathbb{P}_{\theta} [L(X) \le \theta \le U(X)] = 1 - \alpha,

则称区间 [L(X), U(X)] 是参数 \theta 的一个置信度为 1 - \alpha 的区间估计。

枢轴量法

对于样本 X 和未知参数 \theta，如果我们能找到某个关于两者的函数 Q = Q(X, \theta)，且 Q 的分布是确定的（与参数 \theta 无关），那么 Q 称为枢轴量（pivotal quantity）。

例如，设总体 \xi 的分布族是 N(\mu, 1)，\mu 为未知参数，那么显然样本均值有 \bar{X} \sim N(\mu, 1 / n)，如果我们取

Z = \frac{\bar{X} - \mu}{1 / n} = n(\bar{X} - \mu) \sim N(0, 1);

那么 Z 的分布就已经和参数 \mu 无关，因此 Z 是一个枢轴量。

假设我们已经找到某个枢轴量 Q(X, \theta)，其分布为 q，那么我们只需要取它的上、下分位数，就可以得到：

\mathbb{P}_{\theta}[q_{\alpha / 2} \le Q(X, \theta) \le q_{1 - \alpha / 2}] = 1 - \alpha.

直接对着上式的 q_{\alpha / 2} \le Q(X, \theta) \le q_{1 - \alpha / 2} 解关于 \theta 的不等式，变形得到 \theta 的范围：

q_{\alpha / 2} \le Q(X, \theta) \le q_{1 - \alpha / 2} \implies L(X) \le \theta \le U(X)

这样就得到了关于 \theta 的 1 - \alpha 的区间估计：

\mathbb{P}_{\theta}[L(X) \le \theta \le U(X)] = 1 - \alpha.

在深度学习中，存在着一种称为重参数化（reparameterization）的技巧。当我们需要从一个分布族 p_{\theta} 采样时，我们转换成先采一个

这个过程和数理统计的枢轴量法非常相似，两者都是把“随机性”和“未知参数”做了解离，分解成一个“参数无关随机变量”和“含参变换”的结合。只不过，变换方向刚好相反，枢轴量法是将样本变换为固定分布，而重参数化是将固定分布变换为目标含参分布。