三角分解

QR 分解

满秩分解

定义

矩阵描述

定义&定理 对数域上的 m \times n 矩阵 A，其秩为 r，则存在 m \times r 矩阵 F 和 r \times n 矩阵 G，满足

这个分解称为 A 的满秩分解（column-row factorization）。

证明：矩阵 A = (a_1, \dots, a_n) 的列秩为 r，则其列向量组可以找出 r 个线性无关向量来表示其他向量，设找出的向量为 a_{i_1}, \dots, a_{i_r}，由于其他向量均可以写成这几个向量的线性表示，则可以写出它们的系数：

上式可以写成矩阵形式：

令 F = \begin{pmatrix} a_{i_1} & a_{i_2} & \cdots & a_{i_r} \end{pmatrix}，G = \begin{pmatrix} b_{11} & b_{12} & \cdots & b_{1n} \\ b_{21} & b_{22} & \cdots & b_{2n} \\ \vdots & \vdots & & \vdots \\ b_{r1} & b_{r2} & \cdots & b_{rn} \end{pmatrix}，则有 A = FG。Q.E.D.

线性映射描述

性质

满秩分解是不唯一的。

计算

应用

证明行秩等于列秩

可以注意到满秩分解的证明实际上只用到了列秩，因此可以用满秩分解来证明行秩等于列秩。

证明：设矩阵 A 的行秩为 r，列秩为 c，则分别存在 m \times c 和 c \times n 矩阵 F, G 满足 A = FG，此时 A 的每一行都是 G 的每一行的线性表示，而 G 只有 c 行，于是 r \le c。对矩阵 A 的转置 A^{\mathrm T} 再次应用这个结论，注意此时 A^{\mathrm T} 的行秩为 c，列秩为 r，于是有 c \le r。两者合起来就可以推出 r = c。

LoRA

满秩分解可以见于大模型的 LoRA 微调方法上。

奇异值分解

奇异值分解（SVD）

奇异值

奇异值分解

矩阵描述

若 A 是一个秩大于等于 1 的矩阵，其奇异值为 \sigma_1, \dots, \sigma_k，令 \Sigma = \operatorname{diag}(\sigma_1, \dots, \sigma_k)，则存在酉矩阵 U, V 满足

内积描述

对于内积空间上的映射 T \in \mathcal{L}(V, W)，其奇异值为 s_1, \dots, s_m，存在正交向量组 e_1, \dots, e_m 和 f_1, \dots, f_m，对任意向量 v \in V 满足

直观含义：首先取出 v 的前 m 个分量，然后各自伸缩 s_i 倍，最后再和 f_i 做线性组合。

几何直观

SVD 分解表明，任何一个矩阵都能分解为旋转、沿着坐标轴的拉伸、再次旋转。