数学01
线性代数可视化
Manim 动画可视化： 谱分解（Spectral Decomposition） - 线性代数可视化 Chapter 2 （双语字幕）\哔哩哔哩\bilibili (25) The deeper meaning of matrix transpose - YouTube 这个视频将转置 （或者说实伴随变换）解释为逆变换
THE JOURNAL
文章与笔记.
共 212 篇文章READ · THINK · WRITE
数学02
Markov 链的状态分类
状态图 对于 Markov 链，我们可以把状态转移矩阵 视为一个有向图 的邻接矩阵。 状态的分类 状态的定义 设 Markov 链的状态空间是 ，转移矩阵是 ，则： - 吸收态：若状态 满足 ，则称 为吸收态 - 可达：若存在路径使得 到 上的概率都非零，则称 可达 ，记作 。可达是一个预序关系，具有自反性、传递性。
数学03
Markov 链
概念 若随机过程 满足：对任意有限个指标 ，都有 则称 是马尔可夫过程（Markov process），简称马氏过程，也称 具有 Markov 性（Markov property）。 满足一些特定条件的 Markov 过程也被称为 Markov 链（Markov chain）。不同教材对 Markov 链的定义有一些不
计算机04
Actor-Critic 算法
Actor-Critic（演员—评论员）算法，简称 AC 算法，同时训练两个不同的网络，一个评估策略，一个评估价值。 引入 REINFORCE 的改进 如果我们每次从当前策略 采样得到的轨迹为 ，那么有以下的严格关系： 其中 有多种取法，在 REINFORCE 中取的是： 在 （链接未公开） 算法中，使用 Monte
数学05
最大功效检验
假设检验的基本概念 参数化假设检验的原假设 、备择假设 拒绝域：一个与参数 、样本 都无关的固定集合 。当 时，我们拒绝 。 检验函数：对于样本 ，当我们拒绝 时，检验函数的值为 1；当我们接受 时，检验函数的值为 0，即： 当 为某一值时，拒绝 的概率称为功效函数 ： 第一类错误：当 时，拒绝 。它的概率为 第二类错
计算机06
终端复用器 tmux
是一个终端复用器，允许用户在服务器上启动多个终端，并允许将终端挂起，在关闭 ssh 连接后保持终端进程继续运行。 基本使用 命令 输入 可以创建一个新的会话； 使用 （ ）查看当前的会话 使用 连接到一个指定会话 终端内 是命令模式的前缀键，几乎所有命令都需要先按下 再按其他键。 按下 快捷键（behavior），再按
计算机07
随机优化
重参数化 引入 在深度学习中，例如生成式模型 VAE 和强化学习的 SAC 算法 中，存在着一种称为重参数化（reparameterization）的技巧。当我们需要处理一个关于 的 loss 函数，且具有如下的形式： 其中 表示从分布 中抽样得到一个 ， 是已知量（例如数据集中的数据点）。此时，我们如何使用反向传播算
数学08
多重积分
多重积分的定义是基于 （链接未公开） 的。 二重积分 变量代换公式 设 在有界闭区域 上可积，变换 将具有分段光滑曲线边界的闭区域 一对一地映射为 ，函数 具有一阶连续偏导数，且变换 的 Jacobi 行列式 则有 极坐标代换 二重积分 可以做如下代换： 一般多重积分 设有界闭区域 ， 在 上可积，若一对一映射 把有界
计算机09
词嵌入
参考： 词向量与Embedding究竟是怎么回事？ - 科学空间|Scientific Spaces 15.1. Word Embedding (word2vec) — Dive into Deep Learning 1.0.3 documentation 概念 embedding：将词的 ID 映射为一个词向量的过程
计算机10
Attention 的计算
KV Cache 原理 计算 Attention 时，可以将 行分块，对其中一个询问 ，仍有： 也就是说，固定 后，Attention 运算对 是 row-wise 的： 而对于 LLM 来说，解码下一个 token（的概率分布）只需要使用最新的 token 对应的 embedding 。 因此，在自回归式的生成中，做
计算机11
DDPM
原理 前向过程 选定加噪步数 和一组超参数 （原论文中 逐渐增大，从 0.001 增大到 0.02），令 ，则加噪的过程就是 其中 。 前向过程的递推公式可以转为通项公式。由公式 令 则可以推出 其中 。 预测均值 参考 梯度下降与优化器。优化后的损失函数将预测均值。 方差减少 参考： （链接未公开） 简单说，我们将使
计算机12
通用计算方法
基本计算 取数 方法，可以对只有一个元素的张量取出其中的数，返回 Python 标准的 或 类型变量。 广播 广播（broadcasting） PyTorch 的广播机制和 NumPy 的广播机制相同。 一般运算广播 两个 Tensor 作逐元素二元运算（如加法）时，先将其形状右对齐。例如当 的形状为 ， 的形状为 时
计算机13
Attention 注意力机制
注意力机制 参考：苏剑林博客 定义 Attention 是一个由三个矩阵 运算得到一个 矩阵的过程，定义为： 其中 softmax 是按行操作，对各行进行 softmax 归一化，即： 注意，这里所有的特征（feature）向量都使用行向量。例如 是 行 列的的矩阵，就应该视为有 个不同对象的 维
计算机14
近似算法
概念 对于某个组合优化问题，设最优解为 ，算法 给出一个未必最优但可行的解，则称为近似算法。 近似算法的近似比 ： 对于最大化问题， 对于最小化问题， 近似比的上界需通过放缩法和不等式证明，下界则可以通过构造最坏情况的实例（称为紧实例）来证明。 最大顶点覆盖 最大顶点覆盖（MVC）近似算法：每次任意选一条边 ，将边的两
计算机15
在线算法
竞争度 竞争度和近似算法的近似度是类似的概念。对于在线算法 ，假设是最小化问题，对应的离线最优解为 ，若恒有关系： 则称算法 的竞争度是 ，记为 对于最大化问题，我们可以把竞争度定义为 确定性在线算法 在线最小生成树 贪心：每有一个节点到达，就将其与已有的节点中最近的节点连上一条边。 这一算法的竞争度 。 在线装箱问题
计算机16
计算复杂性
例 Bug 与补丁问题：一个软件一开始有 个 bugs，同时有 个补丁，补丁只有在包含某些 bugs 而不包含另一些 bugs 时可以使用，并且修复后可能会引入一些新的 bugs。每个补丁还有一个运行时间。判断是否可能使软件修复到没有 bugs，如果可能，找出最短的总运行时间。 解决 使用长为 的 01 串表示 bug
计算机17
Gauss 消元法（初等变换法）
一种固定的算法，对矩阵不断做初等行变换，最终化简到上三角形或者行阶梯形，用于判别线性相关、计算行列式、矩阵求秩、解线性方程组等。 Gauss 消元过程 初等行变换 包含以下三种变换： 第 行变为原来的 倍（简记为 ） 矩阵 行加上第 行的 倍（简记为 ） 交换第 行（简记为 ） 枚举行元素逐个操作即可，复杂度 。 判断
计算机18
NP 完全性
判定问题 任何组合优化问题都可以转化为一个判定问题，并且判定问题和组合优化问题的难度相同。 对于一个问题，其输入为 ，根据 可确定一个有限的可行解集合 ，需要求出最小解，则这个问题成为组合优化问题；对于这个问题，可以构造一个新问题，其输入为 ，其中，问是否存在 满足 （回答只有 Yes 和 No），则这个问题称为组合优
暂时没有找到相关文章。
试试其他关键词，或切换文章分类。