CUDA 显卡暴露

可通过环境变量 CUDA_VISIBLE_DEVICES 控制：

CUDA_VISIBLE_DEVICES=0

数据

长尾分布与样本平衡

参考：

• 1
• 什么是「长尾效应」 ？ - 知乎
• 3

长尾效应，在分类问题中指的是训练数据类别不平衡，某些类别的数据样本量特别多，而其他样本数据特别少的情况。一般数据样本量特别多的类别称为头部（head）[3]。

影响：一般我们认为长尾（不平衡）不太会影响encoder学习到有用的特征，但是不均衡样本的结果是推理的时候概率是失真的，头部类别因为模长大，所以最后出来的值就很容易偏大，然后 softmax 之后的概率就是会比其他类别高一点，然后就分错了。[1]

训练 trick

学习率与 batch size

当Batch Size增大时，学习率该如何随之变化？ - 知乎

记 B 为 batch size，\eta 为学习率。简单说，有如下大原则：

• 随着 B 增大，\eta 也增大；但是 \eta 有上限
• 在 B 很小的时候，SGD 的最优 \eta 应该关于 B 线性变化，而 Adam 的最优 \eta 关于 B 平方根变化。也即 B 增大到原来的平方时，\eta 增大到原来的 2 倍。

可解释性

优质知乎问题：

• 为什么说深度学习没有理论基础?
• 要研究深度学习的可解释性（Interpretability），应从哪几个方面着手？