书: https://pan.baidu.com/s/1untyKaWXt7RJt7udfaVI6A?pwd=44y8
笔记如下：
- 数学基础回顾：介绍深度学习所需的线性代数（矩阵运算、特征值）、微积分（偏导数、梯度）与概率论（贝叶斯定理）核心概念。
- Python科学计算栈：配置NumPy、SciPy、Matplotlib库实现向量化运算与可视化。
- 函数与优化：解析凸函数、鞍点及梯度下降（批量/随机/mini-batch）的数学原理。
- 反向传播推导：通过链式法则详细推导多层神经网络的误差反向传播公式。
- 激活函数对比：分析Sigmoid、ReLU、LeakyReLU的数学特性与梯度消失问题。
- 损失函数设计：从极大似然估计推导交叉熵损失，对比MSE、Huber损失的适用场景。
- 正则化技术：数学解释L1/L2正则化、Dropout对模型泛化能力的影响。
- 卷积运算本质：用互相关（Cross-Correlation）理论理解CNN的局部感知与参数共享。
- 概率图模型：贝叶斯网络与马尔可夫随机场的数学表示及其在深度生成模型中的应用。
- 矩阵分解：通过SVD、PCA理解自编码器（Autoencoder）的降维数学基础。
- 注意力机制公式化：推导Scaled Dot-Product Attention中的Query-Key-Value矩阵运算。
- 优化算法进阶：从数学视角比较Adam、RMSprop、Nesterov动量的收敛性差异。
- 信息论应用：用KL散度、互信息解释变分自编码器（VAE）的损失函数构建。
- 图神经网络数学：基于邻接矩阵与拉普拉斯算子定义图卷积运算（GCN）。
- 傅里叶变换连接：分析频域处理与CNN滤波器的数学等价性。
- 微分方程视角：将ResNet视为ODE离散化，理解神经常微分方程（Neural ODE）框架。
- 强化学习数学：推导贝尔曼方程与Q-Learning的收敛条件。
- 张量运算优化：使用Einstein Notation（如
np.einsum）简化高阶张量计算。 - 概率编程基础：Pyro库中变分推断的数学实现与MCMC采样对比。
- 可解释性数学：通过积分梯度（Integrated Gradients）和SHAP值量化特征重要性。