第八章：Optimization for Training Deep Models

Posted on 2017-05-09 Edited on 2024-11-10 In 《Deep Learning》读书笔记

8. Optimization for Training Deep Models

机器学习和纯优化问题的区别：机器学习关注某些性能度量P，定义于测试集上并且可能是不可解的，只能间接地优化P。因此通过降低代价函数J(θ)来提高P。

这一点与纯优化不同，纯优化最小化目标J本身。

批量（batch）梯度算法：使用整个训练集的优化算法被称为批量（batch）或确定性（deterministic）梯度算法。

在线（online）算法：每次只使用单个样本的优化算法有时被称为随机（stochastic）或者在线（online）算法。

第七章：Regularization for Deep Learning

Posted on 2017-05-09 Edited on 2024-11-10 In 《Deep Learning》读书笔记

7. Regularization for Deep Learning

正则化（Regularization）：对学习算法的修改——旨在减少泛化误差而不是训练误差。

参数范数惩罚（Parameter Norm Penalties）：通过对目标函数J添加一个**参数范数惩罚Ω(θ)**，来限制模型的学习能力。

我们将正则化后的目标函数记为$\tilde{J}$：$\tilde{J}(θ;X,y)=J(θ;X,y)+αΩ(θ)$，其中α∈[0,∞)是权衡范数惩罚项Ω和标准目标函数J(X;θ)相对贡献的超参数。说明，在神经网络中我们通常只对每一层仿射变换的权重w做惩罚而不对偏置做正则惩罚。典型的参数范数惩罚有$L^2$参数正则和$L^1$参数正则。

$L^2$参数正则（$L^2$ Parameter Regularization）：也就是权重衰减（weight decay），顾名思义，权重会有所减小；罚项为$Ω(θ)=\frac{1}{2}||w||_2^2$，也称为岭回归（ridge regression）或Tikhonov正则。

第六章：Deep Feedforward Networks

Posted on 2017-05-09 Edited on 2024-11-10 In 《Deep Learning》读书笔记

6. Deep Feedforward Networks

深度前馈网络（Deep Feedforward Networks）：也被称为前馈神经网络（feedforward neural networks），或者多层感知机（multi-layer perceptrons， MLPs）是典型的深度学习模型。前馈网络的目标是去近似一个函数$f^*$。模型之所以称为前馈，是因为信息只向前流动，没有反馈的连接。

基于梯度的学习（Gradient Based Learning）：神经网络模型和线性模型最大的区别在于神经网络的非线性使得损失函数不再是凸函数。这意味着神经网络的训练通常使用迭代的、基于梯度的优化，仅仅使得代价函数达到一个非常小的值；而不是像用于训练线性回归模型的线性方程求解器，或者用于训练逻辑回归或SVM的凸优化算法那样保证全局收敛。

凸优化从任何一种初始参数出发都会收敛（理论上如此——在实践中也很鲁棒但可能会遇到数值问题）。

用于非凸损失函数的随机梯度下降没有这种收敛性保证，并且对参数的初始值很敏感。对于前馈神经网络，将所有的权重值初始化为小随机数是很重要的。

第五章：Machine Learning Basics

Posted on 2017-05-09 Edited on 2024-11-10 In 《Deep Learning》读书笔记

5. Machine Learning Basics

机器学习定义：一个计算机程序，如果它能做到在任务T中的性能P随着经验E可以提高，那就可以称它是关于某类任务T和性能衡量P，从经验E中学习。

机器学习任务（$T$）类别：分类（classification）/缺失输入数据的分类（classification with missing
data）/回归（regression）/转录（transciption）/机器翻译（machine translation）/结构化输出（structured
output）/异常检测（anomaly detection）/合成和采样（synthesis and smapling）/缺失值填补（imputation
of missing data）/去噪（denoising）/密度估计（density estimation）

机器学习的性能（$P$）：$P$因为$T$的不同而不同。对于像分类/缺失输入数据的分类/转录，使用准确率（accuracy）来衡量性能；而对于密度估计，通常输出模型在一些样本上概率对数的平均值。

机器学习的经验（$E$）：根据经验的不同，分为监督学习和无监督学习。监督学习：学习$p(x)$；无监督学习：学习$p(y|x)$。通常来说，无监督学习通常指代从不需要人工标注数据中提取信息。