5. Machine Learning Basics

机器学习定义：一个计算机程序，如果它能做到在任务T中的性能P随着经验E可以提高，那就可以称它是关于某类任务T和性能衡量P，从经验E中学习。

机器学习任务（$T$）类别：分类（classification）/缺失输入数据的分类（classification with missing
data）/回归（regression）/转录（transciption）/机器翻译（machine translation）/结构化输出（structured
output）/异常检测（anomaly detection）/合成和采样（synthesis and smapling）/缺失值填补（imputation
of missing data）/去噪（denoising）/密度估计（density estimation）

机器学习的性能（$P$）：$P$因为$T$的不同而不同。对于像分类/缺失输入数据的分类/转录，使用准确率（accuracy）来衡量性能；而对于密度估计，通常输出模型在一些样本上概率对数的平均值。

机器学习的经验（$E$）：根据经验的不同，分为监督学习和无监督学习。监督学习：学习$p(x)$；无监督学习：学习$p(y|x)$。通常来说，无监督学习通常指代从不需要人工标注数据中提取信息。

4. Numerical Computation

数值优化（Numerical Computation）：通常指代那些在解决数学问题时，不使用从符号表达式中直接推导出解析解，而是使用迭代更新的方式获取答案的算法。

上溢和下溢（overflow/underflow）：数据太小或者太大，在计算机内存中无法表示。

优化问题（optimization problem）：优化目标：最小化函数：损失函数（loss function）/ 错误函数（error function）通常上标*表示最优解。$x^*=argmin f(x)$

临界点（critical point）：$f’(x)=0$的点称为临界点，一般临界点取得极大值或者极小值，否则为鞍点（saddle point）。

3. Probability and Information Theory

概率论部分

频率学派概率（frequentist probability）：认为概率和事件发生的频率相关。

贝叶斯学派概率（Bayesian probability）：认为概率是的对某件事发生的确定程度，可以理解成是确信的程度（degree of belief）。

随机变量（random variable）：一个可能随机获取不同值的变量。

2. Linear Algebra

基础概念：

• Scalars: 一个数；
• Vctors: 一列数；
• Matrices: 二位数组的数，每个元素由两个下标确定；
• Tensors: 多维数组的数。

转置（transpose）：$(A^T)_{i,j}=A_{j,i}$

矩阵乘法: $C=AB$， $C_{i,j}=\sum_kA_{i,k}B_{k,j}$

《Deep Learning》

https://img3.doubanio.com/lpic/s29133163.jpg

0.书本介绍

Deep Learning
原版阅读网站

作者: Ian Goodfellow / Yoshua
Bengio / Aaron Courville

1

《剑指offer》第二版python版总结。

动机

个人觉得在准备找工作要刷题前，先刷一遍这本书的问题，再去刷LeetCode这类的OJ比较合适。难度循序渐进，亦有理论支撑。

阅读流程：按照目录去索引问题，找到问题后，先看问题描述，思考问题解决思路；然后看思路，获取提示；然后阅读优点和复杂度，检查和自己想的是否一致。

用到的数据结构

1

对应本书第六章。

原目录

笔记

作者介绍了两个计算机中的树结构：文件系统（File System）和HTML页面。

用结点和引用实现的二叉树

1

对应本书第五章。

原目录

笔记

这章开始进入算法部分，讲解排序和查找。

二分查找

1

对应本书第四章。

目录

原目录

笔记

第四章主讲递归，用了很多有意思的例子（可视化的），所以这章的作业会比较有料。

1

对应本书第三章。

3. Basic Data Structures

笔记

本章主要介绍一些抽象数据类型（ADT）：栈stack/队列Queue/双向队列Deque/无序链表Unsordered List/有序链表Sordered List。

栈stack