本课程特点是从数学层面推导最经典的机器学习算法，以及每种算法的示例和代码实现（Python）、如何做算法的参数调试、机器学习算法的应用场景介绍等。
【课程内容】
数学基础1 – 数学分析
机器学习的角度看数学
复习数学分析
直观解释常数e
导数/梯度与SGD
Taylor展式
凸函数
概率论基础
古典概型
贝叶斯公式
常见概率分布
数学基础2 – 数理统计与参数估计
统计量
期望/方差/偏度/峰度
协方差(矩阵)和相关系数
独立和不相关
大数定律
中心极限定理
中心矩/原点矩/矩估计
深刻理解最大似然估计
过拟合的数学原理
偏差方差二难
数学基础3 – 矩阵和线性代数
线性代数是有用的：以SVD为例
马尔科夫模型和矩阵乘法、状态转移矩阵
矩阵和向量组
特征值和特征向量
对称阵、正交阵、正定阵
数据白化及其应用
向量对向量求导
标量对向量求导
标量对矩阵求导
数学基础4 – 凸优化
凸集的严格数学表达
凸集保凸运算
分割超平面/支撑超平面
凸函数/上境图
Jensen不等式
Fenchel不等式
K-L散度
凸优化
共轭函数和对偶函数
鞍点解释
用对偶方法求解最小二乘问题
强对偶KKT条件
Python基础及其数学库的使用
解释器Python2.7与IDE：Anaconda/Pycharm
Python基础：列表/元组/字典/类/文件
numpy/scipy/matplotlib/panda的介绍和典型使用
典型图像处理
Python基础及其机器学习库的使用
scikit-learn的介绍和典型使用
损失函数的绘制
多种数学曲线
多项式拟合
股票数据分析、卷积、(指数)移动平均线
回归
线性回归
高斯分布
Logistic回归
最大似然估计
梯度下降算法：BGD与SGD
特征选择与过拟合
回归实践
机器学习sklearn库介绍
Ridge回归、LASSO
Logistic/Softmax回归
回归代码实现和调参
交叉验证
数据可视化
决策树和随机森林
熵、联合熵、条件熵、KL散度、互信息
最大似然估计与最大熵模型
ID3、C4.5、CART详解
决策树的评价
预剪枝和后剪枝
随机森林
随机森林实践
手写随机森林实践
调用开源库函数完成随机森林
数据结构的综合使用
gini系数
提升
提升为什么有效
Adaboost算法
加法模型与指数损失
梯度提升决策树GBDT
自己动手实现GBDT
XGBoost库介绍
Taylor展式与学习算法
KAGGLE简介
泰坦尼克乘客存活率估计
线性可分支持向量机
软间隔的改进
损失函数的理解
核函数的原理和选择
SMO算法
支持向量回归SVR
SVM实践
libSVM代码库介绍
原始数据和特征提取
调用开源库函数完成SVM
SVR用于时间序列曲线预测
SVM、Logistic回归、随机森林三者的横向比较
聚类
各种相似度度量及其相互关系
Jaccard相似度和准确率、召回率
Pearson相关系数与余弦相似度
K-means与K-Medoids及变种
AP算法(Sci07)/LPA算法及其应用
密度聚类DBSCAN/DensityPeak(Sci14)
谱聚类SC
聚类评价和结果指标
聚类实践
K-Means++算法原理和实现
向量量化VQ及图像近似
并查集的实践应用
密度聚类的代码实现
谱聚类用于图片分割
EM算法
最大似然估计
Jensen不等式
朴素理解EM算法
精确推导EM算法
EM算法的深入理解
混合高斯分布
主题模型pLSA
EM算法实践
多元高斯分布的EM实现
分类结果的数据可视化
EM与聚类的比较
Dirichlet过程EM
三维及等高线等图件的绘制
主题模型pLSA与EM算法
贝叶斯网络
朴素贝叶斯
贝叶斯网络的表达
条件概率表参数个数分析
马尔科夫模型
条件独立的三种类型
混合(离散+连续)网络：线性高斯模型
Chow-Liu算法：最大权生成树MSWT
朴素贝叶斯实践
朴素贝叶斯用于鸢尾花数据
朴素贝叶斯用于路透社新闻文本分类
主题模型LDA
贝叶斯学派的模型认识
共轭先验分布
Dirichlet分布
Laplace平滑
Gibbs采样详解
LDA实践
网络爬虫的原理和代码实现
停止词和高频词
动手自己实现LDA
LDA开源包的使用和过程分析
Metropolis-Hastings算法
LDA与word2vec的比较
隐马尔科夫模型HMM
概率计算问题
前向/后向算法
HMM的参数学习
Baum-Welch算法详解
Viterbi算法详解
HMM实践
动手自己实现HMM用于中文分词
多个语言分词开源包的使用和过程分析
文件数据格式UFT-8、Unicode
停止词和标点符号对分词的影响
前向后向算法计算概率溢出的解决方案
发现新词和分词效果分析
高斯混合模型HMM
GMM-HMM用于股票数据特征提取