经典机器学习 · 系统学习知识库
机器学习
机器学习(Machine Learning, ML)研究的问题是:**如何让计算机从数据中自动归纳规律,并对未见过的数据做出可靠预测或决策**。Mitchell 的经典定义将其表述为:若程序在任务 T 上的性能 P 随经验 E 提升,则称其在学习。本库聚焦经典机器学习:以线性模型、树模型与集成、SVM、无监督学习为主体,以模型评估、特征工程与端到端工作流为实践主线。
7模块
32知识点
12.2小时总时长
13节最小路径
已掌握 0%
如何使用本站
- 零依赖纯静态:双击
index.html即可离线浏览,进度存于本机浏览器。 - 建议顺序:先看学习路径(含最小可用路径),再按模块推进;
map.html有全部前置依赖图。 - 每个知识点页统一节奏:定义 → 原理 → 公式推导 → 代码案例 → 误区 → 自测题,学完点「已掌握」。
- 范围边界:本站覆盖经典机器学习;深度学习仅设导览页并指向独立站点。
01 · 基础与框架
5 节- 什么是机器学习:定义、三种范式与术语地图入门15 分钟
- 学习问题的形式化:假设空间、经验风险与泛化入门20 分钟
- 损失函数:从 0-1 损失到代理损失核心25 分钟
- 梯度下降与凸优化基础核心25 分钟
- 偏差-方差分解与过拟合核心20 分钟
02 · 线性模型与正则化
4 节- 线性回归与最小二乘法核心25 分钟
- 逻辑回归与交叉熵损失核心25 分钟
- 正则化:岭回归、Lasso 与弹性网核心25 分钟
- 多分类线性模型与 softmax 回归核心20 分钟
03 · 树模型与集成学习
5 节- 决策树:信息增益、增益率与基尼指数核心30 分钟
- 随机森林与 Bagging核心20 分钟
- Boosting 与 AdaBoost核心25 分钟
- 梯度提升树 GBDT 与 XGBoost核心30 分钟
- 树模型可解释性:特征重要性与 SHAP进阶25 分钟
04 · SVM与核方法
3 节- 最大间隔与线性 SVM核心30 分钟
- 软间隔 SVM 与铰链损失核心25 分钟
- 核技巧与常用核函数核心25 分钟
05 · 无监督学习
4 节- K-means 聚类与 k-means++核心20 分钟
- DBSCAN 与层次聚类核心20 分钟
- 高斯混合模型与 EM 算法核心30 分钟
- 主成分分析 PCA核心25 分钟
06 · 模型评估与选择
5 节- 交叉验证与数据划分策略核心20 分钟
- 分类评估指标:混淆矩阵、Precision/Recall 与 ROC-AUC核心25 分钟
- 超参数调优:网格、随机与贝叶斯搜索核心20 分钟
- 数据泄漏与常见评估陷阱核心20 分钟
- 不平衡数据与代价敏感学习进阶20 分钟
07 · 特征工程与实践
6 节- 特征工程:编码、缩放与缺失值处理核心25 分钟
- 特征选择:过滤、包裹与嵌入方法核心20 分钟
- 端到端机器学习工作流与 Pipeline核心30 分钟
- 机器学习简史:从感知机到统计学习入门15 分钟
- 深度学习导览:边界与去向前沿10 分钟
- 公平性、可复现性与机器学习伦理进阶20 分钟