《统计学习方法》
总体观点
统计学习的核心由三个不可分割的基石要素构成：模型（Hypothesis Space，确定所要学习的假设空间）、策略（Criterion，定义损失函数与经验风险最小化/结构风险最小化准则）与算法（Algorithm，寻找最优超参数与模型参数的凸优化/数值计算方法）。理解任何机器学习模型，都必须首先剖析这三要素的具体形式。
模型的泛化能力（Generalization Ability）是衡量统计学习本质的唯一金标准。过拟合（Overfitting）产生于模型复杂度过高对训练集随机噪声的过度记忆。通过引入正则化项（L1/L2范数惩罚）以实现结构风险最小化，或通过交叉验证与VC维理论约束泛化误差上界，构成了现代统计建模抗击过拟合的数学屏障。
支持向量机（SVM）、AdaBoost与隐马尔可夫模型（HMM）代表了经典统计机器学习在不同数学维度的巅峰智慧。从最大几何间隔的凸二次规划与拉格朗日对偶性，到加法模型的前向分步贪心优化，再到图模型中含有隐变量的EM期望最大化与动态规划译码，体现了数学优化与概率推断的深层融通。
核心观点
-
1. 感知机的对偶形式与Gram矩阵加速
感知机作为神经网络的元祖，通过随机梯度下降更新分离超平面权重。其对偶形式将误分类实例的累计修正次数显式化，利用预计算实例内积的Gram矩阵大幅削减高维特征计算量。
李航详细证明了感知机算法在训练集线性可分条件下的Novikoff收敛定理，给出了误分类次数的上界与几何间隔倒数平方的正比关系。 -
2. kd树的高维空间快速最近邻检索
k近邻法在面对海量高维数据时线性遍历开销巨大。通过自顶向下递归选择方差最大的特征维度进行中位数切分构造二叉kd树，搜索时利用超球面与切分超平面相交判定实现极佳的剪枝回溯。
在二维坐标点集构成的特征空间中，当查询点距离当前叶节点的距离小于到分割轴的垂线距离时，算法直接跳过兄弟子树搜索，显著提升检索效率。 -
3. 最大熵原理与改进迭代尺度法IIS
最大熵模型在满足已知全部事实（经验约束条件）的前提下，保留最大的不确定性（熵最大化），对未知状态不作任何主观假设，通过拉格朗日乘子法推导出吉布斯分布形式。
在自然语言词性标注任务中，利用IIS算法逐步更新特征函数的乘子权重alpha，每次迭代通过求解非线性方程求得增量delta，确保对数似然函数单调递增逼近全局最优。 -
4. SVM软间隔最大化与SMO极速优化
支持向量机通过核技巧将低维线性不可分样本映射至无穷维希尔伯特空间。SMO算法将庞大的二次规划问题分解为极小规模子问题：每次仅选取两个拉格朗日乘子进行解析求解，彻底摆脱矩阵求逆瓶颈。
推导KKT互补松弛条件：只有处于间隔边界上的支持向量实例（alpha > 0）才真正决定分类超平面的法向量，其余样本对最终决策函数毫无影响，彰显极度稀疏之美。 -
5. EM算法在不完全数据高斯混合模型中的魔力
当数据包含不可观测的隐变量时，直接求极大似然估计极度困难。EM算法通过E步计算隐变量的后验概率期望（Q函数），M步极大化Q函数更新参数，通过琴生不等式确保似然下界逐步抬升收敛。
推导三个一维高斯分布混合模型（GMM）参数学习：E步计算每个样本归属于各个高斯成分的响应度，M步据此重新加权更新均值mu、方差sigma与混合权重alpha。
全书思维导图 · 知识脉络树
全书结构
-
第1章 统计学习方法概论
奠定全书纲领，建立监督学习框架，阐述模型、策略、算法三要素，推导泛化误差上界公式与正则化范式。
以多项式函数拟合正弦曲线为例，生动演示多项式次数从0到9时从欠拟合到严重过拟合的误差变化与权重膨胀现象。 -
第2章 感知机与第3章 k近邻法
详解线性分类二类模型感知机的原始形式与对偶形式，以及k近邻法的距离度量、k值交叉验证与kd树的构建与最近邻搜索算法。
详细拆解kd树在平衡二叉分割下的回溯搜索过程，展示如何利用球体相交检验判定是否需要进入另一侧子节点。 -
第4章 朴素贝叶斯法与第5章 决策树
解析条件独立性假设下的贝叶斯后验概率计算与拉普拉斯平滑，深入决策树的信息增益（ID3）、信息增益比（C4.5）与基尼指数（CART）剪枝算法。
使用著名的贷款申请数据集，一步步计算各特征的信息增益数值，选出根节点特征并构建带有极小化损失函数剪枝的决策树。 -
第6章 逻辑斯谛回归与最大熵模型
推导对数几率分布与二项/多项逻辑斯谛回归，阐述最大熵原理的拉格朗日对偶性推导及改进迭代尺度法（IIS）与拟牛顿BFGS求解。
从凸优化视角证明逻辑斯谛回归模型与最大熵模型在形式上的等价性，展示对数似然函数严格凹性保证全局最优的数学特性。 -
第7章 支持向量机
从线性可分硬间隔SVM、线性软间隔SVM到非线性核技巧，详尽推导拉格朗日对偶问题、KKT条件及SMO序列最小最优化算法。
演示多项式核与高斯径向基核（RBF）如何将二维空间异或（XOR）线性不可分问题映射至高维特征空间实现完美超平面划分。 -
第8章 提升方法与第9章 EM算法
解析AdaBoost加权样本迭代与前向分步算法，推导提升树与梯度提升（GBDT），阐明EM算法在包含隐变量概率模型中的收敛性与GMM应用。
手工演示AdaBoost前三轮弱分类器权重alpha计算与样本分布更新过程，直观体现误分类样本权重指数级提升的集成本质。 -
第10章 隐马尔可夫模型与第11章 条件随机场
全面攻克HMM概率计算前向后向算法、学习问题Baum-Welch算法与预测问题维特比算法，推导概率无向图模型线性链CRF的内积矩阵形式。
以红白双色盒子摸球实验贯穿HMM全章，生动演示网格动态规划维特比算法如何用微小计算量精准回溯最可能的状态隐序列。