第11章 综合例题：把文本表示、概率、评估与训练串起来
九道完整算例把词袋与 TF-IDF 检索、HMM 与 Viterbi、朴素贝叶斯、分类与生成评估指标、NMF 分解、聚类、LSTM 门控与 Adam 更新、防泄漏实验设计串成闭环。
Janus' Blogs
写 Django、工程实践和 AI 论文阅读笔记。
最新文章 2026-10-28
自然语言处理：文本表示、统计学习与神经模型
自然语言处理：文本表示、统计学习与神经模型
第10章 训练与调参：交叉验证、优化器、损失与正则
区分模型参数与超参数，建立无数据泄漏的交叉验证流程，再手算二元与多类交叉熵、SGD、RMSProp、Adam、梯度裁剪与 dropout。
自然语言处理：文本表示、统计学习与神经模型
第9章 序列神经模型：RNN、LSTM、GRU 与双向结构
从一个标量 RNN 的前向递推理解时间步参数共享，再拆解 LSTM 细胞状态与三道门、GRU 的重置门与更新门，以及双向结构的使用边界。
自然语言处理：文本表示、统计学习与神经模型
第8章 文本聚类：K-Means、层次聚类与模糊 C 均值
先区分有监督分类与无监督聚类，再用一维数据走完 K-Means 的指派和中心更新，对比五种层次聚类连接方式，计算模糊 C 均值隶属度与轮廓系数。
自然语言处理：文本表示、统计学习与神经模型
第7章 传统文本学习：朴素贝叶斯、SVM、ELM 与高斯过程
用小语料手算多项式朴素贝叶斯，区分分类正确与间隔充足，再看随机隐藏层、最小二乘和高斯过程如何处理数值化文本，以及各自的计算代价和适用边界。
自然语言处理：文本表示、统计学习与神经模型
第6章 主题与降维：LDA、LSA、NMF、PCA 和 SVD
先统一文档—词矩阵的方向，分清概率主题模型和矩阵分解，用小矩阵理解低秩近似、非负分解和主成分，再手算 pLSA 的责任度和 LDA 的主题分配。
自然语言处理：文本表示、统计学习与神经模型
第5章 词向量：Word2Vec、负采样与 GloVe
从稀疏的 one-hot 走向稠密词向量，理清 CBOW 与 Skip-gram 的输入输出，手算 softmax 和负采样，再借共现矩阵理解 GloVe 的加权平方损失。
自然语言处理：文本表示、统计学习与神经模型
第4章 文本模型怎么评估：混淆矩阵、F1、AUC 与生成指标
从二分类和多分类出发手算 accuracy、precision、recall、micro/macro F1 和 AUC，再用同一对句子算 BLEU、ROUGE-L 与 METEOR，看清每个指标能看见什么、又漏掉什么。
自然语言处理：文本表示、统计学习与神经模型
第3章 关键词表示与检索：TF-IDF、余弦与 BM25
分清词频和文档频率，比较几种 IDF 平滑约定，用微型语料手算检索排序，再解释 BM25 的词频饱和、长度归一化和参数含义。
自然语言处理：文本表示、统计学习与神经模型
第2章 语言分析与信息抽取：NER、词性、依存与 Viterbi
分清实体边界、词性和依存关系，用一个两词两状态的例子手算隐马尔可夫模型与 Viterbi，再把句子变成有边界、有关系的结构化事实。
自然语言处理：文本表示、统计学习与神经模型
第1章 文本预处理：从字符串到词袋与 n-gram
先由任务决定怎样清洗文本，再分清分词、词干提取与词形还原，手算词袋和余弦相似度，最后用一段不依赖外部数据的 Python 代码得到可复现的文本表示。