大模型技术30讲：一本敢说「找不到」的书，但书名比内容大

2026-11-09silcano

微信读书《大模型技术 30 讲》· 抓取 308 屏 / 30 讲 / 148 条目录 · 末 9 屏为重复的空屏
逐字核对 10 屏 · p0006 书名条核对为本书 · 读到书尾 · 2026-11-09
先说边界。308 屏里 MD5 去重后是 299 张唯一图，末段 p0300 至 p0308 是同一个小尺寸空屏反复出现，实际正文到 p0299 的习题答案为止。我逐字核对了 10 屏，抽样率约 3.3%；抽样不是随机翻：这本是一问一答的「讲座集」，判断力全在「每讲给了多少篇幅」和「作者敢不敢说不知道」两件事上，所以我专挑每题最长的、最短的、以及下结论的页面核。

我先给结论：这是我近期读过最「诚实」的技术书之一。它敢在正文里写「到目前为止，仍没有办法在不训练原始网络的情况下找到这些中奖彩票。如果算上剪枝步骤，这个训练过程甚至可能比常规训练成本还高」——一句把自己的卖点亲手拆掉的话。但它的结构有一个硬伤：三十讲里，真正专讲大模型的只有六讲，后八讲其实换成了机器学习的统计学；更麻烦的是，为了凑满「30」这个整数，它把不同重量的话题压进了等长的格子，最厚的一讲 32 屏，最薄的一讲只有 2 屏。一套体例，两种货物。

先把这本书的位置摆清楚。p0008 的前言说得很直接：市面上的书「要么是面向初学者的简单介绍，要么是深奥的数学理论」，这本书要「以通俗易懂的方式阐述并探讨这些领域的重要进展，不需要读者具备高等数学或编程相关背景」。读者定位是「有一定机器学习经验」的人——「对于已经上过机器学习或深度学习的初级课程，或者已经读过相关入门书的读者，本书将是理想读物」。它还特意声明了一句：「在本书中，我将使用机器学习作为机器学习、深度学习和人工智能的统称。」

这句话看着是术语约定，其实是这本书最重要的一句免责声明。既然「机器学习」是三类东西的统称，那么书名叫「大模型技术」而内容里有大量通用机器学习内容，在作者自己的框架里就是自洽的。问题在于，读者买书看的是封面，不是这句脚注。

一、体例：三十个问题，平均九屏半

p0008 把体例交代得很清楚：「本书采用了独特的一问一答风格，每一章都围绕一个与机器学习、深度学习和人工智能的基本概念相关的中心问题展开。每个问题后均给出了相应的解释，并配有若干图表，还给出了练习供读者检验自身是否已理解所学内容。许多章还给出了参考资料以供读者进一步阅读。」

这段话说到了「图表」「练习」「参考资料」三件套，我核了一遍，三件都兑现了，这一点必须先夸。练习是真的有（p0208 的练习 20-1 让读者用随机森林训一个股票推荐分类器，问该用无状态训练还是有状态重训练）；答案是集中给的（p0299 就是习题答案页，能看到第 10 章、第 11 章的答案）；参考文献在每讲末尾。一本 30 讲的小册子能做到「讲—练—答—引」闭环，已经超过大多数同类书的完成度。

体例的代价也很明显。308 屏分成 30 讲，平均每讲 9.5 屏；减去前面 17 屏的前言、致谢、献词，正文 291 屏，平均 9.7 屏。九屏半是什么概念？大概是一个概念、一张图、一段推导、三道练习。这个长度适合讲「什么是潜空间」，不适合讲「怎么微调一个 Transformer」。

而作者确实在后一种题上也只给了九屏半。第 18 讲「使用和微调预训练 Transformer」20 屏，已经是除第 30 讲之外最厚的了；第 19 讲「评测生成式大模型」15 屏。微调和评测是当下所有人真正在做的事，二十屏和十五屏，只能讲清「有哪几种做法」，讲不到「怎么选、坑在哪」。

所以这本书的定位，我给一个更准确的描述：它不是教材，是一本「概念词典 + 判断题集」。它的用途是让你在开会时不再被术语唬住，而不是让你回去就能动手。这个定位本身没错，错的是封面上那五个字给人的期待。

二、篇幅账：第 30 讲 32 屏，第 24 讲 2 屏

我把 pages.jsonl 的逐页章节映射按讲聚合了一遍，结果很有说服力。30 讲里：

最长的是第 30 讲「有限的有标签数据」，32 屏，占 10.4%，一讲就吃掉全书十分之一。第二厚是第 18 讲「使用和微调预训练 Transformer」，20 屏，6.5%。第三是第 9 讲「生成式 AI 模型」，16 屏，5.2%。

最薄的是第 24 讲「泊松回归与序回归」，2 屏，占 0.6%。其次是第 29 讲「训练集和测试集的不一致性」3 屏，第 20 讲「无状态训练与有状态训练」4 屏，第 3 讲「小样本学习」与第 4 讲「彩票假设」各 5 屏。

32 比 2，差 16 倍。这不是作者偏心，是「30」这个整数逼出来的。如果按内容的真实重量排，泊松回归和序回归大概不配单独成讲——它更像是「回归任务的损失函数选择」这一讲里的一个小节；而「有限的有标签数据」至少值三讲（主动学习、半监督、合成数据各一讲）。但为了凑满 30 这个数字，前者被抬成一讲，后者被压成一讲。

我核了第 24 讲那两屏。它确实只有两屏：一屏讲泊松回归的适用场景（计数数据），一屏讲序回归（有序类别）。两屏讲两个回归族，等于把目录条目抄成了正文。读者读完不会知道泊松回归的损失函数长什么样、什么时候该用它替代均方误差、序回归和普通分类的区别在哪。这一讲存在的唯一意义，是让目录看起来更整齐。

反过来看第 30 讲那 32 屏，它值得。整本书押在「标注数据不够怎么办」上，这个判断我认为是对的——2026 年了，模型能力过剩、数据稀缺，谁都知道瓶颈在标注。作者把十分之一的篇幅给它，说明他清楚真正的瓶颈在哪。一本技术书的价值观，看它的篇幅分配比看它的前言可靠。

这两个数字放在一起，恰好说明这本书的两种状态：作者真正想讲的地方（第 30 讲）讲得很足，为了体例必须凑的地方（第 24 讲）糊弄了过去。前者让你觉得这书值，后者让你觉得这书急。

三、后半本偷偷换了学科

第 23 讲到第 30 讲，八讲的题目连起来读是这样的：数据分布偏移、泊松回归与序回归、置信区间、置信区间与共形预测、合适的模型度量、k 折交叉验证中的 k、训练集和测试集的不一致性、有限的有标签数据。八讲合计 84 屏，占全书 27.3%——超过四分之一。

这八讲讲的是什么？是模型评估的统计学。它跟「大模型」没有必然关系，跟「任何机器学习模型」都有关系。一个只用 XGBoost 的人读这八讲，收获不会比读大模型的人少。

我不认为这是错。恰恰相反，这八讲是全书最实用的部分——「你的模型涨了两个点，是真的涨了还是噪声」这个问题，比「注意力机制怎么算」重要一百倍。p0245 那张图 25-4 就很有说服力：从 1000 次自助抽样中得到的测试集准确度分布，标出了 95% 的置信区间，图注写明「包含了 95% 的置信区间」，正文还解释「由于自助抽样法的理论基础是前面讨论过的中心极限定理，因此我们在本章中使用自助抽样法，而不是通过 n 折交叉验证来获得训练集-测试集划分」。一张图把「准确率是个分布不是个数」这件事讲透了，这比十页公式有用。

但这里有一个断裂，我必须指出来。p0245 那句「前面讨论过的中心极限定理」——我在 30 讲的目录里找不到任何一讲叫「中心极限定理」。最接近的是第 14 讲「分布假设」，但从标题看不出它讲了这个。也就是说，作者在正文里引用了一个「前面讨论过」的基础，而读者按目录回溯很可能找不到。

这类内部引用断裂，在一问一答体例里特别容易发生。因为每讲是独立写的，作者写第 25 讲时脑子里有整本书的结构，但读者是按目录跳着读的。「前面讨论过」这四个字，在没有连续阅读动线的小册子里，等于「你自己去补」。正确做法是给一个具体页码或讲号——「见第 X 讲 2.3 节」。这本书的参考文献给得很勤，内部交叉引用反而省了，这是个奇怪的取舍。

另外一个观察：这八讲的顺序是有讲究的。先用「分布偏移」把「模型上线后会变差」这件事立起来，再用「置信区间」教你怎么判断差异是不是真的，接着用「合适的度量」和「k 折的 k」讲怎么设计评估，最后用「训练集测试集不一致」和「有限标签」收在「数据本身有问题怎么办」。这条线是完整的，从「现象」到「判据」到「设计」到「根因」。如果作者在前面加一页导读，把这四步画成一张流程图，这八讲的价值会翻倍。现在它没有导读，读者得自己拼。

四、它最诚实的一页：中奖彩票找不到

如果这本书只能推荐一页，我推荐 p0041。

第 4 讲讲「彩票假设」（Lottery Ticket Hypothesis）：一个随机初始化的大网络里，存在一个子网络，单独训练它就能达到和原网络相当的效果。这是个很漂亮的结论，也是最容易被写成「黑科技」的题材——你完全可以想象另一种写法：「剪掉 90% 的参数，性能不掉！」然后配三张对比图收工。

作者没有这么写。他在 4.2 节「实际意义与局限性」里，先承认原始论文的成绩（「作者们成功地将网络缩减到其原始大小的 10%，并且分类正确率没有降低」，还补了一句「剪枝后的（稀疏）网络，也就是所谓的中奖彩票，甚至比原始的（大型密集）网络展现出了更好的泛化性」），然后立刻掉头：

听起来是不是过于美好了？也许吧。如果能够有效识别出中奖彩票，在实际应用中将非常有帮助。然而，到目前为止，仍没有办法在不训练原始网络的情况下找到这些中奖彩票。如果算上剪枝步骤，这个训练过程甚至可能比常规训练成本还高。而且，关于彩票假设的原始论文发表后，研究人员发现，原始权重初始化可能不适用于寻找大规模网络的中奖彩票，剪枝网络的初始权重还需要进一步的实验探索。

这段值得逐句读。「听起来是不是过于美好了？也许吧」——这是作者在替读者说出怀疑。「仍没有办法在不训练原始网络的情况下找到」——这是把整个方法论的实用价值直接判死：你要先训一个大网络，才能找到那个小网络，那你还省了什么？「如果算上剪枝步骤，这个训练过程甚至可能比常规训练成本还高」——这是自己给自己算了一笔负账。

然后他还补了第三层：后来有研究者发现，「原始权重初始化可能不适用于寻找大规模网络的中奖彩票」。也就是说，那个 10% 的结论，可能只在中小规模上成立。一页之内，作者把「前提不可得」「成本不划算」「规模不成立」三把刀依次递给了读者。

最后他给了一句我认为是全书最好的一句话：「好消息是，中奖彩票确实存在。即便目前尚不能在不训练它们所属的大型神经网络的情况下就把它们识别出来，但在训练之后，它们仍可以用来进行更高效的推理。」

这句的结构很讲究：先承认「存在」，再承认「找不到」，最后指出「但训练完之后可以拿去做推理」。它把一件「理论上漂亮、工程上无用」的事，还原成了「理论上漂亮、工程上暂时只能在推理侧用」。不夸大，也不否定。

我读技术书有个习惯：看它怎么处理「自己引用的方法有硬伤」这件事。多数书的处理方式是绕开，或者用一句「当然，这仍有挑战」带过。这本书的处理方式是把硬伤摆到台面上，算清楚代价，再告诉你还剩什么能用。这是很少见的品质，也是我愿意为它写这篇笔记的主要原因。

顺带说，这本书的致谢页（p0006）也能看出它是认真做的：技术评审 Andrea Panizza 被写明「为本书提供了非常有价值且富有洞察力的反馈建议」；Anton Reshetnikov「针对第 30 章的监督学习流程图提供了更清晰的布局设计建议」；还有两位专门负责「模型编辑」的编辑，被感谢「提出的问题以及关于语言文本的优化建议，都显著提高了本书的质量」。连「第 30 章的流程图」这种细节都写进致谢，说明那一讲确实被反复打磨过——这跟我上面按篇幅推出的结论对上了。

五、五张图，每一张只讲一件事

这本书的图是我读过的技术书里质量偏上的，而且是同一种风格：一张图只承担一个判断，不塞第二个信息。我核到的五张都能佐证这一点。

图 1-3（p0021）画自编码器：输入图像 → 瓶颈形状的中间层 → 输出图像，一行三个方块，中间那个收窄成沙漏。它要讲的只有一件事——「潜空间是被压窄的那一段」，所以整张图只有三个元素，没有一个多余的箭头。配文也克制：「图1-3中的瓶颈形状部分表示一个小型的、位于中间的神经网络层，其作用是將输入图像编码或映射为更低维度的表征。」

图 9-6（p0092）画扩散模型：上面一排 z₁、z₂ 到 zₙ 加箭头向下，标「前向扩散加入高斯噪声」，下面反过来标「反向扩散移除高斯噪声」，中间用双向箭头连起来。它要讲的是「加噪和去噪是同一个过程的两个方向」，所以用了双向箭头，而不是两条独立的流程。这个设计比很多论文里的示意图清楚。

图 20-2（p0208）画有状态训练：一条长条代表「初始数据集」，下面依次是模型 1.0（初始模型）、模型 1.1、1.2、1.3，用竖直短线标出更新时间点。它要讲的是「模型在时间轴上被周期性替换」，所以横轴是时间、竖线是版本。这张图配的正文也精准：「有状态训练的一个显著优点是，我们无须为了重新训练而存储数据；相反，我们可以立即使用新到的数据来更新模型。当因隐私问题或资源限制而对数据存储有所顾虑时，这一点就很有吸引力了。」

图 25-4（p0245）画自助抽样的准确度分布：横轴是测试集准确度 68 到 75，纵轴是密度，两根虚线卡出 95% 区间，实线标出均值。它要讲的是「一个准确率数字背后是一个分布」，所以必须画成直方图而不是柱状图。这张图如果删掉，第 25 讲的价值要掉一半。

图 29-1（p0276）画对抗验证工作流：训练集和测试集打上「是否测试数据」的标签，训一个分类器，看它能不能区分开；能区分，说明两个集合分布不一致。它要讲的是「把分布差异变成一个二分类问题」，所以整张图就是一个二分类的流程。配的正文还给了缓解手段：表格数据「可以逐一移除特征」，图像和文本「还可以研究移除与测试集不同的个别训练实例」。

五张图，五种画法，但遵循同一个原则：先想清楚这一页要读者记住哪一个判断，再决定画什么。这件事听起来简单，做起来极难——多数技术书的图是「把文字翻译成方块」，而这本书的图是「把判断翻译成形状」。这是我最愿意给它加分的地方，也是我在自己的笔记里一直想学的手法。

六、图 17-3 那个标题，是硬伤

夸完了，说问题。全书我核到的唯一一处硬错，在 p0165。

那一页的图注是「图17-3 原始Transformer中的下一句预测任务」。但图里画的是什么？一排格子：START、一个、词、一个、词、一个、……，然后又一个 START、接、一个、词、MASK。这是逐词元生成的过程，不是「下一句预测」。

紧接着的正文也证实了这一点：「这种掩蔽（如图17-3明确所示，尽管它发生在解码器的多头自注意力机制内部）对于在训练和推理过程中保持 Transformer 模型的自回归特性至关重要。这种自回归特性确保模型一次只生成一个输出词元，并使用之前生成的词元作为生成下一个词元的上下文。」

「一次只生成一个输出词元」——这是 next-token prediction（下一词元预测）。而「下一句预测」（Next Sentence Prediction，NSP）是 BERT 的训练目标之一：给两句话，判断后一句是不是前一句的真实下文。这是两个完全不同的任务，分属两条技术路线：GPT 系列走的是自回归逐词元预测，BERT 走的是掩码语言模型加下一句预测。把解码器的逐词生成叫成「下一句预测」，等于把 GPT 和 BERT 的训练目标混成了一个。

为什么这一处特别值得指出？因为第 17 讲正是「编码器和解码器风格的 Transformer 架构」，全讲的核心就是区分这两条路线。作者在后面几段确实讲对了——「GPT 的全称为 Generative Pre-trained Transformer，即生成式预训练 Transformer。GPT 系列由纯解码器模型构成」，还说「GPT 模型最引人注目的特征之一便是它的涌现能力」。正文是对的，只有图注错了。

这大概率是翻译或编辑环节的手误：英文原书这里若写的是「next token prediction」，译成「下一句预测」就是一个字的差别；若原文写的是「next sentence prediction」，那就是原书笔误。但无论哪种，它都暴露了一个流程问题：图注没有跟正文一起被审。技术书里图注是最容易被跳过的部分——编辑校正文，图注往往只在排版阶段被扫一眼。

我提这一处，不是要否定这本书。恰恰相反，正因为它的正文质量普遍很高，这一处才显得突兀。一本在 p0041 敢把自家方法论判死的书，不该在 p0165 犯一个术语级错误。前者是判断力，后者是流程，两件事不该同时出现在一本书里。

七、它的短板

按规矩，这一节老老实实写。四条，从轻到重。

第一，书名比内容大。「大模型技术 30 讲」，但真正专讲大模型的我数出来只有六讲：第 9 讲生成式 AI 模型、第 10 讲随机性的由来、第 17 讲编解码 Transformer、第 18 讲使用和微调预训练 Transformer、第 19 讲评测生成式大模型、第 22 讲加速推理。六讲，占 30 讲的五分之一，占屏数不到三成。其余二十四讲是通用深度学习（嵌入、自监督、过拟合、多 GPU、ViT）和通用机器学习统计学（后八讲）。这不影响它的价值，但影响你的购买决策——如果你想要的是一本「专门讲大模型」的书，这本只满足五分之一。

第二，零代码，所以只能读不能做。p0008 明说「不需要读者具备高等数学或编程相关背景」，我核了全书，确实没有一行可运行代码。这是自觉的取舍，我尊重。但要指出代价：讲 Transformer、ViT、扩散模型、微调，却不给一行代码，读者读完会「知道」但不会「做」。而且这个取舍跟它的读者定位有轻微矛盾——它说受众是「有一定机器学习经验」的人，而这类人通常已经会写代码，他们缺的不是概念，是能跑起来的例子。

第三，篇幅分配被「30」这个数字绑住了。第 24 讲 2 屏、第 29 讲 3 屏、第 20 讲 4 屏，这三讲加起来 9 屏，还不够第 30 讲的三分之一。一个话题值不值一讲，应该由它的信息量决定，而不是由目录的整齐度决定。更好的做法是允许「长短讲」：承认第 24 讲只是一个小节，把省下的篇幅给第 18 讲（微调，20 屏）和第 19 讲（评测，15 屏）——这两讲才是读者真正要用的。现在这两讲各只有二十屏和十五屏，讲得都对，但都不够用。

第四，也是最实质的一条：它没有回答「这些技术现在还能用吗」。这本书讲的是原理，原理不过期；但读者要的是判断——比如「彩票假设现在还值得投人研究吗」「扩散模型和自回归在图像生成上该怎么选」「有状态训练在什么规模下才划算」。这些「时效性判断」，全书几乎不给。唯一接近的是 p0041 那段对彩票假设的三连否定，而它之所以珍贵，恰恰因为别处没有。

我理解作者的谨慎——写时效性判断容易被打脸。但一本 2025 年之后出版的技术书，如果连「这个方向现在还有没有人在做」都不提，读者就只能自己去查。而读者买书，本来就是为了少查一点。相比之下，我上一本读的《大模型轻量化》是另一个极端：全是操作、全无判断。两本书合起来看，恰好说明国产技术书的一个通病——要么只给判断不给操作，要么只给操作不给判断，很少两样都给。

八、给要买这本书的人

最合适：已经会训模型、但说不清「为什么这个结果可信」的人。如果你做过几个项目，模型跑通了、指标也涨了，但每次汇报被人问「这两个点是真的还是噪声」就心虚——这本书的后八讲（第 23 至 30 讲，84 屏，27.3%）就是为你写的。图 25-4 那一页值回书价。

次合适：要跟算法团队对话的产品／项目经理。三十讲、每讲九屏半，一个周末能翻完，翻完你至少不会再把「微调」和「提示词工程」混为一谈，也不会再问「为什么不能直接上 70B」。它给你的是一套能听懂术语的词汇表，不是一套能动手的方法。

不太合适：想学「怎么把大模型用起来」的人。这本书不教工程。没有 RAG、没有 Agent、没有部署、没有一行代码。你要的是另一类书。

也不合适：想深入某一个方向的研究者。九屏半的篇幅，对任何一讲都只是「导读」。它给了参考文献，这是它的诚实之处——它知道自己浅，所以把深的路标留给你。

具体读法，我给一条跟目录顺序相反的：先读第 4 讲（p0041，彩票假设）和第 25 讲（p0245，置信区间），用四十页判断这本书的判断力够不够；如果够（我认为够），再回头按顺序读第 1 至 10 讲打概念，然后把第 23 至 30 讲当工具书随时查；第 11 至 22 讲按需挑，你做什么就挑什么。这样读的好处是先建立「这本书敢说真话」的信任，再接受它的知识——顺序反过来，你会在第 24 讲那两屏上先失去耐心。

最后一句：这本书最值钱的地方不是它讲了三十个概念，是它在 p0041 示范了一种姿态——把一个漂亮的理论拆开，算清它的成本，然后告诉你「现在只能用在推理侧」。这种姿态比三十讲里的任何一讲都难学，也比任何一讲都值得学；它最该补的地方，是它自己没意识到：读者要的不只是「这个概念是什么」，还有「这个方向，现在值不值得我投半年」。