《具身智能:从理论到实践》:拦住你的是环境,不是算法
微信读书《具身智能:从理论到实践》(易显维、吴凯 著,清华大学出版社,2025 年 10 月第 1 版)· 本次逐页翻阅 456 屏,从版权页读到「全书完」,前言、8 章正文全部覆盖,抓取标记为全书读完(end=last_page),耗时 326 秒。需要说明:个别页面(如 p40)被会员卡提示遮挡,那部分正文我没有读到。
说明:这不是一本讲观点的书,是一本讲怎么把东西跑起来的书。所以我的评价标准也不同:不看它说得多漂亮,看它给的路径能不能走通。本篇不复述目录;加引号的话都能在截图里核对,页码为本次截图编号。
这本书最有用的一页,是一条 docker 命令。
它在第 8 章「VLN 实战」的环境配置一节,长这样:
--privileged \
--shm-size=32g \
--network=host \
--device=/dev/video* \
-e DISPLAY=$DISPLAY \
-v /tmp/.X11-unix:/tmp/.X11-unix \
-v /absolute/path/to/VLN-Tutorial:/projects/VLN-Tutorial \
mp3d:v1
紧接着作者逐条解释了每个参数:--gpus all 是让容器访问宿主 GPU,--privileged 是给扩展权限,--shm-size=32g 是设共享内存,「这对于处理大型数据集和多进程训练非常重要」。上一页还有一张图,显示这个镜像的大小:18.9GB。
我读到这里的反应不太像在读一本书,更像在看一份同事发来的部署笔记。而这本书真正的价值,恰恰就在这种地方——不在它对「范式跃迁」的四段式叙述里,在这些带反斜杠的命令行里。
所以我先把判断放前面:这本书的名字叫「从理论到实践」,但真正卡住绝大多数人的,既不是理论,也不是实践,是中间那一层「环境」。456 屏里,讲清楚这一层的地方不多,但每一处都比前后那些讲原理的段落值钱。
一、先看结构:456 屏怎么分的
按章节起始页相减,8 章的分配是:
第 1 章序章 26 屏(5.7%);第 2 章传统机械臂控制实例 29 屏(6.4%);第 3 章 VLA 原理 52 屏(11.4%);第 4 章 SLAM 基础 46 屏(10.1%);第 5 章机器人感知与自主定位 88 屏(19.3%);第 6 章 VLN 原理 55 屏(12.1%);第 7 章 VLA 实战 100 屏(21.9%);第 8 章 VLN 实战 44 屏(9.6%)。
把「原理」和「实战」分开算:讲原理的第 3、4、6 章合计 153 屏,占 33.6%;带「实战」二字的第 2、7、8 章合计 173 屏,占 37.9%。剩下 29% 是序章和感知那一章。
这个比例是诚实的——它确实做到了「理论实践各占一半」。但真正让我意外的是第 5 章:「机器人感知与自主定位」占了 88 屏,19.3%,比 VLA 原理(52 屏)还多 36 屏,是全书第二长的一章。
一本主打 VLA(视觉-语言-动作)的书,把最多的原理篇幅给了传感器、标定、定位——而不是给了最热的那套模型。我认为这不是失手,是作者知道自己在写什么:VLA 是上层,感知是地板。地板不平,上层怎么摆都是歪的。
这也是我读这本书最大的收获:它没有跟着热点走,它跟着工程的依赖顺序走。

二、它最扎实的部分:三代方法的并置
这本书的技术路线很有意思——它没有直接从 VLA 讲起,而是先花 29 屏讲了一个「传统机械臂控制实例」。这一章干的事是:用目标检测找到物体、构建坐标系取深度、把世界坐标转成机械臂基坐标、解逆运动学求关节角度、做轨迹规划、最后控制执行。
然后它才进入 VLA,讲 RT-1(隐式端到端)、UniPi(显式端到端)、Pi0-CogACT(分层端到端),最后在第 7 章用 ACT 和 Diffusion Policy 做复现。
这三代方法并置,是这本书在结构上做得最好的一件事。因为它让读者看见了「具身智能」这个词底下其实是三种完全不同的东西:
第一种是几何派——第 2 章那套。相机标定、手眼标定、逆解、轨迹规划。它的前提是:环境已知、物体已知、任务固定。它不智能,但它可靠,工业产线上跑了三十年。
第二种是端到端派——VLA 那套。输入图像和语言指令,直接输出动作。它放弃了中间的所有显式建模,把一切交给数据。
第三种是分层派——Pi0-CogACT 那类。上层做任务规划,下层做动作执行,中间用接口连起来。
书里把三种都讲了,但——这是我要批评的第一个地方——它没有一处正面比较这三者的适用边界。读完 456 屏,你能分别复述三种方法的流程,但你回答不了一个最实际的问题:我现在要做一条产线上下料,该用哪一套?
第 2 章那套几何方法在第 7 章之后就再也没出现过,仿佛它只是「历史」。但在真实工厂里,那套方法今天仍然承担着绝大多数重复性作业,因为它的可靠性可以算、可以验、可以签合同。而 VLA 的成功率,在这本书里从头到尾没有被给出一个具体的数字。
三、它给的代码,和它没给的数字
第 2 章 2.4 节叫「核心代码讲解」,我特意翻到那里看它给什么代码。给的是这个:
kernel = cv.getStructuringElement(cv.MORPH_RECT, (5, 5))
# 形态学闭操作,对灰度图像进行形态学闭操作,以去除小干扰
dst_img = cv.morphologyEx(gray_img, cv.MORPH_CLOSE, kernel)
# 图像二值化操作,对处理后的图像进行二值化,阈值定为 10,生成二值图像
ret, binary = cv.threshold(dst_img, 10, 255, cv.THRESH_BINARY)
# 获取轮廓点集(坐标),查找二值图像中的轮廓
find_contours = cv.findContours(binary, cv.RETR_EXTERNAL, cv.CHAIN_APPROX_SIMPLE)
# 根据返回的轮廓数量选择合适的轮廓列表
if len(find_contours) == 3: contours = find_contours[1]
else: contours = find_contours[0]
注释写得很清楚(这是优点,很多技术书的代码连注释都没有),下面还补了「参数说明」和「返回值」。看得出来作者是认真在教。
但这段代码做的事是:在图像里找轮廓。配合后面的目标检测模型,它解决的是「桌面上有个东西,找出它在哪」这个问题。
我把它和书名放在一起看,就觉得有点微妙。「具身智能」这四个字现在指的是:机器人听懂「把桌上的杯子拿到厨房」,自己在陌生环境里走过去、绕开障碍、找到杯子、抓住、放下。而第 2 章给的代码,是 OpenCV 的形态学操作。
我不认为这是欺骗——第 2 章标题写得很清楚,「传统机械臂控制实例」,它就是要在讲 VLA 之前先给你一个能跑通的、简单的、看得见结果的例子。这在教学上是正确的顺序。
问题在于另一件事:实战部分从头到尾没有给出一个可比较的性能数字。第 7 章讲复制 ACT 和 DP 时,对评估的描述是这样的:
若模型在某些测试场景下表现欠佳,未能达到预期效果,就需要深入分析背后的原因。这可能涉及多个方面,如数据量不足,导致模型学习的样本不够丰富,无法应对复杂多变的环境;模型结构不合理,不能有效地提取和处理多模态数据之间的关系;训练参数设置不当,影响了模型的收敛速度和最终性能。
这段话把「分析原因」的框架讲得很全,但它没说:到底成功率是多少。是 80% 还是 40%?在几个场景上测的?每个场景重复几次?一次成功算成功,还是连续十次?
对比一下:讲 docker 的时候,镜像多大(18.9GB)、共享内存设多少(32g)都写清楚了;讲模型的时候,成功率一个字没有。这就是这本书的取舍倾向——凡是能确定性写下来的,写得很细;凡是需要跑实验才能得到的数字,全部模糊化。
我理解为什么。成功率这个东西,一写就会被质疑,因为复现条件千差万别,写了反而容易招黑。但读者买这本书就是为了复现。你不给数字,他跑完之后不知道自己跑对没有。
再说第 3 章讲算法的部分。这一章我认为是全书讲得最清楚的原理章节,尤其是 RT-1 那一节——它把「语言怎么影响视觉」这件事讲到了机制层,而不是停在「用大模型编码指令」这种话上。
机理是这样:RT-1 用 FiLM 层做条件调制,公式(3-1)只有一行:
yᵢ = γᵢxᵢ + βᵢ (3-1)
其中,xᵢ 是原始图像特征通道的值,γᵢ 和 βᵢ 是由指令嵌入向量经过特定的全连接层变换得到的缩放和偏移参数。
然后紧跟着一句解释,这句解释是全章最实用的:
这种调节机制使得图像特征能够紧密结合自然语言指令所传达的任务信息。例如,当指令中提及「红色物体」时,FiLM 层能够增强图像中红色区域相关特征的权重,从而引导后续模型更关注与任务相关的图像区域。
这句话把公式翻译成了人能记住的画面。你不需要懂 FiLM 这个词,也能明白它在干什么:语言没有替换视觉,语言在给视觉调权重。这是我看过的对条件调制最简洁的中文解释。
UniPi 那节(3.3.2,被称为「开山之作」)是另一种讲法——它讲的是思路,不是机制。核心一句话:把动作生成变成视频生成。图 3-12 那张架构图里写得清楚:文本驱动的视频生成模块把「Move A Red Block to A Brown Box」这类指令转成机械臂操作视频,建立语言与视觉动作的映射;再用 Internet-Scale Knowledge Transfer 把 YouTube 上学到的知识(比如「Cut A Pineapple in A Few Steps」)迁移到机械臂任务上。
这个思路的价值在于它绕开了一个难题:动作数据太难采,但视频遍地都是。承认「我没有动作数据」,然后去借别人的视频——这是工程上非常聪明的一步。
但同样的问题又出现了:RT-1 用了多少机器人、多少条数据训出来的?UniPi 迁移之后成功率提升了多少?书里都没给。一个读者如果不知道「13 万条」和「1.3 万条」的区别,他就不知道这套方法的门槛在哪,也就无法判断自己手上的数据够不够。
这是我认为这本书最需要补的一层:它把机制讲清了,把思路讲清了,唯独没有把代价讲清。而决定一个人能不能做成这件事的,恰恰是代价。
四、理论部分的那个「这里不详细介绍」
第 4 章讲 SLAM,是我认为全书理论密度最高的一章。对极几何、八点法、PnP、ICP、卡尔曼滤波、扩展卡尔曼、光束平差、图优化、词袋模型、字典、相似度计算——46 屏里塞了这些,进度很紧。
紧到什么程度?看这一段。它先给了两个像素点的投影关系(公式 4-1):s₁p₁ = KP,s₂p₂ = K(RP+t),然后取归一化坐标得到公式 4-2:x₂ = Rx₁ + t,接着:
经过推导(这里不详细介绍推导过程),我们得到:
x₂ᵀ t^ Rx₁ = 0 (4-3)
公式(4-3)中,ᵀ是转置符号,表示将列向量转置为行向量,以便于矩阵乘法运算。
公式 4-3 就是对极约束,是整章后面所有内容(本质矩阵、八点法、PnP)的地基。而它最关键的一步——怎么从 4-2 推到 4-3——被一句话带过了:「这里不详细介绍推导过程」。
然后它花了两三行,解释「ᵀ 是转置符号」。
这就是我读这本书时最难受的一处失衡:它解释符号,跳过推导。
「ᵀ 是转置」这种话,读者看一眼公式就知道,不需要解释;而「为什么叉乘 t 之后能把 t 消掉、为什么这个式子几何上表示两个相机与物点共面」——这才是 4-3 的全部意义,也是读者真正卡住的地方,它没讲。
整本书这个模式反复出现:凡是「操作」都讲得很细(docker 每个参数、OpenCV 每个函数、环境变量怎么设),凡是「推导」都压缩到最低(4-3、卡尔曼的增益矩阵、BA 的雅可比)。
我能猜到作者的考虑:这本书要照顾「有一定的编程基础但数学不深」的读者,把数学压薄是为了让更多人能读下去。这个取舍本身没错。但它带来的后果是:这本书能让你把系统跑起来,不能让你在系统坏掉的时候知道该改哪里。
而具身智能这个领域,系统坏掉是常态。
五、第 5 章那 88 屏,是最不像「AI」也最值钱的部分
我一开始以为第 5 章是凑数的——一本讲 VLA 的书,为什么要花 88 屏讲相机、IMU、激光雷达、角雷达、GPS?
读到中段我改主意了。这一章讲的是两件很朴素的事:你的机器人怎么知道自己在哪,怎么知道自己看见的东西在哪。
而这两件事,恰恰是所有「智能」的前提。你在第 7 章让模型输出动作,动作是要在某个坐标系里生效的;坐标系错了,模型再准也没用。你在第 8 章让 VLN 走一条路线,路线是要基于定位的;定位漂了,导航就走偏。
书里在第 1 章就把这类问题列成了「关键问题」,而且列得很诚实。比如它讲叠衣服这个任务,拆出了四层难点,其中后两层是这样的:
3)控制挑战:高维动作空间优化(如灵巧手操作)……机器人的灵巧手需要准确捏住衣服的一角,然后进行翻转、折叠等动作,每个动作都需精确控制手部关节的角度和力度。如何在高维动作空间中找到最优动作策略,以实现高效、准确的操作,是具身智能控制面临的一大挑战。
4)数据稀缺:真实环境数据采集成本(参考仿真平台如 Habitat、iGibson)……例如,要采集不同材质、形状的衣服在不同摆放状态下的叠衣数据,需要耗费大量时间和人力。研究人员通常借助 Habitat、iGibson 等仿真平台,在虚拟环境中生成大量数据用于模型训练。但如何确保虚拟环境数据与真实环境数据的一致性和有效性,仍是一个需要深入研究的问题。
这两条我认为是全书最有分量的判断,因为它们是「负面的」——它承认了叠一件衣服有多难,而且难在什么地方。第三条是控制精度,第四条是数据成本与仿真到真实的差距(sim-to-real)。
尤其是第四条。虚拟环境里采一千万条叠衣数据很便宜,但那批数据里没有布料的真实摩擦、没有褶皱的随机性、没有光照变化。你在仿真里训练出来的策略,搬到真实桌面上往往会崩。作者把这一点列成「需要深入研究的问题」,这是诚实的写法——很多书会把这条写成「已通过域随机化解决」。
这也是我推荐这本书的真正理由:它的价值不在教你一个方法,在告诉你这个领域还有哪些洞没填。456 屏里,凡是这样「承认不知道」的地方,都比它讲方案的地方可信。
六、它的短板
六条,都落到具体位置。
第一,关键推导被压缩到「这里不详细介绍」。前面已经说过 4-3 那处。这个问题不是孤例——卡尔曼滤波的增益、BA 的雅可比、本质矩阵的分解,全都是给结果不给过程。对一本书叫「从理论到实践」的书来说,理论那一半的成色是打折的。我的判断是:这本书更适合当「操作手册 + 索引」用,不适合当「教材」用。
第二,实战部分没有一个可比较的性能数字。ACT 和 DP 复现出来成功率多少、在几个场景上测、每次测几遍——这些是复现者最需要的东西,全书没有。第 8 章微调 DUET 也一样,讲清了环境配置、预训练、微调验证的流程,但没给结果指标。这让「实战」两个字只兑现了一半:能跑,但不知道跑得对不对。
第三,三代方法没有边界对比。第 2 章的几何方法、第 3 章的 VLA、第 7 章的 ACT/DP,三条路线各讲各的,没有一节回答「什么场景该用哪条」。更遗憾的是,第 2 章那套几何方法在后文完全消失,仿佛 VLA 出现之后它就没用了。而在真实产线上,恰恰相反——能算的仍然在用能算的。
第四,前言和政策话语绑得太紧。前言开篇是这么写的:人工智能「已成为国家重点发展战略之一。我国高度重视人工智能的发展,将其视为推动经济高质量发展、提升国家竞争力、保障国家安全以及改善人民生活的关键驱动力」,接着引了一句「忽如一夜春风来,千树万树梨花开」来形容这个领域。
这段话没有错,但它和后面 440 屏的内容几乎没有关系。后面讲的是怎么配 docker、怎么解逆运动学、怎么用 RT-1。我认为这类开场是中文技术书的通病:先给一段宏大叙事,再说「笔者有幸投身于」。它不影响书的实质,但它会让一本技术书在最开始就失去技术书该有的语气——一本讲怎么把东西跑起来的书,第一页不该是抒情。
第五,读完 456 屏,没有参考文献页。我读到最后一页(第 456 屏)是「全书完」,正文之后直接结束,没有参考文献、没有索引、没有术语表。这对一本引用了 RT-1、UniPi、Pi0-CogACT、DUET、REVERIE、Habitat、iGibson 这么多具体工作的书来说,是个实在的缺失:读者想深挖其中任何一个,书里没有给出原文线索。
第六,每章都有「本章小结」,但小结写的是「我讲过什么」,不是「所以呢」。第 1 章小结只有一段,是最好的样本:
本章阐述了人工智能从运算智能、感知智能、认知智能发展至具身智能的历程,强调了具身智能通过物理身体与环境交互实现智能进化的特点;剖析了具身智能在感知与行动闭环、物理规律理解、仿真到现实迁移以及知识获取方式上与非具身智能的差异,指出大模型与物理系统融合对具身智能发展的关键意义;明确了具身智能的定义,概括其主动探索、物理交互、任务泛化的核心特征,并以机器人叠衣服案例说明了其面临的感知、规划、控制和数据采集等关键问题,为后续章节深入探讨具身智能技术奠定了理论基础。
一段话,六个动词:阐述、强调、剖析、指出、明确、概括。每个动词后面接的都是这一章讲过的内容目录,没有一句是「因此我认为……」。这不是小结,是勾选清单——它在向读者证明这一章的每个小节都写到了,但它没有帮读者把这一章收成一个判断。
对比第 1 章正文里那四条「关键问题」,写得比小结有力得多。也就是说,作者有能力提炼,只是在小结这个位置上放弃了提炼——大概是怕漏掉某一节,于是把所有节都点到一遍。可小结的价值恰恰在于敢漏:它应该只留那一条最该被记住的。
顺带说一句遮挡问题。我在 p40 遇到一页被会员卡提示覆盖,那一页讲的是 1.5 节里关于任务规划的一个难点。这意味着我读到的「关键问题」四条里,前两条的细节我没看全。这一点必须说明,否则我上面那段分析就有虚构成分。
七、怎么读这本书
四条建议,按这本书的实际长短处来排。
第一,如果你只想要一条能走通的路:直接从第 8 章 8.2 节开始。环境配置(docker + 18.9GB 镜像 + --shm-size=32g)、预训练、微调验证——这是全书唯一一处把「从零到能跑」写完整的地方。跑通它,你就有了一套可用的环境;跑不通它,前面 400 屏读了也用不上。
第二,把第 2 章当「对照组」读,而不是当「过时的做法」读。它给的是几何派完整链路:检测、标定、坐标变换、逆解、轨迹规划。这条链路今天仍然在无数产线上跑。读它的正确姿势是:记住每一步在算什么,然后去问 VLA 把那一步替掉了、代价是什么。
第三,第 4 章的公式,准备好去别处补推导。这本书给的是结论式的公式,你需要配一本 SLAM 的经典教材(或原始论文)来补 4-3、BA、本质矩阵分解那几处。这不是这本书的错——46 屏讲完 SLAM 本来就不够——但读者必须知道自己在补什么。
第四,把第 1 章 1.5 节那四条「关键问题」抄下来。任务规划、高维动作空间、数据稀缺与 sim-to-real——这四条是这本书真正的目录。后面 400 屏都是在回答它们中的一部分,而且没答完。你读完这本书能得到的最大收获,不是学会某个算法,是知道这四个洞还在,以及每个洞大概有多深。
最后说整体判断。这本书我给「值得放在手边」,不给「值得通读」。它的理论部分不够深,实战部分不够实,但它在两个地方做得比同类书好:一是它敢在第 5 章花 88 屏讲感知和定位,而不是只讲模型;二是它把 docker 命令、镜像大小、共享内存这些「不体面」的细节写清楚了。
而后者恰恰是最稀缺的。这个领域里,讲 VLA 架构的文章汗牛充栋,肯把「你得先有一块能跑 --gpus all 的卡、一个 18.9GB 的镜像、32G 共享内存」写进书里的,不多。这些东西不好看,但它们是真的门槛——具身智能今天最大的筛选器不是智商,是环境。
阅读记录
书名:具身智能:从理论到实践
作者:易显维、吴凯|出版社:清华大学出版社|出版时间:2025-10-01|ISBN:9787302702191
本次阅读:微信读书逐页截图 456 屏,版权页至「全书完」全覆盖,前言与 8 章正文全部读完,抓取标记为全书读完(end=last_page),耗时 326 秒
篇幅分配(按章节起始页相减):序章 26 屏(5.7%)/ 机械臂实例 29 屏(6.4%)/ VLA 原理 52 屏(11.4%)/ SLAM 46 屏(10.1%)/ 感知与定位 88 屏(19.3%)/ VLN 原理 55 屏(12.1%)/ VLA 实战 100 屏(21.9%)/ VLN 实战 44 屏(9.6%)
说明:本文引句均来自本次截图,可逐字核对;docker 命令、镜像大小 18.9GB、--shm-size=32g、公式 4-1 至 4-3 均为书中原文;p40 等个别页面被会员卡提示遮挡,正文未读到;书中未给出复现成功率等性能数字,此为「未给」而非「我没找到」
逐页精读系列 · 2026 年 11 月
AI 实战导师 / 企业 AI 落地顾问 / 智能体工程师,17 年跨界、15,000+ 小时 AI 实操、20+ 套已交付工作流。
发表评论: