无尘阁日记

无尘阁日记

Firecrawl 一句话就能把网页变成数据,它替你干的是哪几件脏活?
silcano

Firecrawl ・ 2026-11-09 核对 GitHub 与 npm、PyPI 实时数据,定价查官方页面
本文按照 super-official-writer 的写作纪律改过:结论先行、数据前置、单句不过三十字、禁空洞套话
没有 API key,我没跑它的接口。文中性能数字凡是官方自述,单独标出。

抓取一直是我这套产线的短板。

公众号那一半好办,curl 拿得到全文。出了公众号就手短。

JS 渲染的页面只给一副空骨架,反爬的站点直接回 403。

Firecrawl 补的就是这一段。它把脏活做完,只交一份干净数据给你。

· · ·

一、先摆数据

GitHub 我实时查过:199,946 star,10,522 fork。协议 AGPL-3.0,2024 年 4 月建库。

下载量比 star 实在。npm 包上月 340 万次,@mendable/firecrawl-js 488 万次,PyPI 的 firecrawl-py 534 万次。

三个加起来,一个月一千三百六十二万次。这个量级说明有人在生产环境里用,不是刷出来的热闹。

· · ·

二、它替你干哪几件脏活

把网页变成能喂给模型的数据,中间隔着六道坎。每一道都得有人干。

脏活 自己动手会怎样 它怎么接
JS 渲染 curl 回来一副空壳,正文一个字没有 等正文加载完再截
反爬 封 IP,弹验证码,换 UA 也没用 代理轮换、限频、过机器人检测
垃圾内容 导航栏、广告、页脚全算进 token 先过滤再交,官方称省 93% token
附件 网页挂 PDF、DOCX,还得另找工具 Parse 接口一起解析
整站 一篇篇贴链接,几百篇贴到天亮 Crawl 翻全站,Map 秒列全部 URL
变更 靠人刷,刷到了事故也发生了 Monitor 变了才通知

第三行那个 93%,是官方自己的口径。我手头有个能对上号的实测,是我自己站上的数。

一篇 2051 字的公众号文章,原始 HTML 抓下来 3.57 MB。正文按 UTF-8 折算约 6 KB。

正文只占原始体积的千分之一点七。剩下全是脚本、样式和私有属性。

这就是脏活的价码。不是抓不到,是抓回来九牛一毛有用。

· · ·

三、三种用法,按手艺深浅排

最浅的一层是 Scrape。给一个 URL,还你 markdown、HTML、截图或者结构化 JSON,格式自己挑。

中间一层是 Search。跟普通搜索不一样,它把每条结果的完整正文一起带回来,不再是一句话摘要。

最深一层是 Interact。它会点、会滚、会填表、会回车,像个人一样把页面走一遍。

外面还挂着四个:Crawl 翻整站,Map 列 URL,Batch 批量异步跑,Monitor 盯变更。

接进编辑器只要一条命令:npx -y firecrawl-cli@latest init --all --browser。重启 agent,它就能自己上网查资料。

· · ·

四、钱怎么算

按照官方定价页,一 credit 抓一页。搜索十条结果算两 credit,浏览器一分钟算两 credit。

要 JSON 输出,每页再加四 credit。Monitor 换算法,一页一次七 credit。

档位 月付 credits
免费01,000 / 月
Hobby19 美元5,000
Standard99 美元100,000
Scale749 美元1,000,000

我按自己的量算过一笔账。每月新素材 200 页,要 JSON 的 60 页,外链体检 300 页。

两百加三百,再加六十乘五,一共八百 credit。免费档一千,剩两百。

结论很直白:小规模够用,免费档就够。真要天天跑,19 美元那一档有余量。

· · ·

五、它能给我带来什么

三件,都能落到手上。

第一件,素材能进库。搜索给我一段摘要,存进库里没意义,三个月后自己也看不懂。

Firecrawl 给的是原文加元数据。能检索,能 diff,能点回出处,写稿引用才有底气。

第二件,上游变更盯得住。PHP 8.4 更新日志、Workerman 发布记录,我平时靠刷群,经常刷晚了。

挂上 Monitor,页面一变就推给我。这套东西自己写要维护 diff,还要去噪,导航栏换个日期就能误报。

第三件,少维护一套爬虫。Playwright 加代理池,我自己搭得出来。

搭完三个月不管就烂,烂了还得半夜起来看。

· · ·

六、三处得先知道

协议先看清楚。主项目 AGPL-3.0,只有 SDK 和部分界面是 MIT。

内部用随便,做成对外服务卖,改动部分得开源。这条比 star 数重要一万倍。

自托管是体力活。docker-compose 里七个服务,还得单独跑一个 init。

更要紧的是,自托管的 Search 要自己接第三方搜索接口,因为搜索这一层没开源。省下来的钱,正好是最值钱的那块能力。

96% 成功率是他们自己发的榜。对手 Puppeteer 79%,cURL 75%,数据全在自家博客上,没有第三方复现。

这不叫造假,但这不能当证据用。真在意,挑二十个自己的目标站跑一遍。

· · ·

七、装不装

四句,对号入座。

要原文不要摘要,要能入库能 diff,装。要「一直知道」而不是「现在知道」,装。

只是问 AI 一个问题,明天就忘,别装,自带搜索够用。要做成对外卖的 SaaS,先读完 AGPL 再动手。

· · ·

把网页变成数据的活儿,值钱的从来不是抓到。是抓完以后,能存、能查、能对得上出处。

仓库地址:github.com/firecrawl/firecrawl

关于作者 · 江天(楠哥)
AI 实战导师 / 企业 AI 落地顾问 / 智能体工程师,17 年跨界、15,000+ 小时 AI 实操、20+ 套已交付工作流。 看完整履历海报 → skills 实验室 →