Firecrawl 一句话就能把网页变成数据,它替你干的是哪几件脏活?
Firecrawl ・ 2026-11-09 核对 GitHub 与 npm、PyPI 实时数据,定价查官方页面
本文按照 super-official-writer 的写作纪律改过:结论先行、数据前置、单句不过三十字、禁空洞套话
没有 API key,我没跑它的接口。文中性能数字凡是官方自述,单独标出。
抓取一直是我这套产线的短板。
公众号那一半好办,curl 拿得到全文。出了公众号就手短。
JS 渲染的页面只给一副空骨架,反爬的站点直接回 403。
Firecrawl 补的就是这一段。它把脏活做完,只交一份干净数据给你。
· · ·
一、先摆数据
GitHub 我实时查过:199,946 star,10,522 fork。协议 AGPL-3.0,2024 年 4 月建库。
下载量比 star 实在。npm 包上月 340 万次,@mendable/firecrawl-js 488 万次,PyPI 的 firecrawl-py 534 万次。
三个加起来,一个月一千三百六十二万次。这个量级说明有人在生产环境里用,不是刷出来的热闹。
· · ·
二、它替你干哪几件脏活
把网页变成能喂给模型的数据,中间隔着六道坎。每一道都得有人干。
| 脏活 | 自己动手会怎样 | 它怎么接 |
|---|---|---|
| JS 渲染 | curl 回来一副空壳,正文一个字没有 | 等正文加载完再截 |
| 反爬 | 封 IP,弹验证码,换 UA 也没用 | 代理轮换、限频、过机器人检测 |
| 垃圾内容 | 导航栏、广告、页脚全算进 token | 先过滤再交,官方称省 93% token |
| 附件 | 网页挂 PDF、DOCX,还得另找工具 | Parse 接口一起解析 |
| 整站 | 一篇篇贴链接,几百篇贴到天亮 | Crawl 翻全站,Map 秒列全部 URL |
| 变更 | 靠人刷,刷到了事故也发生了 | Monitor 变了才通知 |
第三行那个 93%,是官方自己的口径。我手头有个能对上号的实测,是我自己站上的数。
一篇 2051 字的公众号文章,原始 HTML 抓下来 3.57 MB。正文按 UTF-8 折算约 6 KB。
正文只占原始体积的千分之一点七。剩下全是脚本、样式和私有属性。
这就是脏活的价码。不是抓不到,是抓回来九牛一毛有用。
· · ·
三、三种用法,按手艺深浅排
最浅的一层是 Scrape。给一个 URL,还你 markdown、HTML、截图或者结构化 JSON,格式自己挑。
中间一层是 Search。跟普通搜索不一样,它把每条结果的完整正文一起带回来,不再是一句话摘要。
最深一层是 Interact。它会点、会滚、会填表、会回车,像个人一样把页面走一遍。
外面还挂着四个:Crawl 翻整站,Map 列 URL,Batch 批量异步跑,Monitor 盯变更。
接进编辑器只要一条命令:npx -y firecrawl-cli@latest init --all --browser。重启 agent,它就能自己上网查资料。
· · ·
四、钱怎么算
按照官方定价页,一 credit 抓一页。搜索十条结果算两 credit,浏览器一分钟算两 credit。
要 JSON 输出,每页再加四 credit。Monitor 换算法,一页一次七 credit。
| 档位 | 月付 | credits |
|---|---|---|
| 免费 | 0 | 1,000 / 月 |
| Hobby | 19 美元 | 5,000 |
| Standard | 99 美元 | 100,000 |
| Scale | 749 美元 | 1,000,000 |
我按自己的量算过一笔账。每月新素材 200 页,要 JSON 的 60 页,外链体检 300 页。
两百加三百,再加六十乘五,一共八百 credit。免费档一千,剩两百。
结论很直白:小规模够用,免费档就够。真要天天跑,19 美元那一档有余量。
· · ·
五、它能给我带来什么
三件,都能落到手上。
第一件,素材能进库。搜索给我一段摘要,存进库里没意义,三个月后自己也看不懂。
Firecrawl 给的是原文加元数据。能检索,能 diff,能点回出处,写稿引用才有底气。
第二件,上游变更盯得住。PHP 8.4 更新日志、Workerman 发布记录,我平时靠刷群,经常刷晚了。
挂上 Monitor,页面一变就推给我。这套东西自己写要维护 diff,还要去噪,导航栏换个日期就能误报。
第三件,少维护一套爬虫。Playwright 加代理池,我自己搭得出来。
搭完三个月不管就烂,烂了还得半夜起来看。
· · ·
六、三处得先知道
协议先看清楚。主项目 AGPL-3.0,只有 SDK 和部分界面是 MIT。
内部用随便,做成对外服务卖,改动部分得开源。这条比 star 数重要一万倍。
自托管是体力活。docker-compose 里七个服务,还得单独跑一个 init。
更要紧的是,自托管的 Search 要自己接第三方搜索接口,因为搜索这一层没开源。省下来的钱,正好是最值钱的那块能力。
96% 成功率是他们自己发的榜。对手 Puppeteer 79%,cURL 75%,数据全在自家博客上,没有第三方复现。
这不叫造假,但这不能当证据用。真在意,挑二十个自己的目标站跑一遍。
· · ·
七、装不装
四句,对号入座。
要原文不要摘要,要能入库能 diff,装。要「一直知道」而不是「现在知道」,装。
只是问 AI 一个问题,明天就忘,别装,自带搜索够用。要做成对外卖的 SaaS,先读完 AGPL 再动手。
· · ·
把网页变成数据的活儿,值钱的从来不是抓到。是抓完以后,能存、能查、能对得上出处。
仓库地址:github.com/firecrawl/firecrawl
AI 实战导师 / 企业 AI 落地顾问 / 智能体工程师,17 年跨界、15,000+ 小时 AI 实操、20+ 套已交付工作流。 看完整履历海报 → skills 实验室 →
发表评论: