AI 导读
Firecrawl公布两年内抓取超80亿网页,开发者超125万、企业用户超15万,GitHub星标超12.5万,npm和PyPI周下载量超250万次。作者据此认为,智能体的上限取决于能否稳定、持续、低成本获取真实世界的最新网页数据,AI竞争的焦点已从模型能力转向web上下文层。
正文
我今天刷到Firecrawl的里程碑数据,直接看傻了。
短短两年,他们已经抓取了80亿+网页。
同时1.25M+开发者在用,15万+家公司把他们当基础设施,GitHub星星125K+直接冲进全球前100仓库,npm和PyPI每周下载量超过250万次。
我盯着这些数字,突然意识到一个反直觉的事实:
两年前,大家还觉得网页抓取是老掉牙的工程活儿,要么贵、要么慢、要么数据脏得没法喂AI。
真正做agent的人天天卡在“怎么稳定拿到最新网页内容”这个坑里。
结果Firecrawl用行动把这个坑彻底填平了。他们不是简单做一个爬虫,而是把整个“web上下文层”做成了AI时代的基础设施。
agent想搜索、想抓取、想实时交互,现在直接调用一个API就行,干净、结构化、还能规模化。
最狠的是,他们还在加速:下一波80亿已经在路上了。
这其实戳破了当前AI圈最大的集体幻觉,很多人以为模型参数越大、推理越强就赢了,却忘了真正决定agent上限的,是它能不能可靠、持续、低成本地获取真实世界的最新数据。
Firecrawl用80亿页这个数字直接证明:AI的下一战场,已经从“谁的模型更聪明”转向“谁能把整个互联网变成AI可直接消费的上下文”。
We've now fetched 8,000,000,000+ pages at Firecrawl 🔥 A few other milestones in 2 short years: - 1.25M+ developers - 150K+ companies using us - 125K+ GitHub stars (top 100 repo) - 2.5M+ weekly downloads on npm + PyPI. Thanks for building with us & we're just getting started! Video在 X 查看被引用的帖子
来源:@berryxia · x.com