访谈

Apify 联合创始人兼首席执行官 Jan Čurn——访谈系列

Antoine Tardif
将 Unite.AI 添加到您在 Google 上的首选来源
Jan Čurn, Co-Founder and CEO of Apify
要点当从头构建的成本高于购买时,代理会租用现有工具。
查看更多
  • 当从头构建的成本高于购买时,代理会租用现有工具。
  • 静默失败让代理自信地总结空白页面,却没有注意到问题。
  • Apify上个月向几百名创作者支付了总计约200万美元的净收入。

Jan Čurn是 Apify 的联合创始人兼首席执行官。2015 年,他通过 Y Combinator Fellowship 与 Jakub Balada 共同创办了这家公司。最初的产品灵感,源于一个实际需求:收集布拉格的公寓房源信息。为此,他们开发了一款能将网站转化为 API 的工具。此后,他带领 Apify 从网页抓取基础设施逐步发展为一个涵盖网络数据、浏览器自动化和工具市场的平台,而这些工具正越来越多地被 AI 智能体使用。

Apify提供网页抓取、浏览器自动化平台,以及名为 Actors 的开箱即用工具。开发者可以在其市场上发布 Actors 并从中获利;企业和 AI 开发者则利用这些工具获取结构化网络数据并自动执行任务。在这次访谈中,Čurn 谈到了智能体如何发现和使用专用工具、实时新数据为何重要,以及要让智能体大规模在网络上执行任务所需的可靠性、权限管理和经济模式。

你于 2015 年通过 Y Combinator Fellowship 与 Jakub Balada 共同创办了 Apify,最初的目标是让开发者更轻松地构建灵活且可扩展的网页爬虫。是什么启发了这个想法?过去十年间,你们最初的愿景发生了怎样的演变?

创办 Apify 的想法,源自我和 Jakub 亲身遇到的一个难题。我们当时在做一个客户项目,需要收集布拉格新公寓的房源信息,但现有工具难以处理动态 JavaScript 和不规则的网站结构。于是,我们自己开发了一款能将任何网站转化为 API 的工具。

随着时间推移,它的功能不再局限于网页爬取,而是发展为涵盖网页抓取、浏览器自动化和网络数据的平台。之后,我们开放了一个市场,开发者可以在这里发布自己开发的工具(称为 Actors),并在他人使用时获得报酬。如今,使用这些 Actors 的用户中,AI 智能体所占的比例正在不断上升。

Apify 起步于网页爬取平台,远早于 AI 智能体成为行业焦点。你是什么时候意识到,自己构建的基础设施对需要访问和操作网络的 AI 智能体尤其有价值?

第一个让我们豁然开朗的时刻出现在 2023 年初,也就是 ChatGPT 发布后不久。人们突然可以把实时网络数据输入提示词,而不必重新训练一个模型。Apify 是最早为新兴 RAG 工作流提供爬虫,并与 LangChain、LlamaIndex 等新兴库集成的抓取平台之一。

随后,AI 智能体浪潮到来了。假设你让一个智能体比较 20 个电商网站上某款产品的价格,它要从哪里获取数据?这正是我们多年来一直在帮开发者解决的问题。因此,Anthropic 于 2024 年底发布 Model Context Protocol (MCP) 后,我们立即采用了它。我们当时已经拥有数千种输入和输出都明确的工具,而这正是智能体所需要的。

真正的转折点出现在 2025 年底,当时模型的能力已经足以让智能体承担有实际意义的工作。智能体需要合适的工具和可靠的数据。此后,Apify 的使用量迅速增长,总 ARR 很快就逼近 1 亿美元。

Apify 已发展成一个拥有 9 万多种工具的平台,涵盖网络数据、网页抓取、自动化和 AI。随着智能体越来越需要专用工具,而非单靠大型语言模型的能力,你认为这个生态系统将发挥什么作用?

没错,模型将能够从零开始生成越来越复杂的软件,但超过某个门槛后,对智能体来说,购买现成工具会比从零构建更高效。随着模型不断进步,这个门槛会逐渐提高,但始终会有一些任务适合使用预先构建的工具,这也为销售这类工具留下了空间,尤其是当它们基于私有数据和难以获取的背景信息时。

随着编写软件的成本下降,软件系统和工具的数量不断增加,主要瓶颈正转向发现:去哪里寻找可信且有价值的工具来帮助完成任务?与其花 500 美元让它正确生成,不如花 5 美元租用现成的服务。

从 Apify 的开发者社群中,你看到了哪些最有意思的 AI 智能体实际应用?哪些用例真正投入了生产环境?

一些最有意思的案例都十分具体,甚至有些出人意料。我们见过 AI 扫描 YouTube、eBay 和日本商店,帮助判断哪些 Pokémon 卡值得购买。一家保险公司使用 Apify 检查了 55 个意大利讣告网站,以核实投保人是否去世。另一个截然不同的例子是 Canary:它使用 Apify 开发了 Spotlight,这款工具可帮助调查人员寻找儿童贩运案件的受害者。

这些应用的共同点在于,它们针对的是具体问题,并能获取所需的数据,而不是设计一个什么事都做一点的智能体。

AI 智能体面临的最大挑战之一,是从网站获取实时、结构化的信息,而不是完全依赖静态训练数据。随着智能体承担越来越复杂的任务,实时访问网络将变得多么重要?

大语言模型(LLM)是对其训练数据的一种有损压缩。它可以做出非常巧妙的猜测,但终究只是在猜测。一旦智能体需要在现实世界中做出决策或完成任务,就不能完全依赖训练数据。价格会变化,产品会消失,竞争对手会推出新产品,网站也会不断更新。

模型负责推理,但许多智能体需要一种可靠的方式来获取最新的网络信息,并将其转换为可大规模使用的结构化数据。

网络环境可能难以预测,界面会变化,内容具有动态性,还可能需要身份验证,并设有反自动化系统。开发者在构建能够稳定运行于开放网络的智能体时,面临的最大技术挑战是什么?

现代网站可能会返回动态 JavaScript、验证页面或不完整内容,而反机器人系统会考察从 IP 声誉到浏览器指纹等各种因素。故障往往悄无声息,智能体可能会自信地总结一个空白页面,却没有察觉异常。

构建一个能成功运行一次的系统相对容易;要让它在不断变化的网站上持续运行,并达到生产环境所需的规模,则要困难得多。

随着智能体不仅能够检索信息,还能在线执行操作,可靠性、权限管理、验证和人工监督等方面需要做出哪些改进,企业才能放心地将更多自主工作流程交给它们?

智能体一旦能够采取行动,而不只是读取信息,权限管理就变得重要得多。绝不能让智能体看到你的凭证;所有机密信息都必须保存在安全沙箱之外,绝不能暴露给模型。我们一直在研究代理沙箱隔离问题,既应用于 Apify 平台上的 Actors,也应用于 mcpc——我们为 MCP 开发的开源命令行客户端。

开发者正在尝试各种方案,从浏览器自动化到专用 API,再到新兴的智能体协议。你认为 AI 智能体的架构将如何演进?模型、工具、数据源和浏览器之间的理想关系会是什么样?

我认为,ChatGPT 和 Claude 等大型智能体平台正在成为新的操作系统,成为人们指挥计算机的主要界面,而各种工具则像手机应用一样接入其中。对于运行在其他地方的工具,MCP 已成为公认的标准交互协议。

当智能体需要餐厅评分和联系方式等数据时,它可以在浏览器中打开 Google Maps,像人一样逐步点击查找,但这种方式不够精确,成本也高。它也可以找到并调用能够返回结构化地图数据的工具,这样更快、更可靠。主智能体还会把预订餐桌、查找航班等任务交给运行在更便宜模型上的专用子智能体。

多年来,Apify 一直在为开发者构建基础设施,同时打造了一个供第三方开发者发布自有工具的市场。智能体 AI 能否围绕智能体自主发现和使用的专用工具与服务,催生一个规模大得多的经济生态?

可以,我们的市场已经是这种生态的一个雏形。开发者发布 Actors,用户使用这些工具,开发者因此获得收入,进而吸引更多开发者和工具加入。多年来,这种良性循环一直在买方用户的推动下持续运转。

随着 AI 智能体承担越来越多的职责,它们将需要资金来完成某些任务。可以设想给智能体分配一项任务和一小笔钱,让它使用诸如 x402 或 MPP 这样的智能体支付协议,沿途为所需工具付费。目前交易量仍然很小,但我相信,最终大多数经济活动都将由智能体彼此自主完成,人类监督也会越来越少。

随着 Apify 步入第二个十年,AI 智能体也日益成为软件领域的重要组成部分,你认为未来几年公司将如何发展?你觉得当今的智能体生态仍缺少什么?

如今,越来越多的人将 Apify 接入 Claude 或 ChatGPT 等智能体,并发现这些工具能帮助他们更快地完成复杂的网络任务。Apify 平台及其 Actors 正在持续优化智能体使用体验,从而推动使用量和支出增长。

在市场的另一端,越来越多的软件创作者正通过自己的 Actors 获得稳定收入:社区中有 300 多个 Actors 每月创造超过 1,000 美元的收入。就在上个月,我们向数百名创作者支付了总计约 200 万美元的净收入。

Apify 市场正在加速增长,我们也愈发希望将 Apify 打造成全球规模最大、最值得信赖的 AI 工具市场,让人们及其未来数十亿个智能体都能在网络上完成工作。

感谢您接受这次精彩的采访。希望进一步了解网络数据、浏览器自动化和 AI 智能体工具的读者,请访问 Apify。

安托万是一位富有远见的领导者,也是 Unite.AI 的创始合伙人。他怀着坚定的热情,致力于塑造和推动人工智能与机器人技术的未来。作为一名多次创业的企业家,他相信人工智能将像电力一样深刻地改变社会,并经常热情地谈论颠覆性技术和通用人工智能(AGI)的潜力。

作为一名未来学家,他致力于探索这些创新将如何塑造我们的世界。此外,他还是 Securities.io 的创始人。该平台专注于投资正在重新定义未来、重塑整个行业的前沿技术。