关闭

Tryaivo™技术

Anthropic 上线 message threads,长跑 Agent 提速

2026-11-03 09:12:23 浏览:

事件经过

Anthropic 在 Messages API 中开放 message threads 公开测试(public beta)。这项改动的核心是「对话只发一次」:第一个请求携带完整会话内容并开启一个 thread,之后每个请求只需发送新增消息,加上上一次响应的 ID。

thread 在两次请求之间保存在内存中并加密,不写入磁盘;最后一次请求结束 5 分钟后过期,客户端届时需要重发完整对话开启新的 thread。

关键数据

  • 对 50 万至 100 万 token 量级的请求,首 token 延迟(TTFT)中位数下降约 35%。

  • 该能力对多数 Claude Code 用户已默认开启。

  • token 用量并未减少:Claude 每轮仍需读取完整对话,省下的是传输与预填充(prefill)时间。

典型受益场景包括长跑编码 Agent、每一步都要附带截图的 computer use,以及文档与图片密集型工作流。

行业意义

长上下文模型普及后,Agent 的瓶颈正在从「能不能装下」转向「每轮要重传多少」。message threads 把重复传输的会话状态改成服务端持有、请求侧增量提交,直接压低了首字延迟,同时用 5 分钟过期和不落盘的设计控制内存与隐私风险。对高频调用长上下文 API 的团队来说,这类工程优化对体验的影响,往往不比一次模型版本升级小。

原文出处

Anthropic 官方文档:https://claude.com/resources/articles/message-threads

推荐文章