LONG CONTEXT

超长上下文接入须知

Claude 的 100 万 token 窗口很大,但不是无限。本页说清三件事:上限在哪、超了你会看到什么、发送前怎么算、超了怎么压。照做之后,长会话不会再卡在「没有回复」上。

升级公告 · 2026-10-14 已生效,接入方无需任何改动

针对「超长对话空回复 / 反复 502」
  • 空回复自动换线:上游线路在开始回复前就断开时,网关会在你收到任何字节之前自动切换备用线路;不再出现「返回 200 却没有内容」,这类请求也不计费。
  • 错误提示直接给解法:所有错误的 message 末尾新增一句中文「怎么办」(用「|」分隔,官方原句一字不改),并同时放在独立字段 aaw_hint,自建客户端可直接展示。
  • 新增 count_tokens:发送前可用 POST /v1/messages/count_tokens 精确计算输入 token(与 Anthropic 官方同形,不计费),避免超限后白跑。

上限与超限行为

上下文窗口Claude Sonnet 5.5 等 4.5+ 型号 100 万 token(输入 + 输出合计);Claude 3 系列 20 万 token。
单次请求体官方上限 32 MB;网关放行到 64 MB,但超过 32 MB 的请求到任何 Claude 线路都会被拒。
超限时的回复HTTP 400,message 以官方原句 prompt is too long: N tokens > M maximum 开头,后面用「|」接一句中文解法。
不会再出现「空回复」「一直 502」——上游对超长输入静默断流时,网关会在你收到任何字节之前自动换线路;换遍仍失败才报错,且错误里写明怎么办。

超限错误长这样——前半句是 Anthropic 官方原句(Claude Code 等客户端靠它识别「上下文满了」并自动压缩), 「|」后面是给人看的中文解法;aaw_hint 字段是同一句话,自建客户端可直接展示:

HTTP/1.1 400 Bad Request
Content-Type: application/json; charset=utf-8
X-AAW-Error-Class: context_overflow
X-AAW-Request-Id: 2026101307301051…

{
  "type": "error",
  "error": {
    "type": "invalid_request_error",
    "message": "prompt is too long: 1383478 tokens > 1000000 maximum|上下文超过模型上限,请压缩或截断对话历史(先清工具结果与图片),或开启服务端压缩 compact_20260112;Claude Code 用 /compact"
  },
  "aaw_error_schema": "v1",
  "aaw_error_class": "context_overflow",
  "aaw_hint": "上下文超过模型上限,请压缩或截断对话历史(先清工具结果与图片),或开启服务端压缩 compact_20260112;Claude Code 用 /compact",
  "aaw_request_id": "2026101307301051…"
}

发送前先算:count_tokens

POST https://gw.aiapiway.com/v1/messages/count_tokens 与 Anthropic 官方接口同形:请求体就是你即将发送的 /v1/messages 请求体(去掉 max_tokens / stream 也可),返回 {"input_tokens": N}。不计费,结果来自上游官方计数,不是本地估算。 建议在上下文超过 70 万 token 之后每轮先算一次,超过 90 万就压缩——给输出与思考留余量。

curl https://gw.aiapiway.com/v1/messages/count_tokens \
  -H "Authorization: Bearer sk-****" \
  -H "anthropic-version: 2023-06-01" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "claude-sonnet-5-5",
    "system": "你是一个代码助手",
    "messages": [{"role": "user", "content": "……整段对话历史……"}]
  }'
# → {"input_tokens": 123456}

仅 Claude 线路支持;对非 Claude 线路调用会返回 404 not_found_error。

自建客户端怎么压缩

  1. 1
    先清工具结果与图片

    tool_result 里的大段命令输出、文件内容、网页正文,以及图片 / PDF 块,是上下文膨胀最快的部分。旧轮次的这类内容用一句摘要替掉即可,模型并不需要原文。

  2. 2
    保留 system + 最近 N 轮,中间做摘要

    把早期轮次压成一段「到目前为止的结论」放在 system 或第一条 user 消息里,只保留最近 10–20 轮原文。这是 Claude Code /compact 做的事,自建客户端照做即可。

  3. 3
    让服务端替你压缩

    请求加 beta 头 anthropic-beta: compact-2026-01-12,并在 context_management.edits 里放 {"type":"compact_20260112"},上下文接近阈值(默认 15 万 token)时由模型侧自动压缩;清理旧 tool_use 也有 clear_tool_uses_20250919。两者网关都原样透传。

  4. 4
    超限后不要原样重发

    收到 prompt is too long 后,同一份历史再发一次结果不会变。先压缩再发;若你的客户端有自动重试,请把 400 排除在重试之外。

Claude Code 用户

Claude Code 在接近窗口时会自动压缩,收到我们的超限 400 时会显示「Context limit reached · /compact or /clear to continue」。 有两点要注意:① 接入非官方地址时客户端默认按 20 万窗口工作(约 16.7 万 token 就压缩),想用满 1M 要显式设窗口; ② 任何 413「Request too large」都提示 /compact,若压缩后仍 413,多半是单条消息里有超大的图片 / 文件,需要手动 /clear 或删掉那条内容。

# 用 1M 窗口(默认接非官方地址时客户端会退回 20 万窗口,约 16.7 万就开始压缩)
export ANTHROPIC_BASE_URL=https://gw.aiapiway.com
export ANTHROPIC_AUTH_TOKEN=sk-****
export CLAUDE_CODE_AUTO_COMPACT_WINDOW=1000000   # 允许 100000–1000000

# 手动压缩 / 清空
/compact
/clear

顺带一提:Sonnet 5.5 的 thinking 参数

Sonnet 5.5 起 thinking.type 只接受 adaptive / between_tools;老写法 {"type":"enabled","budget_tokens":…} 会被官方拒为 400。 思考深度改用 output_config.effort(low / medium / high / xhigh / max),max_tokens 是思考 + 回答的总上限。平台不会替你改写这个参数(改写会让你拿不到思考块、预算失控), 错误提示里会直接写明迁移方法。

← 返回快速开始·长会话还是遇到异常?带上响应头 X-AAW-Request-Id(或正文 aaw_request_id)找 [email protected],我们可凭它查到那一次请求的完整轨迹。