超长上下文接入须知
Claude 的 100 万 token 窗口很大,但不是无限。本页说清三件事:上限在哪、超了你会看到什么、发送前怎么算、超了怎么压。照做之后,长会话不会再卡在「没有回复」上。
升级公告 · 2026-10-14 已生效,接入方无需任何改动
针对「超长对话空回复 / 反复 502」- 空回复自动换线:上游线路在开始回复前就断开时,网关会在你收到任何字节之前自动切换备用线路;不再出现「返回 200 却没有内容」,这类请求也不计费。
- 错误提示直接给解法:所有错误的 message 末尾新增一句中文「怎么办」(用「|」分隔,官方原句一字不改),并同时放在独立字段 aaw_hint,自建客户端可直接展示。
- 新增 count_tokens:发送前可用 POST /v1/messages/count_tokens 精确计算输入 token(与 Anthropic 官方同形,不计费),避免超限后白跑。
上限与超限行为
超限错误长这样——前半句是 Anthropic 官方原句(Claude Code 等客户端靠它识别「上下文满了」并自动压缩), 「|」后面是给人看的中文解法;aaw_hint 字段是同一句话,自建客户端可直接展示:
HTTP/1.1 400 Bad Request
Content-Type: application/json; charset=utf-8
X-AAW-Error-Class: context_overflow
X-AAW-Request-Id: 2026101307301051…
{
"type": "error",
"error": {
"type": "invalid_request_error",
"message": "prompt is too long: 1383478 tokens > 1000000 maximum|上下文超过模型上限,请压缩或截断对话历史(先清工具结果与图片),或开启服务端压缩 compact_20260112;Claude Code 用 /compact"
},
"aaw_error_schema": "v1",
"aaw_error_class": "context_overflow",
"aaw_hint": "上下文超过模型上限,请压缩或截断对话历史(先清工具结果与图片),或开启服务端压缩 compact_20260112;Claude Code 用 /compact",
"aaw_request_id": "2026101307301051…"
}发送前先算:count_tokens
POST https://gw.aiapiway.com/v1/messages/count_tokens 与 Anthropic 官方接口同形:请求体就是你即将发送的 /v1/messages 请求体(去掉 max_tokens / stream 也可),返回 {"input_tokens": N}。不计费,结果来自上游官方计数,不是本地估算。 建议在上下文超过 70 万 token 之后每轮先算一次,超过 90 万就压缩——给输出与思考留余量。
curl https://gw.aiapiway.com/v1/messages/count_tokens \
-H "Authorization: Bearer sk-****" \
-H "anthropic-version: 2023-06-01" \
-H "Content-Type: application/json" \
-d '{
"model": "claude-sonnet-5-5",
"system": "你是一个代码助手",
"messages": [{"role": "user", "content": "……整段对话历史……"}]
}'
# → {"input_tokens": 123456}仅 Claude 线路支持;对非 Claude 线路调用会返回 404 not_found_error。
自建客户端怎么压缩
- 1先清工具结果与图片
tool_result 里的大段命令输出、文件内容、网页正文,以及图片 / PDF 块,是上下文膨胀最快的部分。旧轮次的这类内容用一句摘要替掉即可,模型并不需要原文。
- 2保留 system + 最近 N 轮,中间做摘要
把早期轮次压成一段「到目前为止的结论」放在 system 或第一条 user 消息里,只保留最近 10–20 轮原文。这是 Claude Code /compact 做的事,自建客户端照做即可。
- 3让服务端替你压缩
请求加 beta 头 anthropic-beta: compact-2026-01-12,并在 context_management.edits 里放 {"type":"compact_20260112"},上下文接近阈值(默认 15 万 token)时由模型侧自动压缩;清理旧 tool_use 也有 clear_tool_uses_20250919。两者网关都原样透传。
- 4超限后不要原样重发
收到 prompt is too long 后,同一份历史再发一次结果不会变。先压缩再发;若你的客户端有自动重试,请把 400 排除在重试之外。
Claude Code 用户
Claude Code 在接近窗口时会自动压缩,收到我们的超限 400 时会显示「Context limit reached · /compact or /clear to continue」。 有两点要注意:① 接入非官方地址时客户端默认按 20 万窗口工作(约 16.7 万 token 就压缩),想用满 1M 要显式设窗口; ② 任何 413「Request too large」都提示 /compact,若压缩后仍 413,多半是单条消息里有超大的图片 / 文件,需要手动 /clear 或删掉那条内容。
# 用 1M 窗口(默认接非官方地址时客户端会退回 20 万窗口,约 16.7 万就开始压缩) export ANTHROPIC_BASE_URL=https://gw.aiapiway.com export ANTHROPIC_AUTH_TOKEN=sk-**** export CLAUDE_CODE_AUTO_COMPACT_WINDOW=1000000 # 允许 100000–1000000 # 手动压缩 / 清空 /compact /clear
顺带一提:Sonnet 5.5 的 thinking 参数
Sonnet 5.5 起 thinking.type 只接受 adaptive / between_tools;老写法 {"type":"enabled","budget_tokens":…} 会被官方拒为 400。 思考深度改用 output_config.effort(low / medium / high / xhigh / max),max_tokens 是思考 + 回答的总上限。平台不会替你改写这个参数(改写会让你拿不到思考块、预算失控), 错误提示里会直接写明迁移方法。