无法评测(NA):线路鉴权失败,Key 或 Base URL 不对,后面的题目无从谈起
- 依据
- 线路连不通或预检未过,六问没有进入测试。
- 建议
- 先让供应商修好连通 / 鉴权,再安排鉴定;这次不出分、不收费。
- 1通不通未通过
- 2真不真未测未进入
- 3全不全未测未进入
- 4快不快未测未进入
- 5值不值未测未进入
- 6哪来的未测未进入
本视角已脱敏:不含采购方身份、线路备注与我方给采购方的建议;只保留测量事实与整改项。
官方参照
结论怎么来的:每单都拿 Anthropic 官方 API 当协议「标准答案」,宣称云平台产地的再加对应官方端点做产地对照。
api.anthropic.com 直连 · 协议金标准(官方签名验证终审)
每单必跑、含在价内。拿 Anthropic 官方 API 当「标准答案」,被测线路的行为逐项与官方比。
- 官方同题对照:推理题 / 身份题 / 知识边界,官方与被测线路同题各答一遍
- 官方签名验证(终审):把被测线路给出的思考块签名送官方验真,改坏一字符必须被官方拒绝
- 参数对照:格式化 / 预填充 / 采样参数,官方怎么处理、被测线路怎么处理
- 用量对账:官方 count_tokens 对被测线路报的 token 数,看有没有多报
bedrock-runtime.{region}.amazonaws.com 原生端点 + Bearer 凭证 · 产地金标准(Bedrock 固有行为)
宣称 AWS Bedrock 的线路按宣称自动加;没宣称的也可手动加来证伪产地。用 Bedrock 原生端点同型号跑一遍,分清「产地固有」与「本线特有」。
二六问逐项证据
一句话结论 → 引擎说明 → 测什么、怎么测 → 观测值 → 指标 → 原始信号 → 复现步骤。
线路连得上、流得稳吗
线路鉴权失败:Key 或 Base URL 不对,后面的题目无从谈起
| 维度 | 状态 | 说明 |
|---|---|---|
| 跑前预检 | 未测 | 【系统环节】被测腿鉴权失败:Invalid token (request id: 202609261339551674573608268d9d6hvhRJ5AL) |
| 官方腿 | 未测 | 通 |
| 被测腿 | 未测 | 不通:(同上) |
- l0
- fail
原始信号清单(3 条)
- 跑前预检:【系统环节】被测腿鉴权失败:(同上)
- 被测腿:不通:(同上)
- 官方腿:通
- 用同一 Base URL / Key 发一条最短 messages 请求(stream=true),核对 SSE 事件序列:message_start → content_block_* → message_delta → message_stop。
- 以 5 → 10 → 15 并发重复短题,记录错误率与首字抖动。
后面是不是宣称的模型
未测 · 未进入
- l2
- inconclusive
- identity
- na
- 请求开启 thinking,取回包中的思考块签名。
- 把该思考块原样回传官方 Messages API 续接:官方接受 = 该思考确由 Claude 生成;把签名改坏一位再发,官方应以 400 拒绝(阴性对照)。
- 同题对照:与官方直连比对推理结论、知识边界与身份题回答。
请求有没有被改、能力有没有打折
未测 · 未进入
- l1
- inconclusive
- 逐项发送带 stop_sequences / max_tokens / system / tools 的请求,核对回包是否严格遵守。
- 多轮对话携带上一轮思考块(含签名)回传,确认被接受而非被剥离。
首字比官方慢多少
未测 · 未进入
- grade
- unknown
- 同题、同时段、同区域对官方直连与被测线各取至少 3 次首字时延,取中位数比值。
计费和官方一样吗,有没有暗塞内容
未测 · 未进入
- l4
- inconclusive
- injectionGrade
- unknown
- 同一段长文本分别调用被测线与官方 count_tokens,差值即注入量。
- 大题:比对 usage.input_tokens 与官方同请求的计数。
- 缓存:同一 cache_control 前缀连发两次,第二次应出现 cache_read_input_tokens。
货从哪里来,和宣称一致吗
未测 · 未进入
- tier
- undetermined
- claimResult
- unknown
- claimedTier
- unknown
- tierConfidence
- 未定
- poolSignalCount
- 0
- 记录消息 id 前缀、响应头族、web_search / tool_use 可用性、思考显示样式,与四类货源形态对照表比对。
三整改清单
| 级别 | 来自 | 整改项 |
|---|---|---|
| P0 | 通不通 | 修复连通 / 鉴权 / 流式结构,保证 SSE 事件序列完整。 |
四AAW Verify · Summary
English summary — the only English block in this report.
claude-opus-5 · Grade NA · Not assessable · Undetermined. The endpoint could not be reached, the official comparison was unavailable, or our own self-check failed; no grade, no charge.
- 1ReachabilityFailAuthentication failed: invalid key or Base URL; nothing further could be tested
- 2AuthenticityNot testedNot tested – preflight failed
- 3Protocol integrityNot testedNot tested – preflight failed
- 4SpeedNot testedNot tested – preflight failed
- 5Billing & valueNot testedNot tested – preflight failed
- 6OriginNot testedNot tested – preflight failed
Rules rules-4.2 · bank-2026.09. This summary is generated by AAW Verify from a single assessment run under the stated rule version. It reflects measurements at the time of testing only and is not a guarantee of future behaviour, availability or pricing.
五签章与核验
- 核验码
- AAW-AR-claude-157-99ed35bd0dfb
- 出具时间
- 2026/9/30 20:39:45
- 规则 / 题库版本
- rules-4.2 · bank-2026.09
- 归档编号
- #157
签章覆盖的总评句:无法评测:线路鉴权失败:Key 或 Base URL 不对,后面的题目无从谈起
按出具当时规则 rules-4.2 · 题库 bank-2026.09 出具;规则升级不追溯改写历史报告。
签章由 AAW-鉴定 服务端 HMAC 生成,覆盖型号、等级、置信、实测时间、六问结论指纹与规则版本;改动任一字段签章即失效。核验页只返回摘要,不泄露报告正文。
去核验这份报告六附录 · 引擎证据
五层判定
- L0连通未通过
同上(见前文)
- L1协议不下结论
系统未就绪,协议层未测
- L2模型不下结论
系统未就绪,签名回验未测
- L3产地不下结论
系统未就绪,产地未判
- L4计费不下结论
系统未就绪,计费未测
硬信号
- S1model 字段未测
系统未就绪,未测
- S2消息 id 形态未测
系统未就绪,未测
- S3身份题未测
系统未就绪,未测
- S4token 对账未测
系统未就绪,未测
货源判定
- 跑前预检未通过
- 同上(见前文)
宣称 unknown · 比对 unknown · 系统未就绪,未与宣称比对
系统未就绪,产地线索未采集
速度 · 计费 · 打分
速度:未测 · 系统未就绪
计费:未测 · 系统未就绪
系统未就绪,官方对照未跑
- 真伪与签名0/25系统未就绪,本项未测
- 思考是否跟这次对话走0/20系统未就绪,本项未测
- 型号是否对代0/15系统未就绪,本项未测
- 协议是否被改写0/15系统未就绪,本项未测
- 缓存是否省钱0/10系统未就绪,本项未测
- 速度0/5系统未就绪,本项未测
- 能力面0/10系统未就绪,本项未测
系统未就绪 · 不评分:被测腿鉴权失败:(同上)
思考过程回传专项:na · 系统未就绪,可蒸馏未测