METHOD · rules-5.1

鉴定方法

AAW-鉴定 的探针、题库、打分函数与 AI API Way 公开的鉴真方法论完全同源:自家线路与第三方线路用同一套尺子。本页只讲报告怎么读;探针细节见方法论页。

规则版本 rules-5.1Claude · GPT · Kimi · Gemini · 型号从线路清单勾选当前服务:鉴-A 单线路验真 · 自助抽检
30 秒版
报告只回答六个问题
  • 通不通 · 线路连得上、流得稳吗
  • 真不真 · 后面是不是宣称的模型
  • 全不全 · 请求有没有被改、能力有没有打折
  • 快不快 · 首字比官方慢多少
  • 值不值 · 计费和官方一样吗,有没有暗塞内容
  • 哪来的 · 货从哪里来,和宣称一致吗
等级怎么来
连不通 → 无法评测(不出分);出现「假签名 / 假型号 / 降代」任一项 → F;否则按分项打分落到 A / B / C / D。 只有 Claude 有官方签名可回验,证据最高到 S;GPT / Kimi / Gemini 靠与官方同题对照,最高到 A。付费与否、是不是自家线路,都不进打分。
什么不收费
开始前连通检查不过(连不通 / 鉴权 / 额度 / 我方官方对照当时不可用)→ 不收费、预扣释放;正式评测中线路断线 → 全额退回。 线路通了就出分、就收费(单型号 $19.00);官方对照临时不可用的那一问只标「不下结论」、不扣分,建议复测补齐。

一、六问:报告只回答这六个问题

通不通 · 线路能不能连上,并发一上会不会掉?
测什么:连通性、流式 SSE 事件完整性、短题并发爬坡
怎么测:用真实请求打通;检查流式事件序列有没有缺件;短题并发爬坡看错误率和抖动。
真不真 · 后面到底是不是它宣称的那个模型?
测什么:官方签名验证、身份题、model 字段、消息 id 形态
怎么测:把线路返回的、官方签过名的思考块拿去请官方验证——假的一验就穿;再对照身份题与协议指纹。
全不全 · 参数有没有被网关吞掉、改掉?能力有没有打折?
测什么:stop_sequences、max_tokens、工具调用、多轮签名回传;请求改写证据(官方前缀 / 隐藏 token / harness 自述);智力对照(与官方同题比正确率)
怎么测:逐项发出带参数的请求,核对回包是否严格遵守;多轮对话里把签名传回去看是否被接受;同一组智力题被测与官方各答一遍,官方会而它不会 → 能力打折。
快不快 · 首字要等多久,跟官方比慢多少?
测什么:首字时延 TTFT、流式时长、思考时长
怎么测:同题、同时段与官方直连对照,只报差值与档位,不做绝对承诺。
值不值 · 计费有没有多算,暗地里有没有塞东西?
测什么:count_tokens 对账(隐藏注入分级)、大题计费对账、缓存冷 / 热命中
怎么测:同一段文本让线路与官方分别数 token,差值就是被注入的量;大题看比例;缓存看第二次是否真便宜。
哪来的 · 货源大概是哪类——官方 API、云平台、多账号轮换,还是订阅转接?
测什么:消息 id 前缀、响应头族、思考显示样式、功能可用性
怎么测:多条弱信号拼成证据包,按四色归因只陈述测量结果;只有确凿的假模型 / 假签名才叫「假」。

每一问五种判定:通过 / 有条件 / 未通过 / 不下结论 / 未测。「不下结论」是测了但证据不够下结论;「未测」是这一问根本没跑—— 报告会写明是哪一种、为什么(未要求 / 预检未进入 / 前置材料未拿到 / 官方对照未就绪),两者都不是线路的问题,也不计入等级。 官方对所有人都一样的行为(例如 Opus 5 系默认不返回思考正文)只作说明,不作差异、不扣分。

二、官方参照:每个引擎两把尺子

六问里凡是「与官方比」的结论,都来自同一套题在该引擎官方接口上实跑的结果,不是查表。协议对照每单必跑、含在价内;产地对照按商家宣称自动加(也可手动加来证伪产地)。 报告「官方参照」一节用的就是这两路对照的原始数据。Kimi 没有产地对照,只有协议对照。

Claude
AnthropicAnthropic 官方 API协议对照每单必跑 · 含在价内

api.anthropic.com 直连 · 协议金标准(官方签名验证终审)

每单必跑、含在价内。拿 Anthropic 官方 API 当「标准答案」,被测线路的行为逐项与官方比。

测试方法(4 项)
  • 官方同题对照:推理题 / 身份题 / 知识边界,官方与被测线路同题各答一遍
  • 官方签名验证(终审):把被测线路给出的思考块签名送官方验真,改坏一字符必须被官方拒绝
  • 参数对照:格式化 / 预填充 / 采样参数,官方怎么处理、被测线路怎么处理
  • 用量对账:官方 count_tokens 对被测线路报的 token 数,看有没有多报
Amazon BedrockAWS Bedrock 官方 API产地对照按宣称自动加 / 可手动加

bedrock-runtime.{region}.amazonaws.com 原生端点 + Bearer 凭证 · 产地金标准(Bedrock 固有行为)

宣称 AWS Bedrock 的线路按宣称自动加;没宣称的也可手动加来证伪产地。用 Bedrock 原生端点同型号跑一遍,分清「产地固有」与「本线特有」。

测试方法(4 项)
  • 短题 / 流式 / 思考 / 改坏签名:Bedrock 原生端点同型号各打一发
  • 缓存 1 冷 + 6 热:看 Bedrock 本身的命中率,再比被测线路
  • 参数行为 ×5 + 工具往返:Bedrock 怎么处理、被测线路怎么处理
  • 逐项三方对标:被测 = Bedrock = Anthropic → 一致;被测 = Bedrock ≠ Anthropic → 产地固有;被测 ≠ Bedrock → 本线特有
GPT
OpenAIOOpenAI 官方 API协议对照每单必跑 · 含在价内

api.openai.com 直连 · 协议金标准(加密推理块回放终审)

每单必跑、含在价内。拿 OpenAI 官方 API 当「标准答案」:加密推理块回放、同题对照、用量对账都以它为准。

测试方法(4 项)
  • 加密推理块回放:被测线路自己的加密块回放、改坏一字符必须拒、官方的块给被测线路看接不接(型号不回密文时如实记未测)
  • 官方同题对照:身份题 / 智力题同题各答一遍比正确率;单字分布指纹各 30 发比词频散度
  • 参数对照:service_tier=flex、推理力度阶梯 none / low / high、结构化输出、缓存冷热(≥1024 token 前缀),官方怎么处理、被测线路怎么处理
  • 用量对账:同题 prompt_tokens / reasoning_tokens 被测线路 vs 官方,看有没有多报或砍思考;限流头与官方账号比同档 / 低档 / 高档
Azure OpenAIAzAzure OpenAI 官方 API产地对照按宣称自动加 / 可手动加

{resource}.openai.azure.com 部署 · 产地金标准(Azure 固有行为)

宣称 Azure OpenAI 的线路按宣称自动加;没宣称的也可手动加来证伪产地。用 AAW 自有 Azure 部署同型号跑一遍,分清「产地固有」与「本线特有」。服务端未配 Azure 凭证时不可用、不加价。

测试方法(4 项)
  • 短题 / 金丝雀:Azure 部署同型号各打一发
  • Azure 形态指纹:内容过滤字段、apim / 区域响应头、service_tier、system_fingerprint——官方 Azure 长什么样、被测线路长什么样
  • 缓存与参数:同一组参数探针三项 + ≥1024 token 前缀冷热,Azure 怎么处理、被测线路怎么处理
  • 逐项三方对标:被测 = OpenAI → 一致;被测 = Azure ≠ OpenAI → 产地固有;被测 ≠ 两边 → 本线特有
Kimi
MoonshotKMoonshot 开放平台官方 API协议对照每单必跑 · 含在价内

api.moonshot.cn 直连 · 协议金标准(行为契约 + 统计等价度)

每单必跑、含在价内。拿 Moonshot 开放平台官方 API 当「标准答案」:Kimi 没有可验的签名,靠行为契约与统计等价度对照。

测试方法(4 项)
  • 契约对照:温度契约(思考模式强制 1.0 / 0.95)、思考过程回传缺失时官方必报 400,被测线路是否同样
  • 官方同题对照:身份题 / 知识题 / 智力题 / 工具调用 32 题,比正确率与单字分布指纹
  • 参数表对照:按型号允许的参数(思考开关 / 推理力度),官方怎么处理、被测线路怎么处理
  • 用量对账:同题 prompt_tokens 被测线路 vs 官方,看有没有多报
按 Moonshot 官方 API 层特有的参数校验(思考模式下 temperature 钉死、工具历史须带 reasoning_content、指定工具前须先关思考)判:被测同样执行 → 官方接口直出或官方 Key 转发(分不出哪一种);被测放水 → 云厂 / 第三方托管的开源权重。只陈述、不扣分;没跑成契约对照时「不下结论」。
Gemini
Google AI StudioGGoogle AI Studio 官方 API协议对照每单必跑 · 含在价内

generativelanguage.googleapis.com 直连 · 协议金标准(思考签名回传)

每单必跑、含在价内。拿 Google AI Studio 官方 Gemini API 当「标准答案」:思考签名回传、同题对照、用量对账都以它为准。

测试方法(4 项)
  • 思考签名回传:被测线路给的 thoughtSignature 带回官方多轮,改坏的必须被拒
  • 官方同题对照:身份题 / 知识题 / 智力题 / 工具调用,官方与被测线路同题各答一遍
  • 参数对照:思考预算 / 结构化输出 / 系统指令,官方怎么处理、被测线路怎么处理
  • 用量对账:同题 token 数被测线路 vs 官方,看有没有多报
Google Vertex AIVGoogle Vertex AI 官方 API产地对照按宣称自动加 / 可手动加

aiplatform.googleapis.com · 产地金标准(Vertex 固有行为;预留位)

宣称 Vertex AI 的线路按宣称自动加;没宣称的也可手动加来证伪产地。服务端未配 Vertex 凭证时不可用、不加价(预留位)。

测试方法(3 项)
  • 短题 / 流式 / 思考:Vertex 同型号各打一发
  • Vertex 形态指纹:区域端点 / 配额文案 / 型号别名——官方 Vertex 长什么样、被测线路长什么样
  • 逐项三方对标:被测 = Vertex = AI Studio → 一致;被测 = Vertex ≠ AI Studio → 产地固有;被测 ≠ Vertex → 本线特有

Claude 的官方签名验证(终审)回答的是「后面是不是 Claude」:签名有效、型号对 → 真不真通过。被测线产出的思考块若被官方判「对话前缀不一致」 (签名有效,但那次请求在到达 Claude 前被改写),这是「请求被改写」的证据,归「全不全」按用途处理(见下表),不再作为否决项—— 实测官方把 Claude Code / Agent SDK 一类订阅通道、以及任何零 token 的结构性改写都判为前缀不一致,它说明的是改写,不是假货。

三、四个引擎:证据上限与一票否决

只有 Claude 有可供第三方验证的官方签名,整份报告的证据档可以到 S(官方回验实锤);GPT / Kimi / Gemini 没有这种签名, 再多证据一致也只到 A(自建金标准对照),报告里不会出现「实锤」二字。一票否决清单按引擎各自独立,出现任一项即 F。

Claude证据上限 S

被测线路产出的思考块签名送 Anthropic 官方回放:官方接受且型号绑定正确 → 真;改坏签名的对照必须被拒收,否则本轮终审无效。

一票否决
  • 假签名:官方拒收线路回传的签名,而改坏的对照有效
  • 假型号:请求的型号与官方判定的绑定型号不是同一个
  • 代际降级:请求新一代,实际落地旧一代或更小尺寸

哪来的:官方形态(直连 / 优质账号池同形)、订阅池特征、逆向转接四色归因;加 AWS Bedrock 对照可确认云产地。

GPT证据上限 A

没有可供第三方验证的官方签名:靠加密推理块回放(支持的型号)、单 token 分布指纹、reasoning_effort 阶梯、缓存冷热与官方同题对照多条证据合议;最高到「自建金标准对照」。

一票否决
  • 被测线路同时接受篡改过的加密推理块和别家基线的加密块(回放形同虚设)
  • 模型多次自称别家,且单 token 分布显著偏离官方 GPT

哪来的:OpenAI 直连 / Azure OpenAI / 多账号池 / 订阅逆向四种形态;限流头档位只写推断、不写定论;加 Azure 对照可确认云产地。

Kimi证据上限 A

判「后面是不是 Kimi 模型」,不要求官方 Key:与 Moonshot 官方的统计等价度(K2VV 同题对照 ×32「该不该调工具」、固定题 ×3、知识边界对照),模型自述只做辅证;开源权重跑在云厂 / 第三方平台上照样算真。等级按「客户可不可用」:拿不到正文 / 错误率过高 / 低并发就报错 / 多项能力硬缺才判不可用,单项瑕疵只降一档。

一票否决
  • 与官方同题对照的工具触发一致率低于下限(闸门同时未过)
  • 固定算术题可计分题全部答错(闸门同时未过)
  • 知识边界对照与官方不一致(p < 0.01)

哪来的:按 Moonshot 官方 API 层特有的参数校验(思考模式下 temperature 钉死、工具历史须带 reasoning_content、指定工具前须先关思考)判:被测同样执行 → 官方接口直出或官方 Key 转发(分不出哪一种);被测放水 → 云厂 / 第三方托管的开源权重。只陈述、不扣分;没跑成契约对照时「不下结论」。

Gemini证据上限 A

被测线路回传的思维签名送 Google 官方回放:官方接受、改坏的被拒 → 后面确实是 Gemini;但 AI Studio 直连与官方 Key 转发单轮同形,所以产地归类最高只到「自建金标准对照」。

一票否决
  • 名实不符:请求的型号与实际落地的型号不是同一代或同一尺寸
  • 官方拒收线路回传的思维签名,而改坏的签名对照有效
  • 计费注水:同一道题被测线路算出的输入 token 显著高于官方
  • 多项参数透传同时失败:请求在中途被改写

哪来的:AI Studio / Vertex / 官方 Key 转发 / 订阅池 / 逆向五种形态;无宣称时直连与转发分不开 → 「货源暂未归类」;加 Vertex 对照可确认云产地。

四、等级:只由公开规则算出

  1. 跑前预检(鉴权 / 额度 / 官方对照可用)没过,或连通检查失败 → 无法评测,不出分、不收费。
  2. 出现任一「一票否决项」→ F。
  3. 否则按分项打分骨架的四档建议映射:推荐 → A,有条件 → B,先试用 → C,不建议 → D。
  4. 没跑到打分环节(证据不足)→ C。
  • 推荐A · 推荐:六问全过或仅速度有条件,可直接用于生产
  • 有条件可用B · 有条件可用:核心真伪通过,个别项有条件,看清条件再用
  • 先试用C · 先试用:证据不足或多项有条件,建议小流量试用后再定
  • 不建议采购D · 不建议采购:关键问题未通过
  • 一票否决F · 一票否决:假签名 / 假型号(型号绑定不符、代际降级)——确凿的「假」才是 F
  • 无法评测无法评测:线路连不通(鉴权失败 / 额度不足 / 超时),这次不出分、不收费

分项权重按采购目的(通用 / 蒸馏)不同,权重表随规则版本公开;权重只改分数,不改生死开关。

五、一票否决项(Claude:只剩「假」的三种;其余引擎见第三节)

  • 假签名。把线路返回的思考块拿去请官方用宣称的型号验证,官方判定签名无效并拒绝。真的官方思考块不会被自己的型号拒绝。所以一票否决。这不是「请求前缀被改过」。前缀被改时,官方仍承认签名,只丢掉对不上的块,那种情况只封顶、不否决。
  • 假型号。把线路返回的思考块拿去请官方用宣称的型号验证,官方明确回答「不是这个型号签的」。封条是真的,型号是假的。所以一票否决。这不是签名伪造。伪造会直接被判签名无效;这里是签名合法,但对不上宣称的型号。
  • 型号降级。官方的思考块带型号锁:高档型号签的块,低档型号正常读不了,官方会把块丢掉。低档型号读进去了,说明这块思考没有锁在所宣称的型号上,更像是更低档型号生成的,高档型号仍能照单接收。所以一票否决。不能据此点名「就是某一个低档型号写的」。两个低档都能读,只说明它不是一份仅限所宣称型号的正常块。官方用宣称型号能接受这块签名,也不推翻这条:高档型号本来就能读低档型号签的块。

不再否决、改为封顶的三类:官方判「对话前缀不一致」(签名有效、型号对,但请求在中途被改写)→ 按下表封顶;官方静默丢弃思考块(不给原因)→ 真伪不下结论,封顶 C;官方因终端用户或账号绑定拒绝续写(Sonnet 5.5 / Haiku 5.5 换一把官方钥匙就会这样)→ 不是假货也不是改前缀,蒸馏用途封顶 C「先试用」,通用用途封顶 B「有条件可用」。 Sonnet 5.5 会按题目难易决定要不要写思考:同一道题、同一种问法,官方和线路各答一次。两边都不写,说明这道题官方也会跳过,这一项不计入分数;只有官方写了,才算线路少给了思考。签名真假、能不能搬到客户自己的官方钥匙,另看回放结果,不跟「这道题有没有思考块」绑在一起。 系统自检失败(故意改坏签名后官方未拒收)→ 本轮终审无效,按「无法评测」处理、不收费,不给线路定罪。

改写证据与按用途封顶(rules-4.3)
证据等级怎么测出来的蒸馏用途封顶通用用途封顶
疑似改写只有官方「前缀不一致」信号;计费 token 与官方一致,改写了什么无法确定C(样本观察)· 全不全未通过B(带条件)· 全不全有条件
确认改写测到隐藏内容:小题对账固定多算 token(隐藏前缀),或身份题自述 Claude Code / Agent SDK 等工具环境D(风险偏高)· 训练数据被染色B(带条件)
强注入小题多算 >50 token 或大题多算 >5%DC

蒸馏用途看的是「思考过程能否搬到官方核验、样本有没有被隐藏提示词污染」,所以同样的证据对蒸馏更严;通用用途日常聊天与工具调用不受影响, 只是多轮续写要留在本线路内。同一条线路、同一上游,四个型号拿到的改写结论必须一致——官方的前缀绑定只在 5.5 代生效, 其余代际靠我方的隐藏 token / 自述信号补齐。

智力对照:能力有没有打折(业内叫「降智」)

从题库智力池按难度配比抽 8 道(难 3 / 需推理 2 / 中 2 / 基础 1),被测线路与官方同题各答一遍,只比正确率、不看风格。 官方答对而被测答错 ≥2 题,或基础题被测明确答错 → 能力可能打折,封顶 C;丢 ≥3 题或被测正确率 ≤50% 而官方 ≥75% → 能力明显打折,封顶 D。 两边都请求成功的题不足 4 道 → 不下结论,不封顶。题面每单随机、题库持续扩充;难题经官方校准(官方全对,小型号明显答错)。

探针之外:延迟复采与自助抽检

正式鉴定是十几分钟内集中打完,供应商理论上可以识别探针「只对探针老实」。两道补刀: ① 延迟复采——出报告 1–3 天后(被测 Key 仍保留时)换时段补 3 发(思考题 → 官方签名回验、身份题),结果作为报告页附注,不改等级; ② 自助抽检,两条道——「你出题,我们代打」:你选一条已登记线路(可自己出题),我们此刻用它打一发、送官方回验,不用懂技术;每发 $2,可按线路设自动排程(每次几发 × 每天 / 隔天 / 每周 × 固定时间或随机时段,到点自动打,余额不足自动停)。 「贴原始响应」:把你自己真实流量里那次响应整段贴进来,我们自动挑出思考块 + 签名回放,每发 $1。官方认 = 真 Claude 生成;抽检与鉴定分开计费; 两条道的结果都留档可查,留档只存签名指纹不存思考正文。

六、证据分级与置信档位

证据四档(每一问单独标)
  • S · 官方核验
  • A · 实测对照
  • B · 指纹推断
  • C · 单点线索
置信四档(整份报告一个)
  • 实锤:拿到官方核验或同等硬证据
  • 高置信:多条独立证据一致
  • 推断:指纹 / 统计推断,仍有翻案可能
  • 未定:证据不足,未下结论

「哪来的」一问只做四色归因:官方一致(蓝)/ 池特征(黄)/ 不利证据(红)/ 无法区分(灰)。它陈述测量结果,不下道德判断; 只有确凿的假模型、假签名才会被称为「假」。

七、什么叫「无法评测」

  • 只有一种:线路连不通(鉴权失败、额度不足、超时)。

无法评测不收费、预扣自动释放;报告仍会生成,只记录「哪一步没过」,方便你拿去找供应商。

线路通了就一定出分、一定收费。官方对照当时不可用、或我方系统自检未过,不算无法评测:受影响的那一问标「不下结论 · 系统需更多测试」并写明原因, 其余各问照常出分;报告会建议你对该线路复测一次(再下一单,Key 无需重填),用更多样本把那一问补齐。

八、规则版本与不追溯

  • 每份报告写明出具时的规则版本与题库版本;规则升级只影响之后的报告,历史报告不重算、不改分。
  • 付费与否、是否自家线路、是否代理客户,都不进入打分函数。
  • 探针题面是内部资产不公开;但每一问的口径、每一档的定义在本页公开。
版本记录(点开看 rules-4.2 → rules-5.1 改了什么)
rules-4.2 · 2026-09-26 · 首版:六问 / 等级 / 证据 / 置信 / 否决 / 无法评测口径冻结rules-4.3 → 4.5 · 2026-10-05 起 · 否决只留假签名 / 假型号 / 降代;前缀不一致改为按用途封顶(蒸馏 / 通用分表);小题绝对差 + harness 自述补齐改写测量; 自检失败 → 该问不下结论(线路通了就出分、就收费);题库系统三大类(是不是真的 / 有没有缩水 / 好不好用)+ 智力对照(降智判定)上线(bank-2026.10);延迟复采 + 自助抽检两条道(代打 $2/发可排程、贴原始响应回验 $1/发;独立计费,附注,不改等级);题库标注出处(原创 / 网红测试 / 公开基准); 账号绑定拒绝续写不算改写(4.4);没签名时按同题对照差距定级(4.5)rules-5.1 · 2026-10-19 · 四引擎:GPT(加密推理块回放 / 分布指纹 / reasoning_effort 阶梯 / 缓存 / Azure 产地对照)、Kimi(与 Moonshot 官方统计等价度,不判产地)、Gemini(思维签名官方回放 / 五种用途加权 / Vertex 产地对照); 证据上限 Claude S · 其余 A,置信最高「高置信」;一票否决按引擎各自独立;报告词表与口径按引擎(非 Claude 不写「实锤」,GPT 账号档位只写推断,Kimi 只写等价度);抽检代打按引擎分道;Claude 判定行为与 rules-4.5 完全一致