鉴定方法
AAW-鉴定 的探针、题库、打分函数与 AI API Way 公开的鉴真方法论完全同源:自家线路与第三方线路用同一套尺子。本页只讲报告怎么读;探针细节见方法论页。
- 通不通 · 线路连得上、流得稳吗
- 真不真 · 后面是不是宣称的模型
- 全不全 · 请求有没有被改、能力有没有打折
- 快不快 · 首字比官方慢多少
- 值不值 · 计费和官方一样吗,有没有暗塞内容
- 哪来的 · 货从哪里来,和宣称一致吗
一、六问:报告只回答这六个问题
| 问 | 白话问题 | 测什么 | 怎么测 |
|---|---|---|---|
| 通不通 | 线路能不能连上,并发一上会不会掉? | 连通性、流式 SSE 事件完整性、短题并发爬坡 | 用真实请求打通;检查流式事件序列有没有缺件;短题并发爬坡看错误率和抖动。 |
| 真不真 | 后面到底是不是它宣称的那个模型? | 官方签名验证、身份题、model 字段、消息 id 形态 | 把线路返回的、官方签过名的思考块拿去请官方验证——假的一验就穿;再对照身份题与协议指纹。 |
| 全不全 | 参数有没有被网关吞掉、改掉?能力有没有打折? | stop_sequences、max_tokens、工具调用、多轮签名回传;请求改写证据(官方前缀 / 隐藏 token / harness 自述);智力对照(与官方同题比正确率) | 逐项发出带参数的请求,核对回包是否严格遵守;多轮对话里把签名传回去看是否被接受;同一组智力题被测与官方各答一遍,官方会而它不会 → 能力打折。 |
| 快不快 | 首字要等多久,跟官方比慢多少? | 首字时延 TTFT、流式时长、思考时长 | 同题、同时段与官方直连对照,只报差值与档位,不做绝对承诺。 |
| 值不值 | 计费有没有多算,暗地里有没有塞东西? | count_tokens 对账(隐藏注入分级)、大题计费对账、缓存冷 / 热命中 | 同一段文本让线路与官方分别数 token,差值就是被注入的量;大题看比例;缓存看第二次是否真便宜。 |
| 哪来的 | 货源大概是哪类——官方 API、云平台、多账号轮换,还是订阅转接? | 消息 id 前缀、响应头族、思考显示样式、功能可用性 | 多条弱信号拼成证据包,按四色归因只陈述测量结果;只有确凿的假模型 / 假签名才叫「假」。 |
每一问五种判定:通过 / 有条件 / 未通过 / 不下结论 / 未测。「不下结论」是测了但证据不够下结论;「未测」是这一问根本没跑—— 报告会写明是哪一种、为什么(未要求 / 预检未进入 / 前置材料未拿到 / 官方对照未就绪),两者都不是线路的问题,也不计入等级。 官方对所有人都一样的行为(例如 Opus 5 系默认不返回思考正文)只作说明,不作差异、不扣分。
二、官方参照:每个引擎两把尺子
六问里凡是「与官方比」的结论,都来自同一套题在该引擎官方接口上实跑的结果,不是查表。协议对照每单必跑、含在价内;产地对照按商家宣称自动加(也可手动加来证伪产地)。 报告「官方参照」一节用的就是这两路对照的原始数据。Kimi 没有产地对照,只有协议对照。
api.anthropic.com 直连 · 协议金标准(官方签名验证终审)
每单必跑、含在价内。拿 Anthropic 官方 API 当「标准答案」,被测线路的行为逐项与官方比。
测试方法(4 项)
- 官方同题对照:推理题 / 身份题 / 知识边界,官方与被测线路同题各答一遍
- 官方签名验证(终审):把被测线路给出的思考块签名送官方验真,改坏一字符必须被官方拒绝
- 参数对照:格式化 / 预填充 / 采样参数,官方怎么处理、被测线路怎么处理
- 用量对账:官方 count_tokens 对被测线路报的 token 数,看有没有多报
bedrock-runtime.{region}.amazonaws.com 原生端点 + Bearer 凭证 · 产地金标准(Bedrock 固有行为)
宣称 AWS Bedrock 的线路按宣称自动加;没宣称的也可手动加来证伪产地。用 Bedrock 原生端点同型号跑一遍,分清「产地固有」与「本线特有」。
测试方法(4 项)
- 短题 / 流式 / 思考 / 改坏签名:Bedrock 原生端点同型号各打一发
- 缓存 1 冷 + 6 热:看 Bedrock 本身的命中率,再比被测线路
- 参数行为 ×5 + 工具往返:Bedrock 怎么处理、被测线路怎么处理
- 逐项三方对标:被测 = Bedrock = Anthropic → 一致;被测 = Bedrock ≠ Anthropic → 产地固有;被测 ≠ Bedrock → 本线特有
api.openai.com 直连 · 协议金标准(加密推理块回放终审)
每单必跑、含在价内。拿 OpenAI 官方 API 当「标准答案」:加密推理块回放、同题对照、用量对账都以它为准。
测试方法(4 项)
- 加密推理块回放:被测线路自己的加密块回放、改坏一字符必须拒、官方的块给被测线路看接不接(型号不回密文时如实记未测)
- 官方同题对照:身份题 / 智力题同题各答一遍比正确率;单字分布指纹各 30 发比词频散度
- 参数对照:service_tier=flex、推理力度阶梯 none / low / high、结构化输出、缓存冷热(≥1024 token 前缀),官方怎么处理、被测线路怎么处理
- 用量对账:同题 prompt_tokens / reasoning_tokens 被测线路 vs 官方,看有没有多报或砍思考;限流头与官方账号比同档 / 低档 / 高档
{resource}.openai.azure.com 部署 · 产地金标准(Azure 固有行为)
宣称 Azure OpenAI 的线路按宣称自动加;没宣称的也可手动加来证伪产地。用 AAW 自有 Azure 部署同型号跑一遍,分清「产地固有」与「本线特有」。服务端未配 Azure 凭证时不可用、不加价。
测试方法(4 项)
- 短题 / 金丝雀:Azure 部署同型号各打一发
- Azure 形态指纹:内容过滤字段、apim / 区域响应头、service_tier、system_fingerprint——官方 Azure 长什么样、被测线路长什么样
- 缓存与参数:同一组参数探针三项 + ≥1024 token 前缀冷热,Azure 怎么处理、被测线路怎么处理
- 逐项三方对标:被测 = OpenAI → 一致;被测 = Azure ≠ OpenAI → 产地固有;被测 ≠ 两边 → 本线特有
api.moonshot.cn 直连 · 协议金标准(行为契约 + 统计等价度)
每单必跑、含在价内。拿 Moonshot 开放平台官方 API 当「标准答案」:Kimi 没有可验的签名,靠行为契约与统计等价度对照。
测试方法(4 项)
- 契约对照:温度契约(思考模式强制 1.0 / 0.95)、思考过程回传缺失时官方必报 400,被测线路是否同样
- 官方同题对照:身份题 / 知识题 / 智力题 / 工具调用 32 题,比正确率与单字分布指纹
- 参数表对照:按型号允许的参数(思考开关 / 推理力度),官方怎么处理、被测线路怎么处理
- 用量对账:同题 prompt_tokens 被测线路 vs 官方,看有没有多报
generativelanguage.googleapis.com 直连 · 协议金标准(思考签名回传)
每单必跑、含在价内。拿 Google AI Studio 官方 Gemini API 当「标准答案」:思考签名回传、同题对照、用量对账都以它为准。
测试方法(4 项)
- 思考签名回传:被测线路给的 thoughtSignature 带回官方多轮,改坏的必须被拒
- 官方同题对照:身份题 / 知识题 / 智力题 / 工具调用,官方与被测线路同题各答一遍
- 参数对照:思考预算 / 结构化输出 / 系统指令,官方怎么处理、被测线路怎么处理
- 用量对账:同题 token 数被测线路 vs 官方,看有没有多报
aiplatform.googleapis.com · 产地金标准(Vertex 固有行为;预留位)
宣称 Vertex AI 的线路按宣称自动加;没宣称的也可手动加来证伪产地。服务端未配 Vertex 凭证时不可用、不加价(预留位)。
测试方法(3 项)
- 短题 / 流式 / 思考:Vertex 同型号各打一发
- Vertex 形态指纹:区域端点 / 配额文案 / 型号别名——官方 Vertex 长什么样、被测线路长什么样
- 逐项三方对标:被测 = Vertex = AI Studio → 一致;被测 = Vertex ≠ AI Studio → 产地固有;被测 ≠ Vertex → 本线特有
Claude 的官方签名验证(终审)回答的是「后面是不是 Claude」:签名有效、型号对 → 真不真通过。被测线产出的思考块若被官方判「对话前缀不一致」 (签名有效,但那次请求在到达 Claude 前被改写),这是「请求被改写」的证据,归「全不全」按用途处理(见下表),不再作为否决项—— 实测官方把 Claude Code / Agent SDK 一类订阅通道、以及任何零 token 的结构性改写都判为前缀不一致,它说明的是改写,不是假货。
三、四个引擎:证据上限与一票否决
只有 Claude 有可供第三方验证的官方签名,整份报告的证据档可以到 S(官方回验实锤);GPT / Kimi / Gemini 没有这种签名, 再多证据一致也只到 A(自建金标准对照),报告里不会出现「实锤」二字。一票否决清单按引擎各自独立,出现任一项即 F。
被测线路产出的思考块签名送 Anthropic 官方回放:官方接受且型号绑定正确 → 真;改坏签名的对照必须被拒收,否则本轮终审无效。
- 假签名:官方拒收线路回传的签名,而改坏的对照有效
- 假型号:请求的型号与官方判定的绑定型号不是同一个
- 代际降级:请求新一代,实际落地旧一代或更小尺寸
哪来的:官方形态(直连 / 优质账号池同形)、订阅池特征、逆向转接四色归因;加 AWS Bedrock 对照可确认云产地。
没有可供第三方验证的官方签名:靠加密推理块回放(支持的型号)、单 token 分布指纹、reasoning_effort 阶梯、缓存冷热与官方同题对照多条证据合议;最高到「自建金标准对照」。
- 被测线路同时接受篡改过的加密推理块和别家基线的加密块(回放形同虚设)
- 模型多次自称别家,且单 token 分布显著偏离官方 GPT
哪来的:OpenAI 直连 / Azure OpenAI / 多账号池 / 订阅逆向四种形态;限流头档位只写推断、不写定论;加 Azure 对照可确认云产地。
判「后面是不是 Kimi 模型」,不要求官方 Key:与 Moonshot 官方的统计等价度(K2VV 同题对照 ×32「该不该调工具」、固定题 ×3、知识边界对照),模型自述只做辅证;开源权重跑在云厂 / 第三方平台上照样算真。等级按「客户可不可用」:拿不到正文 / 错误率过高 / 低并发就报错 / 多项能力硬缺才判不可用,单项瑕疵只降一档。
- 与官方同题对照的工具触发一致率低于下限(闸门同时未过)
- 固定算术题可计分题全部答错(闸门同时未过)
- 知识边界对照与官方不一致(p < 0.01)
哪来的:按 Moonshot 官方 API 层特有的参数校验(思考模式下 temperature 钉死、工具历史须带 reasoning_content、指定工具前须先关思考)判:被测同样执行 → 官方接口直出或官方 Key 转发(分不出哪一种);被测放水 → 云厂 / 第三方托管的开源权重。只陈述、不扣分;没跑成契约对照时「不下结论」。
被测线路回传的思维签名送 Google 官方回放:官方接受、改坏的被拒 → 后面确实是 Gemini;但 AI Studio 直连与官方 Key 转发单轮同形,所以产地归类最高只到「自建金标准对照」。
- 名实不符:请求的型号与实际落地的型号不是同一代或同一尺寸
- 官方拒收线路回传的思维签名,而改坏的签名对照有效
- 计费注水:同一道题被测线路算出的输入 token 显著高于官方
- 多项参数透传同时失败:请求在中途被改写
哪来的:AI Studio / Vertex / 官方 Key 转发 / 订阅池 / 逆向五种形态;无宣称时直连与转发分不开 → 「货源暂未归类」;加 Vertex 对照可确认云产地。
四、等级:只由公开规则算出
- 跑前预检(鉴权 / 额度 / 官方对照可用)没过,或连通检查失败 → 无法评测,不出分、不收费。
- 出现任一「一票否决项」→ F。
- 否则按分项打分骨架的四档建议映射:推荐 → A,有条件 → B,先试用 → C,不建议 → D。
- 没跑到打分环节(证据不足)→ C。
- 推荐A · 推荐:六问全过或仅速度有条件,可直接用于生产
- 有条件可用B · 有条件可用:核心真伪通过,个别项有条件,看清条件再用
- 先试用C · 先试用:证据不足或多项有条件,建议小流量试用后再定
- 不建议采购D · 不建议采购:关键问题未通过
- 一票否决F · 一票否决:假签名 / 假型号(型号绑定不符、代际降级)——确凿的「假」才是 F
- 无法评测无法评测:线路连不通(鉴权失败 / 额度不足 / 超时),这次不出分、不收费
分项权重按采购目的(通用 / 蒸馏)不同,权重表随规则版本公开;权重只改分数,不改生死开关。
五、一票否决项(Claude:只剩「假」的三种;其余引擎见第三节)
- 假签名。把线路返回的思考块拿去请官方用宣称的型号验证,官方判定签名无效并拒绝。真的官方思考块不会被自己的型号拒绝。所以一票否决。这不是「请求前缀被改过」。前缀被改时,官方仍承认签名,只丢掉对不上的块,那种情况只封顶、不否决。
- 假型号。把线路返回的思考块拿去请官方用宣称的型号验证,官方明确回答「不是这个型号签的」。封条是真的,型号是假的。所以一票否决。这不是签名伪造。伪造会直接被判签名无效;这里是签名合法,但对不上宣称的型号。
- 型号降级。官方的思考块带型号锁:高档型号签的块,低档型号正常读不了,官方会把块丢掉。低档型号读进去了,说明这块思考没有锁在所宣称的型号上,更像是更低档型号生成的,高档型号仍能照单接收。所以一票否决。不能据此点名「就是某一个低档型号写的」。两个低档都能读,只说明它不是一份仅限所宣称型号的正常块。官方用宣称型号能接受这块签名,也不推翻这条:高档型号本来就能读低档型号签的块。
不再否决、改为封顶的三类:官方判「对话前缀不一致」(签名有效、型号对,但请求在中途被改写)→ 按下表封顶;官方静默丢弃思考块(不给原因)→ 真伪不下结论,封顶 C;官方因终端用户或账号绑定拒绝续写(Sonnet 5.5 / Haiku 5.5 换一把官方钥匙就会这样)→ 不是假货也不是改前缀,蒸馏用途封顶 C「先试用」,通用用途封顶 B「有条件可用」。 Sonnet 5.5 会按题目难易决定要不要写思考:同一道题、同一种问法,官方和线路各答一次。两边都不写,说明这道题官方也会跳过,这一项不计入分数;只有官方写了,才算线路少给了思考。签名真假、能不能搬到客户自己的官方钥匙,另看回放结果,不跟「这道题有没有思考块」绑在一起。 系统自检失败(故意改坏签名后官方未拒收)→ 本轮终审无效,按「无法评测」处理、不收费,不给线路定罪。
| 证据等级 | 怎么测出来的 | 蒸馏用途封顶 | 通用用途封顶 |
|---|---|---|---|
| 疑似改写 | 只有官方「前缀不一致」信号;计费 token 与官方一致,改写了什么无法确定 | C(样本观察)· 全不全未通过 | B(带条件)· 全不全有条件 |
| 确认改写 | 测到隐藏内容:小题对账固定多算 token(隐藏前缀),或身份题自述 Claude Code / Agent SDK 等工具环境 | D(风险偏高)· 训练数据被染色 | B(带条件) |
| 强注入 | 小题多算 >50 token 或大题多算 >5% | D | C |
蒸馏用途看的是「思考过程能否搬到官方核验、样本有没有被隐藏提示词污染」,所以同样的证据对蒸馏更严;通用用途日常聊天与工具调用不受影响, 只是多轮续写要留在本线路内。同一条线路、同一上游,四个型号拿到的改写结论必须一致——官方的前缀绑定只在 5.5 代生效, 其余代际靠我方的隐藏 token / 自述信号补齐。
从题库智力池按难度配比抽 8 道(难 3 / 需推理 2 / 中 2 / 基础 1),被测线路与官方同题各答一遍,只比正确率、不看风格。 官方答对而被测答错 ≥2 题,或基础题被测明确答错 → 能力可能打折,封顶 C;丢 ≥3 题或被测正确率 ≤50% 而官方 ≥75% → 能力明显打折,封顶 D。 两边都请求成功的题不足 4 道 → 不下结论,不封顶。题面每单随机、题库持续扩充;难题经官方校准(官方全对,小型号明显答错)。
正式鉴定是十几分钟内集中打完,供应商理论上可以识别探针「只对探针老实」。两道补刀: ① 延迟复采——出报告 1–3 天后(被测 Key 仍保留时)换时段补 3 发(思考题 → 官方签名回验、身份题),结果作为报告页附注,不改等级; ② 自助抽检,两条道——「你出题,我们代打」:你选一条已登记线路(可自己出题),我们此刻用它打一发、送官方回验,不用懂技术;每发 $2,可按线路设自动排程(每次几发 × 每天 / 隔天 / 每周 × 固定时间或随机时段,到点自动打,余额不足自动停)。 「贴原始响应」:把你自己真实流量里那次响应整段贴进来,我们自动挑出思考块 + 签名回放,每发 $1。官方认 = 真 Claude 生成;抽检与鉴定分开计费; 两条道的结果都留档可查,留档只存签名指纹不存思考正文。
六、证据分级与置信档位
- S · 官方核验
- A · 实测对照
- B · 指纹推断
- C · 单点线索
- 实锤:拿到官方核验或同等硬证据
- 高置信:多条独立证据一致
- 推断:指纹 / 统计推断,仍有翻案可能
- 未定:证据不足,未下结论
「哪来的」一问只做四色归因:官方一致(蓝)/ 池特征(黄)/ 不利证据(红)/ 无法区分(灰)。它陈述测量结果,不下道德判断; 只有确凿的假模型、假签名才会被称为「假」。
七、什么叫「无法评测」
- 只有一种:线路连不通(鉴权失败、额度不足、超时)。
无法评测不收费、预扣自动释放;报告仍会生成,只记录「哪一步没过」,方便你拿去找供应商。
线路通了就一定出分、一定收费。官方对照当时不可用、或我方系统自检未过,不算无法评测:受影响的那一问标「不下结论 · 系统需更多测试」并写明原因, 其余各问照常出分;报告会建议你对该线路复测一次(再下一单,Key 无需重填),用更多样本把那一问补齐。
八、规则版本与不追溯
- 每份报告写明出具时的规则版本与题库版本;规则升级只影响之后的报告,历史报告不重算、不改分。
- 付费与否、是否自家线路、是否代理客户,都不进入打分函数。
- 探针题面是内部资产不公开;但每一问的口径、每一档的定义在本页公开。