METHODOLOGY

鉴真方法论

「官转不降智」不该只是一句口号。本页公开我们验证模型纯度的完整方法:怎么测、怎么判分、怎么统计—— 让「纯度可自证」成为可以被检验的承诺。

想用同一套方法验你买的第三方 AI 模型线路(Claude / GPT / Kimi / Gemini)?去 AAW-鉴定

双探针体系

可用性探测 · 每 10 分钟
对每款在售模型、每条供给线路发起真实流式请求,记录成功率与首字延迟(TTFT:从发起请求到收到首个数据块)。状态页的绿黄红条与 P50/P95 首字延迟均来自这里。
金丝雀评测 · 每 6 小时
用固定题库对模型做程序化「体检」,检测上游是否偷换小模型、量化降智——这是行业内最常见却最难被用户察觉的问题。

每条上游供给线路都有独立的探测通道,问题可以定位到具体线路;新引进的供给必须先通过 48 小时金丝雀观察,达标后才对客售卖。

连续性与注入盯防

「断线丢上下文」「号池被注入了别人的系统提示词」是中转行业最伤体验、也最难被普通用户举证的两类问题。 我们把它们变成三条可量化的探测线:

注入检测 · 每 6 小时
随金丝雀跑固定身份题。干净的模型只会报出模型名;被注入工具提示词的号池会自曝「CLI / 编程助手」等身份。命中特征立即触发内部告警,由运营人工核实并处置上游线路。
缓存命中探测 · 每小时
同一长前缀两连发:上游正常时第二发应命中前缀缓存(cached_tokens > 0)。连续多轮不命中,说明号池在每请求轮换账号——这正是「断线后记忆全丢」的底层原因,触发内部告警。
长流完整率 · 每 6 小时
发起长输出流式请求并完整读到收尾,统计流结束标记([DONE] / finish_reason)的到达率。量化「长回复会不会中途断流」,结果公开在状态页脚注。

金丝雀题库构成

题型考察点判分方式题量权重占比
算术精确题多位数运算的精确结果——降智模型最先在这里露馅输出与标准答案完全一致355%
格式与约束按指定格式输出(如日期、结构),考察约束遵守正则表达式校验118%
指令遵循严格按要求作答、不添加多余内容正则表达式校验19%
代码断言生成满足断言的代码片段关键实现必须出现19%
知识事实固定事实性问题答案必须包含标准要点19%

具体题目不公开并定期轮换——公开会让上游可以针对题目做优化,反而失去检验意义。判分全程程序化,无人工干预。

判分与得分

  • 得分为 0–100 的加权分:答对得该题权重,答错不得分;展示分 = 最近 4 轮评测均值。
  • 「答不上来」和「问不出去」严格区分:网络、限额等链路问题导致题目发不出去时,该轮不记分也不计入统计, 绝不把链路故障算成模型降智。
  • 得分低于 85 分、或较自身 7 日均值骤降,会触发内部告警,由运营人工核实处置(换渠道/修复上游)—— 监测本身不自动改动线上服务与对外展示,得分如实公开。

公开统计口径

  • 状态页统计所有探针样本量达标(≥ 5)的在售模型,数据如实呈现、不做剔除:评测数据齐全为「已验证」, 金丝雀数据未积累完成为「试运行」,样本不足为「接入观察中」。
  • 可用率 90% 与金丝雀 85 分是内部告警线:越线只触发告警与人工处置,不改变对外展示——坏数字同样如实公开。
  • 日历格按天聚合(UTC):绿 ≥90% · 黄 ≥70% · 红 <70%;系列色条 = 系列内在售达标模型的当日均值。
  • 事件时间线做「合并降噪」:同一模型的连续异常合并为一条事件,标注起止与恢复状态,而非逐条原始记录刷屏。

诚实声明

我们对展示做「口径圈定 + 呈现降噪」,但绝不虚构任何一个数据点: 每个百分比、每条曲线背后都是真实探测记录。统计口径全部公开在本页与状态页脚注,欢迎监督比对。