全部样例
SAMPLE REPORT
Kimi

Kimi 线路 · 国模没有签名怎么判

这份报告回答了什么:一条卖 Kimi 的线路,与 Moonshot 官方同题对照像不像、温度 / 思考 / 工具调用三项契约守不守——等价度怎么算出来的。

国产模型没有官方签名可验,所以只认「与官方同题对照」的等价度证据,不判产地:规矩写在报告里,不猜。

被测:AI API Way 自家 Kimi 线路(公开标注),与 Moonshot 官方直连同题对照 · 角标「样例 · 非本人线路」
外行怎么看
看「是真的吗」为什么是「有条件」或「过」:像官方到什么程度,报告用百分比和例子说。
采购怎么看
看「全不全」:温度契约、思考回传、工具调用准确率三项,哪一项打了折扣。
工程怎么看
看同题对照的样本量、分布差、知识边界对照(KBF)与契约逐项。
AAW-鉴定 · Kimi 线路鉴定报告AAW Verify · Supply-line Verification Report
报告 #24 · AAW-AR-kimi-24-f139f657791f实测 2026/11/2 19:25:25 · 出具 2026/11/2 19:25:26样例 · 非本人线路
C先试用
kimi-k3目的:通用调用

先试用(C):有参数被网关吞掉或改掉

依据
六问:通过 4 · 有条件 1 · 未通过 1。置信:高置信——多条独立证据一致。
建议
先小流量试用,用你自己的任务对照官方后再决定是否放量。
  1. 1通不通通过
  2. 2真不真通过
  3. 3全不全未通过
  4. 4快不快通过
  5. 5值不值有条件
  6. 6哪来的通过
置信 · 高置信最高证据 · 实测对照rules-5.1bank-2026.11多条独立证据一致

本视角已脱敏:不含采购方身份、线路备注与我方给采购方的建议;只保留测量事实与整改项。

二六问逐项证据

一句话结论 → 引擎说明 → 测什么、怎么测 → 观测值 → 指标 → 原始信号 → 复现步骤。

1通不通通过证据:实测对照

线路连得上、流得稳吗

线路连得上,流式与并发场景都稳

引擎说明:连通可用:通过
测什么:连通性、流式 SSE 事件完整性、短题并发爬坡·怎么测:用真实请求打通;检查流式事件序列有没有缺件;短题并发爬坡看错误率和抖动。
指标
streamOk
3/3
modelsListed
pass
transientErrors
0/17
loadMaxErrorRate
0.0%
transientErrorRate
0.0%
loadErrorRateCeiling
5.0%
loadCapacityConcurrency
50
原始信号清单(4 条)
  • /models 含目标型号:命中 kimi-k3
  • 连续 3 次流式:3/3
  • 压力阶梯:c1=0% · c2=0% · c5=0% · c10=0% · c20=0% · c50=0%
  • 瞬时错误率(429 / 5xx / 超时):0/17 发(0%)
复现步骤
  1. 用同一 Base URL / Key 发一条最短 messages 请求(stream=true),核对 SSE 事件序列:message_start → content_block_* → message_delta → message_stop。
  2. 以 5 → 10 → 15 并发重复短题,记录错误率与首字抖动。
2真不真通过证据:实测对照

后面是不是宣称的模型

与官方同题对照高度等价:工具触发、结构化参数与固定题都对得上,是 Kimi 的正常表现

引擎说明:模型身份(真不真):通过
测什么:官方签名验证、身份题、model 字段、消息 id 形态·怎么测:把线路返回的、官方签过名的思考块拿去请官方验证——假的一验就穿;再对照身份题与协议指纹。
指标
kbfK
0
kbfN
66
kbfP
0.99
kbfW
1
kbfP0
0.0674
kbfState
consistent
k2vvScored
29
selfReport
Kimi
toolCallF1
100.0%
canaryPassed
3/3
toolCallF1Floor
73.0%
officialComparison
已跑
原始信号清单(4 条)
  • 金丝雀数学 ×3:3/3 答对
  • 模型自述:自称 Kimi / Moonshot
  • K2VV 迷你 tool_call_f1(≥73%):F1=100.0% · TP14/FP0/FN0/TN15 · 跳过3
  • 知识边界对照(官方当天自校准 + 被测审计):被测不一致 1/66,官方当天 0/66(上界 6.7%);p = 0.990 ≥ 0.05:知识边界与官方模型一致;McNemar b=1 c=0 p=1.000;无效答复:官方 14 / 被测 0 道
复现步骤
  1. 请求开启 thinking,取回包中的思考块签名。
  2. 把该思考块原样回传官方 Messages API 续接:官方接受 = 该思考确由 Claude 生成;把签名改坏一位再发,官方应以 400 拒绝(阴性对照)。
  3. 同题对照:与官方直连比对推理结论、知识边界与身份题回答。
3全不全未通过证据:指纹推断

请求有没有被改、能力有没有打折

有参数被网关吞掉或改掉

引擎说明:协议保真:ToolCall Schema(≥98%)
测什么:stop_sequences、max_tokens、工具调用、多轮签名回传;请求改写证据(官方前缀 / 隐藏 token / harness 自述);智力对照(与官方同题比正确率)·怎么测:逐项发出带参数的请求,核对回包是否严格遵守;多轮对话里把签名传回去看是否被接受;同一组智力题被测与官方各答一遍,官方会而它不会 → 能力打折。
指标
non_stream
pass
schemaPass
0/0
json_object
pass
negative_role
pass
param_reference
pass
schema_accuracy
fail
thinking_effort
pass
tool_choice_none
pass
tool_choice_required
pass
原始信号清单(8 条)
  • 非流式结构:content 非空
  • 思考档位:2/2 档接受
  • tool_choice=none:未出工具
  • tool_choice=required:调了 get_weather
  • response_format=json_object:合法 JSON
  • 负向未知 role → 4xx:HTTP 400(对齐官线拒绝)
  • ToolCall Schema(≥98%):无有效 tool_calls 样本(K3 does not support disabled thinking mode. Please enable thinking and try again);指定 tool_choice 思考开着被拒(与官方一致),按官方口径关思考 重打仍被拒(官方会收)→ 这条线上「强制指定工具」用不了
  • 参数表契约(同族官方对照):3/3 与官方一致:未知顶层参数 收下(200);K3 reasoning_effort=low 收下(200);K3 收不收 K2 式 thinking 收下(200)
复现步骤
  1. 逐项发送带 stop_sequences / max_tokens / system / tools 的请求,核对回包是否严格遵守。
  2. 多轮对话携带上一轮思考块(含签名)回传,确认被接受而非被剥离。
4快不快通过证据:指纹推断

首字比官方慢多少

首字与逐字速度都在供应商接入基线之内

引擎说明:短提示 TTFT / TPOT:TTFT P50 2407.5ms · P95 3091.1ms · TPOT P50 2.3ms(基线 <35ms) · 10/10 · 输出上限 128,含推理,不是完整回答要多久
测什么:首字时延 TTFT、流式时长、思考时长·怎么测:同题、同时段与官方直连对照,只报差值与档位,不做绝对承诺。
指标
baseline
供应商接入基线(MTB 口径)
tpotP50Ms
2.3
ttftP50Ms
2407.5
ttftP95Ms
3091.1
tpotP50CeilingMs
35
原始信号清单(1 条)
  • 同上(见前文)
复现步骤
  1. 同题、同时段、同区域对官方直连与被测线各取至少 3 次首字时延,取中位数比值。
5值不值有条件证据:实测对照

计费和官方一样吗,有没有暗塞内容

计费比官方多约 <0.1%,差额不大

引擎说明:计费与负载:通过
测什么:count_tokens 对账(隐藏注入分级)、大题计费对账、缓存冷 / 热命中·怎么测:同一段文本让线路与官方分别数 token,差值就是被注入的量;大题看比例;缓存看第二次是否真便宜。
指标
deltaRatio
0.0%
deltaTokens
0
usageDetail
pass
cacheHitFloor
60.0%
officialTokens
207
reportedTokens
207
cacheHotHitRate
0.0%
原始信号清单(3 条)
  • 前缀缓存冷/热命中:冷轮 cached=0 · 热轮命中 0/7(0%,基线≥60%)
  • usage 细节透传:cached=0 reasoning=246
  • 同题 prompt_tokens 对账:prompt_tokens 与官方一致:short 被测 86 / 官方 86(Δ+0);long 被测 207 / 官方 207(Δ+0)
复现步骤
  1. 同一段长文本分别调用被测线与官方 count_tokens,差值即注入量。
  2. 大题:比对 usage.input_tokens 与官方同请求的计数。
  3. 缓存:同一 cache_control 前缀连发两次,第二次应出现 cache_read_input_tokens。
6哪来的通过证据:指纹推断

货从哪里来,和宣称一致吗

货源:第三方托管(云厂自部署的开源权重)——官方 API 层的参数校验没在这层执行;不影响真不真

引擎说明:实现来源(哪来的):通过(含警告)
测什么:消息 id 前缀、响应头族、思考显示样式、功能可用性·怎么测:多条弱信号拼成证据包,按四色归因只陈述测量结果;只有确凿的假模型 / 假签名才叫「假」。
指标
claimed
云厂 / 第三方托管(开源权重自部署)
originKind
cloud
contractsLaxer
1
contractsCompared
5
原始信号清单(2 条)
  • temperature 契约(思考模式 ≠1.0):官方拒收、被测收下 1/1(官方 API 层校验没在被测这层执行,第三方托管特征,不扣真不真):思考模式 + temperature 0.2:被测 收下(200) / 官方 拒收(400)
  • reasoning_content 回传契约:1/1 与官方一致:工具历史缺 reasoning_content 收下(200)
复现步骤
  1. 记录消息 id 前缀、响应头族、web_search / tool_use 可用性、思考显示样式,与四类货源形态对照表比对。

三整改清单

级别来自整改项
P0全不全停止对请求参数(stop_sequences / max_tokens / system / tools / 多轮思考块)的改写与剥离。
P1值不值存在少量暗塞内容或计费偏差:核对系统提示与 token 计数口径。

四AAW Verify · Summary

English summary — the only English block in this report.

kimi-k3 · Grade C · Trial first · High confidence. Evidence is insufficient or several items are conditional; trial with low traffic before committing.

  • 1ReachabilityPassReachable; streaming and concurrency are stable
  • 2AuthenticityPassHighly equivalent to the official API on the same questions: tool triggering, structured arguments and fixed questions all match Kimi
  • 3Protocol integrityFailParameters were dropped or altered in transit
  • 4SpeedPassTTFT and per-token speed within the vendor onboarding baseline
  • 5Billing & valueConditionalMinor injection or slight billing deviation (≈ <0.1%)
  • 6OriginPassOrigin: third-party hosting (open weights self-deployed on a cloud / inference platform) — the official API-layer parameter checks are not enforced here; does not affect authenticity

Rules rules-5.1 · bank-2026.11. This summary is generated by AAW Verify from a single assessment run under the stated rule version. It reflects measurements at the time of testing only and is not a guarantee of future behaviour, availability or pricing.

五签章与核验

核验码
AAW-AR-kimi-24-f139f657791f
出具时间
2026/11/2 19:25:26
规则 / 题库版本
rules-5.1 · bank-2026.11
归档编号
#24

签章覆盖的总评句:与官方同题对照高度等价:工具触发、结构化参数与固定题都对得上,是 Kimi 的正常表现;计费有保留、协议不过关;货源:第三方托管(云厂自部署的开源权重)——官方 API 层的参数校验没在这层执行;不影响真不真

按出具当时规则 rules-5.1 · 题库 bank-2026.11 出具;规则升级不追溯改写历史报告。

签章由 AAW-鉴定 服务端 HMAC 生成,覆盖型号、等级、置信、实测时间、六问结论指纹与规则版本;改动任一字段签章即失效。核验页只返回摘要,不泄露报告正文。

去核验这份报告