先试用(C):有参数被网关吞掉或改掉
- 依据
- 六问:通过 4 · 有条件 1 · 未通过 1。置信:高置信——多条独立证据一致。
- 建议
- 先小流量试用,用你自己的任务对照官方后再决定是否放量。
- 1通不通通过
- 2真不真通过
- 3全不全未通过
- 4快不快通过
- 5值不值有条件
- 6哪来的通过
二六问逐项证据
一句话结论 → 引擎说明 → 测什么、怎么测 → 观测值 → 指标 → 原始信号 → 复现步骤。
线路连得上、流得稳吗
线路连得上,流式与并发场景都稳
- streamOk
- 3/3
- modelsListed
- pass
- transientErrors
- 0/17
- loadMaxErrorRate
- 0.0%
- transientErrorRate
- 0.0%
- loadErrorRateCeiling
- 5.0%
- loadCapacityConcurrency
- 50
原始信号清单(4 条)
- /models 含目标型号:命中 kimi-k3
- 连续 3 次流式:3/3
- 压力阶梯:c1=0% · c2=0% · c5=0% · c10=0% · c20=0% · c50=0%
- 瞬时错误率(429 / 5xx / 超时):0/17 发(0%)
- 用同一 Base URL / Key 发一条最短 messages 请求(stream=true),核对 SSE 事件序列:message_start → content_block_* → message_delta → message_stop。
- 以 5 → 10 → 15 并发重复短题,记录错误率与首字抖动。
后面是不是宣称的模型
与官方同题对照高度等价:工具触发、结构化参数与固定题都对得上,是 Kimi 的正常表现
- kbfK
- 0
- kbfN
- 66
- kbfP
- 0.99
- kbfW
- 1
- kbfP0
- 0.0674
- kbfState
- consistent
- k2vvScored
- 29
- selfReport
- Kimi
- toolCallF1
- 100.0%
- canaryPassed
- 3/3
- toolCallF1Floor
- 73.0%
- officialComparison
- 已跑
原始信号清单(4 条)
- 金丝雀数学 ×3:3/3 答对
- 模型自述:自称 Kimi / Moonshot
- K2VV 迷你 tool_call_f1(≥73%):F1=100.0% · TP14/FP0/FN0/TN15 · 跳过3
- 知识边界对照(官方当天自校准 + 被测审计):被测不一致 1/66,官方当天 0/66(上界 6.7%);p = 0.990 ≥ 0.05:知识边界与官方模型一致;McNemar b=1 c=0 p=1.000;无效答复:官方 14 / 被测 0 道
- 请求开启 thinking,取回包中的思考块签名。
- 把该思考块原样回传官方 Messages API 续接:官方接受 = 该思考确由 Claude 生成;把签名改坏一位再发,官方应以 400 拒绝(阴性对照)。
- 同题对照:与官方直连比对推理结论、知识边界与身份题回答。
请求有没有被改、能力有没有打折
有参数被网关吞掉或改掉
- non_stream
- pass
- schemaPass
- 0/0
- json_object
- pass
- negative_role
- pass
- param_reference
- pass
- schema_accuracy
- fail
- thinking_effort
- pass
- tool_choice_none
- pass
- tool_choice_required
- pass
原始信号清单(8 条)
- 非流式结构:content 非空
- 思考档位:2/2 档接受
- tool_choice=none:未出工具
- tool_choice=required:调了 get_weather
- response_format=json_object:合法 JSON
- 负向未知 role → 4xx:HTTP 400(对齐官线拒绝)
- ToolCall Schema(≥98%):无有效 tool_calls 样本(K3 does not support disabled thinking mode. Please enable thinking and try again);指定 tool_choice 思考开着被拒(与官方一致),按官方口径关思考 重打仍被拒(官方会收)→ 这条线上「强制指定工具」用不了
- 参数表契约(同族官方对照):3/3 与官方一致:未知顶层参数 收下(200);K3 reasoning_effort=low 收下(200);K3 收不收 K2 式 thinking 收下(200)
- 逐项发送带 stop_sequences / max_tokens / system / tools 的请求,核对回包是否严格遵守。
- 多轮对话携带上一轮思考块(含签名)回传,确认被接受而非被剥离。
首字比官方慢多少
首字与逐字速度都在供应商接入基线之内
- baseline
- 供应商接入基线(MTB 口径)
- tpotP50Ms
- 2.3
- ttftP50Ms
- 2407.5
- ttftP95Ms
- 3091.1
- tpotP50CeilingMs
- 35
原始信号清单(1 条)
- 同上(见前文)
- 同题、同时段、同区域对官方直连与被测线各取至少 3 次首字时延,取中位数比值。
计费和官方一样吗,有没有暗塞内容
计费比官方多约 <0.1%,差额不大
- deltaRatio
- 0.0%
- deltaTokens
- 0
- usageDetail
- pass
- cacheHitFloor
- 60.0%
- officialTokens
- 207
- reportedTokens
- 207
- cacheHotHitRate
- 0.0%
原始信号清单(3 条)
- 前缀缓存冷/热命中:冷轮 cached=0 · 热轮命中 0/7(0%,基线≥60%)
- usage 细节透传:cached=0 reasoning=246
- 同题 prompt_tokens 对账:prompt_tokens 与官方一致:short 被测 86 / 官方 86(Δ+0);long 被测 207 / 官方 207(Δ+0)
- 同一段长文本分别调用被测线与官方 count_tokens,差值即注入量。
- 大题:比对 usage.input_tokens 与官方同请求的计数。
- 缓存:同一 cache_control 前缀连发两次,第二次应出现 cache_read_input_tokens。
货从哪里来,和宣称一致吗
货源:第三方托管(云厂自部署的开源权重)——官方 API 层的参数校验没在这层执行;不影响真不真
- claimed
- 云厂 / 第三方托管(开源权重自部署)
- originKind
- cloud
- contractsLaxer
- 1
- contractsCompared
- 5
原始信号清单(2 条)
- temperature 契约(思考模式 ≠1.0):官方拒收、被测收下 1/1(官方 API 层校验没在被测这层执行,第三方托管特征,不扣真不真):思考模式 + temperature 0.2:被测 收下(200) / 官方 拒收(400)
- reasoning_content 回传契约:1/1 与官方一致:工具历史缺 reasoning_content 收下(200)
- 记录消息 id 前缀、响应头族、web_search / tool_use 可用性、思考显示样式,与四类货源形态对照表比对。
三整改清单
| 级别 | 来自 | 整改项 |
|---|---|---|
| P0 | 全不全 | 停止对请求参数(stop_sequences / max_tokens / system / tools / 多轮思考块)的改写与剥离。 |
| P1 | 值不值 | 存在少量暗塞内容或计费偏差:核对系统提示与 token 计数口径。 |
四AAW Verify · Summary
English summary — the only English block in this report.
kimi-k3 · Grade C · Trial first · High confidence. Evidence is insufficient or several items are conditional; trial with low traffic before committing.
- 1ReachabilityPassReachable; streaming and concurrency are stable
- 2AuthenticityPassHighly equivalent to the official API on the same questions: tool triggering, structured arguments and fixed questions all match Kimi
- 3Protocol integrityFailParameters were dropped or altered in transit
- 4SpeedPassTTFT and per-token speed within the vendor onboarding baseline
- 5Billing & valueConditionalMinor injection or slight billing deviation (≈ <0.1%)
- 6OriginPassOrigin: third-party hosting (open weights self-deployed on a cloud / inference platform) — the official API-layer parameter checks are not enforced here; does not affect authenticity
Rules rules-5.1 · bank-2026.11. This summary is generated by AAW Verify from a single assessment run under the stated rule version. It reflects measurements at the time of testing only and is not a guarantee of future behaviour, availability or pricing.
五签章与核验
- 核验码
- AAW-AR-kimi-24-f139f657791f
- 出具时间
- 2026/11/2 19:25:26
- 规则 / 题库版本
- rules-5.1 · bank-2026.11
- 归档编号
- #24
签章覆盖的总评句:与官方同题对照高度等价:工具触发、结构化参数与固定题都对得上,是 Kimi 的正常表现;计费有保留、协议不过关;货源:第三方托管(云厂自部署的开源权重)——官方 API 层的参数校验没在这层执行;不影响真不真
按出具当时规则 rules-5.1 · 题库 bank-2026.11 出具;规则升级不追溯改写历史报告。
签章由 AAW-鉴定 服务端 HMAC 生成,覆盖型号、等级、置信、实测时间、六问结论指纹与规则版本;改动任一字段签章即失效。核验页只返回摘要,不泄露报告正文。
去核验这份报告