操作速览
- 明确监测对象:网络、鉴权与模型请求分层。
- 说明样本窗口:次数、时间和失败类别。
- 展示不确定性:短期样本不代表永久表现。
自己测试一次中转站稳定性
1. 固定模型、输入、网络与超时,先连续采集一小组样本;把首段响应和整个请求耗时分开。
2. 保存失败状态和时间。浏览器 CORS 被拒绝、密钥错误和模型服务失败需要分别排查,不能统一叫宕机。
3. 本站测速只在页面打开时运行,最多采样 20 次;这不能代替 24 小时、7 天或 30 天的服务器长期监控。
稳定性先定义测量边界
每个样本要明确探针地区、网络、模型、请求大小、是否流式、超时和时间。一个中转站可能对国内模型稳定、对海外模型波动,也可能只在高峰期退化;全站单一可用率会掩盖这些差异。
本文介绍榜单测量方法,不代表本站已取得长期监控样本。应提供 24 小时、7 天与 30 天窗口,并允许读者查看覆盖模型与样本数。
- 样本绑定地区与模型
- 多个时间窗口并列
- 缺样本不等于稳定
本节参考:NIST AI RMF CoreRFC 9110 HTTP Semantics
按结果类型计算而非只看成功
至少区分 DNS、连接、TLS、401/403、429、5xx、超时、内容错误和正常响应。429 表示限流,不一定是整体宕机;401 可能是探针凭证问题;200 也可能返回错误正文,必须做协议与内容校验。
可用率可以用有效响应数除以有效样本数,但应排除明确的探针故障并公开排除规则。首字延迟、总时长和流式中断率独立统计,不用平均值替代 p50、p95 与 p99。
- 错误类型细分
- 200 仍需内容校验
- 延迟使用分位数
本节参考:RFC 9110 HTTP SemanticsRFC 6585 Additional HTTP Status Codes
样本量决定置信度
十次成功和一万次成功不能得到同样强度的结论。榜单可设置最小样本门槛,并对低样本服务商显示“观察中”,而不是用补零或主观估算填满排名。
跨服务商比较要使用相同任务模板和时间窗口。计划维护、明确 Retry-After 与突发不可达可分别展示,但不应秘密从分母移除;任何排除都记录 reason_code 和样本数量。
- 低样本标记观察中
- 同模板同窗口比较
- 排除规则公开
本节参考:RFC 6585 Additional HTTP Status CodesNIST AI RMF Core
分数要可解释、可版本化
稳定性分可由可用率、延迟、错误严重度、恢复速度与样本覆盖组成,但每个权重都应公开。NIST AI RMF 的透明、持续测量原则适合用于治理榜单方法,而不是替代具体统计设计。
风险边界是:外部探针无法代表所有用户网络,测试请求不覆盖真实负载,服务商也可能动态路由。榜单应提供原始聚合指标、算法版本、最后样本时间和申诉入口,避免把分数写成绝对质量认证。
- 权重与算法版本公开
- 分数链接到底层指标
- 提供纠错与申诉通道
本节参考:NIST AI RMF CoreRFC 9110 HTTP Semantics
参考来源
价格、规则和产品状态可能变化,可通过这些原始页面确认当前信息。
RFC 6585 Additional HTTP Status Codes
常见问题
AI 中转站返回 429 要算不可用吗?
应单独记为限流事件,并按公开规则计入容量或可用性维度;不能简单等同宕机,也不能完全忽略。
为什么 AI 中转稳定性榜单要显示样本量?
样本量决定统计结论强度。低样本的高成功率可能只是偶然,显示样本量能帮助读者理解不确定性。
