AI 价格数据源 robots 核验：分组匹配、缓存与运行时熔断

RFC 9309 将 robots.txt 定义为服务所有者向自动客户端表达 URI 访问偏好的协议。允许某个路径只表示没有匹配的禁止规则，并不证明页面数据准确、可转载、可商用或属于模型厂商官方来源。

Google 同样强调 robots.txt 用于管理抓取流量，不是隐藏网页或保护秘密的手段。AI 数据源核验要把 crawl_allowed、source_authority 和 content_license 分成不同字段，避免一个绿色 robots 状态掩盖其他风险。

证据边界：本节以 S1 支持“RFC 9309 定义 User-Agent product token、Allow/Disallow 规则、最长匹配、访问结果与缓存处理。”。

爬虫应发送可识别的 User-Agent，并用其中的 product token 选择最具体的匹配组；没有专属组时再看星号组。Allow 与 Disallow 路径按最具体匹配决定，等长冲突时 RFC 建议 Allow 优先。

规则比较还涉及大小写、百分号编码和重定向。工程上不要用简单 startsWith 代替标准解析器；至少用测试集覆盖中文路径、查询串、通配符、空规则、多个组和 robots.txt 自身。

证据边界：本节以 S2 支持“Google 说明 robots.txt 主要用于管理抓取流量，并提醒它不是隐藏网页或保护敏感信息的机制。”。

每个 AI 价格来源域名应有 enabled、robots_status、checked_at、expires_at、allowed_paths 和 decision_reason。定时重取 robots 后若规则收紧，调度器先暂停受影响路径，再等待人工确认，而不是等下一次抓取失败。

聚合目录链接到多个卡网店铺时，目录域名的规则不能继承到商店域名。子域、协议和端口也需要独立判断；重定向落到新主机时必须重新做 robots 预检，避免白名单通过后跨到未知来源。

robots.txt 临时不可达、5xx 与网络超时应进入保守重试策略，并限制缓存时间。对于高频 AI 价格任务，宁可显示数据陈旧，也不要在规则状态不明确时自动提高并发。

本文核验截止 2026-08-29，具体来源的 robots 内容可能随时改变。公开页面应显示“最近规则核验时间”和来源状态；若某来源暂停，不应把最后一次价格继续包装成实时，也不应把暂停原因写成对服务商信誉的判断。

工程落地时，为“AI 数据源 robots 核验”建立独立 article_run_id，并保存 selected_semrush_record、database、measured_on、source_snapshot_ids、content_hash、reviewer 与 gate_status。Semrush 字段只参与选词和意图决策，不进入价格公式，也不把 US 指标解释成中文或中国市场需求。

论点账本必须逐条可回放：S1 对应 C1：“robots 解析必须按特定 user-agent、最长路径匹配和 Allow/Disallow 优先规则计算。”；S2 对应 C2：“robots.txt 用于管理抓取，不是隐藏网页、权限控制或来源可信度证明。”。编辑器在段落层写入 evidenceRefs，构建检查确认引用 ID 存在；来源页面发生结构变化时，只把对应论点退回复核，不让整篇文章静默继承旧快照。

动态复核字段包括：每个来源域名的 robots 状态、内容哈希、抓取时间和匹配规则、robots 变化后的启停状态和缓存失效时间。发布任务应读取当前页面、保留原始单位和地区、与上一快照做字段级 Diff，并记录核验日期 2026-08-29。缺失、受限或无法确认的值保持 null 或“待复核”，不使用 0、均值或相邻产品代填。

独立 SVG 采用“User-Agent 分组、最长匹配与域名启停决策树”结构，输入维度为：domain、robots status、user-agent、path、matched rule、decision、fetchedAt。图表只绘制有来源的数据，缺失项显示空缺；alt、caption、图内标题与正文使用同一术语，并在图注标明动态字段核验日期。