Topic Timeline
#AI爬虫
这个主题在过往早报中的出现记录。深度条目直达研究报告，其余条目回到当日 edition。
- 行业动态2026-09-16 · 周三重要度 5/5深度报告 →
Cloudflare拆开搜索与AI训练授权
Cloudflare在9月15日推出Disallow AI Training，让站点保留搜索索引，同时拒绝混合用途爬虫用于AI训练。
- 这是一条内容治理新闻，也是一条分发基础设施新闻。
- Cloudflare试图把搜索、训练和Agent访问拆成不同控制面，迫使爬虫运营商公开承诺边界。
- 行业动态2026-08-09 · 周日重要度 2/5
开发者称LLM爬虫致Gentoo Bugzilla短时下线
Gentoo开发者Michał Górny于北京时间8月8日14:31称，异常抓取已使Bugzilla无法正常使用，他将服务临时下线。最迟07:08，Bugzilla REST端点已可访问；LLM爬虫归因尚无正式事故报告。
- 这次事件把机器抓取的外部性从robots.txt争议推进到可用性中断。
- 恢复服务不等于根因消失，开放项目仍需在匿名访问、缓存、速率限制与研究可达性之间重新取舍。