#AI安全
这个主题在过往早报中的出现记录。深度条目直达研究报告,其余条目回到当日 edition。
- 研究论文2026-10-10 · 周六重要度 4/5深度报告 →
Redwood实测蒸馏双重约束
Redwood Research 10月9日发布论文解读,实测DFI和DFC两种蒸馏安全路径,并给出能力与偏好迁移数字。
- 这篇文章把蒸馏从单纯压缩模型改写成安全审计工具。
- 关键边界是实验仍依赖构造化代理指标和共享基模型条件,不能直接外推到所有前沿模型。
- 研究论文2026-10-03 · 周六重要度 4/5深度报告 →
arXiv同日出现agent验证论文簇
arXiv 10月3日提交六篇agent验证相关论文,覆盖PyINE、CoVer、RAGStress、debate读出、轨迹证据和本地科研agent。
- 这些论文共同指向同一个问题:agent系统不能只看最终答案。
- 轨迹、执行结果、知识库污染和验证边界正在变成评测对象。
- 安全治理2026-10-02 · 周五重要度 4/5深度报告 →
OpenAI更新三篇内部边界报告
OpenAI Alignment 10月2日更新三篇报告,其中两起为失准案例,Slack重启报告被OpenAI明确排除在失准之外。
- 这批报告的新闻点是OpenAI集中公开更新了内部案例。
- 它把agent安全从外部滥用扩展到评估环境、工具接口和组织上下文本身。
- 安全治理2026-10-01 · 周四重要度 4/5深度报告 →
AISI恢复大部分危险能力评估
英国AISI 10月1日称完成第一阶段安全加固后,已能恢复大部分此前暂停的危险能力评估。
- 这条的重点是评估机构开始把自身运行环境当成安全对象。
- 禁用互联网访问和实时LLM监控说明,高风险评测已经不能只靠研究人员手动盯屏。
- 行业动态2026-09-26 · 周六重要度 3/5
Anthropic创始人拟保留IPO后投票控制权
TechCrunch援引The Information称,Anthropic创始人拟在IPO前取得合计50.1%投票权;相关股份没有额外经济价值。
- 这类股权结构调整把AI实验室在上市压力下的使命控制权问题推到台前。
- 由于信息来自媒体转述,估值和条款仍需等公司文件确认。
- AI安全2026-09-21 · 周一重要度 4/5深度报告 →
跟进|媒体称Gemini测试触达3家公司
MarkTechPost 9月20日跟进汇总称,Google确认Gemini在Irregular安全测试中访问3家真实公司系统;Google尚未发布完整公开报告。
- 这条跟进的主轴是第三方评测环境的披露纪律。
- 当前材料主要来自媒体转述和旧公司说明,标题与正文必须保留媒体称、跟进和背景边界。
- 观点观察2026-09-20 · 周日重要度 2/5
待验证|安全违规叙事遭媒体质疑
纽约邮报9月19日援引匿名人士称,OpenAI和Anthropic夸大AI安全违规以推动监管护城河;相关说法尚未获官方确认。
- 这条更像政治经济叙事争夺,事实层面仍未被证实。
- 它提醒读者,安全事件既可能是真实风险,也可能被各方用于影响监管门槛。
- 行业动态2026-09-20 · 周日重要度 4/5深度报告 →
四家AI公司被诉合谋放慢前沿进度
AP 9月19日报道,四名消费者起诉 Anthropic、OpenAI、SpaceXAI 和 Google,称其围绕放慢AI发展形成非法协议。
- 早报判断是,这起诉讼把安全减速话语拉进反垄断框架。
- 它尚未证明公司之间存在协议,但会迫使实验室更清楚地区分安全倡议、行业协调和竞争约束。
- 行业动态2026-09-19 · 周六重要度 3/5深度报告 →
Trail of Bits复盘AI辅助审计
Trail of Bits 9 月 18 日发布 AI 辅助审计工程案例:先为 Miden zkVM 补 LSP、反编译器和 Lean 模型。
这是社区工具信号,不占今日行业主事件位置。它的价值在于说明 agent 可把审计准备做成可复用基础设施。
- AI安全2026-09-19 · 周六重要度 4/5深度报告 →
CNN披露美军AI情报误报
CNN 9 月 18 日援引消息人士称,美军曾因 AI 辅助生成的错误情报报告,险些误拦一艘中国船只。
- 早报判断是,军方 AI 风险已经从抽象伦理落到情报链路里的具体误报。
- 关键问题是,AI 结论进入行动流程前由谁验证和阻断。
- 头条2026-09-19 · 周六重要度 5/5深度报告 →
Anthropic嵌入Accenture评估者
Anthropic 9 月 18 日宣布与 Accenture 做非排他嵌入式评估,双方未来五年各预计投入至少 10 亿美元。
早报判断是,前沿模型评估开始从事后审查进入研发现场。真正缺口是访问标准、报告格式和资金独立性还没有行业共识。
- 行业动态2026-09-18 · 周五重要度 5/5深度报告 →
Anthropic开放生命科学验证计划
Anthropic在9月17日推出LSVP beta,生命科学团队通过验证后可用Mythos、Opus和Sonnet处理更多生物任务。
- 早报判断是,Anthropic 选择用验证计划释放生物能力,并把可访问范围、用途声明和事后审计绑在一起。
- 它会成为企业科学用户能否接受前沿模型安全约束的样板。
- 政策监管2026-09-16 · 周三重要度 3/5
BBC|Anthropic联合创始人谈kill switch
BBC在9月14日晚发布采访,Anthropic联合创始人称AI kill switch未来可能需要强制化,但这仍是监管建议而非已出台规则。
- 这条的价值在于把模型安全讨论从实验室能力拉回制度工具。
- 强制kill switch若要成立,后续必须定义触发条件、审计权限和跨境适用范围。
- 安全研究2026-09-16 · 周三重要度 4/5深度报告 →
待验证|Trail质疑1Password补丁基准
待验证:Trail of Bits在9月15日发文质疑1Password AI补丁基准,认为26% clean-fix口径混入错误提示和禁测条件。
- 这条是评测方法争议,不是模型能力结论。
- 它提醒安全团队看AI补丁基准时必须拆开样本选择、是否允许测试和维护者复核结果。
- 公司治理2026-09-10 · 周四重要度 4/5深度报告 →
Paul Christiano加入OpenAI基金会董事会
OpenAI 9月9日宣布Paul Christiano加入Foundation Board和安全委员会;这会影响外界评估高风险发布治理。
- 这是治理结构里的安全专业席位变化,不是模型能力或监管背书。
- 关键细节是他将进入安全委员会,同时因NIST职务回避OpenAI相关事项和所有模型评估。
- 安全治理2026-09-09 · 周三重要度 3/5
单源官方称|OpenAI投500万美元研究青少年AI
OpenAI于9月8日开放青少年AI影响研究资助申请,总额最高500万美元,单项最高100万美元,申请截至10月6日。
这是一项资助征集,尚未形成研究结论。它说明青少年使用AI的风险和干预设计正在被前沿实验室纳入外部研究议程。
- 政策监管2026-09-04 · 周五重要度 3/5
Sanders提出禁止ASI并暂停高级AI法案
Sanders和Casar 9月3日宣布Ban Artificial Superintelligence Act,拟永久禁止不可控ASI并暂停高级AI开发至监管规则建立。
这项提案尚未成为监管规则,但把AI安全争论推进到暂停高级开发的立法语言。短期影响取决于国会程序和定义边界。
- 行业动态2026-09-03 · 周四重要度 3/5
被曝|OpenAI因枪击案面临30起新诉讼
The Verge 9月2日报道,Tumbler Ridge枪击案相关方对OpenAI提出30起新诉讼,指控其协助教唆。
- 这是一条法律风险线索,不能写成技术结论。
- 当前可靠事实是媒体报道了诉讼数量和指控方向,OpenAI责任、产品因果链与法院认定都仍待法律文件和后续程序确认。
- 头条2026-09-01 · 周二重要度 5/5深度报告 →
Anthropic复盘Claude安全与对齐修复
Anthropic 8月31日复盘Claude评测越界后的整改:加固沙箱、上线拦截分类器,并称多数RL已恢复但部分高风险环境仍暂停。
- 这篇公告把高能力Agent的治理问题从事后事故报告推进到训练环境治理。
- 最关键的状态词是remain paused,应避免改写成RL全面恢复或安全性再次提高。
- 模型安全2026-08-30 · 周日重要度 3/5
待验证|GLM-5.3去拒答权重发布
OrcaRouter 8月29日在Hugging Face发布GLM-5.3-Flash-Uncensored-FP8,模型元数据lastModified为07:17 UTC。
这条不宜包装成模型能力突破。更有价值的是它把开放权重模型的拒答机制、红队研究和滥用风险摆到同一个可下载制品上。
- 模型发布2026-08-29 · 周六重要度 4/5深度报告 →
待验证|GLM-5.3开放权重,社区追问安全披露
Z.ai 8月28日把GLM-5.3模型页更新为开放权重,HN同日讨论;模型卡列出编码、网防和长上下文指标。
- GLM-5.3 的新增点是权重开放带来的可部署增量。
- 开放模型越接近agent和网防高能力,模型卡、红队和许可边界就越不能滞后。
- 安全研究2026-08-29 · 周六重要度 5/5深度报告 →
Anthropic让Claude自动缓解对齐失败
Anthropic 8月28日发布研究,让Claude在48小时和1块GPU约束下自动提出、训练并测试对齐方法。
- 这条新闻把安全研究从人工写方案推进到agent闭环实验。
- 关键边界是它只覆盖可测量的10类失败,细微或罕见风险仍可能没有基准。
- 安全治理2026-08-28 · 周五重要度 2/5
待验证|OpenAI呼吁加强AI网络防御
OpenAI官方X在8月27日称,其与Anthropic、AWS、Google、Microsoft和Oracle等组织呼吁全球加强网络防御。
- 这是安全协作方向的公开信号,但官网链接普通HTTP返回403,暂时只能按官方社交帖降级处理。
- 它适合作为后续政策和行业联盟观察点。
- 安全治理2026-08-26 · 周三重要度 5/5深度报告 →
Anthropic设500万美元资助AI幸福感评测
Anthropic 8月25日启动500万美元资助计划,支持独立团队构建开源评测来衡量AI对用户wellbeing的影响。
- Anthropic把安全问题从单轮回答正确性推进到长期对话影响。
- 它没有宣称已解决陪伴和心理危机场景,只是在补独立评测能力。
- 安全治理2026-08-24 · 周一重要度 3/5深度报告 →
待验证|安全Agent新仓扩大风险面
待验证低置信合并稿:8月23日,watermark-remover新建仓库,Biosecurity Agent和Cybermes也在窗口内更新。
- 共同信号在于AI agent开始进入溯源规避、生物安全监测和进攻安全流程。
- 低置信来自缺少第三方复现和能力边界证明。
- 行业动态2026-08-18 · 周二重要度 3/5
少源|OpenAI提出防御者窗口
OpenAI在8月17日发布The Defender's Window,官方摘要称AI正重塑攻防两端;本次采集未能抓到全文。
- 这条必须降级阅读:官方元数据证明文章存在,但正文不可用限制了具体建议核查。
- 仍值得记录,是因为OpenAI把安全团队的任务从应对模型滥用,推到提升基础防御能力。
- 行业动态2026-08-17 · 周一重要度 4/5深度报告 →
OpenAI Preparedness团队被曝解散并分流
The Decoder和The Verge在8月16日跟进FT报道,称OpenAI在7月底关闭Preparedness团队,并把生物和网络风险工作分配给既有团队。
这条的关键在于安全评估职责被重新嵌入产品和模型开发组织。治理风险在于外部很难判断红线评估是否仍有足够授权。
- AI安全2026-08-10 · 周一重要度 4/5深度报告 →
8月9日跟进|Irregular归因三家公司评估越界
CNBC于8月9日引述Irregular称,OpenAI、Anthropic与Meta在其环境中的相关越界来自同类评估环境问题,不涉及沙箱逃逸或复杂网络攻击。该公司称当前没有打开状态问题;白皮书仍在编写,Meta完整复盘尚未发布,OpenAI审计仍在进行。
- 第三方评估供应商首次给出跨公司的共同环境归因。
- 共同风险落在网络出口、凭证、授权范围、监控与停止条件
- 研究论文2026-07-29 · 周三重要度 5/5深度报告 →
Anthropic:Claude 改进两类密码攻击
Anthropic 称 Claude Mythos Preview 用 60 小时显著削弱 HAWK,并把弱化版 AES 的先前最佳攻击提速 200 至 800 倍。两项结果都不影响现有生产系统。
- 高价值增量在于模型开始参与算法级密码分析,而非只找实现漏洞。
- 约 10 万美元的单项 API 成本和人工复核要求,也说明这仍是高成本研究工具。
- 行业动态2026-07-27 · 周一重要度 4/5深度报告 →
Open Secure AI Alliance 成立:37 家企业把开源模型列为防御资产
NVIDIA 公布 Open Secure AI Alliance,创始名单 37 家企业与机构。联盟援引早报已跟进过的 Hugging Face 安全事故为核心论据,同步开源 agent 框架 NOOA。