#视频理解
这个主题在过往早报中的出现记录。深度条目直达研究报告，其余条目回到当日 edition。
- 模型发布2026-09-19 · 周六重要度 4/5
待验证｜Qwen3.8-Omni-Flash发布
Qwen 官方 X 9 月 18 日称推出 Qwen3.8-Omni-Flash，主打音视频理解、工具调用和 100 万 token 上下文。
- 这条的产品意义明确，但当前稳定日期锚点主要来自官方 X。
- 早报只把它作为待验证发布报道，等待 Qwen 博客页补齐可抓取日期。
- 产品上新2026-09-02 · 周三重要度 4/5深度报告 →
Gemini视频理解引入agentic取帧
Google DeepMind 9月1日发布Gemini agentic video understanding，称API可用，token最多减少88%，准确率最多提升7%。
- 这条更新把长视频理解从固定抽帧推向按任务选择证据。
- 节省token只是表层收益，更大的问题是模型能否稳定决定何时看帧、何时看转写、何时追问音频。
- 研究论文2026-07-18 · 周六重要度 4/5深度报告 →
VideoChat3 登顶 HF 日榜，4B 模型与数据页更新
VideoChat3 于 7 月 17 日成为 Hugging Face 日榜第 1。团队同步更新 4B 模型、训练仓库和三套视频数据资源。
这条的价值在完整开放承诺和跨通用、长视频、流式场景的统一设计。性能结论仍主要来自作者评测。
- 产品上新2026-07-07 · 周二重要度 4/5深度报告 →
待验证｜Claude Code 学会看视频:1.2k Star 的本地 FFmpeg 方案,把多模态缺口补成了一段命令行
开源工具 claude-real-video 用 FFmpeg 场景检测与 Whisper 转写,把任意 URL 或本地视频拆成 LLM 可读的关键帧与文本。GitHub 累计 1.2k Star,并上过 Hacker News 首页。对 Claude Code 而言,这等于把“看视频”补到了本地工作流级别。
- 产品上新2026-07-06 · 周一重要度 3/5深度报告 →
claude-real-video：把视频“翻译”成 Claude 能读的文件夹
开源 Python 工具用场景感知抽帧+音频转写，把视频压成 5–15 张关键帧+字幕文本，喂给任何不支持原生视频的 LLM；GitHub 24 小时内冲到 936 星、登 HN 首页（165 分/56 评），但评论区对“为什么不直接用 Gemini”吵成两派。
- 工具的真正价值不在技术而在把多模态缺口的体感变成一个 30 行的可执行命令。
- 和 Gemini 原生视频的关系不是替代而是分场景并存——crv 覆盖本地、隐私、Claude Code 生态绑定这条窄路。
- 产品上新2026-07-04 · 周六重要度 3/5
GitHub 今日 AI Agent 工具五连发:self-learning-skills、sim-use、Ava 与视频技能
GitHub 今日出现五个高 star AI Agent 工具:self-learning-skills 沉淀编程经验,sim-use 接入 iOS/Android 设备,Fundamental-Ava 做数字人,claude-real-video 处理视频理解,video-production-skills 提供视频制作技能库。
- 五个项目共同扩展 Agent 能力边界:自我学习让 agent 沉淀经验
- sim-use 与 claude-real-video 把交互从文本扩到 GUI 和视频