研究论文

Gemma 4 技术报告上线 arXiv:开源权重扛起多模态与长上下文的新基线

Gemma 4 论文 + Apache 2.0 权重一起交卷,与 Gemini 3 同源但开放给所有人下载。

2026年7月9日 · 周四 深度报告 高置信 重要度 5/5

本文要点

  • 从'开源只能用 LoRA 微调'到'原生 dense 31B 跑进 Arena 开源稠密第 1、整体开源第 5'
  • 从'图像 + 文本'到'12B 用 encoder-free 把音频块与图像 patch 直接喂进主干'
  • 从'Gemma 条款受限'到'Apache 2.0 商业友好'

阅读辅助

先看数字、证据和来源,再读正文。

5 款 模型档位
128K-256K 原生上下文
5 条 Claim Audit

《Gemma 4 Technical Report》是五款 Gemma 4 模型第一次集中披露训练栈、post-training、长上下文与多模态细节的官方工程报告。

6 个时间点

2026-02-12 · Google 公布 Gemini 3 系列,Gemma 4 在官方路线图中被定位为同源开源对应物。

5 个来源 5 个非 X 来源

过去 24 小时,Google DeepMind 把一份 17 页《Gemma 4 Technical Report》放上 arXiv(2607.02770)与 Hugging Face Papers。早报把这篇放进头条,不是因为 Gemma 4 又添了一款开源权重,而是因为 DeepMind 第一次把训练栈、tokenizer、post-training 配方、长上下文设置与多模态架构的工程细节,摊到了学术级别的透明度——12,288 张 TPUv5p 上跑 12B、ZeRO-3 / Pathways / GSPMD / MegaScale XLA / Slice-Granularity Elasticity 的全套栈同时挂在 Section 2.7。围绕这份账本,31B Dense 在 Arena 文本榜以 1451 Elo 锁定整体开源榜第 5、开源稠密段第 1 的位次(前 4 名均为 1T 级别 MoE 集群);12B 以 encoder-free 架构首次让 dense 多模态跑出 FLEURS EN WER 0.063;license 同时从 Gemma 条款切到 Apache 2.0。这三件事单看都不算新,但放在一起意味着开源权重的训练基线,被从「半成品暴露」推到了「工程级披露」。

确认事实

  • 论文上线 arXiv / HF Papers。《Gemma 4 Technical Report》(arXiv:2607.02770)于 2026-07-02 21:08 UTC 提交,体量 17 页、2 张图,被 HF Papers 索引到 2607.02770 卡片;cs.CL / cs.AI 双分类,核心摘要与 HTML 全文均为官方发布。来源
  • 五款模型 + 一款 MoE。E2B(5B 总量 / 2.3B effective)、E4B(8B / 4.5B)、12B Dense、26B-A4B MoE(3.8B 激活 / 26B 总量)、31B Dense,全部 Apache 2.0 开放权重。来源
  • 12B 走 encoder-free 路线。12B 是论文中明确走 encoder-free 架构的变体,直接吃 40ms 音频块与图像 patch;FLEURS 英文 WER 0.063(无独立 ASR 编码器)、CoVoST 平均 CorpusBLEU 38.2(E4B)等同档成绩发表在 Section 4.2 Table 7 / Table 8。来源
  • 原生长上下文 128K-256K。Edge 模型跑 128K,larger 模型到 256K;RoPE 频率 global 层按 1M、local 层按 10K 设定。RULER 128K(无 thinking)31B = 96.4,26B-A4B = 89.8,12B = 91.2,作为同尺寸最强对照,而 Gemma 3 27B 仅 66.0。来源
  • 训练栈披露到 TPU 数量。12B 跑在 12,288 张 TPUv5p 上,16 × 16 × 48 shard;31B 用 10,240 张 TPUv6e;E2B 用 4,096 张 TPUv6e。ZeRO-3、Pathways、GSPMD partitioner、MegaScale XLA 编译器、Slice-Granularity Elasticity 一并写在 Section 2.7 Table 2。来源
  • Arena Elo 1451,整体开源榜第 5、开源稠密段第 1。Section 4.1 Table 4(2026-06-19 排行榜):Gemma 4 31B = 1451,排在 GLM 5.1(1475)、GLM 5.2 Max(1471)、Kimi K2.6(1460)、DeepSeek V4 Pro Thinking(1458)之后,这 4 个全部是 744B / 1T 级别 MoE;Gemma 4 31B 是榜单上第一个 Dense 模型,也是开源稠密段的第 1 名。来源
  • HF 模型页google/gemma-4-31B-it 公开 60 层、1024 token 滑动窗口、262K vocab、~550M vision encoder,thinking 模式由 <|think|> 触发。模型卡声明 Apache 2.0 license;量化变体 266、finetune 213、adapter 127。首月下载 11.5M 次来源
  • Google 官方公告。Google 博客 2026-04-02 由 Clement Farabet(VP Research, DeepMind)与 Olivier Lacombe(Director PM, DeepMind)联名发布,确认 Gemma 4 “built from the same world-class research and technology as Gemini 3”;Gemma 全家族 4 亿+ 次下载、Gemmaverse 10 万+ 变体;license 由 Gemma 条款改为 Apache 2.0。来源
  • benchmark 头部成绩。Section 4:31B MMLU Pro 85.2、AIME 2026 89.2、GPQA Diamond 84.3、LiveCodeBench v6 80.0;MMMU Pro 76.9、Math-Vision 85.6、MRCR v2(128K)66.4。

不确定部分

  • 论文没有把 Gemini 3 / GPT-5.6 / Claude 等闭源前沿拉进 benchmark 表。Section 4.1 引用对象全部是开源对手(DeepSeek V4 / GLM 5 / Kimi K2.6 / Qwen 3.5 / Gemma 3),与闭源对齐需要外部评测复算。
  • post-training 算法细节披露较少。Section 3 仅写”a similar post-training approach as in Gemma 3 with the addition of thinking mode”,SFT / RLHF / DPO 的具体配方未在 17 页里展开。
  • 训练数据成分没有按 token / 模态比例拆。Section 2.4 仅给出”web documents, code, images, audio (for E2B, E4B and 12B), cutoff January 2025”,未公开图像与音频的具体数量级、数据源配比。
  • Arena 榜单固定在 2026-06-19。早报时间是 7 月 9 日,期间榜单会有更新,25-30 名区间的 Elo 数字可能漂移 20+ Elo。
  • encoder-free 12B 的稳健性边界。在噪声语种、低资源方言、复杂组合指令下的样本覆盖仍有限,论文未把这一档拉到生产级评测。

读者影响

模型与产品厂商——开源稠密档被推到了 LLM 主线的次顶端。31B 一个稠密模型能做到 Arena Elo 1451、LiveCodeBench v6 80、AIME 89,这意味着类似尺寸的自研模型要重新对标。即使不在用 Gemma 4,同行也会用。

企业 AI 落地与基础架构——Apache 2.0 + 公开训练栈 + 262K vocab + Thinking mode 让 Gemma 4 31B 第一次具备可承担企业内部审计的合规姿态。在欧盟 AI Act、美国行政命令、以及 HIPAA / FedRAMP 类环境里,Gemma 4 的 license 比 Llama 4 社区协议更接近直接进采购流程。

长上下文与多模态产品团队——RULER 128K 96.4 与 encoder-free 12B 的组合,把”长上下文 + 多模态”从两套管线合并成一条主线。原来要做的是 ASR → 转写 → 文本 LLM → OCR / VLM,现在 12B 一档就能吃 40ms 音频块与图像 patch。这条路线会重写”什么算边缘端跑多模态”的门槛。

研究者——12,288 张 TPUv5p / ZeRO-3 / Pathways / GSPMD / Slice-Granularity Elasticity / MegaScale XLA 一次性披露,等同于一份可复算的大模型训练账本。研究者可以用同一个算力栈复算 12B / 31B 的 scaling 系数。

同一份训练栈:五款模型共享的工程底座

把 Gemma 4 看作”又一款能上 Arena 的开源模型”,会错过这份报告真正的动作。DeepMind 在 17 页里把过去 12 个月的训练基础——tokenizer(262K vocab,与 Gemini 共享)、TPU 编排栈(ZeRO-3 + Pathways + GSPMD + MegaScale XLA + Slice-Granularity Elasticity)、post-training 配方、thinking mode 触发方式、长上下文 RoPE 设置、量化方案——一次性公开给开源社区。5 款模型共享同一份栈,这才是论文想要锁住的资产。

模型尺寸与硬件配置

模型类型总参数 / 激活训练硬件TPU 数量Shard 配置
E2BDense5B / 2.3BTPUv6e4,09616 × 8 × 32
E4BDense8B / 4.5BTPUv6e6,14416 × 16 × 24
12BDense12BTPUv5p12,28816 × 16 × 48
26B-A4BMoE26B / 3.8BTPUv6e6,14416 × 16 × 24
31BDense31BTPUv6e10,24016 × 16 × 40

训练引擎的栈是同一组组件:ZeRO-3、Pathways、GSPMD partitioner、MegaScale XLA、Slice-Granularity Elasticity。Audio encoder footprint 从 390 MB 砍到 87 MB(降 78%),量化版本 E2B 占 0.8 GB、E4B 占 2.3 GB(都是 mobile quantization),12B Q4_0 占 7.65 GB,31B Q4_0 占 19.2 GB,26B-A4B Q4_0 激活态只占 2.8 GB。

一栈五模型意味着什么

对工程师而言,杀伤力最大的不是某个超参数,而是同一份栈可以同时训 4 个不同尺寸的稠密 + 1 个 MoE 模型。换句话说,DeepMind 给出的不是一篇 benchmark,而是一份训练栈可复用的工程模板。围绕这套模板,工程社区可以做三件具体的事:

  1. 复算训练栈。用 12,288 张 TPUv5p + ZeRO-3 / Pathways 跑一遍 12B,看能否复现论文里的多模态数字。这条路线对学术实验室而言是基础工程基准——以前开源模型只给权重,不给算力账;Gemma 4 把算力账写到 chip 数量级。
  2. 继承 tokenizer 与 vocab。262K SentencePiece 分词器与 Gemini 3 同源,Gemini 3 的生态扩展会反向影响 Gemma 4 的语料适配——例如 tokenizer 升级、特殊 token 添加,都可以双向继承。
  3. 继承 thinking mode 协议<|think|> token 触发推理,这一协议如果成为开源社区默认,就会成为下一代 reasoning trace 的事实交换格式。

这一节对早报的意义是:Gemma 4 的真正动作不是发布 5 款模型,而是把”开源权重的训练基线”从”半成品暴露”提升到”工程级披露”。5 款模型是载体;训练栈、tokenizer、thinking 协议才是这份论文想要锁住的资产。

训练栈六层组件的论文原文摘录

“All Gemma 4 models were trained using a single TPU-based stack consisting of ZeRO-3, Pathways, GSPMD partitioner, MegaScale XLA, and Slice-Granularity Elasticity”——arXiv:2607.02770, Section 2.7。

这一段在 17 页论文里的位置很关键:它紧接 tokenizer 与模型尺寸表之后,出现在正式报告里意味着 Google 把训练基础设施视为与模型本身同等可披露的对象——而不是像多数开源模型报告那样,把训练栈留在仓库 README 或补充材料里。

12B encoder-free:把多模态挤回主干

12B 是论文中技术路径差异最大的变体。它不挂独立 vision encoder(Audio encoder footprint 390 MB → 87 MB),不挂独立 ASR 主干(FLEURS EN WER 0.063),而是把原始 40ms 音频块与图像 patch 一起交给 transformer 主干处理。论文摘要直接给出方法定义:

“we propose a unified, encoder-free architecture for our 12B model, which ingests raw audio and image patches”——arXiv:2607.02770 abstract。

这条路线的隐性赌注是:把多模态统一到主干,可以省掉两个独立系统的维护成本;代价是主干必须见过足够多的”音频块 ↔ token”配对样本,以及”图像 patch ↔ token”配对样本。论文没有量化这种样本量,但 Section 2.4 给出”audio for E2B, E4B and 12B”——也就是说 12B 的音频能力来自 E2B / E4B 训练流的复用。

Benchmark 数字:不挂编码器也能跑

视觉(1120 token、thinking 模式):

Benchmark31B26B-A4B12BE4BE2B
MMMU Pro76.973.869.152.644.2
MATH-Vision85.682.479.759.552.4
MedXPertQA MM61.358.148.728.723.5
InfographicVQA92.089.388.470.063.9
OmniDocBench 1.5 ↓0.1310.1490.1640.1810.290

音频(无 thinking、无独立 ASR 编码器):

BenchmarkE2BE4B12B(无 ASR)Gemma 3n(参考)
FLEURS ASR avg WER ↓0.0900.0750.108 / 0.085
FLEURS EN WER ↓0.063
CoVoST avg CorpusBLEU ↑35.438.2

OmniDocBench 的 0.131 / 0.149(31B / 26B-A4B)和 Gemma 3 时代相比是同一个量级变好;但 12B 0.164 的 OmniDocBench 与 0.063 的 FLEURS EN WER 才真正值得圈出——这是不挂独立语音/视觉编码器走出来的成绩。

边缘端影响

如果这条路线在 2026 年底继续上行,边缘端的多模态产品架构会被重排。以前是 ASR + VLM + LLM 三件套,部署时往往要在云端跑 ASR、再在终端跑 VLM,延迟与隐私都是问题;现在 12B 一档一件套,量化到 7.65 GB(Q4_0)就能在单卡消费级硬件上吃 40ms 音频块与图像 patch。HF 模型卡与 Google 博客都给出了对应的部署通道:Google AI Edge Gallery(E4B / E2B)、Android Studio Agent Mode、ML Kit GenAI Prompt API、NVIDIA Jetson Orin Nano 到 Blackwell、AMD ROCm 等。这意味着 encoder-free 路线把”什么算边缘端跑多模态”的门槛,从云端 ASR + 云端 VLM 下沉到了终端 dense 模型。

31B Dense 的 Arena 位置:开源稠密第一

回到 Arena。Section 4.1 Table 4(2026-06-19 基线)的完整开源榜是这样的:

排名模型Elo开源架构总 / 激活参数
1GLM 5.11475yesMoE744B / 40B
2GLM 5.2 Max1471yesMoE744B / 40B
3Kimi K2.61460yesMoE1T / 32B
4DeepSeek V4 Pro Thinking1458yesMoE1.6T / 49B
5Gemma 4 31B1451yesDense31B
6Qwen 3.5 397B-A17B1444yesMoE397B / 17B
7Gemma 4 26B-A4B1438yesMoE26B / 4B
Gemma 3 27B1366yesDense27B

把这一段读清楚需要看三件事:

第一,前 4 名全部是 744B+ 级别的 MoE。Gemma 4 31B 排第 5 不是落后,而是 dense 31B 对 1T 集群 MoE 跑出 7-24 Elo 的差距——这在 dense / MoE 不同档位对比里已经是接近上限。

第二,榜单中第一个 Dense 模型就是 Gemma 4 31B。Qwen 3.5 397B-A17B(1444)与 Gemma 4 26B-A4B(1438)虽然排在其后,但都是 MoE;下一个 Dense 模型是 Gemma 3 27B(1366),Elo 相差 85——这是同代际 dense 内部的真实代差。

第三,Arena Elo 是人类偏好投票,不是可控 benchmark,但它提供了一个任何人都能在 LMArena 上复现的数字。需要注意 6 月 19 日基线与 7 月 9 日当下之间有 20 天窗口,Elo 在 25-30 名区间可能漂移 20+ Elo,早报引用的 1451 与稠密第 1 应当作为基线日读数,不作当日断言。

STEM 与长上下文

论文 Section 4 给出 thinking 模式下的 STEM 头部成绩(31B 档):

BenchmarkGemma 4 31BGemma 4 26B-A4B
MMLU Pro85.282.6
AIME 202689.288.3
GPQA Diamond84.3
LiveCodeBench v680.0

26B-A4B 在 AIME 88.3,意味着 MoE 激活 3.8B 也能跑出接近 dense 31B 的推理分数——这是一组对照,对工程团队评估”激活参数 vs 总参数”的取舍有直接意义。

长上下文方面,Section 5.1(无 thinking):

BenchmarkContext31B26B-A4B12BE4BE2BGemma 3 27B
RULER Acc ↑32k96.897.396.495.283.0
RULER Acc ↑128k96.489.891.286.670.466.0
LOFT Recall@k ↑128k79.566.366.458.550.5
GraphWalks F1 ↑<128k82.372.671.050.94.1
MTOB chrF(eng→kgv)↑~128k52.950.045.137.815.4

Gemma 3 27B 在 128K RULER 上是 66.0,Gemma 4 31B 同项是 96.4——这是一个量级提升,而且是在 dense 31B 上实现的。E2B 在 128K RULER 仅 70.4,符合”小模型不擅长长上下文”的常识;但 26B-A4B 已经做到 89.8,意味着 MoE 激活 3.8B 也能跑长上下文。

Apache 2.0 与开源坐标系

Google 博客与 HF 模型卡共同给出的 license 转向是 Apache 2.0。这是 Gemma 4 在版本策略上的明确转向——Gemma 3 的部分变体仍带 Gemma 条款,商业使用受限;Apache 2.0 取消这一层限制,医疗、军事、未成年人等高敏用途仍受 Responsible AI 政策覆盖,但对一般商用与政府采购而言,Apache 2.0 等同于”可直接进采购流程”。

开源坐标系对照

报告本身没有点 Llama 4。Section 4.1 Table 4 引用的开源对位是 GLM 5.1 / 5.2、Kimi K2.6、DeepSeek V4 Pro Thinking、Qwen 3.5 397B-A17B、Gemma 3 27B。早报补一层外部判断,把 Gemma 4 31B Dense 放回当前开源权重的坐标系:

体系旗舰模型总 / 激活Arena Elo(2026-06-19)License
Google Gemma 431B Dense31B1451(开源稠密第 1)Apache 2.0
Moonshot KimiK2.61T / 32B1460Modified MIT
DeepSeekV4 Pro Thinking1.6T / 49B1458DeepSeek License
智谱 GLM5.1 / 5.2 Max744B / 40B1475 / 1471Apache 2.0(GLM-5)
Alibaba Qwen3.5 397B-A17B397B / 17B1444Apache 2.0(部分)
Meta Llama 4Maverick 系(未在表中)Llama 4 Community

31B 跑赢 1T 集群是不可能的。Gemma 4 31B 的合理位置是:它是当前最强的开源稠密 27-31B 档,与上一代 Gemma 3 27B 拉开 85 Elo,与同档 Llama 4 同尺寸相比细节仍未公开。这一位置决定了它对企业的价值不是”最强模型”,而是”在严格成本/部署约束下的最强稠密开源”。

可对照的另一面是”激活 3.8B”的 26B-A4B。Arena Elo 1438、Active 3.8B——这意味着单 H100 / 单 B200 一类设备上,延迟和吞吐量更接近 3-4B 密集模型,代价是 26B 总参数的内存。对一个 4-GPU 节点来说,这个组合比 Gemma 4 31B 更可部署,也避开了把整 31B 跑满的高显存成本。

政府/企业采购的可达性

Apache 2.0 转向在公共部门采购里通常被优先考虑,欧盟 AI Act 与美国行政命令关注的是可审计的训练栈与 license 清晰度,Gemma 4 是少数同时具备三件事的模型:商业友好 license、工程可复算账本、Arena 人类评分。这是把”开源权重能进政府采购”从可能性推到工程现实的一组条件。

与闭源前沿的距离

官方口径:Gemma 4 “built from the same world-class research and technology as Gemini 3”。Google 博客没有给出 Gemini 3 / Gemma 4 的逐项 head-to-head 表。早报的诚实读法是:

  • 对一个企业买方,Gemma 4 不替代 Gemini 3——前者是开源权重的次顶端,后者是闭源同源能力的顶端。
  • 对一个研究者,Gemma 4 是少数能让你看到”训练栈材料清单”的开放模型,从这个意义,它比 GPT-5.6 与 Gemini 3 更可学。
  • 对一个应用工程师,Gemma 4 31B 是当前第一个稠密档开源、Apache 2.0、Arena Elo 1451 的模型;它的”竞争对手”是 Qwen 3.5 397B-A17B 与 DeepSeek V4 Pro Thinking——但不是同档。

报告把闭源对手完全留给外部去补,这与其说是不自信,不如说是 DeepMind 团队把”开源 vs 开源”的对照当作更值得公开的内容。这条取舍反映了 Google 在开源上的克制,也隐含了”Gemma 4 的真正买家是 OpenAI/Anthropic 同行的追赶者”的战略意图。

早报观点

早报观点

第一,训练栈透明度对学术复算的价值。Gemma 4 技术报告的核心交付物落在 Section 2.7 一次性披露的工程账本:12,288 张 TPUv5p 上跑 12B、ZeRO-3 + Pathways + GSPMD + MegaScale XLA + Slice-Granularity Elasticity 一并写出,且与 Gemma 3 的 27B 训练栈有可对照的 baseline。这意味着同行可以开始严格对账”scaling 系数”,也可以开始评估”训练成本 / dollar”的开源 vs 闭源曲线是否还会拐弯。对学术实验室而言,这是过去 12 个月开源模型文档里罕见的工程透明度——以前开源报告只给权重,不给 chip 数与 shard 配置;Gemma 4 把 chip 数写到万级,把 shard 写到 16×16×48。对一个想复算 scaling law 的研究组,这份报告是少有的、可作为”工程 baseline”使用的开源文献。

第二,12B encoder-free 对边缘端多模态的冲击。12B 这一档把”多模态需要独立编码器”的常识打破。直接吃 40ms 音频块与图像 patch,FLEURS EN WER 0.063,OmniDocBench 1.5 0.164——这是第一个在 12B dense 上跑出这种成绩的官方工程报告,而不依赖独立 ASR / VLM 主干。如果这条路线在 2026 年底继续上行,边缘端多模态产品的架构会被重新洗牌:以前是 ASR + VLM + LLM 三件套,可能变成 12B 一档一件套,量化到 7.65 GB 就能在消费级硬件上跑——这意味着端侧多模态推理的延迟与隐私边界会同时被改写。论文没有公开 12B encoder-free 在噪声语种、低资源方言、复杂组合指令下的稳健性数据,这一块需要等独立复现。

第三,Apache 2.0 进政府采购的现实性。Apache 2.0 + Arena Elo 1451(开源稠密第 1)+ 论文齐全 + 训练栈可复算,这个组合把”开源权重能进政府采购”从可能性推到了工程现实。欧盟 AI Act 与美国行政命令关注的是可审计的训练栈与 license 清晰度,Gemma 4 是少数同时具备这三件事的模型:商业友好 license、工程可复算账本、Arena 人类评分。Llama 4 社区协议在欧盟与英国公共部门采购中通常需要走”特殊例外条款”;DeepSeek License 在美国联邦采购里有更严格的来源审查;Gemma 4 的 Apache 2.0 则可以直接进入采购清单——这是过去一年开源权重与政府采购之间最重要的一个转折点之一。早报的判断是:这个组合会在 9 月之前出现可验证答复,即是否有欧盟/英国公共部门把 Gemma 4 列入优先模型清单。

后续观察点

  • github.com/google-gemma 是否在论文发布同期放出官方 config、tokenizer、post-training 代码与可复现脚本,以验证 Section 2-3 披露的训练栈。
  • arxiv 是否有续作——encoder-free 12B 的方法细节(post-norm、RoPE 重置、音频块切分窗口)如果单出方法论短文,会成为 7-9 月多模态方法论的标杆。
  • 第三方 head-to-head:LMArena、Artificial Analysis、HELM、独立研究组是否在 7 月底前放出 Gemma 4 31B 与 Gemini 3 Pro、GPT-5.6、Claude Opus 4 的逐项对照。
  • 企业买方视角:Apache 2.0 + 训练栈可审计是否在英国/欧盟/美国联邦采购里被列入优先模型,这一变量会在 9 月之前出现可验证答复。
  • Edge 端实测:AI Edge Gallery 上的 E2B / E4B 是否真能在不联网场景下稳定跑通 encoder-free 多模态任务;12B encoder-free 在 vLLM / llama.cpp 上的推理延迟与质量基准。
  • Gemmaverse 生态指标:HF 上 Gemma 4 的 finetune 数(当前 213)、adapter 数(127)与下载量(11.5M 首月)持续增长的曲线,如果 3 个月后还在快速上行,意味着社区把 Gemma 4 当作主流基线而非新闻事件。