Generative AI

本分类整理 Generative AI（生成式 AI） 相关的知识，重点是主流大模型的架构设计与演进。

收录范围

模型架构 — 由 config.json + 官方实现源码推导结构，横向对比 Spark-X2.5 / Qwen3.5 / Gemma4 的混合注意力设计。
Spark-X2.5 架构（4B / 1.7B） — 1 层全注意力 + 3 层滑窗、逐头输出门控、分层 RoPE、参数与 KV Cache 估算。
Qwen3.5-4B 架构 — 3 层 Gated DeltaNet + 1 层全注意力、mRoPE、q/k RMSNorm 与输出门控。
Gemma4-12B 架构 — 5 : 1 局部:全局、全注意力 1 个 KV 头且 K≡V、logit softcap、unified 多模态。以技术报告为准的单模型深挖专题（CED / CSA2 / mHC / FP4 KV）。

按论文逐篇：

说明：新增页面前请先阅读仓库根目录的 AGENTS.md 与写作规范，并在 SUMMARY.md 中登记。