生成式 AI

本分类整理 生成式 AI（GenAI） 相关的知识，重点是主流大模型的架构设计与演进。

收录范围

• 模型架构：注意力变体、MoE、位置编码、归一化、长短上下文
• 训练与推理：预训练目标、推理优化、量化与蒸馏
• 代表模型：DeepSeek、Llama、Qwen、GPT、Gemma 等

收录条目

基础与专题

• Attention 机制
• Gated Delta Network（GDN）

© 2026 Yang Huan · yanghuan9812@qq.com