端侧 NPU 推理
本分类整理 在手机 NPU（以 Qualcomm Hexagon / Snapdragon 为主）上运行大模型 相关的系统与内核知识：算子如何映射到 HVX（向量单元）与 HMX（矩阵单元）、 异步流水怎样消除 bubble、以及 kernel fusion 的可行边界。
收录条目
| 页面 | 主题 |
|---|---|
| NPU 上的 Kernel Fusion | HVX↔HMX 的职责迁移与独立 kernel 的横向融合 |
参考坐标
- HVX：Hexagon Vector eXtensions，负责反量化、softmax、elementwise、 layout/pack 等通用向量计算；
- HMX：Hexagon Matrix eXtensions，负责 GEMM / 卷积等矩阵计算；
- VTCM：与 NPU 紧耦合的片上内存，HMX 操作数必须按特定布局驻留其中；
- DMA：权重/激活在 DDR/UFS 与 VTCM 之间的搬运。
说明：新增页面前请先阅读仓库根目录的
AGENTS.md与 写作规范，并在SUMMARY.md中登记。
© 2026 Yang Huan · yanghuan9812@qq.com