注意力机制

论文阅读:Log-Linear Attention — 基于 Fenwick 树与层次矩阵的对数线性复杂度注意力机制
Log-Linear Attention 论文深度阅读笔记:结构化掩码矩阵统一视角、Fenwick 树分区、HODLR 层次矩阵、分块并行扫描训练算法,如何用 O(log T) 个隐藏状态在效率和表达能力之间取得新平衡。
论文阅读:InfLLM-V2 — 把可训练稀疏注意力做成全注意力的“受限版本”
InfLLM-V2 论文阅读笔记:零额外参数、Dense-Sparse Switchable Attention、三阶段块选择与高效 kernel,如何把短序列预训练和平滑的长上下文适配真正打通。
论文阅读:MSA — 将 LLM 记忆扩展到 1 亿 Token 的稀疏注意力框架
Memory Sparse Attention (MSA) 论文的深度阅读笔记,包含方法拆解、推理流程分析和批判性思考。