Skip to main content

LLM 高效推理深度阅读

从算法到系统,从理论到实践 - 构建大模型推理的完整技术地图

这是什么?​

这是一份精心策划的 LLM 推理技术学习路径,汇集了 2024-2025 年最具代表性的论文和博客:

  • 14 篇高质量论文: 涵盖算法优化、系统设计、硬件协同
  • 2 篇深度博客: vLLM 和 SGLang 的技术解析
  • 完整技术地图: 从入门到进阶的系统化学习路径

与其他综述的区别​

❌ 传统综述: 论文列表 + 简单摘要 ✅ 本路径: 技术地图 + 阅读指南 + 实践建议

技术地图​

┌─────────────────────────────────────────────────────┐
│                   LLM 推理技术栈                      │
├─────────────────────────────────────────────────────┤
│                                                     │
│  算法层 ─────────────────────────────────────────  │
│  • 推测解码 (Speculative Decoding)                  │
│  • 模型压缩 (量化、剪枝、蒸馏)                         │
│  • 注意力优化 (Flash Attention, PagedAttention)    │
│                                                     │
│  系统层 ─────────────────────────────────────────  │
│  • 推理引擎 (vLLM, SGLang, TensorRT-LLM)          │
│  • 调度策略 (动态批处理、前缀缓存)                      │
│  • 内存管理 (KV Cache 压缩与传输)                     │
│                                                     │
│  硬件层 ─────────────────────────────────────────  │
│  • GPU 优化 (内存带宽、计算-访存 Roofline)             │
│  • 多机协同 (张量并行、流水线并行)                      │
│  • 边缘部署 (FPGA、量化加速)                          │
│                                                     │
└─────────────────────────────────────────────────────┘

学习路径​

主线一: 全局综述 & 技术地图​

适合人群: 所有想了解 LLM 推理全貌的读者

核心问题:

  • LLM 推理的主要瓶颈是什么?
  • 有哪些优化方向和技术路线?
  • 如何评估一个推理系统的性能?

推荐阅读:

  1. 面向高效的生成式 LLM 服务: 从算法到系统的综述
  2. 驯服巨兽: 高效 LLM 推理服务综述

预计时间: 3-4 小时 收益: 建立完整的认知框架,知道"都有哪些方向"

主线二: 推理引擎与系统实现​

适合人群: 系统开发者、架构师、性能工程师

核心问题:

  • vLLM 和 SGLang 是如何提升吞吐量的?
  • PagedAttention 和 RadixAttention 的设计思路是什么?
  • 如何实现高效的动态批处理?

推荐阅读:

  1. vLLM 内部: 剖析高吞吐量 LLM 推理系统
  2. SGLang: 高效且开源的 LLM 服务框架
  3. 推理引擎综述与对比

预计时间: 6-8 小时 收益: 理解现代推理引擎的核心技术,能够进行系统选型

⚡ 主线三: 瓶颈分析 & 硬件视角​

适合人群: 性能优化工程师、硬件工程师、MLSys 研究者

核心问题:

  • 为什么很多时候是内存带宽而非 FLOPS 在限制性能?
  • Roofline 模型如何指导性能优化?
  • 不同硬件平台的优化策略有何不同?

推荐阅读:

  1. Roofline 模型与 LLM 推理性能分析
  2. 硬件综述: GPU、FPGA、边缘设备

预计时间: 4-5 小时 收益: 掌握性能分析方法,理解硬件-软件协同优化

🔬 扩展线: 专题深入​

适合人群: 特定方向的深入研究者

KV Cache 管理​

  • 压缩技术 (量化、剪枝)
  • 跨节点传输优化
  • 分层缓存策略

长上下文优化​

  • 长序列建模技术
  • 注意力机制改进
  • 上下文窗口扩展

多模态推理​

  • VLM (视觉语言模型) 推理
  • VLA (视觉语言动作模型) 系统
  • 多模态融合优化

查看专题文章 →

⏱️ 推荐学习计划​

🏃 2 小时快速入门​

目标: 建立基本认知,了解技术全貌

1. [30min] 阅读第一篇综述的摘要和结论
2. [60min] 浏览技术地图,了解各个方向
3. [30min] 快速浏览 vLLM 博客,了解实现思路

适合: 需要快速了解领域的决策者、产品经理

🚶 1 天系统学习​

目标: 掌握核心概念,理解主要技术路线

上午:
1. [2h] 精读第一篇综述
2. [1h] 梳理笔记,绘制自己的技术地图

下午:
3. [2h] 深入阅读 vLLM 博客
4. [1h] 对比 vLLM 和传统推理的差异

晚上:
5. [1h] 阅读 Roofline 模型文章
6. [1h] 总结性能优化的关键点

适合: 工程师、研究生、技术博主

1 周深度研究​

目标: 深入理解技术细节,能够进行系统设计

Day 1-2: 全局综述
• 精读两篇综述论文
• 整理技术分类和演进路径

Day 3-4: 推理引擎
• vLLM 和 SGLang 的深度解析
• 对比不同引擎的设计权衡

Day 5: 硬件与性能
• Roofline 模型学习
• 硬件综述阅读

Day 6: 专题深入
• 选择 1-2 个感兴趣的专题
• 深入阅读相关论文

Day 7: 实践与总结
• 部署一个推理引擎
• 撰写学习总结

适合: 系统架构师、MLSys 研究者、高级工程师

🎓 学习建议​

对于初学者​

  1. 不要急: 先建立全局认知,再深入细节
  2. 多画图: 用流程图、架构图帮助理解
  3. 重实践: 部署一个推理引擎,观察实际效果
  4. 问问题: 在社区讨论中加深理解

对于有经验的工程师​

  1. 关注设计权衡: 理解不同方案的适用场景
  2. 对比实现: 看多个系统如何解决同一问题
  3. 思考迁移: 这些技术能否应用到你的系统
  4. 分享经验: 写博客或技术分享

对于研究者​

  1. 追溯引用: 查看论文的参考文献
  2. 关注趋势: 识别尚未充分探索的方向
  3. 动手实验: 复现关键实验,验证假设
  4. 提出问题: 寻找可以改进的点

📖 文章列表​

综述类​

系统实现​

性能分析​

专题深入​

开始学习​

选择一条适合你的学习路径:

  1. 全局综述 & 技术地图 →
  2. 推理引擎与系统实现 →
  3. Roofline 模型 & 硬件视角 →
  4. 专题深入研究 →

准备好深入 LLM 推理技术了吗? 🚀