YuanFu

如果你会 AI，但是不投资，那就有点亏大了 不论是投资 $MRVL $AMD 等一众算力互联标的，还是 AI Infra学习，收藏搞懂我这篇帖子，对你帮助都一定会很大 算力发展远远不足，早点搞懂，就能早点把握住机会。不信你看下去 为什么OpenAI 想要提供快的推理速度，就得牺牲订阅额度上限，这个帖子是我认真整理的内部流程，看懂了它，你会更加得心应手。 1/ 我先来说两个指标 > TTFT (Time to First Token)，它来衡量你发出一条消息之后，OpenAI 多久响应吐出第一个字。 > TPOT（Time per Output Token），这个来衡量你总体的体感速度，以及什么时候完成？ 你总的等待时间约等于 TTFT 加 n 乘以 TPOT，n 就是你的 Token output总量，就是 AI 给你回了多少话 你可以大致粗略地记一句话。1 个 GPU 如果只给一个用户用，那么两者的速度都会很快，但互联的速度跟不上，因此 GPU 会有闲置时间，会导致浪费 那聪明的厂商就把一个 GPU 分给多个用户，这样 GPU 的闲置时间被充分使用了。但每个用户因为 GPU 调度需要等待的时间就会变长，导致整体速度变慢 2/ 那 GPU 内部在推理的时候，到底发生了什么呢？ 我做推理优化，这个循环是每天都要打交道的东西。我把一个请求在推理引擎里走的 5 步画进了一页动图，先说结论，后面按图的顺序讲 1. 请求进来不会直接上 GPU，而是先进调度器，由 CPU 驱动。GPU 每跑一步，调度器就重新挑一次人，批次每一步都在换人，这叫 continuous batching 2. 评估推理服务，工业界盯三个数，吞吐、出字间隔 ITL、首字延迟 TTFT，而且要看 P99, P50，需要有统计意义 3. 这三个数互相拉扯，决定了用户的成本和总的等待时间，总的来说是一个权衡（trade-off） 3/ 先过一遍图里的 5 步 ① 新请求带着整段 prompt 排队 ② 调度器每一步开跑前问三件事：已经在跑的先上，本轮 token 预算还剩多少，KV cache 的格子还够不够 ③ 能上的拼成一批。新来的做预填（prefill），整段 prompt 一次算完；老的做生成（decode），每人只写 1 个 token ④ GPU 把这一批一起算一步 ⑤ 写完的释放格子离场，没写完的回到 ②，马上开下一轮 2022 年的 Orca 论文把调度单位从“一个请求”改成“一步”，在 GPT-3 175B 上，同样延迟下吞吐做到了 FasterTransformer 的 36.9 倍 [1]。现在 vLLM 默认就按这一套在排 [2] 想搞投资，相信你看到这儿已经差不多都懂了。想入门推理，我的建议是先把这个循环自己画一遍，再去读压测报告，每个数都能对回其中一步 这里边的水很深，后续我会逐渐跟大家讲解，结合每天的信息以及具体实践，帮大家搭建起科技到投资中间的这座桥梁 出处 [1] Orca: A Distributed Serving System for Transformer-Based Generative Models，OSDI 2022 usenix.org/conference/osdi22… [2] vLLM 文档，Optimization and Tuning docs.vllm.ai/en/stable/confi… [3] Taming Throughput-Latency Tradeoff in LLM Inference with Sarathi-Serve，OSDI 2024 arxiv.org/abs/2403.02310 [4] vLLM 文档，vllm bench serve docs.vllm.ai/en/stable/cli/b…

分享一份最近收集的 AI Infra 入门阅读清单，建议收藏，慢慢看 AI 已经可以生成很多很好的内容，解释概念、翻译论文、整理资料，都越来越方便。但在这个时代，能静下心来，把一篇好文章认真读完，把没懂的地方再琢磨一遍，我觉得更加难能可贵 这次整理的材料，主要集中在大模型推理这一块。从 KV Cache、显存管理，到请求调度、推理加速，再到怎么判断性能有没有真正变好 做工程的朋友，可以顺着往源码和实验里走。平时看 AI 产业、算力和存储的朋友，也可以先把原理读明白 读文章，挑值得反复读的。 1. 如果只选一篇，我会选 Inside vLLM。 Inside vLLM: Anatomy of a High-Throughput LLM Inference System，作者 Aleksa Gordić aleksagordic.com/blog/vllm 把很多零散的概念串进了一个真实系统：一个请求进来，怎么排队，怎么分配 KV Cache，怎么执行，最后又怎么把结果送回来 PagedAttention、continuous batching、chunked prefill、prefix caching、投机解码、P/D 分离、多卡和性能测试，都能在这条线上找到位置。 这篇适合当主线，后面的材料用来补不懂的地方 2. 想弄懂 continuous batching，先看 Anyscale 这篇。 Continuous Batching 博客 anyscale.com/blog/continuous… llm用户的回答有长有短，有的已经生成完了，有的还在继续。已经空出来的位置，能不能马上接下一个请求？ 这篇用静态批处理和连续批处理的对比图，把这个问题讲得很直观。看完你会理解，GPU 的效率，也取决于请求怎么安排 建议重点看图和机制 3. NVIDIA 的两篇，一篇帮你建立全貌，一篇教你怎么看性能。 Mastering LLM Techniques: Inference Optimization developer.nvidia.com/blog/ma… 适合先建立基本认识：处理输入的 prefill 和逐步生成输出的 decode 有什么区别，模型权重和 KV Cache 分别占什么空间，量化、批处理、多卡并行又各自解决什么问题 LLM Inference Benchmarking: Fundamental Concepts developer.nvidia.com/blog/ll… 这一篇我也很推荐。用户等多久才看到第一个 token，后面生成得快不快，整个系统一秒能服务多少请求，是不同的问题。TTFT、ITL、TPOT 这些指标，要连着测试口径一起看 4. 想再往下算一层，读 kipply 的 Transformer Inference Arithmetic Transformer Inference Arithmetic 这是一篇 2022 年的文章。它带你从计算量、内存容量、带宽和通信开销出发，估算推理为什么快、为什么慢，以及 batch size 改变后会发生什么 硬件和模型的具体例子有年代了, 作为 optional 选读

这是我最近使用的 Prompt，用来帮助我快速解读任何的学习资料，几乎是我日常学习、投资或者任何 AI 技术，或者一个新的领域必用的 prompt 模板（如果你要使用的话，可以拿来直接微调） Prompt: 结合 /eli5 把下面的学习资料做成一个我能一遍看懂的图解 HTML 页面，发布成 Artifact。 【读者】 默认我对这个主题没有基础。所有术语第一次出现时用一句话解释。先说结论，再说原理。 【内容结构】 1. 先读完全部材料，列出材料里的核心概念（8 到 13 个），按"后一个概念是为了解决前一个概念带来的问题"的依赖顺序排列。顺序本身就是信息，不要按材料原顺序。 2. 找出一条贯穿全部概念的主线（一个主循环、一条流水线或一个核心矛盾），放在页面最上面，一句话 + 一张图。 3. 每个概念一张卡片，卡片就是一幅两格漫画：左格画"烦恼"（没有这个概念时会发生什么），右格画"办法"（这个概念怎么解决）。下面只写两行：解决了什么、代价是什么。不写第三行。 4. 全页用同一组固定角色贯穿所有图（比如 A、B、C 三个老请求和 D 一个新请求），数字用缩小版，方便我自己算，并明确标注"示意值"。 5. 页面末尾放一把"尺子"：这个领域衡量好坏的两三个指标，画在一张图上，说明每个办法通常改善哪个、牺牲哪个。 6. 如果材料里有我卡住的地方，单独加一节"零基础版"，一步一步写清楚每一步发生了什么，配一张对比表。 7. 最后给一条"一遍过完"的学习路线：三到四站，每站写为什么去、去多久、链接。链接必须联网核实真实存在，不能编。 【视觉风格：卡通手绘】 方格纸或笔记本底色，深色模式换成黑板粉笔感，两套主题都要设计。中文标题用手写体（Google Fonts 的 Ma Shan Zheng），英文和数字用 Patrick Hand，正文用系统无衬线保证可读。卡片用不规则圆角的手绘边框，轻微旋转，硬阴影。SVG 图形加轻微抖动滤镜（feTurbulence + feDisplacementMap）模拟手绘线条，文字不抖。颜色固定语义：绿色 = 正在进行的东西，橙色 = 新来的东西，蓝色 = 存起来的东西，红色虚线 = 被释放或作废。卡片右上角盖一个手绘印章标注我的进度：已学 / 补一下 / 下一站。 【硬性要求】 每格漫画里的说明文字不超过 15 个汉字，绝不允许文字压到边框或互相重叠。发布前用 headless Chrome 渲染一次整页截图，检查所有图，修完再发布。页面以图为主，正文每节不超过四句话。所有图用手写的内联 SVG，不用图表库。数字不能凭印象，材料里没有的要去核实。发布后把链接给我，并用五到八个要点告诉我页面的结构。