/ tags/ vLLM

浅浅入门AI infra：实用且有趣的推理引擎小知识

从一次模型调用理解 Prefill、Decode 和 KV Cache，再看 FlashAttention、连续批处理、分页缓存、PD 分离与 Agent 前缀缓存的性能和成本取舍。