Welcome to the sakurs2’s blog site. I will keep my study notes. I hope these contents can be helpful to you.
Series
Tags
Latest Posts
浅浅入门AI infra：实用且有趣的推理引擎小知识
Sakurs2 27 min read
从一次模型调用理解 Prefill、Decode 和 KV Cache，再看 FlashAttention、连续批处理、分页缓存、PD 分离与 Agent 前缀缓存的性能和成本取舍。
CS329A Lecture3：AI 答了十次，我该信哪一次？
CS329A 2 / 2
Sakurs2 30 min read
跟着一张奶茶订单学会给 AI 批作业：先挑答案，再查步骤，最后让模型帮忙批改。用四篇论文、SVG 图示和动手小实验理解 Robust Verification。
CS329A Lecture2：Test-time Compute Scaling
CS329A 1 / 2
Sakurs2 41 min read
模型训练结束后，怎样用有限的推理预算提高任务成功率？CS329A Lecture 2 比较了重复采样、答案修改、结果检查和多模型组合。