把 API 成本压到 1/4：一条跑通两个月的真实链路

先说结论

同一个业务量，月账单从 ¥1,240 降到 ¥310。没有换供应商，也没降模型质量。

三步走

1. 请求分流：把摘要、分类这类短任务切到小模型，只把长文本推理留给大模型。
2. 缓存命中：同一段系统提示加固定前缀，命中率从 0% 提到 62%。
3. 批量合并：把 20 条独立翻译合并成一次请求，省掉 19 次计费。

关键配置

# 前缀缓存要放在最前面，且逐字稳定
system_prefix = "你是客服助手，回答不超过三句。"

踩过的坑

• 缓存前缀里有时间戳，命中率永远是 0；
• 合并请求超过 8k token 后，模型开始漏掉后半段。