自建大模型推理:Token 成本分界点
自建推理与 API 的分界点无法通用,只能代入自己的参数。本文给出统一到「每百万输出 Token」的可复算算式、利用率与输入输出比的敏感度表,并逐档比出打平 Sonnet 5、gpt-5.4-mini 与 gpt-6-luna 所需的吞吐阈值。
大模型 Token 计价规则、API 价格对比与推理成本优化实践。
自建推理与 API 的分界点无法通用,只能代入自己的参数。本文给出统一到「每百万输出 Token」的可复算算式、利用率与输入输出比的敏感度表,并逐档比出打平 Sonnet 5、gpt-5.4-mini 与 gpt-6-luna 所需的吞吐阈值。
提示缓存把重复前缀的输入 Token 单价压到牌价 10%,部分厂商低至 2%。本文按四家公开计费口径,测算不同命中率下大模型 API 价格的降幅与失效条件。