自建大模型推理:Token 成本分界点
自建推理与 API 的分界点无法通用,只能代入自己的参数。本文给出统一到「每百万输出 Token」的可复算算式、利用率与输入输出比的敏感度表,并逐档比出打平 Sonnet 5、gpt-5.4-mini 与 gpt-6-luna 所需的吞吐阈值。
自建推理与 API 的分界点无法通用,只能代入自己的参数。本文给出统一到「每百万输出 Token」的可复算算式、利用率与输入输出比的敏感度表,并逐档比出打平 Sonnet 5、gpt-5.4-mini 与 gpt-6-luna 所需的吞吐阈值。
同源同期数据对比显示,H100 竞价实例相对按需的真实节省是 25%–50%,而非宣传口径的 70%–90%。差额来自「按需基准价」这个分母的选择。本文拆解折扣口径的陷阱,给出把中断损耗计入单价的测算模型,并划出竞价实例的适用边界。
提示缓存把重复前缀的输入 Token 单价压到牌价 10%,部分厂商低至 2%。本文按四家公开计费口径,测算不同命中率下大模型 API 价格的降幅与失效条件。
同一张 A100 上,7B 模型换到 Int4 后显存降 52%、吞吐升 22.4%;但在缺少原生低比特内核的消费级显卡上,4 位权重反而可能比 FP16 慢 1.3–2.2 倍。本文用两组实测表格拆开算这两笔账。