结论先行：自建与 API 之间没有通用分界点，只有一个可以代入你自己参数的算式。按 3:1 输入输出比、8 卡 H100（15.58 元/卡/时）、有效输出吞吐 2,000 tokens/s、利用率 100% 计算，自建侧约 17.3 元/百万输出 Token，低于 Claude Sonnet 5 折算后的 113.6 元与 gpt-5.4-mini 的 47.9 元，高于 gpt-6-luna 的 5.68 元；利用率降到 30%，自建升至约 57.7 元，压不过 gpt-5.4-mini，与 Sonnet 5 仍有约 2 倍差距。决定结论的是四个参数：有效输出吞吐、利用率、输入输出比，以及你对比的是哪一档 API。
阅读前说明：本文为公开资料分析，我们未做本地部署、压测或产品实测，全文吞吐数值均为算例假设而非实测结果。汇率按 1 美元 = 7.1 元人民币作为算例假设，不是当期汇率，请替换为你的当期值。
一、先把两侧折到同一单位
自建按「卡时」付费，API 按 Token 计价，比较前必须选定一个统一分母并全程使用。我们选每百万输出 Token：自建侧的吞吐天然以输出 Token 计量。换成「每百万总 Token」为分母，结论方向会翻转——输入占比越高，API 侧混合单价越低（输入价普遍只有输出价的五分之一左右），按输出 Token 折算则相反。两套口径都对，混用就是错的。
表 1：本文使用的价格锚点
| 项目 | 数值 | 币种与单位 | 来源与统计时间 | 本次核实状态 |
|---|---|---|---|---|
| H100 80G 单卡按需 | 15.58 | 元/卡/时 | Mysteel 算力租赁日报，2026-09-02 | 已核对到原文 |
| A100 40G 单卡按需 | 3.04 | 元/卡/时 | 同上 | 已核对到原文 |
| A100 40G 单卡包月 | 2.60 | 元/卡/时 | 同上 | 已核对到原文 |
| Claude Sonnet 5 | 2 / 10 | 美元/百万 Token（输入/输出） | Anthropic 官方定价页，页面未标注生效日期，核实于 2026-09-24 | 摘录比对未通过，待核实 |
| gpt-5.4-mini | 0.75 / 4.50 | 美元/百万 Token | OpenAI 官方定价页，页面未标注更新日期，核实于 2026-09-24 | 摘录比对未通过，待核实 |
| gpt-6-luna | 0.10 / 0.50 | 美元/百万 Token | 同上 | 摘录比对未通过，待核实 |
| RunPod H100 SXM 80GB（社区云） | 2.69 | 美元/卡/时 | RunPod 官方定价页，页面标注 2026-09-13 更新 | 摘录比对未通过，待核实 |
「待核实」不等于「不存在」：这些数字来自厂商自己的定价页，但我们本次未能通过摘录比对确认页面上的对应文字，请自行打开页面确认后再代入算式。
口径必须对齐：Mysteel 日报给的是国内裸算力租金，不含电力、机房、网络与运维人力；RunPod 标价是算力单价，存储与网络另计。人民币与美元两个市场的供需不同步，我们不做平均。另外，Mysteel 的「算力租赁价格指数」自 2026-09-09 起上线、覆盖「东数西算」八大枢纽节点——这是方法论与覆盖范围的说明，不含数值；本文的 2026-09-02 数值出自该机构更早的日报，早于指数上线日，不是指数读数。
二、显存是前置门槛，不是成本项
权重显存约等于参数量乘以每参数字节数：FP16 约 2 字节/参数，FP8 约 1 字节，INT4 约 0.5 字节。70B 模型以 FP8 部署，权重约 70GB，此外还要为 KV 缓存（Key-Value Cache，注意力机制中缓存的键值对，占用随并发数与上下文长度线性增长）、激活值与框架开销留出余量。NVIDIA 官方规格页显示 H200 SXM 为 141GB HBM3e（High Bandwidth Memory 3e，第三代高带宽显存）、显存带宽 4.8TB/s、最大 TDP 700W 且可配置，但该页标注为初步规格（Preliminary specifications）且本次摘录比对未通过，数值待核实。官方未给出 KV 缓存的显存占用公式，因此余量比例属估算值，估算方法是按峰值并发数 × 上下文长度逐项相加后压测验证。放不下就只能多卡张量并行或量化，而多卡把固定成本按卡数放大，分界点右移。量化对显存与吞吐的影响见《大模型推理量化：显存占用与吞吐对比》。
三、自建侧只需要两个数
在显存与上下文长度通过可行性门槛之后，成本差异主要由有效吞吐与利用率决定：
- 每小时成本 = 卡数 × 每卡时价
- 每小时产出（百万输出 Token） = 有效输出吞吐（tokens/s） × 3600 ÷ 1,000,000
- 每百万输出 Token 成本 = 每小时成本 ÷ 每小时产出
「有效输出吞吐」指单位时间内净产出的输出 Token 数，预填充与解码的时间开销都已计入。以 8 卡 H100、15.58 元/卡/时为例：每小时成本 = 8 × 15.58 = 124.64 元；若有效输出吞吐为 2,000 tokens/s，每小时产出 = 2,000 × 3600 ÷ 1,000,000 = 7.2 百万输出 Token；每百万输出 Token 成本 = 124.64 ÷ 7.2 ≈ 17.31 元。
表 2：自建侧每百万输出 Token 成本（元）。计费口径：按小时付费，不跑也计费；有效输出吞吐 = 满载吞吐 × 利用率。
| 满载输出吞吐（tokens/s） | 对应模型规模（示例映射，非实测） | 30% | 50% | 80% | 100% |
|---|---|---|---|---|---|
| 500 | 70B 级 FP8、多卡张量并行 | 230.8 | 138.5 | 86.6 | 69.2 |
| 1,000 | 70B 级 FP8、常规并发 | 115.4 | 69.2 | 43.3 | 34.6 |
| 2,000 | 中等规模或优化后的高并发 | 57.7 | 34.6 | 21.6 | 17.3 |
| 4,000 | 8B–13B 级、高并发 | 28.8 | 17.3 | 10.8 | 8.7 |
同一列从 100% 降到 30%，成本变为 3.33 倍——利用率是影响最大的变量。另需说明：本文不使用任何来源不明的绝对吞吐数字。MLPerf Inference 的 H100 绝对吞吐我们本次未核到官方结果表，因此全文 tokens/s 均为自设算例。
四、API 侧是一族价格，不是一个价格
设输入:输出 = k:1，产出一百万输出 Token 的同时，你要为 k 百万输入 Token 付费：
API 成本（元/百万输出 Token） = (k × 输入价 + 输出价) × 汇率
表 3：API 侧折算成本与自建打平所需的有效输出吞吐。每格格式为「API 成本 元/百万输出 Token · 打平所需有效输出吞吐 tokens/s」，自建侧按 8 卡 H100、15.58 元/卡/时。
| 输入:输出 | Claude Sonnet 5 | gpt-5.4-mini | gpt-6-luna |
|---|---|---|---|
| 1:1 | 85.2 · 406 | 37.3 · 929 | 4.26 · 8,127 |
| 3:1 | 113.6 · 305 | 47.9 · 722 | 5.68 · 6,096 |
| 10:1 | 213 · 163 | 85.2 · 406 | 10.7 · 3,251 |
复算方式（3:1、Sonnet 5）：3 × 2 + 10 = 16 美元/百万输出 Token，按 7.1 汇率折 113.6 元；124.64 ÷（113.6 × 0.0036）≈ 305 tokens/s。
有两点必须说清。其一，输入占比上升会同时抬高两侧成本——API 侧要多付输入费，自建侧预填充挤占时间、拉低有效输出吞吐——但幅度不同，所以必须用你自己的输入输出比代入，不能借用上表某一行。其二，OpenAI 定价页明确提示部分模型为促销价（示例为 GPT-5.6 Sol「at least through November 21, 2026」）；本文引用的档位是否属促销价，我们未逐档核实，若属促销价，促销结束后该档单价上升、打平所需吞吐下调，必须重算。
还有三个会进一步压低 API 侧成本、在算分界点时最容易被漏掉的机制：
- 提示缓存：缓存命中的输入按基础输入价的 0.1 倍计价（Opus 5.5 为 0.05 倍，Fable 5.1 与 Mythos 5.1 为 0.025 倍），5 分钟缓存写入为 1.25 倍。详见《提示缓存：大模型 API 价格能降多少》。
- Batch 批处理：异步批处理对输入与输出均打 5 折。
- 长上下文档位：GPT-6、GPT-5.6、GPT-5.5、GPT-5.4 系列设有长上下文档位，约为短上下文输入的 2 倍、输出的 1.5 倍，各模型触发阈值不一致，须逐模型核对。这一项使长上下文负载相对有利于自建，但这是基于两侧计价结构的推断：API 侧按档位跳价，自建侧的边际成本不随上下文长度跳档；然而上下文变长会占用更多显存与 KV 缓存、拉低并发，实际是否占优仍需按你的上下文长度分布压测。
五、两个不进算式的变量：框架版本与分词器
vLLM 官方 2024-09-05 的性能博客（对比 v0.5.3）称，Llama 70B 在 4×H100 上吞吐提升 1.8 倍、TPOT（Time Per Output Token，单输出 Token 耗时）降低 2 倍。该文全部是相对倍数，未给出任何绝对 tokens/s；数据集为 ShareGPT 分布，与生产流量不同；版本号距今已过时。它的价值只在于说明一件事：吞吐提升 1.8 倍，意味着同样负载的单 Token 成本可降至约 56%（1 ÷ 1.8）。压测自己的吞吐之前，先把框架升到当前版本，这是成本最低的一次优化。
分词器同理。官方说明 Claude 4.7 及之后模型的新分词器对同一段文本会产生约多 30% 的 Token，并说明这只是跨模型版本的比较、不是中英文比较。它对本算式的影响是：表 3 全部按 Token 计量。若你与 API 比较的是「同一段文本」而不是「同样多的 Token」，且两侧分词器不同，API 侧成本要按实际分词数调整——若 API 侧对同一段文本的分词数多约 30%，其成本上浮约 30%，打平所需吞吐同比下降约 23%（1 ÷ 1.3）；按 Token 量比较时该调整不适用。中文的 Token 消耗规律见《Tokenizer 工作原理：为什么中文更费 Token》。
六、价格波动决定结论的有效期
金十数据 2026-09-06 的国际报价快照显示：H100 报 3.06 美元/小时，该快照标注日涨 5.88%、周涨 6.62%、月涨 12.50%；同月 H200 报 4.55 美元/小时，月跌 7.52%。该快讯未披露样本来源（哪些平台、何种租期、何种卡型规格）与统计方法，属二手汇总数据。它与表 1 中 RunPod 的 2.69 美元/卡/时相差约 14%，但两者不是同一口径——前者是未披露方法的日度快照，后者是单一平台在特定租期下的标价，不可互相替代，也不能据此判断谁更准。
能用它支撑的只有定性判断：租赁报价随供需变动，不同卡型走势还会分化（同月 H100 月涨而 H200 月跌），因此任何具体分界点在使用前都应当用当期报价复核一次，而不是算一次就当长期结论。
七、适用边界与反例
租期口径不可混用。 Mysteel 日报区分「单卡按需」与「单卡包月」，同一张卡的两个价格不能互相换算。作为参考，A100 40G 在 2026-09-02 的按需价为 3.04 元/卡/时、包月价为 2.60 元/卡/时，包月约为按需的 8.5 折——但这只是单一卡型、单一时点的比值，不能直接套用到 H100。整机月租折算出的「元/卡/时」是派生值，与真实按需成交价不属于同一口径。
标价不等于总成本。 上述租赁价格都是裸算力租金，真实成本还要加上存储、网络出口、机房与电力、运维人力、模型适配与版本跟进。计入这些，自建侧成本上升、分界点右移，本文所有算式均未计入。
低利用率是自建最大的结构性风险。 每天只跑几小时离线批处理，利用率可能低于 10%，此时自建成本是 100% 利用率下的 10 倍以上，通常比任何一档 API 都贵：自建按小时付费、空转照样计费，API 按 Token 付费、没有空转成本。表 2 中利用率从 100% 降到 30% 成本变 3.33 倍，就是这个机制。
可迁往低价档的负载，自建很难打平。 分类、信息抽取、简单问答这类任务若能由低价小模型完成，无论吞吐多高都难打平——表 3 第三列已经说明。
未纳入项： 国产算力卡报价（虽有价格指数覆盖，本次未取得可引用的具体报价页面）、合规与数据出境成本、模型迭代导致的重新适配成本。
八、行动建议
- 先算显存能不能放下：参数量 × 每参数字节数，再为 KV 缓存、激活值与框架开销留余量；放不下的话后面的成本比较没有意义。
- 压测你自己的有效输出吞吐：用推理框架自带脚本（如 vLLM 的
benchmark_serving），把并发数与输入/输出长度分布对齐生产流量，只读输出 tokens/s 而非请求/秒。结果低于预期时依次查三件事：是否触发显存换出（KV 缓存被挤出显存）、批次是否被截断（并发上限设得过低）、框架是否仍是旧版本。 - 统计真实利用率：连续 2–4 周的分时请求量算平均利用率，这一个数字对结论的影响超过其他所有变量。
- 把 API 侧算准：输入输出比、缓存命中率、能否走 Batch、是否触发长上下文档位，四项合起来可能让 API 侧成本下降数倍。
- 统一口径再比价：确认每个报价的租期与包含项，选定一个分母（本文用每百万输出 Token）并全程使用。
- 用当期报价复核：具体分界点在使用前重算一次，而不是长期沿用。