NVIDIA H100 SXM 参数详解 — 算力、显存、功耗与价格
当前全球部署量最大的 AI 训练卡，大模型军备竞赛的事实标准。
H100 SXM 核心参数规格表
| 型号 | NVIDIA H100 SXM |
|---|---|
| 类别 | 数据中心 |
| 架构 | Hopper |
| 发布年份 | 2022 |
| 显存 | 80GB HBM3 |
| 显存带宽 | 3350 GB/s |
| FP32 算力 | 67 TFLOPS |
| FP16/BF16 算力 | 989 TFLOPS |
| 低精度算力 | FP8 1979 |
| 互联方案 | NVLink4 900GB/s |
| TDP 功耗 | 700W |
| 市场参考价 | 约22万（约 220000 元，每万元 45 TFLOPS） |
| 综合算力评分 | 90 / 100（全站第 11 名，本站加权计算） |
本页 8 项核心参数中，无约值标记 8 项。 带 ~ 的为约值或折算值，— 表示厂商未公开；稀疏加速值已在「低精度算力」一栏注明。价格为市场参考区间，不是报价。
H100 SXM 怎么部署、配什么生态
| 供电要求 | 700W，超出单机箱风冷范围，需要服务器电源与机架散热 |
|---|---|
| 机箱形态 | 机架式服务器，需配套散热与冗余供电 |
| 软件生态 | CUDA，PyTorch / vLLM / TensorRT 原生支持，生态最成熟 |
| 跑 70B 的方案 | 单卡就能装下 70B 的 4bit 量化权重（约 40GB），不需要多卡切分 |
生态成熟度直接决定「买回来能不能跑起来」，比算力更该先看。国产卡的迁移成本主要花在算子适配与调优上。
H100 SXM 的算力水平与瓶颈在哪
NVIDIA H100 SXM 采用 Hopper 架构，FP32 单精度算力 67 TFLOPS， FP16/BF16 半精度算力 989 TFLOPS，低精度算力 FP8 1979。 按大模型训练与推理的综合权重计算，该卡在本站 115 张算力卡中排第 11 位，覆盖百亿到千亿参数模型的训练，推理吞吐也有富余。
显存 80GB HBM3，带宽 3350 GB/s。在「20 万元以上」档的 14 款卡里，它的每万元 FP16 算力排第 9（45 TFLOPS/万元）。与排名相邻的 AMD Instinct MI350X 相比，它的 FP16 算力低出 57%、显存少 208GB、显存带宽低 58%、参考价低 6%。它与 NVIDIA H800 的核心规格完全一致，差别只在卡间互联（NVLink4 900GB/s 对 NVLink 400GB/s）。
互联是 NVLink4 900GB/s，高速互联意味着多卡扩展时通信不会成为瓶颈，适合组建训练集群。按 80GB 显存算，单卡可跑 70B 的 4bit 量化模型，或 30B 级模型的全精度推理。
H100 SXM 能跑多大的模型
按「权重 + 20% 运行时开销 ≤ 90% 显存」估算，✓ 表示单卡可运行，— 表示需要多卡或降精度。
| 模型规模 | FP16/BF16（2 字节） | FP8/INT8（1 字节） | 4bit 量化（0.5 字节） |
|---|---|---|---|
| 7B | ✓ | ✓ | ✓ |
| 14B | ✓ | ✓ | ✓ |
| 32B | — | ✓ | ✓ |
| 70B | — | — | ✓ |
| 110B | — | — | ✓ |
估算不含长上下文场景的 KV Cache 膨胀，也不含张量并行带来的额外显存占用；实际部署请以实测为准。
与 H100 SXM 同级的显卡对比
对比对象是总榜中与它排名相邻的显卡，点击型号可查看各自的完整参数。
| 型号 | 显存 | FP16/BF16 | FP8/INT8 | TDP | 参考价 | 评分 |
|---|---|---|---|---|---|---|
| NVIDIA H100 SXMHopper | 80 GB | 989 | FP8 1979 | 700W | 约22万 | 90 |
| 华为 昇腾 950PR达芬奇 | 128 GB | ~500 | FP8 1000 / FP4 2000 | — | 未公开报价 | 90 |
| AMD Instinct MI350XCDNA4 | 288 GB | ~2300 | FP4 9200 | 1000W | 约21-26万 | 92 |
| AMD Instinct MI325XCDNA3 | 256 GB | 1307 | FP8 2615 | 1000W | 约20万 | 89 |
H100 SXM 常见问题
H100 SXM 多少钱一张？
NVIDIA H100 SXM 的市场参考价为 约22万（2026 年 11 月行情）。数据中心卡与国产加速卡的价格随供需和政策波动明显，采购前建议向厂商或代理商询实价，表内价格只作横向比较用。
H100 SXM 的算力是多少？
NVIDIA H100 SXM 的 FP32 算力为 67 TFLOPS，FP16/BF16 算力为 989 TFLOPS，低精度算力 FP8 1979。在本站 115 张算力卡中综合排名第 11 位。
H100 SXM 能跑多大的大模型？
NVIDIA H100 SXM 配备 80GB HBM3 显存，单卡可跑 70B 的 4bit 量化模型，或 30B 级模型的全精度推理。按 FP16 每 10 亿参数约 2GB 估算，实际可用规模还要留出 KV Cache 与框架开销。
H100 SXM 的功耗和部署要求？
NVIDIA H100 SXM 的 TDP 为 700W。需要在机架服务器中部署，注意散热与供电冗余。
H100 SXM 的性价比怎么样？
按参考价中位数 220000 元计算，NVIDIA H100 SXM 每万元可买到约 45 TFLOPS 的 FP16 算力。这个指标只反映算力单价，不包含显存容量、带宽与软件生态的差异，跨类别比较时需谨慎。
相关显卡与延伸阅读
算力概念与选型方法：
