NVIDIA GPU 选型指南：为什么 RTX Pro 5000 是当下的优选？
横向比较 8 款 NVIDIA 加速卡的算力、显存、带宽与功耗，折算每瓦算力，再用一次 8 卡实机压测校验推论：为什么在当前的供电、显存与供货约束下，RTX Pro 5000 是最均衡的一颗卡。
企业做私有化大模型部署，GPU 选型最容易踩的三个坑：只看单卡算力，只看采购单价，把「模型能跑起来」当成「业务真的可用」。
这三个坑有一个共同点——都只看了参数表的一半。参数表会告诉你一颗卡有多少 TFLOPS，但不会告诉你这些算力是在多少瓦功耗下换来的；会告诉你显存多大，但不会告诉你它能不能撑住 90k 长输入下的多路并发；会告诉你支持 FP4，但不会告诉你软件栈有没有真的把 FP4 跑出吞吐。
这篇文章只做一件事：把这一代常见的 8 款 NVIDIA 加速卡放进同一张表，先比参数，再比每瓦算力，最后用一次 8 卡实机压测校验推论。结论放在前面：在当前这一代的供电、显存与供货约束下，RTX Pro 5000 是最没有短板的一颗卡——它的峰值算力不是最高的，但在「装得进机柜、装得下模型、能效打得平旗舰」这三件事上同时成立。
一、先定维度：四个数决定一张卡值不值
选型讨论之所以经常吵不出结果，是因为每个人盯的指标不同。把维度固定成下面四个，讨论才有公共语言。
- AI 算力：看 FP8 与 FP4 的稠密峰值，不看稀疏峰值，也不看 FP32。大模型推理真正吃的是低精度矩阵算力，FP32 只在极少数科学计算场景里才是主角。
- 显存容量与带宽：容量决定「能装多大的模型、能留多少 KV Cache」，带宽决定「decode 阶段每生成一个 token 要等多久」。这两个指标一个都不能少。
- 能效（TFLOPS / W）：同样的机房供电与散热条件下，能换来多少 AI 吞吐。这一项在单机多卡、甚至整柜部署时，往往比峰值算力更早成为瓶颈。
- 软件栈与实测：理论峰值能不能落地，取决于推理引擎、量化精度、并行策略与缓存命中率。所以任何选型结论，最后都要用目标模型 + 目标框架的压测数据来校验。
二、官方参数：把 8 张卡放进同一张表
先看硬指标。下表数据取自 NVIDIA 官方产品规格，算力均为官方公布的稠密峰值，单位统一标注在项目列。
表 1：8 款加速卡官方参数对比
| 项目 | H200 | H20 | RTX Pro 6000 | RTX 6000D | RTX Pro 5500 | RTX Pro 5000 | L20 | RTX 5090 |
|---|---|---|---|---|---|---|---|---|
| FP4 稠密算力（TFLOPS） | NA | NA | 2000 | 593 | 1188 | 1000 | NA | 1676 |
| FP8 稠密算力（TFLOPS） | 1979 | 296 | 1000 | 296 | 594 | 500 | 238 | 838 |
| 显存容量（GB） | 141 | 141 / 96 | 96 | 84 | 84 | 72 | 48 | 32 |
| 显存带宽（GB/s） | 4800 | 4800 / 4000 | 1597 | 1398 | 1398 | 1344 | 864 | 1792 |
| 功耗（W） | 700 | 500 | 600 | 450 | 600 | 300 | 350 | 575 |
数据来源：NVIDIA 官方产品规格（数据中心 GPU 与 RTX PRO 系列工作站 / 服务器加速卡）。显存「/」表示该型号存在两种配置，如 H20 有 141GB 与 96GB 版本。理论峰值不等于实际吞吐，后者更取决于显存带宽、KV Cache 与软件栈——这也是后文要用实测数据校验的原因。
这张表里有三个容易被误读的地方，值得单独说清。
第一，FP8 的绝对第一名是 H200，但代价写在功耗列。H200 的 1979 TFLOPS 是 500 TFLOPS 的近 4 倍，可它的 700W 也是 300W 的 2.3 倍，而且它的采购单价远超 RTX 系列——用带宽和 HBM 换来的算力，是要付溢价的。
第二，RTX 5090 的 FP4 峰值（1676 TFLOPS）比 RTX Pro 5000 还高，但它不是同一个物种。32GB 显存意味着一个 100B 级的 MoE 模型光权重都装不下，更别提 KV Cache；1792 GB/s 的带宽看着漂亮，实际能跑的场景被显存死死卡住。显存是硬门槛，算力只是门槛之后的加分项。
第三，RTX Pro 5500 是最容易让人犹豫的那一列。它的 FP8（594 TFLOPS）、FP4（1188 TFLOPS）都比 5000 高一档，显存同为 84GB 级别，看上去「加一点钱就上一档」。但这个判断漏掉了功耗列：5500 是 600W，5000 是 300W。
三、把算力除以功耗：排序立刻变了
把上表的 FP8 稠密峰值除以 TDP，能效排序会重排一次。
表 2：FP8 每瓦算力（TFLOPS / W），按能效降序
| 型号 | FP8 算力（TFLOPS） | 功耗（W） | 每瓦算力（TFLOPS / W） |
|---|---|---|---|
| H200 | 1979 | 700 | 2.83 |
| RTX Pro 5000 | 500 | 300 | 1.67 |
| RTX Pro 6000 | 1000 | 600 | 1.67 |
| RTX 5090 | 838 | 575 | 1.46 |
| RTX Pro 5500 | 594 | 600 | 0.99 |
| L20 | 238 | 350 | 0.68 |
| RTX 6000D | 296 | 450 | 0.66 |
| H20 | 296 | 500 | 0.59 |
RTX Pro 5000 与旗舰 RTX Pro 6000 并列 1.67 TFLOPS/W，是 RTX Pro 5500 的 1.68 倍，是 RTX 6000D 的 2.5 倍。而它在 FP8 上只落后 6000 一半——用一半的功耗拿到一半的峰值算力，能效自然打平。
再看 5000 与 5500 这对最容易纠结的组合，把 5500 的各项指标当作 100% 基准。
表 3：RTX Pro 5000 相对 RTX Pro 5500 的规格占比（5500 = 100%）
| 指标 | FP8 算力 | FP4 算力 | 显存容量 | 显存带宽 | 功耗 |
|---|---|---|---|---|---|
| RTX Pro 5000 / 5500 | 84% | 84% | 86% | 96% | 50% |
一句话概括：规格打了 8.4 折，功耗打了 5 折。对一台要跑三年、七年、甚至更久的机器来说，功耗不是电费单上的小数点，而是三个更硬的东西：单机能不能塞下 8 张卡、机房要不要改供电与散热、同样的机柜能不能多放一台。
还有一个经常被忽略、但在项目排期里很致命的问题：RTX Pro 5500 的发货时间存在不确定性。当项目有明确的交付窗口时，供货风险本身就是成本的一部分——这一点在预算表里看不见，在延期的时候看得非常清楚。
四、横向站位：压住了谁，又被谁压住
参数和能效之外，还要看它在真实对手里的位置。这里不做「全面碾压」式的表述，只说三段关系。
完胜 RTX 6000D。FP8 500T 对 296T，FP4 1000T 对 593T，算力接近对手的 1.7 倍，功耗还低 150W；显存 72GB 对 84GB 略小，但 6000D 的能效只有 0.66 TFLOPS/W，是表内倒数第二。除非有明确的合规或供货约束，否则在相近价位段，5000 几乎没有对手。
替代 L20。FP8 500T 对 238T（2.1 倍），显存 72GB 对 48GB，带宽 1344 GB/s 对 864 GB/s，功耗反而低 50W。更关键的是 L20 没有 FP4——在 NVFP4 成为主流量化精度的当下，这不只是跑分差距，而是代际鸿沟：新模型的新精度，老卡根本没有对应指令。
让位 H20 / H200。H20 的 FP8 只有 296T，但它有 96GB HBM3 和 4TB/s 级别的带宽。在超长上下文、大 batch decode 这类带宽敏感的场景里，HBM 仍然明显强于 GDDR7 的 1344 GB/s。
这个边界必须讲清楚：RTX Pro 5000 赢在中模型的高并发与能效，不赢在极端带宽场景。而且 H20 / H200 的采购单价远高于 5000，带宽是拿溢价换来的，只有真正的带宽敏感型业务才收得回这笔溢价。把边界说明白，方案才站得住。
五、实机验证：8 卡跑 DeepSeek V4.1 Flash
到这里为止都是纸面推算。能效推论是否成立，只能由压测回答。
验证平台是 8 张 RTX Pro 5000（72GB × 8 = 576GB），跑 DeepSeek-V4.1-Flash-1017——一个约 552B 参数的大规模稀疏 MoE，原生 1M Token 上下文，采用官方 FP4 + FP8 混合精度。这套配置来自 1Panel AI 一体机的 8 卡方案，标准 4U 风冷机箱，具体规格如下。
表 4：8 × RTX Pro 5000 测试配置
| 项目 | 配置 |
|---|---|
| 机头 | 4U 机架式，标准风冷平台 |
| 加速卡 | 8 × RTX Pro 5000（72GB × 8 = 576GB） |
| GPU 总功耗 | 2400W（单卡 300W） |
| CPU / 内存 / 存储 | 2 × Intel Xeon Gold 6530 / 512GB / 4TB SSD |
| 推理栈 | vLLM，TP8 + EP8，KV Cache FP8 |
| 加速特性 | DSpark K5 投机解码，1M 上下文，Engram 主机内存 |
576GB 显存把 552B 模型完整装进单机，整机 GPU 功耗只有 2400W。实测结果分两类负载。
表 5：实测数据（DeepSeek-V4.1-Flash-1017）
| 场景 | 单并发 TTFT | 整机峰值吞吐 | 单路吞吐 | 建议并发 |
|---|---|---|---|---|
| 通用业务（1,024 输入 / 256 输出） | 0.17 s | ~450 tok/s | 117 tok/s | 8–12 路 |
| 编程 / Agent（64K 输入，90% Prefix Cache 命中） | 1.08 s | ~454 tok/s | 179 tok/s | 10–16 路 |
三个值得注意的读数：
- 首字 0.17 秒意味着短对话场景基本感知不到排队，交互体验与公有云 API 同一量级；
- 编程场景 64K 输入仍有 1.08 秒首字，靠的是 90% 的 Prefix Cache 命中率——代码库这类「同一份上下文反复提问」的负载，缓存命中率是决定体验的第一变量，比算力更靠前；
- 整机 ~450 tok/s 已在 8–16 并发区间稳定达成，这不是实验室峰值，而是可复现的稳定区间。生产环境建议按 8–12 路（通用）/ 10–16 路（编程）做容量规划，把 16 路当作硬上限而不是日常目标。
为什么 2400W 够？因为这代卡的关键不在峰值算力，而在「低精度算力 + 显存 + 功耗」三者的配比：FP4 让 552B 模型的权重体积压到 576GB 显存装得下的范围，300W 的单卡功耗让 8 卡整机落在标准风冷机箱的供电与散热包络内，剩下的活交给 TP8 + EP8 与投机解码。能效不是省电费，而是决定「这个配置能不能成立」。
六、为什么是「当下」：四个现实约束
参数赢一半，装机决定另一半。把 8 张卡的总账摊开，很多「看起来更划算」的选择会立刻失效。
表 6：8 卡配置的功耗与显存合计（按表 1 单卡参数折算）
| 型号 | 单卡功耗 | 8 卡功耗 | 单卡显存 | 8 卡显存 | 8 卡 FP8 算力 |
|---|---|---|---|---|---|
| H200 | 700 W | 5600 W | 141 GB | 1128 GB | 15832 T |
| H20 | 500 W | 4000 W | 96 GB | 768 GB | 2368 T |
| RTX Pro 6000 | 600 W | 4800 W | 96 GB | 768 GB | 8000 T |
| RTX Pro 5500 | 600 W | 4800 W | 84 GB | 672 GB | 4752 T |
| RTX 6000D | 450 W | 3600 W | 84 GB | 672 GB | 2368 T |
| RTX Pro 5000 | 300 W | 2400 W | 72 GB | 576 GB | 4000 T |
| L20 | 350 W | 2800 W | 48 GB | 384 GB | 1904 T |
| RTX 5090 | 575 W | 4600 W | 32 GB | 256 GB | 6704 T |
表中只统计 GPU 部分。整机总功耗还要叠加 CPU、内存、风扇与电源损耗，实际通常是 GPU 功耗的 1.2–1.4 倍；显存与算力为单卡参数的线性折算，未计入张量并行的切分损耗。
约束一：供电与散热的包络。多数 4U 风冷整机的 GPU 供电预算按 2400–3200W 规划（取决于电源与散热配置）。RTX Pro 5000 的 8 卡 2400W 正好落在这个区间，留得住余量；同样 8 卡的 RTX Pro 5500 / 6000 是 4800W，H200 是 5600W——这不是「多买一台电源」的问题，而是要改配电、上液冷、重做机房规划。能效在这里不是省电费，而是这套配置能不能落地。
约束二：显存是硬门槛。72GB 单卡、8 卡 576GB，是 552B 稀疏 MoE 在 FP4 + FP8 混合精度下装进单机的入场券。RTX 5090 的 32GB 算力再漂亮，权重都放不下；L20 的 48GB 也偏紧——装得下模型，留不下足够的 KV Cache 给多路长上下文。
约束三：精度代际。NVFP4 已经是这一代开源模型发布时的默认量化精度。RTX Pro 5000 支持 FP4（1000 TFLOPS），L20 完全不支持；H20 与 RTX 6000D 的 FP8 都只有 296 TFLOPS，是 5000 的 59%。买一颗不支持 FP4 的卡，等于把未来两代模型的默认精度挡在门外。
约束四：供货窗口也是成本。RTX Pro 5500 的发货时间存在不确定性，H200 / H20 是另一个价位段，RTX 6000D 受合规约束。当项目有明确交付日期时，能按时到货的卡才有资格进入比较——这一点在预算表里看不见，在延期的时候看得非常清楚。
七、结论：一张可以直接用的选型清单
- 先算每瓦，再算总价。1.67 TFLOPS/W，与旗舰 RTX Pro 6000 并列第一，是 5500 的 1.68 倍、6000D 的 2.5 倍。同代同精度下，它保住 84% 的 AI 算力，只花一半功耗。
- 显存是硬门槛，先卡住再比算力。72GB 单卡、8 卡 576GB，对应 125B 到 552B 的稀疏 MoE 区间；32GB 级的消费卡算力再高，也进不了这张牌桌。
- 把能效换算成「能不能装机」。8 卡 2400W 落在标准风冷包络内，5500 / 6000 的 8 卡 4800W 意味着液冷或改配电——这笔改造费通常比卡本身更贵。
- 用目标模型压测，不要用参数表决策。8 卡 2400W 跑通 552B 稀疏 MoE、首字 0.17s、整机 ~450 tok/s，这类数据只能来自实机，不能来自推算。
- 把并发当容量规划，不当性能上限。16 路能跑，但建议 8–12 路（通用）/ 10–16 路（编程）作为日常目标，把余量留给长上下文与突发。
回到最初的问题：为什么是 RTX Pro 5000？因为它不是在任何一个维度上拿第一的卡，而是在算力、显存、能效、供货四项上都没有明显短板——而这四项里，任何一项短板都会让整套方案失效。选型从来不是挑最强的，是挑那个「不会被某一项卡住」的。
数据来源：参数取自 NVIDIA 官方产品规格（数据中心 GPU 与 RTX PRO 系列工作站 / 服务器加速卡），算力均为官方公布的稠密峰值；实测数据取自 1Panel 官方评测报告（8 卡 RTX Pro 5000 部署 DeepSeek-V4.1-Flash-1017）。每瓦算力、8 卡合计值与相对百分比为线性折算，仅供选型参考；实际性能与功耗须以目标模型 + 推理框架的压测结果、以及服务器厂商的供电与散热设计为准。
