返回 1Panel AI 一体机

1Panel for RTX Pro 5000 解决方案

NVIDIA RTX Pro 5000 是这一代最均衡的一颗推理卡:单卡 72GB 显存、FP4 1000 TFLOPS、整卡 300W。1Panel 把它装成一套可直接交付的私有化 AI 方案——单卡到八卡,同一套面板管到底。

单卡 72GB 双卡 144GB 四卡 288GB 八卡 576GB
核心参数

72GB 显存,300W 功耗 一张卡撑起一套私有化方案

参数取自 NVIDIA 官方产品规格,算力均为稠密峰值。大模型推理真正吃的是低精度矩阵算力与显存带宽,FP32 与稀疏峰值不在比较范围内。

FP4 稠密算力
1000 TFLOPS
NVFP4 已是新一代开源模型发布时的默认量化精度
FP8 稠密算力
500 TFLOPS
不支持 FP4 的卡,只能靠这一档低精度算力
显存容量
72 GB GDDR7
单卡装下 125B 级稀疏 MoE 的权重与 KV Cache
显存带宽
1344 GB/s
decode 阶段每生成一个 Token 的等待时间由它决定
整卡功耗
300 W
8 卡合计 2400W,标准 4U 风冷即可承载
每瓦算力
1.67 TFLOPS / W
RTX 系列第一,与旗舰 RTX Pro 6000 并列

8 卡整机合计

单卡线性折算,不含张量并行切分损耗

576 GB
8 卡显存合计
2400 W
8 卡 GPU 功耗
4000 TFLOPS
8 卡 FP8 算力
4U 风冷
标准机箱即可承载

整机总功耗还要叠加 CPU、内存、风扇与电源损耗,通常是 GPU 功耗的 1.2–1.4 倍。

为什么是它

算力、显存、能效 三项都没有明显短板

选型不是挑最强的,是挑那个不会被某一项卡住的。把 8 款加速卡放进同一张表,再除以功耗,排序会变一次。

每瓦算力 RTX 系列第一

1.67 TFLOPS/W,与旗舰 RTX Pro 6000 并列,是 RTX Pro 5500 的 1.68 倍、RTX 6000D 的 2.5 倍。相对 5500,规格打 8.4 折,功耗打 5 折。

显存先卡住门槛

单卡 72GB、八卡 576GB,覆盖 125B 到 552B 稀疏 MoE 的完整区间。RTX 5090 的 32GB 算力再漂亮,权重也装不下,进不了这张牌桌。

8 卡装得进风冷机柜

2400W 落在 4U 标准风冷 2400–3200W 的供电预算内;同代 5500 / 6000 是 4800W,H200 是 5600W——那不只是多买一台电源,而要改配电、上液冷。

FP8 每瓦算力排序(TFLOPS / W)

查看完整选型指南
  • H200
    2.83
  • RTX Pro 5000
    1.67
  • RTX Pro 6000
    1.67
  • RTX 5090
    1.46
  • RTX Pro 5500
    0.99
  • L20
    0.68
  • RTX 6000D
    0.66
  • H20
    0.59
RTX Pro 5000:FP8 500T / 300W RTX Pro 5500:FP8 594T / 600W RTX 6000D:FP8 296T / 450W

H200 的每瓦算力最高,但采购单价与 8 卡 5600W 的供电需求不在同一量级——这是它赢在带宽、也贵在带宽的边界;RTX Pro 5000 赢在中模型的高并发与能效,不赢在极端带宽场景。

四种规模

从一张卡到八张卡 同一套面板,扩卡不用换平台

四套方案都在 1Panel AI 一体机上交付,区别只在卡数、显存与整机形态;预置模型、AI 网关与运维界面完全一致。

方案二 1 卡
72 GB 显存

单卡起步,把本地模型跑起来

主机形态
旗舰工作站
处理器与内存
Intel Core Ultra 9 285K
64GB 内存 · 1TB SSD
预置模型
Qwen3.6-35B-A3B Qwen3.8-27B
查看单卡方案实测报告
方案三 2 卡
144 GB 显存

双卡并联,跑得动 Flash 级模型

主机形态
旗舰工作站
处理器与内存
2 × Intel Xeon Silver 4510
128GB 内存
预置模型
Qwen3.6-35B-A3B Qwen3.8-27B Qwen3.8-Flash-Next
查看双卡方案实测报告
方案五 4 卡
288 GB 显存

四卡同机,多模型并行服务

主机形态
旗舰工作站
处理器与内存
Intel Xeon w7-3445(20 核)
128GB 内存 · 2TB SSD
预置模型
Qwen3.8-Flash-Next DeepSeek-V4-Flash GLM-5.3-Flash
查看四卡方案实测报告
方案六 8 卡
576 GB 显存

八卡整机,单机跑完整 552B MoE

主机形态
4U 机架服务器 / 办公室级液冷超节点
处理器与内存
2 × Intel Xeon Gold 6430
512GB 内存 · 4TB SSD
预置模型
Qwen3.8-Flash-Next DeepSeek-V4-Flash GLM-5.3-Flash DeepSeek-V4.1-Flash
查看八卡方案实测报告

四套方案均预置 1Panel 企业版(含 AI 网关)与 MaxKB,可按团队规模与模型尺寸选择。

实机评测

每一档卡数,都有一份实测报告

四套方案都在飞致云生产环境完成压测与真实业务验证,测试口径、软硬件参数与数据全部公开。

Qwen3.8-27B私有化部署方案、压测数据和实测表现 单卡

Qwen3.8-27B私有化部署方案、压测数据和实测表现

在1Panel AI一体机单卡(NVIDIA RTX Pro 5000 Blackwell 72GB)环境中私有化部署Qwen3.8-27B模型的方案、压测数据与实测表现,覆盖5类业务场景的首字延时(TTFT)、输出吞吐TPS、人均TPS三项核心指标在FP8与NVFP4精度下的对比,以及飞致云内部300人团队的真实落地实践。

阅读报告
1Panel AI一体机(方案三)实测报告:双卡RTX Pro 5000部署Qwen3.8-Flash-Next 双卡

1Panel AI一体机(方案三)实测报告:双卡RTX Pro 5000部署Qwen3.8-Flash-Next

在 1Panel AI 一体机(方案三,2 × NVIDIA RTX Pro 5000 Blackwell 72GB / 128GB 内存)上,使用 vLLM 部署 Qwen3.8-Flash-Next 完成压力测试,并接入 WorkBuddy 在飞致云生产环境中连续运行一周。本文完整呈现该配置的软硬件参数与测试口径,给出从 1 到 16 并发的压力测试数据,以及在真实办公负载下的首字延时与吞吐表现,为评估部门级私有化 AI 部署提供一份可复现的实测参考。

阅读报告
1Panel AI一体机(方案五)模型实测对比:DeepSeek-V4-Flash vs. Qwen3.8-Flash-Next 四卡

1Panel AI一体机(方案五)模型实测对比:DeepSeek-V4-Flash vs. Qwen3.8-Flash-Next

在 1Panel AI 一体机(方案五,4 × NVIDIA RTX Pro 5000 Blackwell / 128GB 内存 / 2TB SSD)上,使用 vLLM 对 DeepSeek-V4-Flash 与 Qwen3.8-Flash-Next 两款开源模型进行同平台横向实测。基于飞致云生产环境的真实负载(平均输入 ~90k tokens / 平均输出 ~500 tokens / 缓存命中率 ~91%),客观呈现最大并发、TTFT、聚合解码吞吐与单流解码速度四项指标的实测数据,并从 Attention 稀疏化与 MoE 路由机制的角度说明数据差异的技术成因。

阅读报告
1Panel AI 一体机(方案六)实测报告:8 卡部署 DeepSeek-V4.1-Flash-1017 八卡

1Panel AI 一体机(方案六)实测报告:8 卡部署 DeepSeek-V4.1-Flash-1017

在 1Panel AI 一体机(方案六,8 × NVIDIA RTX Pro 5000 Blackwell 72GB / 512GB 内存 / 4TB SSD)上,使用 vLLM 以 TP8+EP8 并行策略部署 DeepSeek-V4.1-Flash-1017,完成通用业务与 AI 编程 / Agent 两类负载的多并发压测。本文完整给出 1–64 并发下的首字延时(TTFT)、整机输出吞吐与单路输出吞吐实测数据,以及 90% Prefix Cache 命中率下 64K / 84K 超长上下文场景的表现与并发容量建议。

阅读报告

把你的模型规模,换算成一套 RTX Pro 5000 配置

告诉我们模型尺寸、并发量与部署环境,1Panel 团队会结合四套方案的实测数据,帮你定卡数、算整机功耗、理清落地路径。

微信扫码咨询 1Panel for RTX Pro 5000 解决方案
微信扫码咨询
获取配置建议 · 实测数据 · 方案报价