1Panel AI 一体机(方案四)实测报告:4 台 GB10 集群部署 DeepSeek-V4.1-Flash-1017

在 1Panel AI 一体机(方案四,4 × NVIDIA GB10 Grace Blackwell / 512GB LPDDR5X 统一内存 / 8TB NVMe SSD)上,通过一台 400G 高速交换机组成星型 RDMA 集群,使用预适配 vLLM 镜像部署 DeepSeek-V4.1-Flash-1017,完成通用业务与 AI 编程 / Agent 两类负载的多并发压测,并给出模型接入生产环境 AI 网关后的真实吞吐、前缀缓存命中率与首字延时监控数据。

1Panel AI 一体机(方案四)实测报告:4 台 GB10 集群部署 DeepSeek-V4.1-Flash-1017

2026 年 11 月,飞致云旗下 1Panel AI 一体机产品家族新增 4 × GB10 集群组合方案。该方案由 4 个 NVIDIA GB10 算力节点和一台 400G 高速交换机组成分布式推理集群,能够支持 DeepSeek-V4.1-Flash-1017 的私有化部署并流畅运行。本次测试基于 1Panel AI 一体机(4 × GB10 集群版),围绕日常问答、文档处理、复杂任务及 AI 编程 / Agent 等场景展开,并从部署架构、集群化模型部署、性能压测与生产环境运行四个方面记录实测过程与数据,为企业的本地化模型部署选型提供参考。

一、4 × GB10 集群分布式推理部署方案

1Panel AI 一体机采用类「超融合」理念,将底层算力资源、模型服务与 AI 应用整合为统一的企业 AI 基础设施。本次测试采用 4 个 NVIDIA GB10 算力节点,通过一台 400G 高速交换机组建分布式推理集群,由 1Panel 企业版统一管理模型部署及推理服务。软硬件配置如下:

  • 设备:1Panel AI 一体机(4 × GB10 集群版)
  • 算力节点:4 颗 NVIDIA GB10 Grace Blackwell
  • CPU:4 颗 20 核 ARM CPU,合计 80 核
  • GPU 架构:NVIDIA Blackwell
  • 合计共享显存:512GB LPDDR5X
  • 合计理论算力:最高 4 PFLOPS NVFP4 稀疏算力
  • 合计存储:8TB NVMe SSD
  • 网络接口:NVIDIA ConnectX-7,单节点最高 200Gbps
  • 组网互联:400G 级高速交换机,RDMA 组网
  • 模型:DeepSeek-V4.1-Flash-1017
  • 模型精度:官方原生 FP8 + FP4 混合精度
  • 上下文窗口:1M Tokens
  • 推理引擎:vLLM
  • 管理软件:1Panel 企业版(含 AI 网关)

该方案的特点主要体现在两个方面。

1. 大容量统一内存,满足大模型部署需求

DeepSeek-V4.1-Flash-1017 采用大规模 MoE(Mixture of Experts,混合专家)架构,模型权重及推理运行需要较大的内存空间。本次方案采用统一内存与 NVMe SSD 协同的分层存储策略,将主要模型权重分布至各算力节点,并将 Engram 查表数据卸载至 NVMe SSD,释放更多内存资源用于模型推理。

2. 高速交换式组网,支撑多节点协同推理

本次方案采用交换式星型组网架构,通过一台 400G 级高速交换机连接 4 个 GB10 算力节点,并支持 RoCE 高速网络组网。相较于节点间直接互联,交换式组网具有拓扑清晰、布线简洁、易于管理等优势;各算力节点通过交换机通信,无需承担其他节点间的数据中转,为多节点张量并行及模型推理提供高速网络互联基础。

图1 1Panel AI 一体机(4 × GB10 集群版)
图1 1Panel AI 一体机(4 × GB10 集群版)

二、基于 1Panel 企业版的集群化模型部署方案

对于大规模模型,多节点部署不仅需要解决模型权重的存储问题,还会涉及网络通信、运行环境一致性、推理引擎适配和分布式服务管理等多个环节。传统手工部署通常需要逐台配置 GPU 环境、准备模型文件、安装推理框架并编写多节点启动脚本,部署和故障排查过程相对复杂。1Panel AI 一体机产品家族通过预适配的推理镜像和集群部署方案,将这一过程标准化,支持通过可视化的管理流程完成模型的集群部署。

  • 统一纳管算力节点:将 4 个 GB10 节点通过高速交换机组成集群,完成网络通信及基础运行环境准备;通过 1Panel 企业版对算力节点统一管理,集中管理推理服务与运行状态。企业无需分别在多台服务器上管理模型服务,有助于减少多节点环境配置差异及日常运维工作量。
  • 预适配 vLLM,简化分布式部署:本方案采用针对 4 节点 GB10 环境优化的 vLLM 推理引擎镜像,针对 GB10 的 ARM CPU、Blackwell GPU 及多节点运行环境预先完成推理引擎与模型适配,减少自行构建镜像、安装依赖及处理兼容性问题的工作量。用户在完成硬件与网络准备后,可基于预适配方案配置并启动 DeepSeek-V4.1-Flash-1017 推理服务。
  • 集成 AI 网关与推理监控:模型部署完成后,1Panel 企业版可通过 AI 网关向上层应用提供统一的模型访问入口,便于接入内部 AI 助手、知识库、AI 编程工具和业务智能体;同时集成 vLLM 运行监控能力,展示实时并发、Token 吞吐、KV Cache 使用率、前缀缓存命中率及请求延时等关键指标,为运行状态观察、瓶颈分析与容量规划提供数据依据。
图2 1Panel 企业版部署 DeepSeek-V4.1-Flash-1017 模型
图2 1Panel 企业版部署 DeepSeek-V4.1-Flash-1017 模型

三、DeepSeek-V4.1-Flash-1017 部署性能实测

为评估 1Panel AI 一体机(4 × GB10 集群版)的实际推理能力,本次性能测试使用 1Panel 企业版内置的基准测试工具,围绕通用业务和 AI 编程 / Agent 两大类场景展开,重点考察不同输入长度与并发条件下的首字延时(TTFT)、整机输出吞吐(TPS)和单路输出吞吐(TPS)三个核心指标。

图3 1Panel 企业版内置基准测试工具
图3 1Panel 企业版内置基准测试工具

1. 通用业务场景

通用业务主要覆盖企业 AI 助手、知识库问答、长文档总结和复杂问题分析等任务。本次设置四组不同输入 / 输出规模的测试负载,分别考察模型在不同并发条件下的推理性能。

测试场景 输入 Token 输出 Token
短对话1,024256
文档问答4,096512
长文档总结/RAG8,1921,024
通用复杂任务16,3842,048

说明:四组测试均采用无 Prefix Cache 命中的测试条件,以观察模型在不同输入长度下的实际推理表现。

短对话与文档问答

测试场景 并发数 首字延时 TTFT(s) 整机输出吞吐 TPS 单路输出吞吐 TPS
短对话10.5464.6164.61
40.89111.3327.83
81.23139.6217.45
127.49139.1911.60
1614.30136.228.51
2426.92138.055.75
文档问答11.3572.1672.16
42.35115.1428.79
83.20137.9517.24
1216.10131.2410.94
1629.46133.398.34
2455.04136.125.67

说明:首字延时(即 TTFT)单位为秒(s),表格中为平均 TTFT;整机输出吞吐与单路输出吞吐单位为 tokens/s。

从首字延时来看,短对话单并发平均 TTFT 仅为 0.54 秒,8 并发时仍控制在 1.23 秒;文档问答在 8 并发下平均 TTFT 为 3.20 秒,具备一定的交互响应能力。

从整机输出吞吐来看,两类场景在 8 并发时分别达到 139.62 tokens/s 和 137.95 tokens/s,随后逐步进入吞吐平台期。继续提高并发带来的总产能提升有限,但首字延时明显增长,单路输出速度也持续下降。

长文档总结 / RAG 与通用复杂任务

测试场景 并发数 首字延时 TTFT(s) 整机输出 TPS 单路输出 TPS
长文档总结/RAG12.3993.5393.53
43.67139.2034.80
84.95153.9019.24
1227.06156.0013.00
通用复杂任务14.50102.68102.68
46.95149.4737.37
89.03178.6822.33
1028.49180.4318.04

说明:首字延时(即 TTFT)单位为秒(s),表格中为平均 TTFT;整机输出吞吐与单路输出吞吐单位为 tokens/s。

随着输入长度的增加,模型需要处理更多的上下文信息,首字延时相应增长。在单并发条件下,长文档总结 / RAG 与通用复杂任务的平均首字延时分别为 2.39 秒和 4.50 秒。

整机输出吞吐方面,RAG 场景在 8 并发时达到 153.90 tokens/s;通用复杂任务在 10 并发时达到 180.43 tokens/s,为本次通用业务测试中的最高值。

值得注意的是,当长文档总结 / RAG 并发从 8 提升至 12、通用复杂任务从 8 提升至 10 时,整机吞吐增幅有限,但首字延时均出现明显增长。这表明系统逐渐接近当前负载下的有效吞吐上限,继续增加并发难以带来显著的整体产能提升。

综合来看,4 至 8 并发是本次通用业务场景测试中值得重点评估的运行区间。在这一范围内,整机吞吐能够得到较为充分的释放,同时保持相对可控的首字延时与单路输出速度。对于长输入及对响应延时敏感的业务,仍应根据实际 SLA(服务等级协议)进一步调整并发配置。

2. AI 编程 / Agent 场景

与传统问答相比,AI 编程和 Agent 通常涉及大型代码仓库分析、多轮工具调用及复杂任务执行,具有上下文长、重复内容多、多轮交互频繁等特点。本次测试分别设置 64K / 1K 和 84K / 1K 两组超长上下文负载,并采用 90% Prefix Cache 命中率,模拟智能体在连续任务执行过程中重复使用大量公共上下文的情况。

测试场景(输入) 输入 Token 输出 Token Prefix Cache 命中率
AI 编程/Agent(64K)65,5361,02490%
AI 编程/Agent(84K)84,0001,02490%

AI 编程 / Agent(64K 输入)

并发数 首字延时 TTFT(s) 整机输出 TPS 单路输出 TPS
11.8591.6791.67
22.47133.6066.80
43.19160.9840.24
63.93188.8631.48
84.29173.0821.64
1013.33182.5018.25

说明:首字延时(即 TTFT)单位为秒(s),表格中为平均 TTFT;整机输出吞吐与单路输出吞吐单位为 tokens/s。

在 Prefix Cache 90% 前缀缓存命中率条件下,64K 输入场景单并发平均首字延时仅为 1.85 秒,6 并发时仍控制在 3.93 秒,体现出前缀缓存对超长上下文重复计算的优化效果。

整机输出吞吐随并发提升逐步增长,在 6 并发时达到 188.86 tokens/s,为本组测试最高值;此时单路输出吞吐为 31.48 tokens/s。当并发增加至 10 时,整机吞吐未能进一步突破此前峰值,而首字延时增长至 13.33 秒,说明系统已逐渐进入资源竞争更为明显的运行区间。

AI 编程 / Agent(84K 输入)

并发数 首字延时 TTFT(s) 整机输出 TPS 单路输出 TPS
12.28155.41155.41
22.74184.0592.02
43.65192.4548.11
64.72211.7835.30
85.22226.6828.34
1020.78218.3821.84

说明:首字延时(即 TTFT)单位为秒(s),表格中为平均 TTFT;整机输出吞吐与单路输出吞吐单位为 tokens/s。

在 84K 输入场景下,单并发平均首字延时为 2.28 秒,单路输出吞吐达到 155.41 tokens/s,表现出较好的低并发生成能力。随着并发的增加,整机输出吞吐持续提升,在 8 并发时达到 226.68 tokens/s,为本次 AI 编程 / Agent 测试中的最高值,此时平均首字延时为 5.22 秒,单路输出吞吐为 28.34 tokens/s。当并发进一步提升至 10 时,整机输出吞吐回落至 218.38 tokens/s,首字延时明显增加至 20.78 秒,表明继续提高并发已难以获得有效的吞吐收益。

综合两组测试来看,在较高前缀缓存命中率条件下,1Panel AI 一体机(4 × GB10 集群版)能够有效减少重复上下文计算,并为超长上下文任务提供持续生成能力。6 至 8 并发是本次 AI 编程 / Agent 测试中值得重点评估的运行区间。

四、生产环境运行实测

标准化压测能够反映模型在特定负载下的性能边界,而在实际业务环境中,请求长度、并发规模和前缀缓存命中率通常会不断变化。为进一步观察 1Panel AI 一体机(4 × GB10 集群版)的实际运行表现,我们将该模型接入飞致云生产环境的 AI 网关,为员工提供 WorkBuddy 智能体应用场景,并通过 1Panel 企业版的推理引擎监控功能,对模型的实时吞吐、前缀缓存命中率、首字延时及并发状态进行持续采集。以下数据来自模型上线后的实际运行监控记录。

1. 实时运行状态监控

图4 推理引擎实时运行状态监控
图4 推理引擎实时运行状态监控

在实时监控截图中,可以观察到模型服务正在同时处理 6 路并发请求,实时输出 Token 速率达到 163.70 tokens/s。

2. Token 吞吐与缓存命中率

图5 Token 吞吐趋势
图5 Token 吞吐趋势

从实际运行的 Token 吞吐趋势来看,模型的输出速度并非始终保持在固定水平,而是随着请求负载变化出现波动。观察期间,输出 Token 速率多数采样点处于 120~150 tokens/s 的范围内,部分采样点接近 180 tokens/s。这种变化与实际业务中请求输入长度、输出长度和并发数量动态变化的特点相符。

图6 Token 前缀缓存命中率
图6 Token 前缀缓存命中率

前缀缓存命中率监控显示,大部分采样点保持在 90% 以上,部分时间接近 100%,但也存在短暂下降的情况。这表明实际运行负载中存在较高比例的公共上下文复用,为减少重复 Prefill(预填充)计算提供了条件。特别是在 AI 编程和 Agent 场景中,系统提示词、工具定义和历史对话经常被重复使用,前缀缓存能够在一定程度上降低超长上下文请求的处理开销。不过,缓存命中率与请求内容密切相关,不同业务负载下的实际效果可能存在明显差异。

3. 首字延时

图7 首 Token 延时监控趋势
图7 首 Token 延时监控趋势

从实际运行监控可以看到,大部分时间模型的首字延时保持在 5 秒以内,即相对较低的水平,但部分采样点出现了十几秒甚至更高的延时峰值。产生这类波动的原因主要是超长上下文 Prefill、缓存未命中、请求排队或并发调度等。

4. 峰值分析

模型上线后,可以通过 1Panel 企业版的峰值分析能力,快速定位模型调用并发峰值区间,并分析各项关键指标。

图8 1Panel 企业版推理峰值分析界面
图8 1Panel 企业版推理峰值分析界面

1Panel 企业版提供了 vLLM 峰值分析能力,可以针对特定时间窗口,将运行并发、Token 吞吐、输入输出长度及请求延时等指标进行关联观察。在某采样窗口中,其监控记录如下:

监控指标 采样结果
整机输出吞吐 TPS133 tokens/s
请求平均输入 Token 数95,077
请求平均输出 Token 数554
平均首字延时(TTFT)1,676.08ms
最高运行并发6

从这一时间窗口来看,模型处理的请求具有明显的长输入特征,平均输入长度超过 95K Tokens。在最高运行并发为 6 的条件下,整机输出吞吐为 133 tokens/s,平均首字延时约为 1.68 秒。在当前实际运行负载下,四节点 GB10 集群能够同时处理多个超长输入请求,并维持一定的持续输出能力。

五、总结

在 1Panel AI 一体机(4 × GB10 集群版)私有化部署 DeepSeek-V4.1-Flash-1017 并进行多场景性能测试后,从实际测试结果看:

  • 模型承载方面:512GB LPDDR5X 统一内存为大模型的分布式加载与运行提供了容量基础;
  • 通用业务场景方面:短对话单并发平均首字延时仅 0.54 秒,复杂任务最高整机输出吞吐达到 180.43 tokens/s;
  • AI 编程 / Agent 方面:在 90% 前缀缓存命中率条件下,84K 输入场景的最高整机输出吞吐可达 226.68 tokens/s;
  • 实际运行方面:通过 1Panel 企业版的可视化监控能力,能够持续观察模型的并发、吞吐、缓存及延时变化,为本地化模型的运行优化和容量规划提供数据支持。

相比传统的多卡 GPU 服务器,4 节点 GB10 集群方案的特点并不在于追求极致的推理吞吐,而是通过紧凑型的算力节点、大容量统一内存与高速交换网络,为企业提供一种灵活、可扩展的大模型私有化部署方案。