听微用双DGX Spark交付私有化数字员工，200GbE直连运行本地模型

英伟达11月2日公布听微科技的本地AI部署案例：其数字员工产品createrole采用两台DGX Spark，通过ConnectX-7 200GbE直连和NCCL协同运行模型与完整应用。方案已在上海服务政企客户，面向数据需要留在内网、部分场景验收后要求物理断网的办公任务。

每台DGX Spark配备GB10 Grace Blackwell超级芯片和128GB统一内存。听微把FastAPI后端、Next.js前端、沙盒服务及记忆服务部署在这套双机环境中，让模型推理、工具调用、文件生成和长期记忆整理都在客户环境内完成。

团队按业务需要部署Qwen3.8-Flash-Next、GLM-5.3-Flash或DeepSeek-V4-Flash-Vision-Exp，并为不同模型选择相应的低精度权重、KV缓存与投机解码方案。以DeepSeek方案为例，适配GB10的vLLM运行时结合官方FP4/FP8混合精度权重、DSpark投机解码和NVFP4 MLA缓存，将单请求上下文上限配置为约100万token。实际交付的上下文窗口与并发量仍按应用占用和业务负载配置。

数字员工可阅读文档与图表，在专属沙盒中调用工具、整理材料并输出文件。任务支持记录、中断和恢复，工具操作留有审计记录，浏览器断线后已经启动的任务仍可继续运行。系统还会整理工作经历，将偏好与经验沉淀为长期记忆，让工作经验能在客户环境内持续积累。