英伟达详解推理内存分层，Dynamo复用跨层KV缓存

英伟达11月5日介绍GPU、CPU、网络、存储和软件的协同设计，说明如何通过压缩与跨层迁移，缓解模型权重和KV缓存对GPU高带宽内存HBM的占用。Dynamo负责将不同存储层中的KV缓存作为统一资源管理，复用已经计算过的上下文。

推理过程中，HBM主要存放模型权重与KV缓存。模型变大、上下文变长，以及智能体多次调用工具，都会增加需要保留的数据。CPU内存、本地SSD和共享存储提供了容量更大、每比特成本更低的层级，活跃数据留在靠近GPU的位置，暂时不用的内容迁往其他层。

权重方面，NVFP4相比FP8减少存储占用，NVL72系统还可将权重分散到最多72块GPU上，让每块GPU只保存其中一部分，为KV缓存和并发用户腾出HBM空间。

Vera CPU的大容量LPDDR内存通过NVLink-C2C与Rubin GPU连接，可暂存等待使用的上下文。CPU更快完成工具调用，也能缩短相关KV缓存的闲置时间。

上下文不活跃期间，Dynamo可将其转移至CMX上下文存储，并在复用前调回。CMX供多台服务器共享，服务于短期上下文，省去这类临时数据不需要的长期保护开销。Dynamo的KV Cache Reuse则把GPU内存、CPU内存和存储中的缓存统筹起来，让一次计算得到的上下文能够再次使用。

检索增强生成RAG的数据也有相应安排。Nemotron Retriever生成更紧凑的嵌入向量，cuVS支持在CPU和存储层构建及提供索引服务。知识库索引留在HBM之外，只有模型需要的段落进入上下文。