模型推理时，显卡不只要计算，还要把参数和缓存及时送到计算单元。GPU显存带宽对生成式推理吞吐的影响，主要体现在数据搬运能否跟上运算：带宽不足时，计算单元可能空等；带宽充足，也不保证吞吐必然成倍提升。
先分清带宽和显存容量
显存容量决定模型及运行数据能否放得下；显存带宽表示单位时间内显存与处理器之间可传输多少数据，常以 GB/s 或 TB/s 标注。容量像仓库大小，带宽像出货速度，两者不能互相替代。
以 NVIDIA GeForce RTX 4090 为例，其标称显存带宽约为 1,008 GB/s；NVIDIA H100 SXM 的标称值约为 3.35 TB/s。它们是产品规格中的理论峰值，不是生成模型时一定能达到的速度。实际结果还受模型结构、精度、批量、软件实现及显存访问效率影响。
生成过程为什么会受带宽影响
解码阶段：权重读取反复发生
自回归生成通常逐步产生 token。每一步都要用模型权重计算下一个 token，因此单个请求的解码阶段常受显存读写制约。粗略估算，7B 参数模型以 FP16 存储时，权重约占 14 GB；若每步都要读取大部分权重，1 TB/s 的理论带宽对应约 70 次完整读取每秒。这个数只是理想上限推算，不等同于实际 tokens/s，也没有计入缓存、其他数据和运行开销。
批处理能改变权重读取的分摊方式：一次读取的权重可服务多个请求，整体 token 吞吐可能上升，但单个用户的等待时间未必下降。批量继续增大后，计算能力、显存容量或调度开销可能成为新的限制。
预填充和 KV 缓存：瓶颈会变化
预填充阶段处理输入提示词，通常并行度较高，常更容易受计算能力影响；长文本解码时，KV缓存会逐步增大，读取缓存也会占用带宽。于是同一张卡面对短提示词和长上下文，瓶颈可能不同。GPU显存带宽对生成式推理吞吐的影响，不能只看显卡规格，还要看任务处在什么阶段。
怎么判断当前是不是带宽受限
- 固定测试条件：使用同一模型、精度、提示词长度和输出长度，分别记录单请求与不同批量下的 tokens/s；同时记下显存占用。
- 区分指标：分别观察首 token 延迟和生成阶段速度。首 token 延迟包含输入处理，持续生成速度更能反映解码吞吐。
- 检查设备利用情况：用 NVIDIA Nsight Compute 等性能分析工具查看内存吞吐与计算利用率。显存吞吐接近设备可实现水平、计算单元利用率偏低时，带宽限制的可能性较高；单看“GPU利用率”一个数字不足以定论。
- 再做对照：尝试降低权重精度或调整批量，并确认质量、显存占用和延迟变化。量化可能减少权重数据量，但收益会受内核支持和其他瓶颈影响。
选卡与调优，按目标取舍
若模型装不进显存，优先考虑容量或量化；模型已能运行、单请求解码较慢，再重点比较带宽与推理软件效率。若目标是服务多用户，可测试批处理带来的总吞吐提升，同时关注排队延迟。高带宽卡通常有利于带宽受限的解码，但若任务主要受计算、网络或调度限制，换卡未必获得同等幅度的收益。
简言之，GPU显存带宽对生成式推理吞吐的影响，在逐 token 解码和较大 KV 缓存场景中尤其值得检查。先测清阶段、批量与延迟，再结合带宽、容量和计算能力判断，才比单看峰值规格更可靠。
常见问题
显存带宽翻倍，生成速度也会翻倍吗？
通常不会。只有带宽是主要瓶颈时，提升带宽才可能带来明显改善；其他瓶颈会限制收益。
显存占用很高，是否说明带宽不够？
不是。占用反映容量使用情况，带宽反映数据传输速度，两者是不同指标。
量化为什么可能提升吞吐？
较低位宽通常能减少权重存储和读取量，但实际速度还取决于硬件与推理内核是否有效支持该精度。
