你升级到了一张算力更高的 GPU。你的 AI 工作负载反而变慢了。
这不是配置错误，不是驱动问题。
"更多 FLOPS 等于更快结果"——这个假设在 AI 工作负载中失效的频率高得惊人。它是 GPU 计算领域最顽固的认知错觉之一，而它崩塌的那一刻，只取决于一个条件是否被违反。这个条件和算力无关。
AI 工作负载性能遵循一条简单的规律。
**VRAM 阈值法则：**如果整个工作集无法完全驻留在 GPU 显存中，再多的算力也无法补偿——性能会非线性崩塌。
错觉：更多算力，更快速度
逻辑看起来很明显。一张理论吞吐更高的 GPU 应该更快地处理张量。比较规格表时，数字更大的那张卡应该赢。
这个推理在工作负载完全装进 GPU 显存时是成立的。一旦装不下，算力和实际速度之间的关系就会断裂。有时是断崖式的。
一个用户在 24GB 显卡上运行 7B 参数模型，推理流畅。换到一张 FLOPS 更高但只有 16GB 显存的卡，同一个模型开始卡顿、暂停甚至崩溃。规格表说新卡更快。实际计时说不是。
规格表没有说谎。计时也没有说谎。它们在测量不同的东西。
覆盖一切的变量：显存驻留
AI 工作负载存在一个二元阈值，它支配着所有其他性能变量：
工作集能否完全放进显存？
当整个模型、激活值和中间张量都驻留在 GPU 显存中时，算力决定吞吐量。GPU 以接近其理论速率处理数据。延迟可预测。批处理近似线性扩展。
当工作集超出显存容量，系统进入显存瓶颈状态（VRAM bottleneck）——一个根本不同的运行模式。数据必须在 GPU 显存和系统内存之间搬运。这种搬运不是微小的开销——它重构了工作负载的整个性能剖面。
显存装得下不是性能优化，而是可行性条件。后面的一切——FLOPS、时钟频率、架构代际、价格——都从属于这个条件是否被满足。
数据溢出时发生了什么
当工作负载超出可用显存，系统通过一种通常称为溢出（spilling）的机制来应对。无法放入 GPU 显存的张量被卸载到系统内存，需要时再传回来。
GPU 显存和 GPU 计算核心之间的带宽以每秒数百 GB 计。系统内存和 GPU 之间通过 PCIe 总线的带宽以每秒数十 GB 计。这不是百分比级别的差距。这是带宽和延迟上数量级的鸿沟。
每个溢出的张量都必须走那条更慢的路径。GPU 计算核心——无论多快——空转等待数据到达。在那些等待周期里，更快 GPU 的额外算力毫无意义。较慢和较快的 GPU 都被同一个 PCIe 带宽天花板卡住。
这就产生了一个反直觉的现象：一张工作负载能完全装进显存的弱卡，可以维持比一张工作负载装不下的强卡更高的有效吞吐。
延迟崩塌：用户真正体验到的行为
溢出不会让性能渐进式下降。从"装得下"到"装不下"的转变会产生一个急剧的、非线性的有效速度骤降。
用户观察到的现象：
-
工作负载装进显存：推理以稳定速度运行。每个批次的完成时间大致相同。GPU 利用率监控显示持续高活跃度。
-
工作负载略微超出显存：推理急剧变慢。单次迭代完成时间剧烈波动。GPU 利用率变得不规律——活跃的突发之间夹杂着 GPU 等待数据传输的空闲期。
-
工作负载显著超出显存：系统可能看起来卡住了。进度极其缓慢。内存不足错误变成间歇性的而非即时的，因为运行时正在尝试动态管理溢出。
此时用户的体验不是"慢"，而是不稳定、不一致、不可预测。相同的输入在连续运行中表现完全不同。这种不可预测性——比单纯的慢更令人困惑——才是溢出真正的破坏力所在。
这种非线性崩塌是为什么用户对同一款 GPU 会报告完全矛盾的体验。两个人在"相同 GPU"上运行"相同工作负载"，如果他们的实际内存占用在显存天花板附近仅差几百 MB，就可能看到截然不同的速度。
CUDA 内存不足排查指南覆盖了这个问题的诊断侧——但核心洞察是结构性的，不是配置性的。
为什么更快的卡更容易触发这个问题
GPU 产品线中存在一个微妙的模式：更高的算力并不总是伴随着成比例增长的显存。
一张卡可能比前代提供显著更多的 FLOPS，但显存容量相同甚至更少。用户升级时期望全面提升。他们的工作负载——之前刚好装得下——在新卡上开始溢出，因为显存容量并没有跟上他们的预期。
升级没有引入软件 bug。它暴露了一个本来就在显存天花板附近运行的工作负载。更快的卡对真正重要的约束毫无改变。
这种模式在消费级 GPU 中尤其常见，因为显存配置是由价格分级而非工作负载分析驱动的。
成本维度：花更多钱得到更少产出
显存驻留阈值有直接的成本影响。
一个仅基于算力规格选择 GPU 的用户，可能为自己用不上的 FLOPS 支付溢价。如果工作负载溢出，那些额外的计算周期浪费在空等状态上。每小时成本不变，每美元完成的有效工作量下降。
反过来，一张更便宜的但显存足够容纳整个工作集的 GPU，每美元可以交付更多有用吞吐——比一张工作负载会溢出的更贵的卡更划算。
这不是微小的效率差异。它可以决定一个项目的计算预算是能用几周还是只能用几天。成本计算器可以让这一点变得可见——但前提是你先知道你的工作负载真正装得进哪张 GPU，而不是哪张的理论速度最高。
如何判断什么真正装得下
AI 工作负载的显存需求不是模型的固定属性。它随以下因素变化：
- 模型精度：FP32 的显存消耗是 FP16 的两倍。量化格式（INT8、INT4）进一步降低。
- 批量大小：批次中每增加一个样本都会增加显存占用。
- 序列长度 / 分辨率：语言模型中更长的序列和图像模型中更高的分辨率会增加激活值显存。
- 流水线复杂度：多阶段工作流（生成 + 精修 + 放大）可能需要多个模型或中间缓冲区同时驻留。
实际问题不是抽象地问"这个模型需要多少显存"，而是"我的特定流水线在我的特定设置下需要多少显存"。
这就是为什么并排对比 GPU 规格很重要——但真正决定性能的对比是显存容量 vs 工作负载内存占用，而不是 FLOPS vs FLOPS。
重构决策模型
标准的 GPU 选择问题是：哪张 GPU 更快？
这个问题是不完整的。它假设算力是约束瓶颈。对大多数 AI 工作负载来说，不是。
一个更准确的决策模型：
- 确定你的工作负载在目标设置下的显存占用（精度、批量大小、分辨率、流水线深度）。
- 找出哪些 GPU 能将该占用完全容纳在显存中。 这些才是你的可选项。
- 在可选项中比较算力和成本。 只有到这一步，FLOPS 才有意义。
这是 VRAM 阈值法则的直接应用：可行性先于优化。跳过第 1 步和第 2 步——直接比较 FLOPS——就是用户最终拿着更快的卡却体验更慢的原因。
底层模式
这不是 GPU 特有的现象。它是一个通用系统原理：
当工作负载超出某个容量边界，在非瓶颈资源上增加速度不会产生任何收益。
在 GPU 计算中，对大多数 AI 工作负载来说，显存就是那个容量边界。
速度之前，先有装得下。优化之前，先有可行性。而可行性，由显存决定。
理解这一点会改变你评估硬件、规划工作负载和分配预算的方式。它将问题从"这张 GPU 有多快"转变为"我的工作能装进这张 GPU 吗"——而这个转变才是大多数真正的性能决策所在。
当你需要将工作负载匹配到真正装得下的 GPU 时，SynpixCloud 市场列出了可用配置的完整显存规格——让你基于容量而非时钟频率来选择。
