本地部署大模型要多少显存：一套能算准的公式

一句「7B 需要 14G」为什么经常不准

网上常说「FP16 下 1B 参数约 2GB」，这是只算了模型权重。真实部署时显存被四块吃掉：

总显存 = 权重 + KV Cache + 激活值 + 框架开销

其中 KV Cache 随上下文长度和并发数线性增长，经常比权重还大。这就是为什么 14GB 的模型在 16GB 卡上仍然 OOM。

权重显存 = 参数量 × 每参数字节数

对照表（只算权重）：

MoE 结构（如 DeepSeek 的开放权重版本）要按总参数算显存，不是激活参数。总参数 600B+ 的模型，即使单次只激活几十 B，权重本身也要几百 GB。

Transformer 推理时要缓存历史 token 的 Key/Value 向量，避免重复计算。它的大小：

KV Cache = 2 × 层数 × KV维度 × 序列长度 × 并发数 × 每元素字节

其中 KV维度 = KV头数 × head_dim（用了 GQA 的话比 hidden size 小很多）。

举个具体例子：一个 8B 级别模型，32 层、hidden 4096、GQA 8 个 KV 头、head_dim 128，FP16：

KV维度 = 8 × 128 = 1024
每 token KV = 2 × 32 × 1024 × 2 B = 128 KB
8K 上下文、单条序列 = 128 KB × 8192 ≈ 1 GB
8K 上下文、并发 8 条    ≈ 8 GB   ← 比权重还大

两个结论：

这部分不精确，按经验留：

假设卡是 24GB，留 2GB 给系统和框架，可用约 22GB。

场景 A：7B Q4，8K 上下文，并发 1

权重 4 GB + KV 1 GB + 激活 1 GB ≈ 6 GB   ✅ 轻松

场景 B：13B Q4，8K 上下文，并发 4

权重 7.5 GB + KV(4条) 4 GB + 激活 2 GB ≈ 13.5 GB  ✅ 可以

场景 C：32B Q4，8K 上下文，并发 1

权重 19 GB + KV ~1.5 GB + 激活 1 GB ≈ 21.5 GB  ⚠️ 勉强，余量很小

实际部署时稍微长一点的上下文就会 OOM，通常要把上下文压到 4K 或降低量化比特数。

场景 D：70B Q4

权重 ≈ 40 GB    ❌ 24G 单卡跑不了，需要 48G 卡或双卡

经验速查（24GB 单卡）：

量化优先级：Q5_K_M > Q4_K_M > Q3。Q4_K_M 是质量/体积的常见平衡点；再往下（Q3 及以下）在代码和数学任务上退化明显。

关键：Ollama / vLLM 都提供 OpenAI 兼容端点，部署完之后调用代码不用改：

# Ollama
ollama serve            # 默认 127.0.0.1:11434/v1

# vLLM
vllm serve Qwen/Qwen2.5-7B-Instruct --port 8000 --max-model-len 8192

from openai import OpenAI
client = OpenAI(api_key="none", base_url="http://localhost:8000/v1")