CDNK博客
截至目前（2024年6月），DeepSeek 并未公开发布名为“DeepSeek 70B”的模型，也未正式推出参数量达到700亿的公开可用大模型。目前 DeepSeek 公布的模型主要包括：
- DeepSeek LLM 系列：如 DeepSeek-Chat、DeepSeek-Coder 等，参数规模多在几亿到几十亿之间。
- 最大的已知模型如 DeepSeek-Coder 33B（330亿参数），属于较大的开源代码模型。
不过，我们可以基于通用的大模型显存估算方法，来推测一个700亿参数（70B）的模型在不同精度下所需的显存：
显存估算公式
显存占用 ≈ 参数数量 × 每个参数的字节数
| 精度 | 每参数字节数 | 70B 显存需求 |
|---|---|---|
| FP32（单精度） | 4 bytes | 70 × 4 = 280 GB |
| FP16/BF16（半精度） | 2 bytes | 70 × 2 = 140 GB |
| INT8（低精度） | 1 byte | 70 × 1 = 70 GB |
| INT4（4-bit量化） | 0.5 byte | 70 × 0.5 = 35 GB |
注：实际推理或训练时还需额外空间用于激活值、优化器状态等。
推理场景下的显存需求（以FP16为例）
-
全参数加载推理：至少需要 140 GB 显存
-
使用 模型并行 + 张量切分（如 Tensor Parallelism）可在多个 GPU 上分布
- 例如使用 8 块 A100 80GB：总显存 640GB，可支持
- 使用 4 块 H100 80GB：也可支持（配合量化更佳）
-
若使用 GPTQ / AWQ / INT4 量化：可压缩至约 40~60 GB 显存
总结
一个假设的 70B 大模型大致需要：
| 场景 | 显存需求 |
|---|---|
| FP16 推理（无量化） | ~140 GB |
| INT4 量化推理 | ~35–45 GB |
| 训练（Adam 优化器） | > 500 GB（需多卡分布式） |
因此，若未来 DeepSeek 发布 70B 模型，在INT4量化下，可能可在 4–8 块高端消费级或数据中心 GPU（如RTX 4090/A100/H100）上运行推理。
⚠️ 注意：目前没有官方确认的 DeepSeek 70B 模型。如果你看到相关说法，可能是误传或将其他模型（如 Llama 3 70B）与 DeepSeek 混淆。
如需了解最新信息，建议查看 DeepSeek 官方网站或 GitHub 仓库。