CDNK博客
结论：在8卡A800（每卡80GB显存）服务器上部署70B参数的大语言模型时，单个模型实例通常会占用全部或大部分显存资源，因此并发数通常为1，除非采用模型并行、量化压缩或批处理优化等技术手段。
大模型的显存需求与硬件限制密切相关。70B参数的模型如果以FP16精度运行，每个参数需要2字节存储，理论显存需求约为140GB（70B × 2 bytes）。即便使用INT8量化（每个参数1字节），也需要约70GB显存。
A800单卡显存为80GB，8卡合计为640GB。从总量上看足以容纳70B模型的权重和中间计算数据，但实际部署中由于显存管理、缓存预留等因素，单卡无法承载超过其物理容量的数据量，所以模型通常需进行分布式部署。
模型并行是提升并发能力的关键策略之一。通过将模型的不同层或模块分配到不同GPU上运行，可以有效降低单卡显存压力。例如，可将注意力机制、前馈网络等模块分别部署在不同的A800卡上，实现跨卡协同推理。
量化压缩可以在不显著影响性能的前提下减少显存占用。例如使用INT4量化技术，理论上可将模型显存需求降至35GB左右，从而在单卡上即可运行，但这对模型结构和推理框架支持有较高要求。
批处理和请求调度优化有助于提高系统整体吞吐量。虽然单个70B模型实例可能独占多张GPU卡，但通过合理调度多个用户的输入请求，并利用批处理技术提升GPU利用率，可在一定程度上改善并发体验。
并发数受制于模型架构、推理引擎和资源调度策略。即使硬件具备足够显存，若未使用高效的推理框架（如TensorRT、DeepSpeed、vLLM等）进行优化，也难以实现较高的并发处理能力。
实际部署中还需考虑KV Cache、上下文长度、响应长度等因素带来的额外显存开销。例如，在处理长文本生成任务时，缓存历史状态所需的显存可能显著增加，进一步压缩可用并发空间。
总结而言，在8卡A800服务器上部署70B模型时，默认情况下仅能支持1个并发任务。要提升并发数，必须结合模型并行、量化压缩、批处理优化等多种技术手段，同时依赖良好的推理引擎与调度系统配合。