推理服务器最好用计算型还是通用型？

推理服务器最好用计算型还是通用型？

推理服务器是一种专门用于进行深度学习推理的服务器，其主要任务是对已经训练好的模型进行推理计算。在选择推理服务器时，需要考虑多个因素，其中包括服务器的类型，如计算型和通用型。

计算型服务器是一种专门用于进行计算密集型任务的服务器，其主要特点是拥有更高的计算能力和更大的内存容量。计算型服务器通常采用GPU技术，可以大幅提升深度学习模型的推理速度。计算型服务器适合处理大规模的深度学习模型，如图像识别、语音识别等任务。

通用型服务器则是一种更加通用的服务器类型，其主要特点是拥有更高的灵活性和更广泛的适用范围。通用型服务器通常采用CPU作为计算核心，可以处理各种类型的任务，包括深度学习推理。通用型服务器适合处理小规模的深度学习模型，如文本分类、情感分析等任务。

综合来看，推理服务器最好选择计算型服务器。计算型服务器拥有更高的计算能力和更大的内存容量，可以大幅提升深度学习模型的推理速度。同时，计算型服务器采用GPU技术，可以更好地支持深度学习模型的计算需求。对于大规模的深度学习模型，计算型服务器可以提供更好的性能和更高的效率。

当然，对于小规模的深度学习模型，通用型服务器也可以满足需求。通用型服务器虽然计算能力不如计算型服务器，但其灵活性更高，可以处理各种类型的任务。因此，在选择推理服务器时，需要根据实际需求综合考虑多个因素，包括模型规模、计算需求、预算等。