推理框架

大模型推理框架提供完整的模型加载、优化、服务和监控能力，主流框架包括TensorRT-LLM、vLLM、TGI等。框架对比：性能、功能、易用性；TensorRT-LLM：NVIDIA优化方案；TGI：Hugging Face推理服务；DeepSpeed-MII：微软推理框架；LMDeploy：国产推理方案。