本文将带你深入了解 Transformers、vLLM、Llama.cpp、SGLang、MLX 和 Ollama 这些引擎，帮助你找到最适合的工具，释放大语言模型的全部潜力！
Transformers 引擎：NLP 领域的瑞士军刀
开发者: Hugging Face
特点: Transformers 是当今最流行的开源 NLP 库，支持数百种预训练模型（如 GPT、BERT、T5 等），并提供了从模型加载、微调到推理的全套工具。
优势:
支持 PyTorch 和 TensorFlow，兼容性强。
社区活跃，模型库丰富，文档完善。
适用于从研究到生产的各种 NLP 任务。
适用场景: 如果你需要快速实现文本分类、生成、翻译等任务，Transformers 是你的不二之选。
吸引点: 无论你是初学者还是专家，Transformers 都能让你轻松上手，快速实现 NLP 应用的落地。
vLLM 引擎：GPU 推理的性能怪兽
开发者: UC Berkeley 研究团队
特点: vLLM 是一个专注于大语言模型推理的高性能引擎，通过创新的内存管理技术（如 PagedAttention），显著提升了 GPU 的利用率和推理速度。
优势:
极致的推理性能，适合大规模部署。
高效的内存管理，支持更大的模型批次。
专为 GPU 优化，适合高并发场景。
适用场景: 如果你需要在生产环境中部署大语言模型，并追求极致的推理性能，vLLM 是你的最佳选择。
吸引点: vLLM 可以让你的模型推理速度提升数倍，同时降低硬件成本，是高性能应用的秘密武器。
Llama.cpp 引擎：CPU 上的轻量级王者
开发者: 社区项目
特点: Llama.cpp 是一个基于 C++ 的实现，专门用于运行 Meta 的 LLaMA 模型。它通过优化计算和内存管理，使得在 CPU 上运行大模型成为可能。
优势:
轻量级，无需 GPU 即可运行。
适合资源受限的环境（如嵌入式设备或低配服务器）。
开源且易于扩展。
适用场景: 如果你需要在没有 GPU 的设备上运行大语言模型，Llama.cpp 是你的理想选择。
吸引点: 无需昂贵硬件，Llama.cpp 让你在普通设备上也能体验大语言模型的强大能力。
SGLang 引擎：高效推理的新星
开发者: 未知（可能是某个研究团队或公司）
特点: SGLang 是一种专注于高效推理的引擎，可能通过稀疏计算或分布式优化来提升性能。
优势:
针对特定场景的优化，可能显著提升推理效率。
适合需要高性能推理的企业级应用。
适用场景: 如果你需要在大规模分布式环境中运行大语言模型，SGLang 可能是一个值得尝试的工具。
吸引点: SGLang 的神秘感和潜在的高性能优化，让它成为探索未来推理技术的窗口。
MLX 引擎：高效计算的未来之星
开发者: 未知（可能是某个研究团队或公司）
特点: MLX 可能是一种针对大语言模型优化的机器学习框架，专注于高效计算和推理。
优势:
可能支持特定硬件（如 TPU 或定制芯片）的优化。
适合需要极致计算效率的场景。
适用场景: 如果你需要在特定硬件上运行大语言模型，MLX 可能是一个值得关注的选择。
吸引点: MLX 的潜在硬件优化能力，让它成为未来高效计算的重要候选者。
Ollama：本地运行大模型的利器
开发者: 社区项目
特点: Ollama 是一个用于本地运行大语言模型的工具，支持多种模型（如 LLaMA、GPT 等），并简化了模型的部署和运行。
优势:
简单易用，适合个人用户和开发者。
无需云端资源，完全本地运行。
支持多种模型，灵活性高。
适用场景: 如果你希望在个人设备上测试或运行大语言模型，Ollama 是你的理想选择。
吸引点: Ollama 让你无需依赖云端服务，随时随地体验大语言模型的魅力。
指标对比
性能对比
引擎 性能特点 硬件支持 适用模型规模 Transformers 通用性强，性能中等，适合中小规模模型推理和训练。 CPU/GPU 中小规模模型 vLLM 高性能推理，通过 PagedAttention 等技术优化 GPU 内存和计算效率。 GPU 大规模模型 Llama.cpp 针对 CPU 优化，性能中等，适合资源受限的环境。 CPU 中小规模模型 SGLang 可能通过稀疏计算或分布式优化提升性能，具体性能取决于实现。 未知（可能 GPU） 中大规模模型 MLX 可能针对特定硬件（如 TPU 或定制芯片）优化，性能潜力高。 特定硬件 中大规模模型 Ollama 性能中等，适合本地运行，无需高性能硬件。 CPU/GPU 中小规模模型
总结:
vLLM 在 GPU 上的推理性能最优，适合大规模模型。
Llama.cpp 和 Ollama 适合在 CPU 或低配设备上运行中小规模模型。
SGLang 和 MLX 的性能潜力较大，但需要更多实践验证。
并发能力对比
引擎 并发支持 适用场景 Transformers 支持多线程和多 GPU 推理，但并发能力受限于框架和硬件。 中小规模并发任务 vLLM 高并发支持，通过内存优化和批处理技术显著提升并发性能。 高并发推理任务 Llama.cpp 并发能力有限，适合低并发场景。 单任务或低并发任务 SGLang 可能通过分布式计算支持高并发，具体能力取决于实现。 中高并发任务 MLX 可能针对高并发优化，具体能力取决于硬件和实现。 中高并发任务 Ollama 并发能力中等，适合本地低并发任务。 单任务或低并发任务
总结:
vLLM 在高并发场景下表现最佳，适合生产环境。
Transformers 和 SGLang 适合中等并发任务。
Llama.cpp 和 Ollama 更适合单任务或低并发场景。
适用场景对比
引擎 适用场景 优势 Transformers 研究、开发、中小规模生产环境。 功能全面，社区支持强大，适合多种 NLP 任务。 vLLM 大规模模型推理、高并发生产环境。 极致性能，高效内存管理，适合企业级应用。 Llama.cpp 资源受限环境（如嵌入式设备、低配服务器）。 轻量级，无需 GPU，适合低成本部署。 SGLang 中大规模模型推理、分布式计算环境。 可能通过优化提升性能，适合探索性项目。 MLX 特定硬件环境（如 TPU 或定制芯片）。 可能针对硬件优化，适合高性能计算场景。 Ollama 本地开发、测试、个人使用。 简单易用，无需云端资源，适合个人用户。
总结:
Transformers 是通用性最强的工具，适合大多数 NLP 任务。
vLLM 是企业级高并发场景的首选。
Llama.cpp 和 Ollama 适合个人开发者或资源受限的环境。
SGLang 和 MLX 适合需要高性能或特定硬件支持的场景。
硬件兼容性对比
引擎 硬件支持 适用设备类型 Transformers CPU/GPU 普通服务器、个人电脑、云服务器 vLLM GPU 高性能 GPU 服务器 Llama.cpp CPU 低配设备、嵌入式设备 SGLang 未知（可能 GPU） 高性能服务器 MLX 特定硬件 TPU、定制芯片等 Ollama CPU/GPU 个人电脑、普通服务器
总结:
Transformers 和 Ollama 兼容性最强，支持多种设备。
vLLM 和 SGLang 需要高性能 GPU 或服务器。
Llama.cpp 适合低配设备，而 MLX 需要特定硬件支持。
每秒输出token对比
性能影响因素
在对比 TPS 之前，需要明确影响性能的关键因素：
硬件性能: GPU 的算力、显存带宽、显存容量等。
模型规模: 参数量越大，推理速度越慢。
批处理大小（Batch Size）: 较大的批处理可以提高吞吐量，但会增加显存占用。
引擎优化: 不同引擎在内存管理、计算优化等方面的表现差异显著。
GPU 性能对比
以下是 A800、A100 和 H100 的主要参数对比：
GPU 型号 FP32 算力 (TFLOPS) 显存容量 (GB) 显存带宽 (TB/s) 适用场景 A800 19.5 40/80 2 推理、训练 A100 19.5 40/80 2 高性能计算、AI 训练 H100 30 80 3.35 高性能推理、AI 训练
H100 是目前性能最强的 GPU，适合高吞吐量和高并发场景。
A100 和 A800 性能接近，但 A800 主要针对中国市场，符合出口管制要求。
引擎 TPS 对比
引擎 A800 (TPS) A100 (TPS) H100 (TPS) 备注 Transformers 50-100 60-120 80-150 性能中等，适合中小规模推理。 vLLM 200-400 300-600 500-1000 高性能推理，优化显存和批处理。 Llama.cpp 10月20日 10月20日 10月20日 仅支持 CPU，性能较低。 SGLang 未知 未知 未知 可能通过优化提升性能，需实测验证。 MLX 未知 未知 未知 可能针对特定硬件优化，需实测验证。 Ollama 20-50 20-50 20-50 性能中等，适合本地运行。
说明:
vLLM 在高性能 GPU（如 H100）上的表现最佳，TPS 可达 500-1000，远超其他引擎。
Transformers 性能中等，适合通用场景。
Llama.cpp 和 Ollama 性能较低，适合资源受限的环境。
SGLang 和 MLX 的性能数据较少，需进一步测试。
总结：如何选择适合你的引擎？
研究和小规模应用: 选择 Transformers，它功能全面且易于上手。
高性能推理和 GPU 优化: 选择 vLLM，它能为你的模型提供极致的推理速度。
资源受限的环境: 选择 Llama.cpp，它让你在 CPU 上也能运行大模型。
探索未来技术: 关注 SGLang 和 MLX，它们可能带来革命性的优化。
本地运行和测试: 选择 Ollama，它让你轻松在个人设备上运行大模型。
————————————————
原文链接：
