开源推理引擎CTranslate2

github:

https://github.com/OpenNMT/CTranslate2

核心定位

CTranslate2 是 OpenNMT 团队开源的 Transformer 模型专用高效推理引擎，采用 C++ 核心 + Python 绑定的架构，MIT 协议开源，面向生产环境设计。它的核心作用是替代 PyTorch、TensorFlow 等通用训练框架执行推理，通过大量底层工程优化，在 CPU、GPU 上大幅提升推理速度、显著降低内存/显存占用，同时保持模型精度基本无损。

核心功能与作用

1. 极致的推理性能优化 它实现了一整套面向 Transformer 的专属优化：层融合、无效 padding 移除、批次重排序、原地运算、KV 缓存优化、缓存分配器等。

• CPU 场景：推理速度可达 PyTorch 的 23 倍，内存占用仅为通用框架的 1/31/4；
• GPU 场景：推理速度与 FasterTransformer 相当，显存占用更低，同精度下比 PyTorch 快 3~5 倍。

2. 多精度量化压缩 原生支持 FP16、BF16、INT16、INT8、AWQ INT4 多档权重精度，量化后模型磁盘体积最多可缩小 4 倍，内存/显存占用同步下降，且精度损失极小，适合资源受限的部署场景。
3. 全场景硬件兼容

• CPU：同时支持 x86-64、ARM64 架构，适配 Intel MKL、oneDNN、OpenBLAS、Apple Accelerate 等多种计算后端；运行时自动检测 CPU 指令集（AVX/AVX2 等），单份二进制可自适应不同代际 CPU。
• GPU：支持 NVIDIA CUDA、AMD ROCm；支持张量并行推理，可将超大模型拆分到多张 GPU 上分布式运行。

4. 覆盖主流 Transformer 模型 不局限于机器翻译，已支持全品类 Transformer 结构：

• 编码-解码模型：T5、BART、Whisper、NLLB、M2M-100、T5Gemma2 等
• 纯解码大语言模型：Llama、Mistral、Gemma、Qwen2、GPT-2、OPT、BLOOM 等
• 纯编码模型：BERT、DistilBERT、XLM-RoBERTa
• 语音合成：Drama 3（实验性支持）

它自带模型转换工具，可直接转换 Hugging Face Transformers、Fairseq、Marian、OpenNMT 等主流框架的模型，转为自身优化后的专属格式。

5. 生产级部署能力

• 提供简洁稳定的 C++、Python API，依赖极少，易于集成到业务系统中，且官方承诺向后兼容；
• 支持并行、异步推理，可利用多核 CPU / 多 GPU 批量处理请求；
• 动态内存调度：根据请求长度动态调整内存占用，兼顾性能与资源效率；
• 支持交互式解码：可补全已有序列、返回指定位置的候选 token，适配交互式生成场景。

典型应用场景

• 机器翻译服务：这是它的原生场景，也是工业界主流的翻译模型推理后端；
• 本地轻量化部署：基于它衍生的 faster-whisper（高速语音转写）是目前最流行的本地 Whisper 方案；
• 端侧/嵌入式大模型推理：CPU 低资源场景下的大模型本地运行；
• 企业内部模型服务：作为推理后端封装为 OpenAI 兼容接口，提供内部大模型、语音、翻译能力。

注意：它是纯推理引擎，不支持模型训练，价值在于把训练好的 Transformer 模型以更低成本、更高性能跑在生产环境里。