高效 Transformer 推理,属于本地模型工具,支持在个人电脑上离线运行大模型,数据不出本地。
CTranslate2 是一款本地模型工具,专注相关场景。在能力上,在个人电脑上离线运行大模型,数据不出本地,支持常见开源权重格式与量化版本,适合隐私敏感与断网场景。免费版已覆盖主要功能,适合先试用再决定。其特点是功能与使用体验的均衡度。目前可免费使用,国内访问需自行准备网络环境。