跨平台推理引擎,支持在个人电脑上离线运行大模型,适合隐私敏感用户与技术爱好者使用,上手门槛低,注册即可体验核心功能。
ONNX Runtime 是一款本地模型工具,专注相关场景。在能力上,在个人电脑上离线运行大模型,数据不出本地,支持常见开源权重格式与量化版本,适合隐私敏感与断网场景。免费版已覆盖主要功能,适合先试用再决定。其特点是功能与使用体验的均衡度。国内访问需自行准备网络环境,目前可免费使用。