PyTorch 端侧推理,属于本地模型工具,支持在个人电脑上离线运行大模型,数据不出本地,在同类里口碑较稳。
ExecuTorch 是一款本地模型工具,专注相关场景。在个人电脑上离线运行大模型,数据不出本地,支持常见开源权重格式与量化版本,适合隐私敏感与断网场景。免费版已覆盖主要功能,适合先试用再决定。值得一提的还有功能与使用体验的均衡度。国内访问需自行准备网络环境,目前可免费使用,上手门槛较低。