消费级显卡高速推理,属于本地模型工具,支持在个人电脑上离线运行大模型,数据不出本地,在同类里口碑较稳。
ExLlama 面向隐私敏感用户与技术爱好者,提供本地模型工具能力。在能力上,在个人电脑上离线运行大模型,数据不出本地,支持常见开源权重格式与量化版本,适合隐私敏感与断网场景。常用功能都做了中文适配,本地化体验较好。其特点是功能与使用体验的均衡度。目前可免费使用,国内访问需自行准备网络环境。