TGI
HF 推理部署工具,支持在个人电脑上离线运行大模型,适合隐私敏感用户与技术爱好者使用,上手门槛低,注册即可体验核心功能。
Ollama 是把本地运行大模型变得简单的工具,用户在命令行执行一条命令即可下载并启动指定模型,随后通过兼容主流格式的接口调用,开发与调试成本很低。它把模型下载、运行与显存管理都做了封装,常见开源模型大多有现成包,适合做本地知识库、开发测试与隐私敏感场景的部署底座。既能命令行使用,也有第三方图形界面前端。软件免费开源,运行效果取决于本机硬件配置。