TGI
HF 推理部署工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
排序
ExLlama
消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。
Enchanted
Mac 端 Ollama 客户端，属于多模型聚合平台，支持一个入口即可调用多家厂商的主流大模型，适合快速上手。
llama-box
GPUStack 推理引擎，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。
llamafile
单文件本地运行大模型，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，值得一试。
Nexa SDK
端侧多模态推理 SDK，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合快速上手。
Activepieces
auto-orchestrate 类开源自动化平台，用可视化流程把常用 SaaS 串起来，支持自建触发与动作模块，可本地部署。
ExecuTorch
PyTorch 端侧推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。
FastChat
开源模型部署与评测，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
Open WebUI
本地部署的多模型 Web 界面，支持一个入口即可调用多家厂商的主流大模型，支持按任务切换最合适的模型。
PowerInfer
消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。
Xinference
开源模型推理服务框架，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，值得一试。
CTranslate2
高效 Transformer 推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地。
GPT4All
可离线运行大模型的桌面客户端，下载模型后断网也能对话，支持本地文档问答，重视隐私的用户常用，适合日常使用。
DeepSeek 本地部署
DeepSeek 模型本地运行，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。
LocalAI
开源的本地推理服务，提供与主流商用接口兼容的格式，可把本地模型当成云端接口来用，便于无缝替换，适合日常使用。
ChatGLM 本地部署
智谱模型本地部署，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
OpenVINO
英特尔推理优化工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
SGLang
高效结构化推理框架，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合快速上手。
llama.cpp
C++ 编写的大模型推理框架，做过高度优化，在普通电脑甚至 CPU 上也能运行模型，是本地部署的重要基石。