Ollama
本地运行大模型的极简工具，一行命令即可下载并启动模型，提供兼容接口，是本地部署与开发的常见入口，适合日常使用。
排序
KoboldCpp
单文件本地推理工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
Petals
分布式协作推理网络，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。
ONNX Runtime
跨平台推理引擎，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
Qwen 本地部署
Qwen 系列本地运行指南，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合日常使用。
PicoLLM
端侧设备大模型推理，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
llama.cpp
C++ 编写的大模型推理框架，做过高度优化，在普通电脑甚至 CPU 上也能运行模型，是本地部署的重要基石。
Chatbox
跨平台多模型客户端，支持一个入口即可调用多家厂商的主流大模型，支持按任务切换最合适的模型，覆盖场景比较全。
SGLang
高效结构化推理框架，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合快速上手。
OpenVINO
英特尔推理优化工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
LobeChat
开源的多模型对话框架，支持一个入口即可调用多家厂商的主流大模型，支持按任务切换最合适的模型，适合有相关需求的用户。
vLLM
高吞吐的大模型推理引擎，通过显存管理与批处理优化显著提升并发能力，是生产环境部署的常见选择，适合日常使用。
ChatGLM 本地部署
智谱模型本地部署，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
LocalAI
开源的本地推理服务，提供与主流商用接口兼容的格式，可把本地模型当成云端接口来用，便于无缝替换，适合日常使用。
Jan
开源的本地大模型客户端，界面友好，支持一键下载模型并离线对话，也能接入云端接口，兼顾隐私与便利，适合日常使用。
DeepSeek 本地部署
DeepSeek 模型本地运行，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。
text-generation-webui
本地运行大模型的网页界面，支持多种模型格式与加载方式，参数可调，适合做深入实验与调试，也很适合日常使用，上手门槛不高。
MLC LLM
跨平台本地部署方案，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。
GPT4All
可离线运行大模型的桌面客户端，下载模型后断网也能对话，支持本地文档问答，重视隐私的用户常用，适合日常使用。
CTranslate2
高效 Transformer 推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地。