本地推理

PyTorch 端侧推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。

端侧多模态推理 SDK，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合快速上手。

单文件本地运行大模型，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，值得一试。

GPUStack 推理引擎，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。

Mac 端 Ollama 客户端，属于多模型聚合平台，支持一个入口即可调用多家厂商的主流大模型，适合快速上手。

消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。

HF 推理部署工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，允许用户下载并本地运行像Llama 2、Code Llama和其他模型，并支持自定义和创建自己的模型。