本地推理

DeepSeek 模型本地运行，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。

英特尔推理优化工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。

auto-orchestrate 类开源自动化平台，用可视化流程把常用 SaaS 串起来，支持自建触发与动作模块，可本地部署。

面对PDF、扫描件等非结构化文档难以高效处理的问题？Chunkr是一款由YC支持的智能文档解析API，专注于通过高精度OCR、视觉布局分析和语义分块技术，将复杂文档转换为LLM就绪的结构化数据，覆盖合同审查、财报分析、文献处理等场景，可通过云端API或本地部署使用，解析精度高，适合AI开发者与企业IT构建知识库与RAG应用。

需要将静态图像或文本快速转化为动态视频？Stable Video是Stability AI推出的开源AI视频生成模型，专注图像到视频与文本到视频生成，支持多视图合成与运动控制，覆盖产品展示、内容创作、设计演示等场景，开发者可本地部署与深度定制，适合AI工程师与内容创作者进行高效创作。

分布式协作推理网络，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。

跨平台推理引擎，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。

端侧设备大模型推理，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。

开源的本地推理服务，提供与主流商用接口兼容的格式，可把本地模型当成云端接口来用，便于无缝替换，适合日常使用。

高效 Transformer 推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地。

消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。

本地部署的多模型 Web 界面，支持一个入口即可调用多家厂商的主流大模型，支持按任务切换最合适的模型。

PyTorch 端侧推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，在同类里口碑较稳。

端侧多模态推理 SDK，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合快速上手。

单文件本地运行大模型，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，值得一试。

GPUStack 推理引擎，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。

Mac 端 Ollama 客户端，属于多模型聚合平台，支持一个入口即可调用多家厂商的主流大模型，适合快速上手。

Ollama是一个用于在本地计算机上运行大型语言模型的命令行工具，允许用户下载并本地运行像Llama 2、Code Llama和其他模型，并支持自定义和创建自己的模型。

单文件本地推理工具，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，上手门槛低，注册即可体验核心功能。

Qwen 系列本地运行指南，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，适合日常使用。