llama.cpp
C++ 编写的大模型推理框架，做过高度优化，在普通电脑甚至 CPU 上也能运行模型，是本地部署的重要基石。
ONNX Runtime 是一款本地模型工具，专注相关场景。在能力上，在个人电脑上离线运行大模型，数据不出本地，支持常见开源权重格式与量化版本，适合隐私敏感与断网场景。免费版已覆盖主要功能，适合先试用再决定。其特点是功能与使用体验的均衡度。国内访问需自行准备网络环境，目前可免费使用。
数据统计
相关导航
微软编辑器
微软写作助手，支持针对已完成的文稿做语法纠错、语句优化与风格调整，支持正式、口语、简洁等多种语体切换，在同类里口碑较稳。
FAISS
Meta 开源相似度检索库，支持为 AI 应用提供向量存储与相似度检索能力，是构建知识库问答与推荐系统的基础设施。
Snack Prompt
社区提示词分享平台，支持汇集各类场景的优质提示词模板与写作技巧，可直接复制使用或二次修改，适合快速上手。
Follow-Your-Pose
姿态驱动视频生成，属于文生视频工具，支持根据文字描述直接生成视频片段，可控制镜头运动、画面风格与时长，适合日常使用。
LanceDB
嵌入式向量数据库，可作为库直接嵌进应用，无需单独部署服务，适合本地知识库与轻量检索场景，适合日常使用。
Instructor
结构化输出提取框架，属于智能体框架，提供构建自主智能体的开发框架与组件，支持工具调用、任务规划与多智能体协作。
PowerInfer
消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。
暂无评论...