Xinference
开源模型推理服务框架,支持在个人电脑上离线运行大模型,适合隐私敏感用户与技术爱好者使用,值得一试。
Qdrant 是一款用 Rust 编写的向量数据库,性能与资源占用表现较好,支持在向量检索之上叠加丰富的结构化过滤条件,因此可实现「先按条件筛范围、再按语义找相似」的混合检索,适合商品搜索、推荐与知识库等场景。它既可自托管以完全掌握数据,也提供云托管服务,配套的接口与客户端较完善。开源免费,集群化部署需要一定运维能力,国内社区使用逐渐增多。
我可以帮您: