网易 AI 开放平台
网易 AI 能力开放，属于模型厂商平台，提供自家模型的能力调用与开发接口，涵盖对话、生成、向量等能力，适合日常使用。
排序
bitsandbytes
量化训练库，支持在自有数据上对开源模型做微调，提供数据标注、训练监控与效果评估流程，适合有相关需求的用户。
OctoAI
已停止服务，建议下架或换用同类。原模型推理与部署平台，提供文本、图像、语音模型的优化推理服务，已被英伟达收购后终止运营。
Xinference
开源模型推理服务框架，支持在个人电脑上离线运行大模型，适合隐私敏感用户与技术爱好者使用，值得一试。
Zilliz
向量数据库 Milvus 的商业托管服务，由原团队提供，免去自建集群的运维负担，适合企业级检索场景。
TensorRT-LLM
英伟达推出的推理加速库，针对自家显卡做深度优化，可显著提升大模型的推理速度与吞吐，适合日常使用，上手门槛不高。
Baseten
面向生产环境的模型部署平台，把开源模型打包成可扩缩的推理接口，支持自定义硬件与版本管理，适合团队自建推理服务。
xAI API
Grok 模型官方接口，提供自家模型的能力调用与开发接口，涵盖对话、生成、向量等能力，在同类里口碑较稳。
Modal
无服务器 GPU 计算平台，按需运行模型推理与训练任务，用完即释放，适合不想维护服务器的团队，适合日常使用。
Qdrant
用 Rust 编写的高性能向量检索引擎，支持复杂过滤与混合检索，可自托管，适合对性能与可控性要求高的场景。
昆仑万维 API
天工系列模型接口，提供自家模型的能力调用与开发接口，涵盖对话、生成、向量等能力，适合有相关需求的用户。
Voyager
Spotify 向量检索库，支持为 AI 应用提供向量存储与相似度检索能力，是构建知识库问答与推荐系统的基础设施。
AutoDL
高校友好的 GPU 租用平台，提供模型训练与推理所需的 GPU 算力，按小时计费，适合日常使用。
Together AI
提供开源模型托管与推理的服务商，支持部署多种开源模型并做微调，价格相对可控，适合日常使用，上手门槛不高，实用性较强。
Kubeflow
K8s 机器学习工作流，属于模型微调平台，支持在自有数据上对开源模型做微调，提供数据标注、训练监控与效果评估流程。
ZenMux
模型 API 聚合与监控，支持用一个接口对接多家厂商的模型，统一鉴权与计费，可作为同类产品的备选。
Requesty
LLM 路由与成本优化，属于API 聚合服务，支持用一个接口对接多家厂商的模型，统一鉴权与计费，适合有相关需求的用户。
PowerInfer
消费级显卡高速推理，属于本地模型工具，支持在个人电脑上离线运行大模型，数据不出本地，覆盖场景比较全。
华为云 GPU
华为云 AI 算力服务，提供模型训练与推理所需的 GPU 算力，支持按需租用与弹性扩容，覆盖场景比较全。
阿里云 DashVector
阿里云向量检索服务，支持为 AI 应用提供向量存储与相似度检索能力，是构建知识库问答与推荐系统的基础设施，适合日常使用。