Determined AI
分布式训练平台,支持在自有数据上对开源模型做微调,提供数据标注、训练监控与效果评估流程,适合日常使用。
llama.cpp 是一个用 C++ 编写的大模型推理框架,通过对计算过程的优化与量化支持,让模型能在消费级硬件上运行,甚至没有独立显卡的电脑也能跑较小规格的模型。它因此在本地部署与边缘设备场景中成为重要的基础设施,众多图形界面工具都基于它构建。项目开源、社区活跃,支持多种模型格式。使用命令行版本需要一定技术基础,但配套的界面工具已大幅降低了门槛。