Открытый проект GPUStack, предназначенный для управления GPU-кластерами при работе с ИИ-моделями поддерживает широкий спектр оборудования: от GPU в Apple Mac и Windows PC до серверных решений на Linux. Примечательно, что GPUStack совместим с 6 различными типами ускорителей: Apple Metal, NVIDIA CUDA, AMD ROCm, Ascend CANN, Moore Threads MUSA и Hygon DT
Особое внимание уделено поддержке различных моделей ИИ. GPUStack работает с 5 основными категориями: языковые модели (LLM), модели компьютерного зрения (VLM), диффузионные модели, модели для эмбеддингов и ранжирования. Система использует 3 основных бэкенда для вывода: llama-box, vox-box и vLLM.
Разработчики сделали установку максимально простой – достаточно выполнить одну команду в терминале. При этом система предоставляет API, совместимый со стандартами OpenAI, что значительно упрощает интеграцию с существующими проектами.
Ссылка на репозиторий: github.com/gpustack/gpustack