Orion soft усилил управление GPU в платформе Nova AI
Российский разработчик инфраструктурного ПО Orion soft выпустил обновление платформы Nova AI для разработки и промышленной эксплуатации AI/ML-сервисов. В новой версии появилось автоматическое распределение GPU между нагрузками, обновлены средства запуска моделей, расширены мониторинг инфраструктуры и возможности рабочих сред ML-инженеров.
Ключевое обновление Nova AI — новый механизм управления GPU. Планировщик Volcano автоматически ставит AI/ML-задачи в очередь, учитывает их приоритетность и определяет доступность вычислительных ресурсов. Это позволяет продуктивным сервисам, обучению моделей и экспериментам работать в одном кластере без постоянного ручного перераспределения мощностей.
Планировщик также учитывает вычислительную мощность и видеопамять GPU, распределяя задачи так, чтобы плотнее использовать доступные ресурсы. Так свободные мощности можно направлять на эксперименты и разработку, не резервируя их исключительно под возможные пики продуктивных сервисов. В Nova AI также обновлены inference backend KServe для TensorFlow, PyTorch, Triton и vLLM и добавлена поддержка SGLang. Актуализация компонентов в составе платформы сокращает объем самостоятельной интеграции и упрощает подготовку моделей к промышленному запуску.
Когда число AI-проектов растет, команды начинают конкурировать за GPU. В этой ситуации задача инфраструктурной платформы — не просто предоставить вычислительные мощности, а распределять их в соответствии с приоритетами бизнеса. В новой версии Nova AI мы автоматизировали этот процесс: критичные сервисы получают необходимые ресурсы, а свободные мощности можно использовать для разработки и тестов. Это повышает эффективность эксплуатации без постоянного расширения инфраструктуры.