TADviser: Nova AI от Orion soft. Как превратить GPU-инфраструктуру в управляемую среду для промышленного ИИ
Сегодня затраты на GPU составляют значительную часть инвестиций в корпоративную ИИ-инфраструктуру. Именно поэтому для бизнеса принципиален не только объем доступных вычислительных мощностей, но и то, насколько эффективно они используются.
При отсутствии централизованного управления вычислительные ресурсы распределяются между командами неравномерно: одни разработчики ожидают доступа к GPU, в то время как доступные мощности других команд используются лишь частично. Ручная настройка окружений дополнительно замедляет работу, а отсутствие прозрачных данных о загрузках затрудняет планирование ресурсов. В результате компания может инвестировать в расширение GPU-парка, не реализуя при этом потенциал уже имеющегося оборудования.
По оценке Orion soft, при таком подходе средняя утилизация GPU составляет 10–30%. Решить проблему только закупкой дополнительных серверов нельзя: компании необходимо управлять вычислительными ресурсами, средами разработки и промышленной эксплуатацией ИИ-сервисов как единым контуром.
Для эффективной работы с GPU-инфраструктурой Orion soft предлагает Nova AI — российскую Kubernetes-платформу для разработки и промышленной эксплуатации AI/ML-сервисов на оборудовании заказчика. Она объединяет GPU в кластер, распределяет мощности между командами и проектами, изолирует окружения и позволяет контролировать фактическую загрузку ресурсов. В платформу также входят компоненты для ML-задач и инференса LLM, мониторинг и поддержка 24/7.
Ключевой принцип этого продукта: «эффективный ИИ — это управляемый ИИ».