Построение инфраструктуры для задач ML/AI

• Низкая утилизация GPU и перерасход бюджета на новое оборудование
  одна задача резервирует GPU полностью, даже если использует небольшую часть ресурсов
• Слишком много ручной эксплуатации
  при распределении ресурсов, сборе окружений и запуске сервисов
• AI/ML-сервисы сложно вывести в промышленную эксплуатацию из-за повышенных требований
  к отказоустойчивости, масштабированию, разделению ресурсов, ИБ и др.
• Собственную разработку сложно сопровождать
  это увеличивает нагрузку на ИТ-команду и повышает риск зависимости от узких специалистов
• AI/ML-проекты без единого слоя управления конкурируют за ресурсы
  сроки растут, а утилизация инфраструктуры остается низкой

Nova AI — это готовая инфраструктурная платформа, которую можно развернуть на собственных GPU-серверах, а также поверх zVirt или любой другой системы виртуализации.

Платформа позволяет выполнять следующие задачи:

• Запускать LLM и ИИ-сервисы локально
• Построить рабочее окружение для ML-инженеров и аналитиков данных

Преимущества

Государственная компания

Заказчик развивал AI-направление на 4 серверах с GPU H100, где одновременно работали 11 команд разработки. При отсутствии единого слоя управления утилизация GPU оставалась на уровне 30%, командам не хватало ресурсов, а новые закупки рассматривались как неизбежный следующий шаг.

После внедрения платформенного подхода заказчик смог централизованно управлять GPU-ресурсами, сократить время ожидания мощностей и кратно повысить отдачу от существующей инфраструктуры.

Результат:

• Повышение утилизации GPU до 88%
• Рост числа экспериментов в 4 раза на том же оборудовании
• Сокращение времени ожидания ресурсов с 3 дней до 1 часа
• Экономия до 120 млн руб. в год за счет отказа от новых закупок

Компания из финансового сектора

Заказчик запускал локальные AI-сервисы: внутренние ассистенты на базе LLM, сервисы транскрибации и другие прикладные сценарии. На этапе выбора архитектуры рассматривались разные варианты, включая облачную модель и более дорогие платформенные альтернативы.

Ключевой вопрос для заказчика заключался не только в функциональности, но и в экономике проекта на горизонте нескольких лет: требовалось развернуть AI-контур на собственных серверах с GPU, встроить его в общую архитектуру и при этом избежать избыточных затрат на владение.

Результат:

• Надежная работа всех AI-сервисов в продакшене
• LLM запущены внутри единого пула ресурсов, масштабируются в зависимости от количества нагрузки со стороны пользователей
• Часть ресурсов отдана в тестовый контур, где продуктовые команды пилотируют другие сценарии применения ИИ