Обзор VMmanager 6, масштабируемой платформы управления виртуализацией

1. Введение
2. Функциональные возможности VMmanager 6
   1. 2.1. Портал самообслуживания пользователя (мультиарендность)
   2. 2.2. Мониторинг виртуальной инфраструктуры
   3. 2.3. Обеспечение отказоустойчивости
   4. 2.4. Подключение хранилищ
   5. 2.5. Распределённый коммутатор
   6. 2.6. Библиотека готовых ОС и приложений
   7. 2.7. Управление сетями и IP-адресами
   8. 2.8. Обеспечение непрерывности работы ВМ и балансировка нагрузки
   9. 2.9. Миграция ВМ без прерывания работы сервисов (живая миграция)
   10. 2.10. Уведомления о состоянии ВМ
3. Архитектура VMmanager 6
4. Лицензирование VMmanager 6
5. Системные требования VMmanager 6
6. Сценарии использования VMmanager 6
   1. 6.1. Кейс РААЗ: от физической инфраструктуры к виртуальной
7. Выводы

Введение

VMmanager 6 — платформа для централизованного управления виртуализацией, разработанная ISPsystem с минимальным использованием компонентов с открытым исходным кодом. Она обеспечивает эффективное распределение вычислительных и сетевых ресурсов, объединяя физические серверы и хранилища в единый кластер виртуализации. Поддерживает хранилища Storage Area Network (SAN), Ceph, NAS. Предусмотрена возможность установки платформы в изолированном информационном контуре. Надёжность системы достигается за счёт использования кластера высокой доступности (HA), микросервисной архитектуры и встроенных механизмов резервного копирования. 

Продукт включён в Единый реестр российских программ и баз данных, сертифицирован ФСТЭК России (№ 4911 от 7 февраля 2025 года). Соответствует требованиям к средствам виртуализации по четвёртому классу защиты. Благодаря четвёртому уровню доверия платформа может использоваться в информационных системах персональных данных (ИСПДн), автоматизированных системах управления технологическими процессами (АСУ ТП) и прочих системах с высокими требованиями к безопасности.

Функциональные возможности VMmanager 6

Решение от ISPsystem предоставляет инструменты для создания отказоустойчивой виртуальной среды. Оно поддерживает управление как аппаратной, так и контейнерной виртуализацией, обеспечивая изоляцию и абстрагирование виртуальной инфраструктуры от физического оборудования. Платформа также подходит для развёртывания и администрирования виртуальных рабочих столов (Virtual Desktop Infrastructure, VDI). 

Система собирает ключевые метрики о состоянии инфраструктуры и визуализирует их в удобном интерфейсе. Меню управления объектами виртуальной инфраструктуры расположено слева, параметры настройки — справа, а в центре размещён дашборд с информацией о состоянии виртуальных машин (ВМ).

Рисунок 1. Интерфейс VMmanager 6

Портал самообслуживания пользователя (мультиарендность)

Платформа VMmanager 6 поддерживает возможность работы в многопользовательском режиме (multitenant-архитектура) — при наличии соответствующей лицензии (в составе решения с биллингом). Такой подход позволяет пользователям управлять выделенными ресурсами с изоляцией между арендаторами, физическими сетями и оборудованием.

Таблица 1. Доступные в VMmanager 6 роли

Для добавления пользователя необходимо перейти на страницу «Пользователи», нажать «Новый пользователь». Далее — выбрать способ создания пользователя: создать самостоятельно или пригласить. 

Рисунок 2. Создание нового пользователя в VMmanager 6

Рисунок 3. Приглашение пользователя

У каждого пользователя будет собственный личный кабинет, где он сможет изменять свои настройки. Для перехода в личный кабинет нажмите в меню вверху справа на «Перейти в личный кабинет».

Рисунок 4. Личный кабинет пользователя в VMmanager 6

В системе можно настроить интеграцию с одним из каталогов служб аутентификации — Active Directory, LDAP-каталогом или FreeIPA — для синхронизации пользователей. Для этого необходимо в правом меню выбрать настройки и нажать на «Синхронизация с LDAP». 

Рисунок 5. Синхронизация с LDAP в VMmanager 6

После синхронизации у пользователя появится возможность войти в систему, используя свою доменную учётную запись. Поддерживается режим двухфакторной аутентификации. 

Мониторинг виртуальной инфраструктуры 

На дашборде VMmanager 6 представлены ключевые показатели инфраструктуры:

• данные о кластерах;
• перечень задач, запущенных за сутки;
• информация об утилизации ресурсов сервера (виртуальном или физическом), где установлен продукт;
• сведения о лицензии и версии платформы.

Рисунок 6. Дашборд VMmanager 6

Под капотом системы находится встроенный сервис Grafana, который позволяет собирать, обрабатывать и представлять данные в виде настраиваемых графиков и панелей. Это обеспечивает наглядное отображение информации о состоянии ВМ и других компонентов системы.

Рисунок 7. Интерфейс Grafana в VMmanager 6

На дашборде VMmanager 6 отображается информация о кластерах — совокупности серверов, расположенных в единой локации. При нажатии на один из них пользователь может ознакомиться с текущей информацией о состоянии кластера.

Рисунок 8. Текущее состояние кластера

На дашборде платформы также в режиме реального времени отображается загрузка узлов виртуализации. При нажатии на узел пользователь получает информацию о ВМ на узле, которые потребляют больше всего ресурсов.

Рисунок 9. Информация о виртуальных машинах на узле

Поддерживается создание собственных списков узлов для мониторинга. Для этого необходимо внизу дашборда нажать на «Добавить виджет узлов для просмотра».

Рисунок 10. Добавление виджета узлов для просмотра

Рассмотрим меню управления объектами виртуальной инфраструктуры на примере раздела «Узлы». Основные элементы для управления объектами — таблицы, в которых отображаются краткие сведения. У неё есть два вида отображения — полный и компактный. Настройка вида отображения доступна при нажатии справа вверху меню «Настройка таблицы».

Рисунок 11. Компактный вид таблицы с данными об узлах в VMmanager 6

Рисунок 12. Полный вид таблицы с данными об узлах в VMmanager 6

Детальная информация об объекте, его настройки, история, отображается в карточке. Для получения доступа к ней необходимо нажать на название объекта, далее — выбрать «Параметры». 

Рисунок 13. Карточка выбранного узла в VMmanager 6

Каждая строка с объектом заканчивается многоточием, при нажатии на которое появляется меню выполнения операций над объектом. 

Рисунок 14. Меню выполнения операций над узлом

При выборе нескольких строк вверху таблицы «Узлы» отображаются доступные групповые операции.

Рисунок 15. Доступные групповые операции с выбранными узлами

Чтобы быстро открыть необходимую страницу можно её добавить в закладки — через меню справа. 

Рисунок 16. Добавление страницы в закладки

Интерфейс платформы спроектирован таким образом, чтобы у администратора была возможность не только оперативно отслеживать ключевые метрики ВМ, но и знакомиться с более детальными показателями её работы. 

Обеспечение отказоустойчивости

Микросервисная архитектура платформы обеспечивает её масштабируемость и устойчивость к высоким нагрузкам. При этом отказоустойчивость ВМ достигается за счёт HA-агентов, которые продолжают работу даже при недоступности управляющих компонентов.

Рост нагрузки на отдельные сервисы не сказывается на стабильности системы. Автоматические механизмы переключения ВМ на резервные узлы позволяют избежать длительных простоев. Время выявления аварийной ситуации — менее одной минуты, перезапуска ВМ на рабочих узлах — несколько секунд.

HA-агент на управляющем узле мониторит доступность кластерных узлов, оперативно реагируя на их отказ. Также он отслеживает состояние управляющей сети и сетевого хранилища. Чтобы повысить точность и скорость обнаружения сбоев, платформа использует проверочный IP-адрес. Если узел теряет доступ к управляющей сети, но при этом сеть остаётся доступной для виртуальных машин, система всё равно фиксирует 

Для обеспечения отказоустойчивости требуется три узла с сетевыми хранилищами и виртуализацией Kernel-based Virtual Machine (KVM).

Подключение хранилищ

Надёжность и безопасность среды достигаются за счёт репликации данных и их распределённого хранения. К кластеру решений от ISPsystem могут быть подключены различные хранилища, включая файловую систему узлов кластера, Logical Volume Manager (LVM), а также сетевые хранилища SAN, Ceph и NAS (доступно для лицензии Infra). SAN-хранилища подключаются по протоколу Internet Small Computer System Interface (iSCSI) или Fibre Channel (FC). При использовании SAN для выделения на нём места под ВМ применяется LVM — в этом случае диск ВМ представляется в виде логического тома.

Подключение хранилища выполняется в карточке кластера.

Рисунок 17. Добавление локального хранилища

Рисунок 18. Добавление сетевого хранилища

Распределённый коммутатор

Функции распределённого коммутатора позволяют централизованно управлять Virtual Local Area Network (VLAN) на хостах виртуализации. Шаблоны сетевых настроек создаются с помощью порт-групп (Distributed Port Group, DPG). Для создания шаблона достаточно указать несколько параметров (имя порт-группы, VLAN тег, uplink-интерфейс) и, при необходимости, активировать дополнительные опции, такие как автоматическое использование порт-группы для новых ВМ и переноса IP-адресов с интерфейса на мост, связанный с текущей порт-группой.

Библиотека готовых ОС и приложений

На платформе доступны встроенные шаблоны ОС из репозитория разработчика. 

Рисунок 19. Встроенные шаблоны операционных систем в VMmanager 6

Имеется возможность создавать, подключать собственные или внешние репозитории с шаблонами ОС (Windows, AlmaLinux, CentOS, Debian и другие). 

Рисунок 20. Добавление репозитория

Предусмотрена функция создания и подключения библиотеки с ISO-образами, которые могут быть расположены на общем HTTP-сервере или NAS-хранилище.

Рисунок 21. Список созданных на платформе образов виртуальных машин

На странице «Шаблоны» можно создавать и редактировать шаблоны конфигураций ВМ — наборы ресурсов, используемых для создания ВМ.

Рисунок 22. Редактирование конфигурации

Управление сетями и IP-адресами

Встроенная IPAM-система упрощает управление IP-адресами. Продукт ISPsystem позволяет администратору управлять виртуальными сетями, отслеживать число занятых, свободных IP-адресов, выделять их вручную и автоматически. Управление IP-адресами доступно в меню «Сети» — здесь расположен встроенный модуль учёта адресного пространства «IP-менеджер». 

Рисунок 23. Сети

В настройках описываются физические сети IPv4 или IPv6, которые планируется использовать. Сеть можно разделить на пулы IP-адресов и назначить на определённые кластеры.

Рисунок 24. Пулы IP-адресов

На вкладке «IP-адреса» доступна информация о выданных IP-адресах. 

Рисунок 25. IP-адреса

По каждой сети можно просмотреть занятые IP-адреса, параметры сети и историю действий в сети.

Рисунок 26. Занятые IP-адреса

Рисунок 27. Параметры сети

Рисунок 28. История действий в сети

Сервис DNS blocklists (DNSBL) позволяет проверить нахождение IP-адреса в чёрных списках перед выдачей.

Рисунок 29. Сервис DNSBL

На странице «Виртуальные сети» доступно управление всеми созданными виртуальными сетями.

Рисунок 30. Виртуальные сети

Управление виртуальными сетями доступно и в карточке кластера. Для этого следует открыть страницу «Кластеры», выбрать кластер и открыть «Виртуальные сети».

Рисунок 31. Управление виртуальными сетями в карточке кластера

Обеспечение непрерывности работы ВМ и балансировка нагрузки

В системе заложена возможность автоматического распределения нагрузки (Dynamic Resource Scheduling, DRS) и изменения настроек ВМ без перезагрузки. Это позволяет обеспечивать бесперебойный режим работы приложений и сервисов. 

Нагрузка внутри кластера выравнивается автоматически, что уменьшает нагрузку на администраторов и обеспечивает более эффективное использование ресурсов. Работа сервиса включает три этапа:

1. Сбор информации о загрузке CPU и RAM. Администратор только настраивает периодичность проверки. 
2. Анализ данных и формирование списков виртуальных машин. Формируется два списка узлов, в первый из которых попадают серверы с высокой нагрузкой, во второй — подходящие для переноса ВМ.
3. Миграция. Виртуальные машины переносятся с загруженных узлов на более свободные. Остановка работы виртуальной машины не происходит. Информация о миграциях доступна в разделе «История». 

Настройки балансировщика применяются на уровне кластера. Для разных кластеров могут быть заданы разные настройки балансировщика. Для управления сервисом необходимо перейти на страницу «Кластеры», выбрать кластер и нажать на «Параметры», далее — на «Балансировщик». 

Рисунок 32. Настройки балансировщика в VMmanager 6

Миграция ВМ без прерывания работы сервисов (живая миграция)

Платформа поддерживает живую миграцию — перенос виртуальных машин без прерывания работы сервисов. Эта возможность особенно востребована в сценариях, когда необходимо вручную распределить нагрузку без остановки сервисов и перевести узел в режим обслуживания. 

Доступны типы живой миграции:

• В рамках кластера — ВМ перемещается с одного узла на другой внутри одного и того же кластера.
• Между кластерами — позволяет перенести ВМ в другой кластер.
• Только диска — осуществляется перенос только диска ВМ на другое хранилище. 

Миграция ВМ осуществляется в разделе «Виртуальные машины».

Рисунок 33. Миграция виртуальной машины

Живая миграция упрощает администрирование, снижает риски простоев и позволяет гибко управлять ресурсами, не затрагивая пользовательские сервисы.

Уведомления о состоянии ВМ

Предусмотрена настройка уведомлений. Например, о таких событиях как превышение пороговых значений, недоступность сервера, ошибки в задачах и так далее. Уведомления могут быть отправлены непосредственно в VMmanager, на электронную почту или в Телеграм.

Для их настройки необходимо в меню справа перейти на страницу «Центр уведомлений», выбрать «Настройки», кликнуть на «Настроить новое уведомление».

Рисунок 34. Создание уведомлений в VMmanager 6

Архитектура VMmanager 6

VMmanager 6 построен на микросервисной архитектуре с использованием Docker, так как изначально проектировался под высокие нагрузки. Благодаря этому продукт способен:

• поддерживать 65 535 ВМ в одной инсталляции (рекомендуемое вендором количество ВМ — 25 000);
• обслуживать более 50 кластеров и более 350 узлов в одном кластере;
• обеспечивать гибкость и высокую производительность для широкомасштабных проектов.

Архитектура решения основана на двух основных компонентах: узлах и мастер-сервере. Мастер-сервер использует микросервисную архитектуру. Узлы работают на базе QEMU-KVM/libvirt с использованием собственных HA-агентов для обеспечения высокой доступности. Для коммутации используется Bridge/Bond или IP Fabric, что позволяет обеспечивать высокоскоростное соединение между узлами и эффективное управление сетевой инфраструктурой.

Рисунок 35. Архитектура VMmanager 6

У продукта ISPsystem есть конфигурационные максимумы, которые определяют пределы масштабируемости и производительности системы.

Таблица 2. Конфигурационные максимумы VMmanager 6

Лицензирование VMmanager 6

Для работы VMmanager 6 требуется активная лицензия. В действующей системе тарификации учитываются физические серверы, входящие в состав кластера. Продажа лицензий, базирующихся на количестве физических ядер, прекращена

VMmanager 6 предлагает два варианта лицензирования: для развёртывания в открытом контуре и в закрытом. В первом случае требуется наличие стабильного подключения к интернету. Поверка лицензии осуществляется через сервер license6.ispsystem.com, поэтому доступ к нему должен быть открыт постоянно. В случае потери соединения возможно автоматическое отключение лицензии. 

У вендора предусмотрен бесплатный триал на 30 дней, чтобы протестировать возможности платформы на собственной инфраструктуре. 

Системные требования VMmanager 6

Для установки подходит физический или виртуальный сервер на базе виртуализации Kernel-based Virtual Machine (KVM). Требования к нему зависят от числа создаваемых ВМ.

Таблица 3. Минимальные требования VMmanager 6 к характеристикам сервера

Системой поддерживаются процессоры Intel и AMD с архитектурой x86_64 и набором инструкций SSE4.2. Процессоры с архитектурой ARM не поддерживаются.

Использовать необходимо только SSD-диски. Директория /var применяется для распаковки Docker-образов. Раздел, содержащий директорию /var, должен иметь объём не менее 8 ГБ. Для стабильной работы платформы вендор рекомендует создать файл подкачки. 

Для установок от 3000 ВМ скорость передачи данных через сетевые диски должна быть не менее 1 Гбит/с.

Узлом кластера должен быть физический сервер со следующими параметрами.

Таблица 4. Минимальные требования VMmanager 6 к параметрам сервера

Решение поддерживает AlmaLinux 8, Astra Linux Special Edition 1.7.4, Astra Linux Special Edition 1.8.1, и Ubuntu 20.04. Следует использовать дистрибутивы операционных систем без внесённых изменений.

На момент публикации обзора поддержка геораспределённого кластера высокой доступности в VMmanager 6 отсутствует. Это может усложнить развёртывание в регионах с недостаточно развитой сетевой инфраструктурой. 

Сценарии использования VMmanager 6

Система подходит бизнесу, который разворачивает виртуальную инфраструктуру для реализации внутренних и внешних задач. Может использоваться государственными организациями, внедряющими виртуализацию в закрытом контуре.

Внедрение VMmanager позволяет решить задачи:

1. Масштабирование виртуализации под загрузку. К платформе можно бесшовно подключить новые хосты и добавить их в кластер. Балансировщик автоматически распределит ВМ по хостам в режиме живой миграции. Увеличение числа виртуальных ресурсов происходит без остановки работы сервисов и приложений. 
2. Миграция ВМ с других платформ виртуализации. Для импорта ВМ специализированное ПО не требуется. Процесс миграции детально описан в документации вендора, что позволяет минимизировать возможные ошибки и обеспечить корректную работу перенесённых виртуальных машин.
3. Непрерывность работы приложений и сервисов. Решение поддерживает «горячее» изменение конфигурации ВМ, их перенос без необходимости в остановке запущенных процессов.
4. Сетевая изоляция виртуальной инфраструктуры. Предусмотрена возможность предоставления виртуальной инфраструктуры в пользование разным клиентам. Технология xLAN обеспечивает изоляцию пользователей. Это позволяет обеспечивать высокий уровень безопасности и конфиденциальность данных. 
5. Создание отказоустойчивой виртуальной инфраструктуры. Отказоустойчивые кластеры обеспечивают автоматический запуск ВМ на рабочих узлах в случае сбоя. Для сохранения состояния ВМ и возврата к нему можно сделать мгновенный снимок — снапшот и, при необходимости, вернуться к нему. Решение позволяет подключать разные виды внешних хранилищ, обеспечивать автоматическое переключение ВМ на резервные узлы при авариях, делать резервные копии.
6. Эффективное использование вычислительных ресурсов. Технология виртуализации позволяет абстрагироваться от физического оборудования, что даёт возможность более гибкого и эффективного использования вычислительных ресурсов. Запуск нескольких ВМ на одном сервере повышает уровень утилизации ресурсов, что снижает затраты на покупку и обслуживание оборудования, а также упрощает масштабирование.

Рассмотрим работу VMmanager 6 на примере реального кейса. 

Кейс РААЗ: от физической инфраструктуры к виртуальной 

Российский производитель узлов и агрегатов для крупной автотехники «Рославльские тормозные системы» (РААЗ) обратился к ISPsystem по следующим причинам: 

• его ИТ-инфраструктура реализовывалась на физическом оборудовании;
• требованиям отказоустойчивости, производительности не соответствовала;
• возможность масштабировать ресурсы отсутствовала. 

Совместными усилиями вендора и специалистов РААЗ был развёрнут тестовый стенд, на котором проверялись ключевые возможности виртуализации VMmanager. Спустя два месяца испытаний тестовая платформа была успешно переведена в продакшен. Все этапы реализации выполнил системный аналитик РААЗ, получая удалённую поддержку от технической службы ISPsystem.

После внедрения VMmanager на двух серверах были развёрнуты ключевые сервисы:

• контроллер домена, файловый сервер, SQL-сервер, сервер 1C;
• три отказоустойчивых терминальных сервера для 100+ пользователей;
• система контроля и управления доступом.

Сотрудничество с ISPsystem позволило централизовать управление инфраструктурой, сократить затраты и автоматизировать администрирование. 

С прочими кейсами внедрения VMmanager можно ознакомиться на сайте вендора. 

Выводы

VMmanager 6 — удобная платформа для централизованного управления виртуализацией, являющаяся частью экосистемы «Группы Астра». Помогает эффективно распределять ресурсы, вычислительные и сетевые, обеспечивая гибкость в управлении инфраструктурой любой сложности в разных отраслях. 

Продукт ISPsystem развивается более 15 лет. Разрабатывается собственными силами вендора. Число open-source компонентов в системе сведено к минимуму. 

Достоинства:

• Изначально проектировался под высокие нагрузки. Легко масштабируется — до 65 535 ВМ в одной инсталляции. При этом обеспечиваются непрерывность процессов и доступность всех запущенных на ВМ сервисов.
• Централизованное управление в едином интерфейсе со встроенным сервисом Grafana.
• Встроенная библиотека с готовыми образами ОС из репозитория разработчика. Возможна бесшовная миграция ВМ с других платформ виртуализации.
• Применение технологии xLAN для изоляции пользователей.
• Возможность сделать мгновенный снимок состояния ВМ и, при необходимости, вернуться к нему. Предусмотрена интеграция с системами резервного копирования.
• Проверка IP-адресов на их наличие в DNSBL.
• Синхронизация с Active Directory, LDAP-каталогом или FreeIPA, поддержка режима двухфакторной аутентификации пользователей. 
• Время распознавания аварийной ситуации составляет менее одной минуты, перезапуск ВМ — несколько секунд.
• Поддержка живой миграции ВМ без прерывания работы сервисов.
• Платформа сертифицирована ФСТЭК России и отвечает требованиям по защите персональных данных, ГИС и объектов КИИ. Четвёртый уровень доверия позволяет использовать платформу в ИСПДн, АСУ ТП и других критически важных системах.

Недостатки:

• Процессоры с архитектурой ARM не поддерживаются. 
• Геораспределённый кластер высокой доступности не поддерживается.
• Возможна синхронизация только с одной из служб каталогов.