Развёртывание хоста KVM¶
Портал устанавливает хост KVM с нуля: iLO и BIOS настраиваются так, как задаёт профиль сервера, локальное хранилище создаётся заново, Ubuntu устанавливается с портального узла площадки, затем OpenNebula, сети и хранилища данных хоста. Новый хост становится таким же, как хосты, уже находящиеся в работе. Развернуть делает это для запланированного хоста, Переустановить — для хоста, который уже работает. Оба действия уничтожают данные хоста: загрузочное устройство заново размечается по загрузочному хранилищу профиля, все существующие тома на других контроллерах удаляются вместе с данными, а затем стирается только новый том хранилищ данных.
Перед началом¶
Запуск проверяет всё это, прежде чем что-либо менять, и останавливается с причиной, если чего-то не хватает:
- Платформа соответствует базовой линии. Настройки → Платформы → Базовая линия задаёт версии базовой ОС (выпуск Ubuntu LTS), OpenNebula и FRR, на которых работают все платформы. Пока платформа не соответствует базовой линии или ещё не проверена по текущим значениям, хосты не развёртываются; в отказе названы платформы.
- Задан внутренний домен. Настройки → Клиент → Клиенты → Внутренний домен: DNS-домен собственных хостов
провайдера (например, example.com). Хост получает имя
<хост>.<внутренний домен>и этот домен как домен поиска DNS. - Профиль сервера хоста проверен (Инфраструктура → Профили оборудования → Серверы), и его загрузочное хранилище подходит к загрузочному устройству профиля (Профили оборудования → Загрузочное хранилище; установка приносит одно, standard). Профиль также задаёт версии прошивок BIOS и iLO, которые должны быть у хоста, настройки BIOS, которые он получает, и службы iLO, которые остаются включёнными.
- Установочный образ есть на портальном узле площадки. Он показан в Настройки → Платформы → Установочный образ; портал держит наготове новейший точечный выпуск базовой ОС и отдаёт его только в сети iLO хостов площадки. Хосту, у которого адрес iLO не IPv4, образ отдать нельзя.
- Хост не входит в другой кластер в OpenNebula и не имеет там ВМ. Существующая регистрация сразу отключается и проверяется ещё раз прямо перед выключением питания.
- Для шага FRR: шаблон площадки host-frr (Инфраструктура → Шаблоны) и все значения, которые он использует, включая пароль BGP хостов в Секретах. Шаблон может содержать только простые подстановки ({{ name }}, {{ ix.asn }}, …) и блоки for / if — без фильтров и других тегов. Шаблон, нарушающий это, останавливает шаг FRR с номерами строк и причиной (никогда не с текстом шаблона); исправьте его в Инфраструктура → Шаблоны. Учётные данные, которые использует шаблон, без значения в Секретах останавливают шаг, и он их называет.
Запуск¶
- Откройте площадку в Инфраструктуре, вкладку Хосты, и выберите хост.
- Нажмите Развернуть (запланированный хост) или Переустановить (хост в работе).
- В диалоге выберите кластер, в который войдёт хост, отметьте Сброс к заводским настройкам, если BIOS сначала нужен настоящий сброс к заводским настройкам (iLO сохраняет свой адрес и учётные записи), подтвердите, что включённый хост можно выключить, и введите полное имя хоста.
Одновременно для хоста выполняется только один запуск.
Что делает запуск¶
- Настройки iLO: iLO получает имя «m» плюс имя хоста без начальной «h»; ему задаются NTP-серверы площадки (iLO хранит два — первые два из списка площадки), её DNS-серверы, часовой пояс и, если он задан, сервер удалённого syslog — одной подпиской syslog (UDP, сервер syslog площадки) при выключенной старой настройке с одним адресатом. LLDP включается и считывается обратно. Если iLO отказывается принять настройку удалённого syslog, запуск записывает предупреждение в журнал и продолжает работу; любая другая неприменённая настройка iLO останавливает запуск.
- Настройки BIOS: после сброса к заводским настройкам задаются только настройки BIOS из профиля сервера, сетевая загрузка (PXE) отключается на всех сетевых картах, которые видит BIOS, и задаётся часовой пояс площадки. Все прочие настройки BIOS остаются такими, как их задают заводской сброс и профиль нагрузки. После установки проверка считывает ровно те настройки, которые задало развёртывание.
- Локальное хранилище: на каждом контроллере, кроме загрузочного, тома удаляются и создаётся один том на всех его дисках (RAID5 для трёх дисков и более, RAID1 для двух); на хосте он становится группой томов vg_one, смонтированной в папку хранилищ данных OpenNebula. Удаление старых томов уничтожает всё, что на них было; затем стирается только новый том, найденный по его собственному идентификатору. Ничего не удаляется, если загрузочный контроллер не определён наверняка. iLO 6 и 7 видят хранилище только после запуска сервера, поэтому шаг один раз запускает хост в настройку BIOS (операционная система не загружается), выполняет свою работу и снова выключает хост до запуска установщика.
- Ubuntu установлена: базовая ОС устанавливается с портального узла площадки с загрузочным хранилищем профиля. Шаг ждёт, пока хост не ответит по SSH с операционной системой, установленной этим запуском, и cloud-init не завершит первый запуск. Часть cloud-init в файле ответов минимальна: имя хоста, вход root и вход по паролю отключены, и пользователь SA со своим ключом - никаких других пользователей и пакетов. Сам установщик добавляет только SSH-сервер.
- Базовая настройка ОС: oneadmin создаётся после установки этим шагом: группа и пользователь oneadmin создаются с идентификаторами и домашним каталогом, заданными в команде (группа 9869, пользователь 9869, домашний каталог /var/lib/one), и проверяются. Сам каталог /var/lib/one этот шаг не создаёт - его создают пакеты OpenNebula, после него. Сеансы oneadmin используют umask 0027 (проверяется по ssh от имени oneadmin), поэтому то, что создают драйверы OpenNebula, не получает права записи для группы и никаких прав для остальных: файл, созданный с 0666, получает 640, каталог, созданный с 0777, — 750. Дампа ядра нет (kdump-tools, kexec-tools и параметр crashkernel удалены); время берётся из systemd-timesyncd с NTP-серверами площадки (chrony удалён); snapd удаляется, fwupd маскируется.
- Пакеты: устанавливаются lldpd, ufw и AppArmor; oneadmin входит в группы disk, kvm и libvirt. Шаг «Пакеты» ничего не устанавливает, пока oneadmin не будет 9869:9869 с домашним каталогом /var/lib/one, поэтому ни один пакет OpenNebula никогда не устанавливается раньше него.
- OpenNebula, сети и хранилища данных: OpenNebula устанавливается из репозитория в Настройки → Платформы. Хост получает свои сети, среди них сеть живой миграции (core-lm), и хранилища данных. /var/lib/one/datastores и каждое хранилище данных в нём — 750 oneadmin:oneadmin.
- FRR: конфигурация FRR хоста — это шаблон площадки host-frr, заполненный именем хоста, его адресом в сети EVPN, рефлекторами маршрутов этой сети, номером AS и паролем BGP хостов. Если какого-то значения нет, ничего не записывается; шаг ждёт, пока каждый рефлектор маршрутов не примет сессию.
- Брандмауэр, AppArmor, LLDP (перед перезагрузкой): AppArmor и lldpd включаются. ufw (IPv4) отбрасывает входящий и маршрутизируемый трафик, кроме трафика от управляющих хостов площадки, из сетей core, живой миграции и EVPN, а также ssh и экспортёров узла от фронтенда. Трафик ВМ на мостах хоста проходит через ufw (его фильтруют группы безопасности OpenNebula), а исходящие соединения хоста открыты, поэтому, когда платформа обращается к OneGate через хосты (отмечено OneGate через хосты), ВМ по-прежнему достигают его через свой хост: прозрачный прокси OpenNebula отвечает на каждом мосту в собственном сетевом пространстве имён и сам подключается к фронтенду. Пока ufw включается, механизм возврата через несколько минут снова выключает его, если портал не может открыть новое ssh-соединение с хостом, — так ошибочное правило не может закрыть доступ к хосту.
- Когда OpenNebula начинает мониторить хост: RESERVED_CPU задаётся по соотношению vCPU:pCPU кластера и считывается обратно. В конце запуска считывается состояние хоста по IPMI.
Хост входит в выбранный кластер отключённым. Проверьте его и включите сами.
Если шаг не удался¶
Шаги запуска и его журнал показаны на хосте; последний запуск свёрнут под своим заголовком и открыт, пока он идёт или после сбоя. Неудавшийся шаг останавливает запуск с причиной:
- Продолжить с неудавшегося шага продолжает его, в том числе после того, как его прервал перезапуск портала. Запуск, продолженный после обновления портала, заново выполняет базовую настройку ОС, установку пакетов, ключи oneadmin и перезагрузку, если их выполнила более старая версия, и включает LLDP на iLO, если он ещё не включён;
- Отказаться оставляет хост как есть и удаляет его ISO с ответами.