Перейти к содержанию

Заказ и развёртывание

От новой организации до работающего проекта: регистрация, заказ, согласования, развёртывание и письма, которые отправляются по пути.

flowchart TB
  R[Регистрация организации] --> RA([Регистрация согласована])
  RA --> O[Заказ проекта]
  O --> AP([Проект согласован])
  AP --> P[Развёртывание начинается само]
  P --> D[Развёртывание на платформе]
  D --> E[Письма: данные доступа,<br/>администраторам организации,<br/>затем пользователям платформы]
  E --> W[Проект работает]

Регистрация организации

На портале организаций зарегистрировать организацию может кто угодно. Указываются юридическое название организации, её страна и налоговый номер, по желанию адрес и сайт (без схемы он считается https), а также свои ФИО, e-mail, мобильный номер и город; регистрирующий становится администратором организации. Форма первой предлагает домашнюю страну портала. Налоговый номер зависит от страны: в Казахстане ИИН или БИН (12 цифр с контрольной цифрой; номер без указания вида проверяется по виду, на который он похож, так что номер, не являющийся ни верным ИИН, ни верным БИН, сразу отклоняется), в Объединённых Арабских Эмиратах TRN (15 цифр) или номер торговой лицензии (регистрационный номер) от лицензирующего органа компании — экономического департамента эмирата или свободной зоны: от 3 до 20 букв, цифр и дефисов, как написано (например, CN-1234567), — в других странах налоговый или регистрационный номер страны (от 3 до 32 букв и цифр). Страна, вид налогового номера, сам номер и юридическое название потом не меняются; адрес и сайт можно изменить в любое время. Сайт указывать необязательно; если он указан, он сохраняется в организации. Город вводится текстом, мобильный номер — в международном формате, начиная с «+». Он подтверждает e-mail по ссылке из письма портала — это и отправляет запрос. Никто из организации не входит, пока она не согласована (страница входа сообщает, что регистрация ожидает).

  1. Первым согласует менеджер ресурсов и назначает пользователей платформы организации: менеджер ресурсов и инженер поддержки обязательны, менеджер по продажам обязателен для облачных организаций, ключевой менеджер — по желанию (только облачные организации); здесь же можно исправить тип (облачная/корпоративная).
  2. Когда в Настройки → Клиент → Согласования включено согласование менеджера по продажам, менеджер по продажам организации тоже согласует (облачные организации). Человек с обеими ролями согласует один раз.
  3. Затем администратор организации получает письмо: организация зарегистрирована, можно войти и заказывать ресурсы.

Отклонённая регистрация удаляется: регистрирующему сообщают причину, организация и её пользователи удаляются (журнал сохраняет запись). Налоговый номер, уже зарегистрированный в этой стране, становится запросом на вступление в эту организацию, который решают её администраторы. Организации, созданные персоналом или зарегистрированные по приглашению персонала, согласования не требуют.

У каждого пользователя есть город, включая регистрирующего. Портал проверяет каждую регистрацию и помечает подозрительные для персонала; запрос, e-mail которого не подтверждён за 48 часов, удаляется. Жизнь запроса на регистрацию показана на странице Согласования.

sequenceDiagram
    actor P as Регистрирующий
    participant Portal as Портал
    actor RM as Менеджер ресурсов
    actor SR as Менеджер по продажам
    P->>Portal: название, страна, налоговый номер, адрес и сайт (по желанию), ФИО, e-mail, мобильный, город
    Portal->>P: письмо: подтвердите адрес
    P->>Portal: подтверждает в течение 48 часов (запрос отправлен)
    Portal->>RM: письмо: новая организация ждёт согласования
    RM->>Portal: согласует, назначает менеджера ресурсов, инженера поддержки, менеджера по продажам (KAM по желанию)
    alt согласование продаж включено (облачная организация)
        Portal->>SR: письмо: ждёт вашего согласования
        SR->>Portal: согласует
    end
    Portal->>P: письмо: зарегистрирована, войдите и заказывайте ресурсы
    Note over P,Portal: отказ на любом шаге: регистрирующему сообщают причину, остаётся только журнал

Заказ проекта

Проект заказывает администратор организации на портале организаций: Проекты → Заказать проект. Менеджер ресурсов или супер-администратор может создать проект для организации: Проекты → + новая (сначала выбирается организация) или + Проект на странице организации; страница называется Новый проект. В любом случае проект проходит те же согласования.

В форме заказа:

  • Краткое имя: 4–15 строчных латинских букв, цифр и -, начинается с буквы, уникально в организации. Группа проекта в OpenNebula будет _<организация>_<имя> (имя без -).
  • Тип: облачный или корпоративный. Выбирать могут только корпоративные организации; у остальных — облачный.
  • Стадия (POC или клиент) и дата пересмотра. По умолчанию дата — через месяц; POC, заказанный организацией, пересматривается в пределах 3 месяцев.
  • Команда: администратор проекта — пользователь организации, который получит данные доступа. Инженера поддержки назначает менеджер ресурсов.
  • Ресурсы: площадка и кластер, затем ресурсы, хранилище и резервные копии. GPU заказываются бандлами: один бандл — это одна GPU-карта вместе с фиксированной долей ядер и памяти её сервера, поэтому бандл всегда помещается на машине, где стоит карта; размер бандла (vCores и ГБ RAM на карту, и по желанию хранилище) — настройка кластера с GPU. Поля ресурсов зависят от кластера — одинаково в формах нового проекта, «Заказать ресурсы» и «Изменить ресурсы»:

    • Кластер CPU: vCPU, RAM, ГБ и хранилище, ГБ вводятся вручную. Поля GPU нет.
    • Кластер с GPU: GPU-бандлы выбираются из списка. vCPU и RAM, ГБ показываются, а не вводятся: число бандлов × vCPU и RAM бандла. Хранилище, ГБ вводится вручную или, если бандл кластера включает хранилище, показывается как число бандлов × это хранилище. Строка под полями расписывает бандл, например «2 × (1 GPU NVIDIA L40S 48 GB + 16 vCPU + 120 GB RAM + 500 GB) · Доступно бандлов: 3».

    Список бандлов доходит до того, что свободно на кластере (его карты без карт резервных хостов и уже выделенных карт). При изменении ресурсов пула список доходит до бандлов пула плюс свободные и начинается с бандлов, которые сейчас используют ВМ пула. Пока число бандлов не меняется, пул сохраняет свои vCPU и RAM. Портал проверяет те же пределы при отправке формы: больше бандлов, чем свободно, не принимается («Only N bundles are free on this cluster.»).

  • Сетевое подключение: хотя бы одно из трёх — интернет, корпоративная сеть (только для корпоративных организаций) и внешний L2-канал. Интернет и корпоративную сеть совмещать нельзя. Для интернета — скорость (10–1000 Мбит/с) и префиксы: основной и, кнопкой + префикс, дополнительные. Для каждого префикса два выбора, в таком порядке:

    • Базовая подсеть: подсеть, из которой берутся его адреса, — одна из интернет-подсетей, делегированных сетям обмена платформы, на которой находится выбранный кластер, или auto (по умолчанию: выбирает портал, сначала облачные пулы). Список следует за выбранным выше кластером. Сначала пробуется выбранная подсеть; если в ней нет свободного блока такого размера, адреса берутся из остальных.
    • Длина префикса, из списка: /31, затем /29, /28 и так далее до самого крупного блока, который даёт площадка (max интернет-подсетей площадки). /30 не предлагается.

    Для корпоративной сети — базовая подсеть и длина префикса, обе выбираются из списков, как для интернета.

    С интернетом в заказе выбирается и шлюз проекта: продвинутый (по умолчанию), нативный маршрутизатор платформы или свой. Со своим для вас ничего не создаётся: адрес резервируется, и его берёт ваша виртуальная машина.

  • Заметки.

Заказ ничего не создаёт на платформе: он ждёт согласования («Проект заказан. Он станет доступен после согласования.»). Адреса назначаются, когда согласует менеджер ресурсов; развёртывание начинается само, когда дано последнее согласование. До этого администраторы организации (или менеджер ресурсов) могут отменить запрос. Заказ решается один раз. Если его отменили или отклонили, пока кто-то его согласует, отмена или отказ остаются в силе: адреса не выделяются, ничего не развёртывается, а страница сообщает, что запрос уже решён. Согласования, данные в один момент разными ролями, все сохраняются.

Согласование

Менеджер ресурсов подтверждает имя и тип проекта, размещает его (площадка и кластер, пул интернет-адресов) и подтверждает ресурсы и администратора проекта. Пул интернет-адресов показывает базовую подсеть, заказанную для основного префикса, и его можно изменить; если заказанная базовая подсеть не из тех, что даёт платформа, пул ставится в auto; дополнительные префиксы сохраняют заказанные базовые подсети. Облачные проекты согласует ещё менеджер по продажам, корпоративные — инженер поддержки, каждый — когда его флажок отмечен в Настройки → Клиент → Согласования; без шага менеджера ресурсов заказ согласуется таким, как заказан. Кто что согласует и когда шаг пропускается — на странице Согласования.

Проект от заказа до развёртывания:

flowchart TB
    O[Заказ<br/>администратор организации или менеджер ресурсов] --> RM{Менеджер ресурсов<br/>имя, размещение, ресурсы}
    O -. флажок менеджера ресурсов снят .-> AO[Согласован как заказан<br/>иначе шаг уходит супер-администратору]
    AO --> S
    RM -- отказ --> X[Отклонён<br/>администраторы организации уведомлены]
    RM -- согласие --> S{Отмечен флажок для типа проекта?<br/>облачный: менеджер по продажам · корпоративный: инженер поддержки}
    S -- да --> SR{Менеджер по продажам<br/>или инженер поддержки}
    SR -- отказ --> X
    SR -- согласие --> A[Последнее согласование]
    S -- нет --> A
    A --> P[Развёртывание начинается само<br/>по умолчанию: администратор OpenNebula,<br/>интернет-шлюз 1 vCPU / 1 ГБ RAM, администратор проекта]
    P --> D[Развёртывание<br/>группа, администратор, квоты, ACL,<br/>сеть, egw, igw]
    D -- ошибка / не началось --> R[Выделить ещё раз<br/>продолжает с того, что создано]
    R --> D
    D -- готово --> M1[Письмо администратору проекта<br/>данные доступа, без копии]
    M1 --> M2[То же письмо каждому администратору<br/>организации, который не администратор проекта]
    M1 -- отправлено --> M3[Уведомление каждому пользователю<br/>платформы проекта]
    M1 -- не отправлено --> H[Пользователи платформы не уведомлены<br/>запись в журнале]

Развёртывание и письма

Когда дано последнее необходимое согласование, проект сразу развёртывается со значениями по умолчанию: администратор OpenNebula <организация>-<проект>-adm со сгенерированным паролем; с интернетом — интернет-шлюз того типа, что выбран в заказе: продвинутый (VyOS) с пользователем <проект>-igw-admin, сгенерированным паролем и без ssh-ключа (шлюз принимает вход по паролю), ssh-портом из диапазона в Настройки → Безопасность и размером 1 vCPU, 1 ГБ RAM, или нативный маршрутизатор платформы, или, со своим, ничего (его адрес резервируется для вашей ВМ); администратор проекта — тот, кто выбран в заказе. Развёртывание выполняет портал: нажимать ничего не нужно. «Выделить ещё раз» появляется на странице проекта, только когда развёртывание не смогло начаться (например, платформа только для чтения) или завершилось ошибкой; оно продолжает с того, что уже создано. Им могут воспользоваться администраторы организации и администраторы проекта, его инженер поддержки и супер-администратор. Проект развёртывается только один раз за раз: если развёртывание того же проекта кем-то другим идёт или только что завершилось, развёртывание отклоняется, а введённые пароли не сохраняются — остаются пароли того развёртывания.

Развёртывание создаёт группу проекта, её администратора, квоты, правила доступа, основную публичную сеть, пограничный шлюз провайдера и интернет-шлюз проекта; каждый шаг можно запустить повторно. Интернет-шлюз создаётся с 1 vCPU и 1 ГБ RAM по умолчанию («Выделить ещё раз» позволяет их выбрать).

flowchart TB
    A[Последнее согласование] --> P[Развёртывание начинается само]
    P --> D{Развёртывание}
    D -- готово --> M1[Данные доступа администратору проекта]
    M1 --> M2[То же письмо каждому администратору организации,<br/>который не администратор проекта]
    M1 -- отправлено --> M3[Уведомление каждому пользователю платформы проекта]
    D -- ошибка / не началось --> R[Выделить ещё раз на странице проекта]

Когда развёртывание завершено, администратор проекта получает данные доступа к проекту: организация, платформы, пулы ресурсов по площадкам и кластерам (vCPU, RAM, GPU-бандлы, диск для ВМ и образов, файлы, резервные копии), адреса веб-интерфейса и API, администратор OpenNebula и пароль, подключения (скорость интернета, основная подсеть, адреса, свободные для ВМ, адреса пограничного и интернет-шлюза, ssh-доступ к шлюзу), корпоративные сети и L2-каналы, а также его пользователи платформы с адресами e-mail.

Данные доступа получает только администратор проекта: копии никому не отправляются. Каждый администратор организации, который не является администратором проекта, получает такое же письмо отдельно. Пользователи платформы проекта уведомляются, только когда письмо администратору проекта ушло. «Отправить доступы ещё раз» отправляет письмо снова только администратору проекта. После перехода проекта в другую организацию люди прежней организации больше не получают его данные доступа; их получает администратор проекта новой организации.

Новые пользователи проекта получают данные доступа по e-mail, как только проект развёрнут, без отдельного приглашения.

Пользователи платформы проекта — менеджер по продажам, ключевой менеджер облачного проекта, менеджер ресурсов, инженер поддержки; одно письмо на человека, сколько бы ролей у него ни было — получают уведомление о развёртывании с теми же данными, но без паролей и доступа к шлюзу. Если письмо администратору проекта не удалось отправить (или у проекта нет администратора), никто больше не уведомляется, и портал записывает это в журнал.

sequenceDiagram
    actor A as Последний согласующий
    participant Portal as Портал
    participant ON as OpenNebula
    actor TA as Администратор проекта
    actor OA as Администраторы организации<br/>(не администратор проекта)
    actor PU as Пользователи платформы проекта
    A->>Portal: последнее согласование
    Portal->>ON: развёртывание начинается само: группа, администратор, квоты,<br/>правила, основная сеть, egw, igw (1 vCPU / 1 ГБ)
    Portal->>TA: письмо: данные доступа (пароли, доступ к шлюзу)
    Portal->>OA: то же письмо, каждому своё
    alt письмо администратору проекта ушло
        Portal->>PU: по письму каждому: развёрнут, без паролей и доступа к шлюзу
    else не ушло или нет администратора проекта
        Note over Portal,PU: пользователи платформы не уведомляются, запись в журнале
    end
    Note over Portal,ON: ошибка или не началось: «Выделить ещё раз» на странице проекта

Изменения после развёртывания

Каждый пул ресурсов показывает свою квоту и рядом — что занято, с полосой, которая заполняется вместе с пулом. Хранилище разбито на диски виртуальных машин, образы и файлы.

Объём резервных копий относится к площадке, а не к одному пулу ресурсов. Он показывается и меняется на первом пуле ресурсов каждой площадки, и изменение действует на все пулы проекта там.

Квота проекта задаётся на его группе OpenNebula, никогда — на его пользователях, в каждой зоне, где у него есть пул ресурсов: у каждой зоны свои квоты, и группа получает в каждой зоне vCPU, RAM, GPU и хранилище своих пулов там. За каждым согласованным заказом или изменением пула следуют изменения квот, и результат называет каждую зону (например, «dc1: quota set … · dc2: quota set …»). Когда удаляется последний пул проекта в зоне, его квота там сбрасывается, а его правила доступа там удаляются. Кластер на платформе вне федерации OpenNebula проекта для него заказать нельзя.

Любое изменение развёрнутого проекта, которое стоит денег или затрагивает общую сеть, — это запрос на согласование; его согласует менеджер ресурсов (или супер-администратор), и оно сразу выполняется.

  • Размер: администраторы проекта просят другие значения пула ресурсов (vCPU, RAM или GPU-бандлы, хранилище, резервные копии) или заказывают ещё один пул ресурсов — на другом кластере или на новой площадке. Деление хранилища между дисками ВМ, образами и файлами согласования не требует. Изменение никогда не опускается ниже того, что проект использует сейчас (последнее чтение платформы): форма показывает занятое рядом с каждым полем и не принимает меньше, а запрос или согласование ниже занятого отклоняется со списком того, что занято. Пул ресурсов можно удалить, даже когда на нём ещё есть ВМ проекта: запрос перечисляет эти ВМ и просит подтвердить их удаление, а образы, файлы и резервные копии площадки должны поместиться в оставшиеся пулы. Когда пул удаляется вместе со своими ВМ, сначала удаляются ВМ, и пул удаляется, только когда их не осталось. Если ВМ пула не удаётся перечислить или удалить, запрос остаётся ждать согласования, и его можно согласовать снова; пул, его квота и правила доступа остаются как были. Квота и правила доступа пула в его зоне закрываются, даже если его кластер с тех пор выведен из работы. Если зону пула больше не удаётся найти, изменение ждёт, и ничего не меняется. Изменение ресурсов решается один раз. Если его отменили или отклонили, пока кто-то его согласует, отмена или отказ остаются в силе: квота не меняется, а при удалении пула не удаляется ни одна ВМ; страница сообщает, что изменение уже решено. Пока согласованное изменение применяется (удаляются ВМ пула, записывается квота), оно показано как «применяется», а «согласовано» — только когда его квота на месте. Если оно не завершилось (например, портал перезапустился), оно остаётся «применяется», и через 10 минут менеджер ресурсов может согласовать его снова: портал удаляет только оставшиеся ВМ и записывает квоту. Применяемое изменение уже нельзя отменить или отклонить, а новое изменение ждёт, пока оно не завершится. Изменение никогда не задаёт образы или файлы пула ниже того, что хранится на площадке: если раньше они были заданы меньше, изменение поднимает их до хранимого (из нового хранилища), и страница показывает деление, которое будет применено. Изменение, которое портал отклоняет, объясняет причину на странице. Пул с GPU меняется бандлами: изменение, при котором число бандлов пула не меняется (например, только хранилище), оставляет его vCPU и RAM как есть, даже если они отличаются от стандартных для такого числа бандлов; меньшее число бандлов всё равно должно вмещать занятые ядра и память и не может быть меньше занятых GPU.
  • Скорость и подсети — в таблице «Интернет» (ниже).
  • Корпоративные сети и L2-каналы — + префикс в таблице корпоративной сети; + Канал (внешний, на согласование) и + Внутренний канал (между двумя площадками, без согласования) в таблице L2 (см. L2-каналы).
  • Организация: менеджер ресурсов запрашивает перенос проекта в другую организацию (см. Согласования).

У проекта одно интернет-подключение на площадку; его пулы ресурсов могут быть на нескольких площадках, поэтому в таблице «Интернет» может быть несколько строк — по одной на площадку: площадка, скорость, тип интернет-шлюза и подсети (основная первой). Строка собственной площадки проекта предлагает действия: «Скорость» (новая скорость, на согласование), «Тип» (тип интернет-шлюза, сразу, без согласования), «Основная» (замена основной подсети, на согласование — диалог перечисляет, что произойдёт после согласования), «+ Подсеть» (дополнительная публичная подсеть, на согласование) и «− Подсеть» (удалить дополнительную, на согласование; видна, когда она есть в строке). Каждый запрос относится к площадке своей строки. Портал создаёт и меняет сети проекта на собственной площадке проекта (той, на которой он заказан). Таблица «Интернет» может показывать и другие площадки проекта; там изменения запрашиваются через поддержку, и строка говорит об этом вместо кнопок. «Основная» и «+ Подсеть» тоже предлагают базовую подсеть (или auto), как в заказе; менеджер ресурсов видит выбор и может изменить его при согласовании.

flowchart TB
  H["Проект → Интернет<br/>по строке на площадку"]
  H --- R1["Строка dc1, собственной площадки проекта · 100 Мбит/с · VyOS · основная /31, дополнительная /29<br/>Скорость · Тип · Основная · + Подсеть · − Подсеть"]
  H --- R2["Строка dc2, другой площадки · 50 Мбит/с · VyOS · основная /31<br/>Изменения на этом сайте — через поддержку"]
  R1 -- запрос dc1 --> AP([Менеджер ресурсов согласует])
  AP --> C[Выполняется на шлюзах этой площадки]

Размер интернет-шлюза меняется в его диалоге «Изменить»; см. Согласования.

L2-каналы

Таблица L2 проекта перечисляет его каналы с полями тип · конечная точка 1 · конечная точка 2 · состояние. Каналы бывают двух видов:

Тип Что соединяет Конечная точка 1 Конечная точка 2 Как добавляется
внешний VLAN со стороны клиента и сеть проекта, через VXLAN VLAN сеть проекта + Канал: согласует менеджер ресурсов, затем инженер поддержки задаёт VLAN
внутренний две собственные сети проекта на двух разных площадках площадка 1 · её сеть площадка 2 · её сеть + Внутренний канал: добавляется без согласования. Предлагается, когда у проекта есть ресурсы на двух площадках; один канал на пару площадок

Канал любого вида удаляется кнопкой «Удалить» в его строке (на согласование); сеть, которую соединяет канал, меняется кнопкой «Изменить подсеть», без согласования. Подсеть L2-канала — всегда одна из собственных подсетей проекта; сеть другого проекта или одна из сетей провайдера отклоняется.

Все письма по пути

Когда Кому В копии Что в письме
Организация зарегистрирована регистрирующему — подтвердите адрес
Адрес подтверждён менеджерам ресурсов — новая организация ждёт согласования
Менеджер ресурсов согласовал (согласование продаж включено, облачная) менеджеру по продажам организации — ждёт вашего согласования
Регистрация согласована администратору организации — зарегистрирована: войдите и заказывайте ресурсы
Регистрация отклонена регистрирующему — отклонена, с причиной
Проект заказан или шаг согласован тому, кто согласует следующим, в отмеченных у него ролях — ждёт вашего согласования
Проект отклонён администраторам организации — отклонён, с причиной
Проект развёрнут администратору проекта — данные доступа с паролями и доступом к шлюзу
… то же каждому администратору организации, который не администратор проекта — те же данные доступа
… после того как письмо администратору проекта ушло каждому пользователю платформы проекта (менеджер по продажам, KAM, менеджер ресурсов, инженер поддержки), по одному на человека — развёрнут, без паролей и доступа к шлюзу
«Отправить доступы ещё раз» администратору проекта — данные доступа
Запрошено изменение сети менеджеру ресурсов проекта (или менеджерам ресурсов) — ждёт вашего согласования
Запрошено удаление менеджеру ресурсов проекта (или менеджерам ресурсов) — ждёт вашего согласования
Проект переносится в другую организацию тем, кто согласует перенос (менеджер ресурсов, менеджер по продажам новой организации) — перенос ждёт вашего согласования
Истекает договор или POC администраторам организации — уведомление об истечении (см. Жизненный цикл проекта)
Роль супер-администратора выдают или снимают всем супер-администраторам и тому, о ком речь — подтвердите или отклоните в течение 48 часов
По расписанию каждого отчёта (Настройки → Отчёты) менеджерам ресурсов, менеджерам по продажам, KAM, инженерам поддержки, супер-администраторам — их отчёты

Пока почта пользователям организаций выключена (Настройки → Почта), пользователи организаций писем не получают: их сообщения остаются на портале и записываются в журнал (mail_held), но не отправляются; почта пользователям платформы делает то же для пользователей платформы. У каждого письма есть шаблон в Настройки → Почта.