Установка ELMA365 stack

ELMA365 On-Premises можно установить в уже существующий Kubernetes-кластер. ELMA365 поставляется в виде helm-чартов:

• elma365-stack — полный стэк ELMA365, включает в себя Helm-пакеты elma365,elma365-dbs и elma365-addons;
• elma365 — пакет приложения ELMA365;
• elma365-dbs — набор баз данных и хранилищ, необходимых для работы ELMA365. Также есть возможность использовать собственные базы данных PostgreSQL, MongoDB, Redis, RabbitMQ, хранилище S3, указав строки подключения к ним values пакета elma365. При этом в файле values.yaml установку соответствующих компонентов можно отключить, выставив значение false, например, для PostgreSQL global.postgresql.enabled. Если все пять компонентов чарта будут выставлены в false, установка этого чарта не требуется. О создании баз данных читайте в разделе «Подготовка внешних баз данных»;
• elma365-addons — дополнения для ELMA365 Enterprise, включающие в себя систему маршрутизации (Service Mesh) Linkerd, систему мониторинга Prometheus + Grafana, а также Descheduler, NodeLocal DNSCache и модуль Аудит безопасности.

начало внимание

Чарты elma365-extension больше не поддерживаются. Переход на чарты elma365-dbs с новыми версиями баз данных выполняется с помощью дампа и его восстановления.

конец внимание 

Требования к конфигурации Kubernetes

Установленная версия кластера Kubernetes должна поддерживать Kubernetes API v.2 (версия Kubernetes 1.19 - 1.26) и содержать следующие компоненты: ingress-nginx контроллер, coredns, rbac, storageclass.

Установка производится с использованием Helm v.3.

Должно быть разрешено проксирование из pod’ов во внешнюю сеть.

Установка ELMA365 с помощью чарта elma365-stack

1. Добавьте репозиторий Helm ELMA365 и извлеките список переменных пакета приложения со всеми необходимыми компонентами в файл:

helm repo add elma365 https://charts.elma365.tech
helm repo update
helm show values elma365/elma365-stack > values-elma365-stack.yaml

2. Заполните переменные в файле values-elma365-stack.yaml, заменив как минимум следующие параметры:

• elma365.global.host — домен (FQDN) или ip-адрес, по которому будет доступна система;
• elma365.bootstrapCompany.email — электронная почта администратора;
• elma365.bootstrapCompany.password — пароль администратора;
• elma365.db.psqlUrl — строка подключения к БД PostgreSQL;
• elma365.db.mongoUrl — строка подключения к БД MongoDB для приложения;
• elma365.db.vahterMongoUrl — строка подключения к БД MongoDB для сервера авторизации;
• elma365.db.redisUrl — строка подключения к Redis;
• elma365.db.amqpUrl — строка подключения к RabbitMQ;
• elma365.db.s3.method — метод запросов к s3;
• elma365.db.s3.accesskeyid — имя пользователя s3;
• elma365.db.s3.secretaccesskey — пароль для пользователя s3;
• elma365.db.s3.bucket — бакет s3;
• elma365.db.s3.backend.address — адрес s3;
• elma365.db.s3.backend.region — регион s3;
• elma365.db.s3.ssl.enabled — включение SSL s3.

3. Если требуется создать отдельный namespace, укажите его во всех командах установки.
4. Сохраните файл values-elma365-stack.yaml для последующих обновлений.

Установка баз данных

1. При использовании своих баз данных установку встроенных баз можно пропустить, изменив значение в параметре global.elma365-dbs.enabled на false в файле values-elma365-stack.yaml. В случае использования одной или нескольких внешних баз, например, PostgreSQL, можно пропустить его установку, изменив параметр global.postgresql.enabled на false.
2. Выполните установку баз данных. На этом шаге необходимо отключить установку приложения ELMA365 следующей командой (обратите внимание на параметр --set global.elma365.enabled=false):

helm upgrade --install elma365-stack elma365/elma365-stack \
-f values-elma365-stack.yaml \
 --set global.elma365.enabled=false \
 --timeout=30m --wait \
 [-n namespace]

Установка приложения ELMA365

1. Если необходимо восстановить дамп, перед установкой ELMA365 выполните скрипт elma365db.sh:

helm pull elma365/elma365-stack --untar
./elma365-stack/charts/elma365/elma365db.sh --restore --path /backup/path/ \
[--kubeconfig /path/to/config --context prod] [-n namespace]

2. Выполните установку приложения ELMA365 командой:

helm upgrade --install elma365-stack elma365/elma365-stack \
-f values-elma365-stack.yaml \
--timeout=30m --wait [-n namespace]

3. Для создания дампа можно воспользоваться скриптом elma365db.sh из чарта elma365:

helm pull elma365/elma365-stack --untar
./elma365-stack/charts/elma365/elma365db.sh --dump --path /backup/path/ \
[--kubeconfig /path/to/config --context prod] [-n namespace]

Установка средств мониторинга (опционально)

1. В файле values-elma365-stack.yaml отключите неиспользуемые компоненты, изменив значение в параметрах global.linkerd2.enabled, global.descheduler.enabled, global.node-local-dns.enabled и global.audit.enabled на false, так как для их установки необходимы предварительные настройки.
2. В параметрах elma365-addons.kube-prometheus-stack и elma365-addons.grafana укажите требуемый namespace для сервиса мониторинга (например, namespaceOverride: monitoring), адрес, по которому будет доступен сервис мониторинга и включите дашборды, изменив значение в параметре elma365.global.dashboard.enabled на true.
3. Создайте namespace для сервиса мониторинга командой:

kubectl create namespace monitoring

4. Выполните установку следующей командой (обратите внимание на параметр --set global.elma365-addons.enabled=true):

helm upgrade --install elma365-stack elma365/elma365-stack \
 -f values-elma365-stack.yaml \
 --set global.elma365-addons.enabled=true \
 --timeout=30m --wait \
  [-n namespace]

Установка Linkerd и автомасштабирование сервисов (опционально)

Linkerd — это выделенный уровень инфраструктуры, который помогает обрабатывать связь между сервисами, автоматически шифровать соединения, обрабатывать повторные запросы и тайм-ауты. Также он предоставит вам телеметрию (коэффициент успешности, задержки) и многое другое.

1. Сгенерируйте сертификаты с помощью openssl, выполнив команды ниже. Linkerd требует сертификат привязки доверия и сертификаты эмитента с соответствующим ключом для поддержки взаимных TLS-соединений между сервисами, для всех сертификатов требуется алгоритм ECDSA P-256.

# Создать закрытый ключ CA
openssl ecparam -name prime256v1 -genkey -noout -out ca-private.pem
 
# Создать открытый ключ CA
openssl ec -in ca-private.pem -pubout -out ca-public.pem
 
# Создать самоподписанный сертификат CA
openssl req -x509 -new -key ca-private.pem -days 365 \
 -out ca.crt -subj "/CN=root.linkerd.cluster.local"
# Создать закрытый ключ эмитента
openssl ecparam -name prime256v1 -genkey -noout -out issuer-private.pem
 
# Создать открытый ключ эмитента
openssl ec -in issuer-private.pem -pubout -out issuer-public.pem
 
# Создать запрос на подпись сертификата
openssl req -new -key issuer-private.pem -out issuer.csr \
 -subj "/CN=identity.linkerd.cluster.local" \
 -addext basicConstraints=critical,CA:TRUE
 
# Создать сертификат эмитента, подписав запрос
openssl x509 \
    -extfile /etc/ssl/openssl.cnf \
    -extensions v3_ca \
    -req \
    -in issuer.csr \
    -days 180 \
    -CA ca.crt \
    -CAkey ca-private.pem \
    -CAcreateserial \
    -extensions v3_ca \
    -out issuer.crt
# Удалить запрос на подпись сертификата
rm issuer.csr

2. В файле values-elma365-stack.yaml отключите неиспользуемые компоненты, изменив значение в параметрах global.kube-prometheus-stack.enabled, global.grafana.enabled, global.descheduler.enabled, global.node-local-dns.enabled и global.audit.enabled на false, так как для их установки необходимы предварительные настройки.
3. В параметрах elma365-addons.linkerd2 укажите требуемый namespace для сервиса Linkerd (например, namespace: linkerd), содержимое сертификатов, ключа и срок действия сертификата crtExpiry. Обратите внимание, значение должно соответствовать дате истечения срока действия сертификата эмитента.

identityTrustAnchorsPEM: |
    -----BEGIN CERTIFICATE-----
    содержимое сертификата ca.crt
    -----END CERTIFICATE-----
  identity:
    issuer:
      crtExpiry: 2023-03-30T05:28:39Z
      tls:
        crtPEM: |
          -----BEGIN CERTIFICATE-----
          содержимое сертификата issuer.crt
          -----END CERTIFICATE-----
        keyPEM: |
          -----BEGIN EC PRIVATE KEY-----
          содержимое сертификата issuer-private.pem
          -----END EC PRIVATE KEY-----

4. Включить автомасштабирование сервисов, изменив значение в параметре elma365.global.autoscaling.enabled на true.
5. Выполните установку следующей командой (обратите внимание на параметр --set global.elma365-addons.enabled=true):

helm upgrade --install elma365-stack elma365/elma365-stack \
 -f values-elma365-stack.yaml --set global.elma365-addons.enabled=true \
 --timeout=30m --wait [-n namespace]

6. Добавьте аннотацию на namespace с приложением ELMA365 для автоматической инъекции контейнеров Linkerd-proxy в сервисы ELMA365 командой:

kubectl annotate namespace default linkerd.io/inject=enabled

7. Перезапустите все сервисы командой:

kubectl rollout restart deploy [-n namespace] && kubectl rollout restart ds [-n namespace]

Установка NodeLocal DNS Cache (опционально)

Установка NodeLocal DNS Cache позволяет снизить нагрузку по DNS-запросам в кластере Kubernetes и повысить стабильность преобразования DNS имён. Это позволит избежать правил DNAT, connection tracking и ограничений по количеству соединений.

1. Получите IP-адрес сервиса kube-dns:

kubectl get svc kube-dns -n kube-system -o jsonpath={.spec.clusterIP}

2. В файле values-elma365-stack.yaml отключите неиспользуемые компоненты, изменив значение в параметрах global.kube-prometheus-stack.enabled, global.grafana.enabled, global.descheduler.enabled, global.linkerd2.enabled и global.audit.enabled на false, так как для их установки необходимы предварительные настройки.
3. В параметрах elma365-addons.node-local-dns укажите следующие параметры:

• pillar_dns_domain — домен кластера;
• pillar_dns_server — IP-адрес сервиса kube-dns;
• pillar_local_dns — локальный IP-адрес для NodeLocal DNS Cache.

4. Выполните установку командой (обратите внимание на параметр --set global.elma365-addons.enabled=true):

helm upgrade --install elma365-stack elma365/elma365-stack \
 -f values-elma365-stack.yaml --set global.elma365-addons.enabled=true \
 --timeout=30m --wait [-n namespace]

Установка Kyverno (опционально)

Kyverno позволяет управлять специфическими конфигурациями среды независимо от конфигураций ресурсов, применять передовые методы настройки для своих кластеров в частности путём блокировки или изменения запросов API.

Политика добавления пользовательских сертификатов CA во все контейнеры

В некоторых случаях требуется доверять пользовательским сертификатам CA. Kyverno позволяет автоматически монтировать их в контейнеры. Политика добавляет том, содержащий сертификат, ко всем контейнерам с меткой tier=elma365.

1. Создайте ConfigMap с сертификатом корневого CA.

kubectl create configmap elma365-onpremise-ca --from-file=/etc/ssl/certs/rootCA.pem  [-n namespace]

2. В файле values-elma365-stack.yaml включите Kyverno, изменив значение в параметре global.kyverno.enabled на true. Затем отключите неиспользуемые компоненты, изменив значение у дополнения в параметре global на false, так как для их установки необходимы предварительные настройки.
3. В параметрах elma365-addons.kyverno укажите требуемый namespace для сервиса Kyverno, например, namespace: kyverno. Затем включите политику добавления сертификатов, изменив значение в параметре elma365-addons.kyverno.injectСerts.enabled на true, укажите имя ConfigMap с сертификатом корневого CA. В параметре injectNamespace укажите список namespace, в которых будет применена политика добавления сертификатов. 
4. Создайте namespace для сервиса Kyverno командой:

kubectl create namespace kyverno

5. Выполните установку следующей командой (обратите внимание на параметр --set global.elma365-addons.enabled=true:

helm upgrade --install elma365-stack elma365/elma365-stack \
-f values-elma365-stack.yaml --set global.elma365-addons.enabled=true \
--timeout=30m --wait [-n namespace]

6. Перезапустите все сервисы командой:

kubectl rollout restart deploy [-n namespace] && kubectl rollout restart ds [-n namespace]

Обновление версии ELMA365

1. Обновите список чартов в репозитории:

helm repo update

2. Используйте файл values-elma365-stack.yaml, сохранённый на этапе установки, а затем выполните команду:

helm upgrade --install elma365-stack elma365/elma365-stack -f values-elma365-stack.yaml --timeout=30m --wait [-n namespace]

В случае изменения строк подключения (сonnection strings) к БД при обновлении приложения, перезапустите все сервисы командой:

kubectl default rollout restart deploy [-n namespace] && kubectl default rollout restart ds [-n namespace]

Удаление чарта elma365

Для удаления пакета ELMA365 посмотрите список установленных релизов, а затем выполните команду удаления:

helm list [-n namespace]
helm uninstall elma365-stack [-n namespace] 

Параметры чарта elma365-stack

Была ли статья полезной?

Спасибо за ваш отзыв!

×

Ваш отзыв успешно отправлен!

Спасибо за обратную связь.

×

Уточните, почему:

Рекомендации не помоглиТекст трудно понятьНет ответа на мой вопросСодержание статьи не соответствует заголовкуДругая причина

×

Расскажите, что вам не понравилось в статье:

ДаНет

Выберите вариантРекомендации не помоглиТекст трудно понятьНет ответа на мой вопросСодержание статьи не соответствует заголовкуДругая причина