¶ 1. Назначение документа
Настоящее руководство содержит описание процесса установки и предварительной настройки ПО Cubisio в серверном варианте развёртывания.
В документе описаны команды для установки приложения в двух режимах: ручном standalone режиме и обычнном сервером варианте с использованием утилиты администрирования. Все команды приведены на примере ОС Ubuntu 20.04, для других ОС данные действия осуществляются аналогичным образом.
¶ 2. Ручная установка
Для серверного варианта развертывания ПО Cubisio поставляется в виде zip архива со всеми исполняемыми модулями и ресурсами программы. Считается, что дистрибутив должен содержать все основные настройки и предустановки.
¶ 2.1. Предварительные условия
Для выполнения ручной установки ПО Сubisio требуется наличие прав администратора посредством команды sudo или su -, а также наличие интерпретатора bash для запуска команд и исполняемого файла программы.
¶ 2.1.1. Установка виртуальной машины Java
Для работы Cubisio требуется установить виртуальную машину Java, например, OpenJDK 1.8 или OpenJDK 11, а также настроить видимость исполняемого файла java в PATH, а также переменные среды окружения, в частности JAVA_HOME.
Данный шаг можно пропустить, если в ОС установлена одна из требуемых версий Java.
1) Вариант 1 - OpenJDK 11
Ниже представлен пример установки OpenJDK 1.8 с использованием стандартного менеджера пакетов и установщика.
- Выполните установку пакета OpenJDK 1.8 из стандартного репозитория:
$ sudo apt-get install -y openjdk-11-jdk
или
# apt-get install -y openjdk-11-jdk
- Для проверки резльута установки выполните:
$ java -version
Пример вывода результата команды:
openjdk version "11.0.6" 2020-01-14
OpenJDK Runtime Environment (build 11.0.6+10-post-Debian-1bpo91)
OpenJDK 64-Bit Server VM (build 11.0.6+10-post-Debian-1bpo91, mixed mode, sharing)
2) Вариант 1 - OpenJDK 1.8
Ниже представлен пример установки OpenJDK 1.8 с использованием стандартного менеджера пакетов и установщика.
- Выполните установку пакета OpenJDK 1.8 из стандартного репозитория:
$ sudo apt-get install -y openjdk-8-jdk
- Выполните настройку переменных окружения ОС, действующих в том числе после перезапуска ОС.
Для упрощения процесса ниже производится создание файла, осуществляющего одновременную настройку нескольких переменных окружения. Данный файл выполняется при каждом запуске ОС. Выполните следующие команды:
-
$ sudo touch /etc/profile.d/javajdk.sh -
$ echo export PATH=$PATH:/usr/lib/jvm/java-8-openjdk-amd64/bin > /etc/profile.d/javajdk.sh -
$ echo export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/ > /etc/profile.d/javajdk.sh -
$ echo export JRE_HOME=/usr/lib/jvm/java-8-openjdk-amd64/jre/ > /etc/profile.d/javajdk.sh -
$ sudo chmod 744 /etc/profile.d/javajdk.sh
- Для проверки установки Java выполните:
$ java -version
В результате выполнения команды в консоли должна быть выведена установленная версия Java - 1.8.
3) Вариант 2 - Oracle Java 1.8
Ниже представлен пример установки альтернативной версии Oracle Java 1.8 с использованием стандартного установщика, для этого выполните следующие команды:
sudo add-apt-repository -y ppa:webupd8team/javasudo apt-get update -ysudo apt-get install -y oracle-java8-installersudo apt-get install -y oracle-java8-set-default
Для проверки установки Java выполните:
$ java -version
В результате выполнения команды в консоли должна быть выведена установленная версия Java - 1.8.
¶ 2.1.2. Установка дополнительных компонент
Для установки архиватора zip (или tar), который требуется для распаковки архива с дистрибутивом программы, выполните:
$ sudo apt-get install -y zip tar
¶ 2.2. Установка сервера приложений Cubisio
- Выполните распаковку дистрибутива Cubisio в целевую директорию (например,
/home/user/cubisio):
$ unzip "cubisio.zip" -d "/opt/cubisio"
или
$ tar xzf "cubisio.tar.gz" -C "/opt/cubisio"
- Установите права на запуск исполняемых файлов программы:
$ chmod +x "/home/user/cubisio/jsb-application/"*.sh
¶ 2.3. Запуск и проверка
1) Запуск приложения в режиме standalone
Для запуска Cubisio в режиме standalone необходимо выполнить исполняемый файл start_release.sh, например выполнить команду:
$ cd /home/user/cubisio/jsb-application && ./start_release.sh
В результате успешного запуска в консоли будет выведено сообщение, содержащее (см. Рисунок 1):
Workspace controller initialization done.
Рисунок 1 - вывод консоли после успешного запуска Cubisio
2) Открытие пользовательского портала
Для открытия портала пользователя-аналитика необходимо открыть в браузере URL главной страницы, например:
http://localhost:8888/cubisio.jsb.
При завершении загрузки указанной страницы будет отображён центральный графический интерфейс системы, включающий панель навигации и окно приветствия, см. Рисунок 2. При первом запуске будет открыта рабочая область "Системные настройки", при повторном запуске будет открыт текущий активный или последний открытый проект.
Рисунок 2 - окно приветствия Cubisio
¶ 3. Ручная установка в виде сервиса
Данный раздел описывает ручную установку Cubisio на сервере в локальной сети. Установка осуществляется под отдельным системным пользователем ОС, при этом ПО работает в виде сервиса (службы) с автоматическим запуском.
Перед началом необходимо убедиться, что выполнены все предварительные установки в соответствии с раздлом 2.1. Предварительные условия.
- Создайте пользователя
cubisio, для этого выполните команду:
# useradd -m -d /opt/cubisio cubisio
Если в вашей организации на серверах установлена СЗИ, то для создания пользователя
cubisioобратитесь к администратору.
- Распакуйте файлы дистрибутива Cubisio в целевую директорию, для этого выполните:
# tar xzf "cubisio-standalone.tar.gz" -C "/opt/cubisio"
- Задайте права доступа к файлам для пользователя
cubisio, для этого выполните:
# mkdir -p /opt/cubisio/.cubisio
# chown cubisio:cubisio -R /opt/cubisio
# chmod +x /opt/cubisio/jsb-application/*.sh
- Настройки, специфичные для данного сервера, задавайте в файле
/opt/cubisio/jsb-application/config/SERVER.conf, например порт web интерфейса можно указать, добвив:
web.http.port = 8888
web.http.url = "http://127.0.0.1:8888"
- Для проверки запуска смените пользователя на
cubisioи запуститеstart_release.sh, например выполните:
# su - cubisio
$ cd ~/jsb-application && ./start_release.sh
В результате должно быть выведено Workspace controller initialization done, например:
2022-08-26 12:24:53,761 [INFO ] (org.jsbeans.scripting.jsb.JsbRegistryService:185) - Service JsbRegistryService initialized - 18.828 s
2022-08-26 12:24:53,762 [INFO ] (org.jsbeans.web.HttpService:185) - Service HttpService initialized - 0.001 s
2022-08-26 12:24:53,764 [INFO ] (org.jsbeans.services.ServiceManagerService:196) - System initialized. Time taken: 19.01 sec.
2022-08-26 12:24:56,760 [INFO ] (org.jsbeans.scripting.JsBridge.JS:(root):357) - Workspace controller initialization done. Worskpaces: 1; Users: 1
Завершите приложение Ctrl+C вертинесь в root, используя exit.
- Создайте дескриптов сервиса Cubisio, для этого создайте файл
# nano /lib/systemd/system/cubisio.service
и добавьте в него:
Обратите внимание на параметры запуска сервиса
ExecStart, опции-Xms4086m -Xmx12288mзадают начальный и максимальный размер доступной памяти. Указанное значение в-Xmxне должно превышать досступный объем оперативной памяти.
Description=Application service cubisio
Documentation=https://cubisio.ru
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
WorkingDirectory=/opt/cubisio/jsb-application
User=cubisio
ExecStart=/opt/cubisio/jsb-application/start_release.sh -Xms4086m -Xmx12288m
PIDFile=/var/run/cubisio/cubisio.pid
#Restart=on-failure
#RestartSec=10
## file size
#LimitFSIZE=infinity
## cpu time
#LimitCPU=infinity
## virtual memory size
#LimitAS=infinity
## open files
#LimitNOFILE=64000
## processes/threads
#LimitNPROC=64000
## locked memory
#LimitMEMLOCK=infinity
## total threads (user+kernel)
#TasksMax=infinity
#TasksAccounting=false
[Install]
WantedBy=multi-user.target
- Обновите конфигурацию менеджера и активируйте автозапуск сервиса cubisio:
# systemctl daemon-reload
# systemctl enable cubisio
- Запустите сервис cubisio и проверьте статус запуска:
# systemctl enable cubisio
# systemctl status cubisio
В результате вывод должен отобразить Active: active (running), например:
● cubisio.service
Loaded: loaded (/lib/systemd/system/cubisio.service; enabled; vendor preset: enabled)
Active: active (running) since Fri 2022-08-26 12:43:05 MSK; 5s ago
Main PID: 4347 (bash)
Tasks: 22 (limit: 4915)
CGroup: /system.slice/cubisio.service
├─4347 bash /opt/cubisio/jsb-application/start_release.sh -Xms4086m -Xmx12288m
└─4355 java -XX:+CMSClassUnloadingEnabled -Xms512m -Xmx8192m -Dfile.encoding=UTF-8 -Xms4086m -Xmx12288m -classpath config:lib/cubisio-standalone-1.0-SNAPSHOT.jar:lib/ext
- Для проверки инерфейса откройте в браузере URL вашего сервиса, наппример:
http://10.61.96.9:8888/cubisio.jsb
¶ 3.1 Установка многопользовательского доступа
В текущем разделе будут описаны дополнительные шаги, которые требуются, чтобы:
- установить сервер авторизации;
- настроить многопользовательский доступ в Cubisio;
- настроить HTTPS доступ, установить SSL сертификат на примере Certbot.
-
Создайте системного пользователя keycloak
-
Создайте каталог, загрузите keycloak, распакуйте и задайте права доступа:
# mkdir -p /opt/keycloak
# cd /opt/keycloak
# wget https://github.com/keycloak/keycloak/releases/download/15.0.1/keycloak-15.0.1.tar.gz
# tar zxf keycloak-15.0.1.tar.gz
# chown -R keycloak:keycloak *
- Создайте дескриптор сервиса keycloak, для этого создайте файл
# nano /lib/systemd/system/keycloak.service
и добавьте в него:
[Unit]
Description=Keycloak
After=network.target
[Service]
Type=idle
User=keycloak
Group=keycloak
ExecStart=/opt/keycloak/keycloak-15.0.1/bin/standalone.sh -b 0.0.0.0
TimeoutStartSec=600
TimeoutStopSec=600
[Install]
WantedBy=multi-user.target
- Обновите конфигурацию менеджера и активируйте автозапуск сервиса cubisio:
# systemctl daemon-reload
# systemctl enable keycloak
- Запустите сервис cubisio и проверьте статус запуска:
# systemctl enable keycloak
# systemctl status keycloak
- Далее необходимо задать пароль администратора системы, для этого необходимо пробросить порт 8080 наружу, например, на локальную машину, выполнив:
ssh -o ServerAliveInterval=60 root@10.61.96.9 -L 8080:127.0.0.1:8080
И открыть в браузере URL и задать пароль для пользователя admin:
http://localhost:8080/auth/
- Далее перейти в раздел
Administration Consoleи выполнить настройку клиента
7.1) Во вкладке Realm settings задать поля Display name и HTML Display name
7.2) Во вкладке Clients нажать Create и создать клиента Cubisio:
- Client ID: cubisio
- Client Protocol: openid-connect
- Access Type: confidential
- Root URL: http://localhost:8888
- Valid Redirect URIs: *
- Admin URL: (пусто)
- Web Origins: (пусто)
7.3) Далее требуется открыть вкладку Credentials созданного клиента и скопировать Secret, далее он понадобится при настройке Cubisio.
7.4) Keycloak под HTTPS может не открываться из-за ошибки подмены протокола, поэтому требуется в конфиге keycloak standalone.xml или standalone-ha.xml добавить proxy-address-forwarding="true" в /, чтобы не было ошибки подмены протокола.
В данном случае достаточно выполнить:
# sed -i -e 's/<http-listener /<http-listener proxy-address-forwarding="true" /' /opt/keycloak/keycloak-15.0.1/standalone/configuration/standalone.xml
# systemctl restart keycloak
- Для работы API синхронизации списка пользователей требуется добавить в файл
/opt/cubisio/jsb-application/config/SERVER.confимя пользователя пароль администратора:
keycloak.cubisioClient.user = "admin"
keycloak.cubisioClient.password = "ПАРОЛЬ_АДМИНИСТРАТОРА"
- Для включения авторизации в Cubisio требуется добавить в
/opt/cubisio/jsb-application/config/SERVER.confследующие строки:
web.config.path = "/WEB-INF/keycloak.web.xml"
kernel.security.enabled = true
workspace.userManager.addUsersFromWorkspaces = false
workspace.userManager.addUsersFromAuthServer = true
- Далее необходимо указать секретный ключ для работы клиента keycloak, для этого в файле
/opt/cubisio/jsb-application/web/WEB-INF/keycloak.jsonтребуется:
- прописать ключ (см. п 7.3) в поле
secret; - прописать URL сервера авторизации в поле
auth-server-url.
- Далее требуется настроить реверс прокси nginx для cubisio и сервера авторизации, убедитесь, что в конфигурации сервера (например, в
/etc/nginx/sites-available/cubisio.conf) присутствует запись:
location /auth/ {
proxy_pass http://127.0.0.1:8080/auth/;
proxy_buffering off;
proxy_redirect off;
proxy_set_header Referer $http_referer;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
proxy_set_header X-Forwarded-Port $server_port;
proxy_set_header Host $http_host;
}
Запустите прокси командой systemctl start nginx и проверьте работу URL, который выше задавали в поле auth-server-url, должно открыться окно автризации или окно сервера авторизации.
- Далее требуется установить SSL сертификат и службу Certbot
# apt install -y snapd
# snap install core
# snap refresh core
# snap install --classic certbot
# rm -f /usr/bin/certbot
# ln -s /snap/bin/certbot /usr/bin/certbot
- Далее необходимо накатить сертификаты:
# certbot --nginx
В случае возникновения ошибки верификации SSL в java
InvalidAlgorithmParameterException: the trustAnchors parameter must be non-empty, выполните переустановку сертификатов:
# dpkg --purge --force-depends ca-certificates-java
# apt-get install ca-certificates-java
¶ 4. Установка с использованием утилиты администрирования
Для удобства развёртывания и администрирования Cubisio на серверах Linux может быть использована утилита администрирования (Cubisio Admin Tools) - admin/admin.sh.
Улитита администрирования состоит из двух частей:
./base/**- базовая неизменная часть, включающая базовые команды и общие настройки;./resource/**,*.properties- переопределение для конкретного проекта, может включать настройки для конкретных серверов.
¶ 4.1. Подготовка сервера
Настройка локали и установка утилит
sudo dpkg-reconfigure locales sudo apt install -y fail2ban mc curl net-tools
Закачать утилиту администрирования на удалённый сервер
Выполнять команду на сервере, с которого необходимо закачать утилиту на удалённый сервер.
cd ./admin ./admin.sh --upload_scripts_create_dir 'yes' --upload_scripts_ssh 'cb@123.123.123.123' upload_scripts
Установка и настройка почтовых уведомлений (SMTP)
~/admin-cubisio/admin.sh install_ssmtp
Настройка iptables и отключение IPv6
~/admin-cubisio/admin.sh install_iptables
¶ 4.2. Установка JVM
Установка Open JDK 8
~/admin-cubisio/admin.sh install_openjdk8
¶ 4.3. Установка СУБД
¶ 4.3.1. Установка Postgresql
Установка Postgresql с настройками по умолчанию
$ ~/admin-cubisio/admin.sh install_postgresql
¶ 4.3.2. Установка ClickHouse
Установка ClickHouse и пароля, зашифрованного SHA256
$ ~/admin-cubisio/admin.sh install_clickhouse
¶ 4.4. Установка сервера приложений Cubisio
Установить почтовую SMTP утилиту для рассылки уведомлений
~/admin-cubisio/admin.sh install_ssmtp
Установить билдсервер Cubisio
~/admin-cubisio/admin.sh install_build_server
Выполнить и настроить сборку
~/admin-cubisio/admin.sh repo_updated_build
Установить сервер приложений Cubisio
~/admin-cubisio/admin.sh jsb_app_install
Разрешение перезапуска сервиса cubisio без ввода пароля sudo
Выполнить sudo visudo и добавить:
cb ALL= NOPASSWD: /bin/systemctl * cubisio-online.service
Установить Web-фасад nginx для Cubisio
~/admin-cubisio/admin.sh jsb_app_nginx_install
¶ 4.5. Запуск и управление
Запуск сервиса
$ ~/admin-cubisio/admin.sh jsb_app_start
или
$ sudo systemctl start cubisio.service
Остановка сервиса
$ ~/admin-cubisio/admin.sh jsb_app_stop
или
$ sudo systemctl stop cubisio.service
Состояние сервиса
$ ~/admin/admin.sh jsb_app_status
или
$ sudo systemctl status cubisio.service