Многофункциональный комплекс управления данными Cubisio (далее Система) - платформа с веб-интерфейсом, предназначенная для формирования единой модели данных, собранных из гетерогенных источников (СУБД и HTTP-сервисы), автоматизации обработки данных и отображения результатов на интерактивных аналитических панелях.
Программное обеспечение (далее ПО) Системы обеспечивает работу конечного пользователя в режиме Web-интерфейса, функционирующего в различных операционных средах – Microsoft Windows, Unix (Linux), Apple MacOS и в любой другой операционной системе, в которой предусмотрена возможность запуска одного из нижеперечисленных web-браузеров:
Канал подключения к сети Интернет со скоростью – не менее 512 Кб/с на одного пользователя.
Определённый на этапе разработки набор страниц и элементов Web-интерфейса конечного пользователя обеспечивает поддержку мобильных устройств на базе Android и iOS.
ПО Системы обеспечивает работу в мобильных устройствах, удовлетворяющих описанным ниже требованиям:
Программное обеспечение Системы достаточно для выполнения программно-автоматизируемых функций, реализуемых с применением средств вычислительной техники, а также имеет средства организации процессов обработки данных, позволяющих своевременно выполнять автоматизированные функции в регламентированных режимах функционирования Системы.
Программное обеспечение Системы обладает следующими свойствами:
- функциональная достаточность (полнота);
- надежность (в том числе, восстанавливаемость, контроль типа данных);
- защита от ошибок (наличие средств выявления, ошибочных дат, запрет дублирования нумерации документов юридической значимости);
- устойчивость к вводу пользователями некорректных данных;
- адаптируемость;
- модифицируемость;
- удобство эксплуатации.
Все используемое в Системе программное обеспечение обеспечивает техническую возможность эксплуатации Системы в многопользовательском режиме с поддержкой одновременно работающих пользователей.
Система построена таким образом, что отсутствие отдельных данных не сказывается на выполнении функций Системы, в которых эти данные не используются.
В Системе реализованы меры по защите от ошибок при вводе и обработке информации (контроль типа данных, ошибочных дат, запрет дублирования нумерации документов юридической значимости).
Эксплуатация Системы обеспечивается через Интернет (Интранет).
Прикладное программное обеспечение (далее ППО) Системы спроектировано с использованием принципов микросервисов:
Вывод логов служб внутри контейнеров осуществляется в стандартный поток в текстовом формате обмена данными (JSON, XML, PLAINTEXT), для возможности подключения к централизованной системе учета регистраций событий (логирования) или использования системы логирования Системы.
Система поддерживает общий для всех компонентов прикладного программного обеспечения (ППО) единый подход в части журналирования – каждый из исполняемых модулей ППО использует единый для всей Системы подход к реализации записи в журнал.
Управление сборкой прикладного ПО из исходных кодов и развёртывание собранных физических исполняемых компонентов или библиотек в среде исполнения (общем программном обеспечении, установленном на технических средствах) реализовано с использованием скриптовых языков и общим ПО, обеспечивающим их выполнение.
Многофункциональный комплекс управления данными Cubisio является цифровой экосистемой, содержащей набор модулей, представляющих собой инструменты или компоненты, предназначенные для организации процесса взаимодействия конечного пользователя с Системой для реализации бизнес-логики интеграции, хранения, обработки и представления данных.
Модули Cubisio могут функционировать совместно в виде интегрированной среды разработки, так и быть встроенным в сторонние системы в виде фреймворка.
Модули ПО, сгруппированные в функциональные блоки:
Организует взаимодействие со сторонними базами «на лету» без необходимости копирования данных в свои внутренние структуры и обеспечивает управление высоко-доступными, отказоустойчивыми объектно-реляционными базами данных в приложениях любого класса критичности.
Компонент управления реляционными базами данных осуществляет поддержку транзакций с использованием версионности данных (MVCC), включающую неблокирующее выполнение чтения, вставки, изменения записей таблицы при параллельном и/или последовательном выполнении, изоляцию изменений данных в рамках транзакции уровня READ COMMITED, атомарность применения всех изменений транзакции.
Компонент управления реляционными базами данных обеспечивает контроль пула соединений с СУБД.
Обеспечивает загрузку данных из файлов.
Загрузка данных из файлов осуществляется в два этапа:
Обеспечивает взаимодействия с внешними сервисами на базе HTTP протокола.
Компонент взаимодействия с внешними сервисами позволяет:
Обеспечивает автоматический запуск отдельных процедур обработки данных (ETL-процессов) по расписанию или при выполнении определённых условий согласно заданным настройкам в визуальном конфигураторе. Обеспечивается возможность однократного запуска при запуске системы или многократного запуска в определённое время и периоды (каждые несколько минут, каждый час или несколько часов, ежедневно, еженедельно, ежемесячно в заданное время).
Обеспечивает возможность визуального конструирования аналитических цепочек преобразования данных, путем:
Компонент обеспечивает возможность выполнения реляционной логики над таблицами, располгающимися в разных РСУБД. Каждый этап преобразования может быть визуализирован в виде таблицы с данными, полученными в результате вычисления.
Вычисление результата на каждом этапе аналитической цепочки осуществляется на стороне СУБД путем выполнения SQL запроса, сгенерированного специальным модулем трансляции с учетом диалекта целевой СУБД. Структура аналитических цепочек определяет OLAP модель, называемую кубом. Обеспечивается возможность управления измерениями куба, определения типов его полей и указания дополнительной информации, предназначенной для выполнения кросс-фильтрации, форматирования и визуализации вычислений.
Куб и срезы могут быть использован сторонними системами как самостоятельный компонент, позволяющий связывать разнородные источники. Он обладает собственным API в виде языка запросов в формате JSON и доступен через HTTP протокол.
Предназначен для моделирования связанных структур данных предметной области и ведения справочников и классификаторов.
Обеспечивает возможность описания предметных областей (онтологий) в виде сущностей (концептов) и ассоциаций (связей) между ними. Процесс описания производится в визуальном редакторе в графическом виде. Редактор позволяет выполнять операции добавления и удаления концептов, настройки атрибутов, их типов и вариантов значений, редактирование примечаний, назначение связанных визуализаций и настройку прочих дополнительных свойств.
Для каждого концепта онтологии автоматически создается форма ввода, позволяющая пользователю наполнить его данными (экземплярами). Формы ввода могут быть использованы в дашбордах.
Для онтологической модели в СУБД создается соответствующее ей физическое представление, где хранится вся экземплярная часть. Экземпляры концептов могут быть использованы в аналитических цепочках в кубах.
Обеспечивает конструирование алгоритма обработки данных путем использования в рабочей области функциональных блоков, перетаскиваемых из библиотеки, без необходимости кодирования.
Библиотека функциональных блоков легко расширяется путем подключения плагинов с наборами операторов, покрывающих требуемую предметную область:
Запуск процессов обработки и загрузки данных возможен в режимах:
Обеспечивает управление многоуровненовой иерархией объектов рабочих пространств пользователей, а также их сохранение и загрузку в формате JSON-файлов на жёстком диске. Реализует программный интерфейс для идентификации и поиска объектов, получение и изменения их атрибутов, а также возможность сохранения и связывания с объектами рабочих пространств дополнительных файловых артефактов. Компонент также обеспечивает навигацию по объектам текущего рабочего пространства пользователя в дереве проекта интерфейса пользователя (аналитика).
Обеспечивает возможность визуального построения и редактирования информационных панелей и визуализаций данных:
Обеспечивает широкие возможности визуализации данных и результатов обработки и включает стандартные элементы, а также:
Обеспечивает сохранение данных результатов аналитических запросов в формате JSON, CSV, XLS, а также визуальной составляющей отчётов и информационных панелей, страниц пользовательского интерфейса или отдельных визуализаций в формате PNG.
Также компонент обеспечивает возможность импорта данных из внешних систем посредством API, позволяющего получать результаты аналитических запросов в формате JSON, задавать условия сквозной и локальной (контекстной) фильтрации, а также интегрировать отдельные визуализации Системы в пользовательских интерфейс внешних систем.
Обеспечивает следующую функциональность:
Предназначен для разграничения доступа пользователей к объектам рабочего пространства пользователей и отдельным функциям системы согласно заданным ограничениям и пользовательским ролям, определяющих принадлежность и права доступа пользователей, а также предоставляет визуальный интерфейс для просмотра, ведения и управления пользователями, ролевыми группами и ассоциативными ограничениями внутри Системы.
Компонент обеспечивает:
Обеспечивает последовательную загрузку конфигурационных файлов с жёсткого диска при загрузке Системы в зависимости от загружаемых модулей, ведение единого репозитория конфигураций, контроль допустимых значений и типов, разрешение кросс ссылок конфигураций, извлечение и кэширование значение конфигураций при работе модулей Системы.
Обеспечивает хранение и просмотр:
Предназначен для предоставления доступа модулей программного обеспечения к функциям Системы с использованием единых стандартных механизмов, а также для управления параллельного выполнения множества задач.
Компонент обеспечивает: