Яхонт-BI - Интеллектуальная ETL-платформа для обработки информации и формирования хранилищ данных

Яхонт-BI - интеллектуальная программная ETL-платформа для выполнения обработки информации и формирования структурированных хранилищ данных.

Комплекс "Яхонт-BI" предлагает новый, инновационный подход к построению интеграционных ETL-платформ. Варианты применения "Яхонт-BI" позволяют использовать его в основе следующих видов решений по интеллектуальной ETL-обработке данных:

• Персональные инструментальные решения и внедрение «под ключ»;
• Корпоративное Интранет-облако;
• On-Demand SaaS Интернет-платформа;
• Интеллектуальная OSS-платформа оператора связи.

Конструктивные особенности

• Специальный серверный кроссплатформенный ETL-движок, использующий все возможности современных многоядерных процессоров и многопроцессорных серверов;
• Возможность параллельной обработки одного массива данных одновременно на различных серверах;
• Гибкие возможности по организации структуры подключенных вычислительных мощностей (координаторы, узлы управления) для распределения задач по обработке;
• Пользователь подключается к вычислительным ресурсам через тонкий веб-2.0 клиент, предоставляющий возможности по:
  1. интерактивному конструированию схем по сбору, очистке, нормализации и загрузке данных;
  2. формированию структуры вычислительных ресурсов, динамическому подключению дополнительных мощностей;
  3. планированию выполнения сформированных ETL-задач на подключенных вычислительных мощностях.

Основные составляющие части ПО

• Узлы, выполняющих ETL-обработку данных (специальный С++ движок параллельной обработки данных с полным использованием возможностей многоядерных процессоров и управляющая часть);
• Координаторы, на которых регистрируются узлы выполнения обработки (выполняют распределение направленных координатору задач по очистке данных на подключенные узлы, на которых запускаются соответствующие движки), интерфейс подключения и работы с координатором – HTTP REST;
• Узлы управления: выполняют накопление создаваемых оператором схем по ETL-очистке данных и хранят информацию о подключенных к ним координаторах, пользователях и т.д., обеспечивают работу веб-2.0 РМО пользователей;
• Веб-2.0 РМО пользователей, посредством которых создаются схемы по очистке данных, нормализации и т.д., созданные и сохраненные схемы обработки оператор отправляет на выполнение на выбранные координаторы, указав при этом, на каких подключенных к каждому координатору узлах должна выполняться обработка, формирует расписание и ставит на выполнение ETL-задачи по расписанию и т.д., выполняет контроль за выполнением запущенных ETL-задач обработки, выполняет мониторинг всех вычислительных средств и программного обеспечения.