Зигфрид - Семейство продуктов высокопроизводительных систем графовой обработки и агрегирующих баз данных

Зигфрид - Семейство продуктов высокопроизводительных систем графовой обработки и агрегирующих баз данных.

"Зигфрид" - это платформа создания высокопроизводительных систем накопления и обработки информации о цепочках связей между идентификаторами абонентов, формирования агрегирующих исторических баз данных о связанной информации с идентификаторами.

В зависимости от типа обрабатываемой информации о транзакциях выполняется конфигурирование и пуск системы. Для предметных областей "CDR" и "IPDR" сформировано семейство продуктов, решающих самые разнообразные задачи.

Подробное описание "Зигфрид"

Назначение

• Создание высокопроизводительных графовых хранилищ реального времени для обработки экстремально больших социальных графов и другой информации о связях вида "идентификатор – идентификатор";
• Создание агрегирующих баз данных реального времени для сжатого долгосрочного накопления информации, связанной с идентификаторами в транзакциях, в том числе за периоды, за которые накопление исходной информации экономически невозможно, а также когда формирование агрегирующей выборки по исходной информации занимает длительное время.

При формировании агрегирующих баз данных в автоматическом режиме записывается только уникальная, связанная с идентификатором информация за каждые сутки поступающих данных: ID пользователей с которым общался исходный пользователь, местоположения и т.д.

Схема включения

Основные функции

• Поиск в глубину по заданному идентификатору связанных на 1м, 2м, 3м, 4м уровне;
• Поиск общих путей (связей через идентификаторы) группы идентификаторов через 1, 2, 3, 4, 5 промежуточных идентификаторов;
• Управляемое отсечение при поисковых алгоритмах групповых идентификаторов (фрод-номера, IP-адреса популярных ресурсов и т.д.) для исключения незначимой информации из рассмотрения;
• Поиск графов, не имеющих связей с другими;
• Поиск информации по маске идентификатора о наличии идентификаторов в базе;
• Поиск по спискам-идентификаторам и связанной с ними агрегированной по суткам информации.

Технические характеристики

• Обработка 1…10 млрд транзакций в сутки и выше;
• Поиск информации за 1 месяц накопления информации: 
• связей на 1м уровне – менее 1 сек; 
• связей на 2м уровне – не более 3 сек;
• связей на 3м уровне – не более 10 сек.
• Неограниченный срок накопления за счет эффективного сжатия накапливаемой информации (3-8 раз), для ведения архива связей пользователей большого социального графа достаточно несколько Тбайт информации за несколько лет хранения;
• Сопоставимое время поиска в информации за месяц, за год, за весь период накопления;
• Типовая комплектация на основе стоечного 19' сервера, монтажный размер 2U.