Система хранения данных Yadro TATLIN.OBJECT

Система хранения данных Yadro TATLIN.OBJECT - объектное хранилище с поддержкой протоколов S3, HTTP(S), gRPC.

В основе системы эффективный движок хранения с раздельной обработкой мелких объектов и прозрачной потоковой обработкой больших данных.
TATLIN.OBJECT позволяет линейно расширять сеть узлами без простоев и деградации производительности.

Особенности

• Безопасность обеспечивается за счет гибких политик хранения на каждый контейнер, которые позволяют описать правила законов о персональных данных или корпоративные правила хранения информации
• Поддержка протоколов S3, HTTP(S) и других популярных протоколов через общее ядро
• Оптимальная производительность обеспечивается через линейную масштабируемость от одного узла до глобальной сети хранения, высокую производительность каждого узла кластера и параллелизм обработки запросов множества узлов
• Надежность достигается за счет отсутствия единой точки отказа, механизма быстрой эвакуации данных с аварийного узла хранения, эффективной работы в режиме деградации
• Эффективная работа с данными разных размеров включает использование SSD+HDD конфигурации с кешированием чтения и записи, накопители каждого узла используются раздельно, что позволяет использовать всю емкость локального узла
• Отсутствие legacy в продукте - современные архитектурные и алгоритмические подходы позволяют практически избавиться от ограничений на количество узлов, контейнеров, объектов, накопителей и т.д.

Архитектура TATLIN.OBJECT

Аппаратная платформа представляет собой набор узлов хранения. Каждый узел хранения - однотипный сервер в различных комплектациях. Квант расширения системы составляет 1 узел хранения. Каждый узел хранения принимает решения, линейно увеличивая производительность с ростом сети до глобальных размеров. Поддерживаются различные конфигурации по количеству накопителей. В основе сетевой инфраструктуры Ethernet 10/25 Gb/s.

Аппаратная платформа 

В качестве аппаратной платформы используются однотипные вычислительные узлы на базе современного поколения высокопроизводительных процессоров Intel Xeon. Аппаратные узлы способны масштабировать подсистему хранения для решения широкого круга задач. Каждый узел имеет 4 встроенных интерфейса 10/25 GbE для интеграции в современную сетевую инфраструктуру. Также предусмотрено расширение конфигурации дополнительным SSD-кэшем.

Характеристики

Основные ресурсы

Аппаратная платформа

• Количество узлов хранения 一 4-100
• Шаг расширения узлами хранения 一 4

Поддерживаемые накопители

• Минимальное / максимальное количество накопителей в системе 一 24 / 1200
• Количество накопителей под данные на узел хранения 一 6/12
• Максимальная неразмеченная емкость 一 14 400 ТБ
• Накопители под данные 一 NL-SAS 16 ТБ
• Накопители под кэширование данных на узел хранения (опция) 一 2 х 3.84 ТБ SATA SSD

Характеристики узла хранения

• 2 процессора x86
• 128 GB RAM

Поддерживаемые порты ввода-вывода

• 2 х 10/25 Gb/s Ethernet для внутренней сети
• 2 х 10/25 Gb/s Ethernet для доступа к данным
• 2 х 1 Gb/s Ethernet для менеджмента
• потребность в коммутаторах Ethernet на узел хранения - 4 х 10/25 Gb/s с SFP+, 2 х 1 Gb/s Ethernet

Управление и доступ

Поддерживаемые протоколы доступа

• Протокол S3, включая авторизацию
• Протокол HTTP(S), включая загрузку и работу с диапазонами байтов для проигрывания видео
• gRPC

Управление системой

• CLI-утилита управления
• Графический интерфейс управления
• Интеграция с LDAP

Политики хранения данных

• Гибкие политики хранения на каждый контейнер с возможностью описания корпоративных правил хранения данных

Интеграции

Мониторинг

• Интеграция с корпоративными системами мониторинга (Prometheus)

SDK

• Open-source SDK для Go

Надежность системы

• Отсутствие единой точки отказа и самовосстановление после сбоев
• В нормальном режиме работы достаточно рабочих узлов хранения по количеству реплик, удовлетворяющих заданной для контейнера политике хранения
• В режиме деградации достаточно одного узла, удовлетворяющего политике хранения
• Возможность работы в режиме деградации с потерей всех SSD, только с объектами на HDD
• При авариях система будет самовосстанавливаться и приводить фактическое хранение объектов в соответствие заданной политике по мере появления физической возможности
• Формат данных пригодный для восстановления даже после тотальной аварии на системе

Производительность системы

• Эффективный движок хранения с раздельной обработкой мелких объектов и прозрачной потоковой обработкой больших данных
• Поддержка объектов любой конечной длины прозрачно для API и пользователей
• Накопители каждого узла используются раздельно, формируя шарды, что позволяет использовать всю емкость локального узла
• Высокая производительность каждого узла кластера и параллелизм обработки запросов множеством узлов

Кэширование данных

• Использование SSD+HDD-конфигурации с кэшированием чтения и записи

Политика лицензирования

• Лицензия с привязкой к полезной емкости системы с гранулярностью по ТБ