Система хранения данных Quantum Myriad

Горизонтально масштабируемое решение для файлового и объектного хранения, построенное полностью на технологиях All-Flash с нативной поддержкой NVMe. Благодаря облачной архитектуре распределенного хранения, система обеспечивает беспрецедентный уровень отказоустойчивости и доступности данных. Использование параллельного доступа и современных протоколов передачи позволяет достигать минимальных задержек при обработке критически важных нагрузок, гарантируя надежность корпоративного класса в сочетании с гибкостью облачных систем.

Высокопроизводительные приложения получают гарантированно низкую задержку и максимальную пропускную способность благодаря распределенной транзакционной архитектуре, использующей технологии NVMe и RDMA. Современный фундамент на базе Kubernetes® обеспечивает не только быстрое внедрение обновлений и адаптацию нового функционала, но и автоматизацию процессов обнаружения ошибок, управления инфраструктурой и самовосстановления в случае сбоев.

Система Myriad базируется на стандартизированном аппаратном обеспечении, что позволяет строить всю ИТ-инфраструктуру на типовых и доступных решениях, таких как серверы с NVMe-дисками высокой плотности. Такой подход сочетает в себе гибкость облачных технологий с мощностью выделенного оборудования корпоративного класса.

Система Myriad автоматизирует большинство задач по управлению сетью, выделению ресурсов и администрированию инфраструктуры. Программное обеспечение самостоятельно обнаруживает, настраивает и интегрирует новые узлы в кластер, при этом вывод оборудования из эксплуатации производится бесшовно, без остановки сервисов. Quantum Myriad™ предлагает организациям принципиально новую облачную архитектуру, которая легко адаптируется к любым потребностям бизнеса.

Минимальная конфигурация кластера Myriad состоит из трех серверов с NVMe-накопителями, обеспечивая при этом возможность практически неограниченного роста. Система позволяет горизонтально масштабироваться до сотен узлов в рамках единого кластера, сохраняя высокую производительность и целостность управления на любом этапе расширения.

Возможности

Myriad идеально подходит для быстрого восстановления критических данных, реализации требовательных анимационных проектов и выполнения сложных задач по обработке UHD-видео и наложению спецэффектов. Система позволяет создавать современные масштабируемые решения для хранения колоссальных объемов неструктурированных данных, необходимых для глубокого анализа, научных исследований и обучения моделей искусственного интеллекта.

Протоколы

Myriad поддерживает подключение по NFS и SMB, скоро будет добавлена полная поддержка S3. Клиенты подключаются к одному IP адресу, независимо от количества узлов в кластере и протокола. Балансировка нагрузки выполняется автоматически между 100Гб портами используя протокол ECMP. Для быстрого добавления новых узлов используется протокол BGP

Сервисы

Myriad поддерживает онлайн-дедупликацию и сжатие данных, а также механизмы версионирования файлов и объектов, создание мгновенных снимков (снэпшотов) и клонов. Использование этих функций оптимизации и управления данными происходит без какого-либо ущерба для доступности информации, обеспечивая высокую эффективность хранения при сохранении непрерывности бизнес-процессов.

Файловая система

Данные и метаданные в системе равномерно распределяются между всеми узлами кластера, исключая возникновение узких мест. Для эффективного хранения используется транзакционная база данных типа key-value, а высокоскоростное взаимодействие между узлами осуществляется по протоколу RDMA, что минимизирует задержки и нагрузку на центральные процессоры при передаче информации.

Транзакционный подход к хранению данных

Архитектура Myriad использует lock-free подход даже в масштабных инсталляциях, что обеспечивает моментальную реакцию на изменения в доступности узлов. Механизм Redirect-on-Write гарантирует запись всех новых данных на свободное место вместо перезаписи старых, сохраняя целостность информации и оптимизируя производительность системы. Данные и метаданные равномерно распределяются между всеми узлами кластера, исключая возникновение узких мест. Для эффективного хранения используется транзакционная база данных типа key-value, а высокоскоростное взаимодействие между узлами осуществляется по протоколу RDMA, что минимизирует задержки и нагрузку на центральные процессоры при передаче информации.

Динамический Erasure Coding

Ответ Gemini

Количество чанков, необходимых для надежного хранения данных между доступными узлами, рассчитывается системой самостоятельно на основании заданных таргетов по эффективности и защите. Это позволяет автоматически поддерживать оптимальный баланс между полезным объемом хранилища и уровнем его отказоустойчивости в соответствии с актуальными требованиями бизнеса.

Обновления без вмешательства

Ответ Gemini

Добавление нового узла максимально упрощено: достаточно установить его в стойку, подключить кабели и включить питание. Все дальнейшие процессы выполняются автоматически — администратору не требуется открывать интерфейс или создавать тикеты в службу поддержки, так как система самостоятельно интегрирует узел в кластер.

Объем: 765 TB в 5 NVMe узлах и до 1.53 PB в 10 NVMe узлах
Эффективный объем: От 921.6 TB до 3.68 PB
Объем типового узла: 153.6 TB или 10х 15.36 TB
Сеть типового узла: 100 GbE Ethernet RDMA\2x Dual-Port 100 GbE NIC
Форм-фактор: 1U сервер с 10 отсеками для NVMe дисков под данные и двумя M.2 дисками под систему
Балансировщик: Коммутатор 32х100 GbE с поддержкой L3 маршрутизации и ПО Myriad, поддержка NAT и BGP, L3 форвардинг 6.4 Tbps full duplex
Узел для разворачивания кластера: Коммутатор 48х1GbE с поддержкой L3 маршрутизации и ПО Myriad