Компания DataDirect Networks (DDN), специализирующаяся на системах хранения данных для НРС, анонсировала программно-определяемую аппаратно-независимую платформу хранения Infinia 2.0, предназначенную для решения ресурсоёмких задачи в области ИИ, таких как обучение моделей и инференс.

Напомним, оригинальная платформа Infinia была представлена в конце 2023 года. Её преимуществами разработчик называет простоту управления, высокую производительность и безопасность. В качестве узлов могут применяться любые серверы с процессорами Intel, Arm или AMD.

Решение Infinia 2.0, по заявлениям DDN, специально разработано для анализа огромных массивов данных, подготовки и обработки ИИ-моделей. Утверждается, что платформа устраняет традиционные узкие места, присущие стандартным системам хранения. Поддерживается интеграция с NVIDIA NeMo, NIM, Trino, Apache Spark, TensorFlow и PyTorch. Реализован многопротокольный доступ (объектное, блочное хранилище) для повышения гибкости.

Источник изображения: DDN

DDN отмечает, что Infinia 2.0 обеспечивает пропускную способность в терабайты в секунду и задержку менее 1 мс, превосходя по производительности AWS S3 Express в 10 раз. Достигается 100-кратное ускорение обработки метаданных, а также 25-кратное ускорение запросов для обучения моделей ИИ и инференса. По сравнению с Hadoop новая платформа показывает 10-кратное улучшение быстродействия рабочих нагрузок ИИ при 100-кратном повышении эффективности. Скорость обработки списков объектов выше в 100 раз, чем у AWS.

Платформа обладает надёжностью более 99,999 % (время безотказной работы), предлагая сквозное шифрование и доступ на основе сертификатов. Возможно масштабирование от терабайт до эксабайт с поддержкой до более чем 100 тыс. GPU и 1 млн клиентов в одном развёртывании. При этом заявлено 10-кратное снижение требований в отношении питания и охлаждения по сравнению с обычными решениями.

Компания Nimbus Data анонсировала накопители семейства ExaDrive EN с Ethernet-подключением: это, как утверждается, первые в мире многопротокольные U.2 SSD, поддерживающие NVMe-oF и NFS. Устройства ориентированы на поставщиков облачных услуг и операторов масштабных ИИ-платформ.

Попытки создания SSD с Ethernet предпринимались и ранее, например, Kioxia представила накопители EM6 ещё в 2021 году. Но, как заявляет Nimbus Data, возможности таких изделий были ограничены. Отмечается, что предыдущие решения фактически представляли собой обычные NVMe SSD с конвертером NVMe-to-Ethernet на базе ASIC либо внутри самого накопителя, либо на внешнем адаптере. Nimbus Data заявляет, что такая схема сопряжена с нехваткой необходимого ПО и снижением вычислительной мощности. В результате подобные продукты предлагают лишь базовый блочный доступ, работают медленнее традиционных SSD и не могут в полной мере использовать возможности, которые предоставляет технология Ethernet.

В устройствах Nimbus Data ExaDrive EN используется иной подход, говорит компания. В накопителях применяется SoC с архитектурой Arm, обеспечивающая вычислительные ресурсы для поддержки функций, выходящих за рамки простого блочного хранилища. Кроме того, Nimbus Data портировала на Arm свой софт HALO, создав тем самым «основу для интеллектуального Ethernet SSD с уникальными возможностями». То есть речь идёт уже о SmartSSD с сетевым интерфейсом.

Источник изображения: Nimbus Data

Среди ключевых особенностей ExaDrive EN названы встроенная поддержка протоколов NFS и NVMe/TCP, шифрование AES-256 и подсчёт контрольных сумм для автоматического устранения повреждений данных. Устройства соответствуют спецификации SNIA Native NVMe-oF Drive v1.1, что гарантирует совместимость с EBOF (Ethernet Bunch of Flash). В дальнейшем функциональность будет расширяться: станут доступны сжатие, поддержка параллельных файловых систем и S3-совместимого объектного хранилища.

Используя устройства ExaDrive EN, организации могут задействовать дезагрегацию для создания более эффективной и масштабируемой инфраструктуры данных. Хосты подключаются к таким SSD с помощью клиентов NVMe-oF/TCP и NFS, поддержка которых есть в популярных ОС. Накопителями можно управлять и разделять их на виртуальные пространства имен с помощью веб-интерфейса HALO, CLI или RESTful API. Таким образом, при формировании масштабных хранилищ отпадает необходимость в приобретении дополнительных серверов, сетевых карт, коммутаторов и другого оборудования. В сочетании с масштабируемыми файловыми системами накопители ExaDrive EN можно объединить в единое глобальное пространство экзабайтного уровня.

На первом этапе накопители ExaDrive EN будут доступны в версии вместимостью 16 Тбайт на основе флеш-памяти TLC: такие изделия поступят в продажу в IV квартале 2024 года. В 2025-м появятся варианты большей ёмкости.

Компания Softline сообщила о расширении функциональных возможностей облачной платформы Multicloud («Мультиоблако») и включении в её состав объектного хранилища S3, построенного на базе системы «Кибер Инфраструктура» российского разработчика «Киберпротект».

Softline Multicloud предлагает две политики объектного хранилища: «холодное» хранилище (подходит для хранения бэкапов и данных, к которым нужен редкий доступ) и «тёплое» хранилище (подходит для хранения часто используемых данных: неструктурированных файлов, объектов, изображений, видео, программного кода, архивов, документов и так далее; применяется для частых операций чтение-запись и обеспечивает высокую скорость доступа к информации).

Ключевые особенности платформы Softline «Мультиоблако» (источник изображения: Softline)

Для решения задач, связанных с созданием бэкапов, в составе «Мультиоблака» представлены инструменты для резервного копирования данных на базе решения «Кибер Бэкап Облачный» от компании «Киберпротект» и сервис резервного копирования виртуальных машин на платформе Open Nebula на базе решения от «Хайстекс». Для всех этих продуктов используется хранилище S3 на основе «Кибер Инфраструктуры».

В будущем Softline планирует запустить ещё несколько сервисов с применением хранилища S3. В данный момент компания тестирует одно из решений для виртуального офиса — офисное приложение, предоставляющее доступ к почтовой системе, размещённой в облаке.