По мере роста энергопотребления ЦОД развиваются и решения, способные компенсировать ущерб окружающей среде. Network World сообщает, что компании Hewlett Packard Enterprise (HPE) и датская Danfoss запустили серию усовершенствованных модульных дата-центров, позволяющих использовать тепло, генерируемое в процессе их работы, в любых целях. За основу была взята система утилизации «мусорного» тепла, применяемая в штаб-квартире Danfoss в Дании.

По данным Международного энергетического агентства (IEA), к 2026 году ИИ-индустрия будет потреблять на порядок больше электроэнергии, чем в 2023 году. Дата-центры всегда вырабатывали много тепла, причём по мере роста вычислительных мощностей растёт и отдача тепловой энергии. Поэтому HPE и датская инжиниринговая компания Danfoss создали готовое решение в рамках HPE IT Sustainability Services — модульную систему Data Center Heat Recovery.

Решение включает модульный дата-центр HPE (Modular Data Center) — компактный контейнер с высокой плотностью размещения оборудования с прямым жидкостным охлаждением, который, как заявляют в HPE, может быть развёрнут практически везде и позволит снизить общее потребление энергии на 20 %. Danfoss же предоставила модули отбора тепла для его передачи ближайшим зданиям и промышленным объектам. Безмасляные компрессоры Turbocor повышают эффективность систем охлаждения ЦОД при оптимистичном сценарии на целых 30 %.

Источник изображения: Danfoss

Выгода для пользователей очевидна, говорят компании, поскольку захваченное тепло позволяет не генерировать его специально. В HPE даже предложили измерять сэкономленное тепло в «негаваттах», т.к. затраты на его генерацию в данном случае отрицательны. С учётом огромных объёмов потребляемого ЦОД электричества, экономия 30 % энергии может стать существенной.

Впрочем, технология имеет определённые ограничения и пригодится не всем. Если обогревать окружающие здания нет необходимости, то никакой экономии энергии и не будет. Подобные технологии уже активно применяют как в Северной Америке, так и в Европе и других регионах. Особенно эффективны они в странах с прохладным климатом. Впрочем, такие системы пока довольно дороги, а иногда и вовсе не имеют смысла по целому ряду причин, в том числе экономических.

Корпорация Microsoft, по сообщению Datacenter Dynamics, прекратила развитие проекта Natick по созданию подводного ЦОД. Причины данного решения не уточняются. Но редмондский гигант говорит, что полученные наработки и знания в перспективе найдут применение в других областях.

Microsoft запустила инициативу Natick ещё в 2013 году, а в 2018-м развернула тестовую платформу у побережья Шотландии. Идея подводного дата-центра заключается в том, что оборудование функционирует на дне моря, где температура постоянна и достаточно низка.

Концепция Natick доказала свою надёжность. В рамках тестирования только шесть серверов из 855 столкнулись со сбоями. Для сравнения: на суше в кластере из 135 машин из строя вышли восемь за аналогичный период эксплуатации. Более низкий процент отказов серверов в подводном ЦОД может объясняться стабильной температурой окружающей среды. Другая причина заключается в том, что Natick был заполнен инертным азотом, а не кислородом.

Источник изображения: Microsoft

В 2020 году Microsoft продемонстрировала Natick третьего поколения, но после этого корпорация практически не делилась информацией о проекте. И вот теперь Ноэль Уолш (Noelle Walsh), глава облачного подразделения Microsoft Cloud Operations + Innovation (CO+I), заявила, что компания пока не собирается строить подводные дата-центры. «Моя команда работала над проектом, и он подтвердил жизнеспособность. Мы узнали много нового о работе ниже уровня моря, вибрации и воздействиях на серверы. В дальнейшем мы применим эти знания в других областях», — сказала Уолш.

В 2021 году Microsoft открыла некоторые из запатентованных технологий, которые были применены в Natick. Компания подчёркивает, что продолжит использовать проект в качестве исследовательской платформы «для изучения, тестирования и проверки новых концепций, касающихся надёжности и устойчивости ЦОД». Вместе с тем фактическая эксплуатация таких объектов прекращена.

Нужно отметить, что идею дата-центров на морском дне развивают и другие компании. Это, в частности, китайская HiCloud Data Center Technology (подразделение Highlander), которая создаёт коммерческий подводный ЦОД у побережья города Санья (о. Хайнань). А Subsea Cloud занимается разработкой глубоководных дата-центров.

Компании Phantom Space и Assured Space Access договорились о сотрудничестве для создания облачного сервиса в космосе. По данным Datacenter Dynamics, облако Phantom Cloud будет служить резервным хранилищем данных для сторонних космических аппаратов и упростит передачу информации на Землю.

В рамках соглашения Assured Space разработает и построит телекоммуникационное оборудование для 66 спутников группировки Phantom Cloud. Партнёры будут совместно работать над созданием, запуском и эксплуатацией новой группировки. В результате предполагается сформировать сеть, к которой смогут получать доступ другие спутники для трансляции данных на Землю в режиме реального времени. В соцсети X сообщалось, что облако Phantom Cloud должно стать «AWS для космоса», обеспечивая M2M-коммуникации и комбинируя соответствующие услуги с вычислениями и облачным хранилищем на орбите.

Источник изображения: Phantom Space

Более того, по словам одного из основателей и главы Phantom Space Джима Кантрелла (Jim Cantrell), который участвовал в создании SpaceX, компании хотят обеспечить базовую функциональность наземных телекоммуникационных станций непосредственно в космосе. Предполагается, что проект станет дополнением группировки Starlink, но его участники будут уделять приоритетное внимание межмашинным коммуникациям, а не людей.

По некоторым данным, Phantom Space на сегодня привлекла $27,7 млн инвестиций. Помимо разработки спутников она создаёт и космические аппараты, способные нести грузы различных типов.

Идея не вполне уникальна. Космос привлекает всё большее внимание операторов ЦОД и облачных компаний. Например, в марте сообщалось, что Lumen Orbit намерена развернуть над Землёй сеть собственных ЦОД, а стартап Aethero намерен стать «Intel или NVIDIA в космической индустрии», создавая защищённые от экстремальных условий компьютеры.

По сообщению Datacenter Dynamics, первый дата-центр EdgeCloudLink (ECL) емкостью 1 МВт развернут для поставщика облачных услуг Cato Digital в Маунтин-Вью, Калифорния. Строительство объекта финансировалось Molex и Hyperwise, общая сумма инвестиций составила $7 млн. В ECL заявили, что ее модульные ЦОД спроектированы с нуля для высокоплотного размещения ускорителей, спрос на которые стимулирует рост генеративных ИИ-нагрузок. При этом дата-центры ECL имеют нулевой выброс CO₂.

Для снижения стоимости и сроков развертывания модульные дата-центры могут быть построены с использованием 3D-принтеров. По словам CEO и основателя компании Юваля Бачара (Yuval Bachar), компания намерена печатать модульные конструкции на 3D-принтере за пределами площадки для размещения, поскольку это наиболее экологичный способ. Для более крупных проектов ECL может развернуть множество модульных ЦОД суммарной ёмкостью до 100 МВт, причём в течение всего 12 месяцев. Кроме того, компания предлагает свои решения по модели ЦОД-как-услуга, в этом случае она управляет построенным дата-центром от имени клиента.

Источник изображения: ECL

Энергия поступает от водородных топливных элементов, расположенных в каждом ЦОД. Вода, получающаяся в результате их работы, направляется на охлаждение оборудования. Используются теплообменники на задних дверях стоек (RDHx). Нагретая вода может использоваться для других нужд. Каждая стойка имеет мощность от 5 до 75 кВт, а в будущем при использовании прямого жидкостного охлаждения мощность можно довести до 125 кВт. ECL утверждает, что ее дата-центры имеют PUE 1,05 и могут быть развернуты практически в любом месте. ВОЛС-подключение при необходимости компания берёт на себя. Также отмечается, что ЦОД ECL имеют низкий уровень шума.

Источник изображения: ECL

Критики дата-центров, работающих на водороде, говорят, что они не так уж эффективны, поскольку сейчас добывать водород экономически выгоднее с использованием ископаемого топлива, так что итоговая экологичность подобных проектов находится под вопросом. Тем не менее, ECL намерена в течение года с небольшим развернуть 100–150 МВт для своих заказчиков, уточняет Fierce Network. По словам компании, её решения могут быть на треть и более дешевле в сравнении с традиционными дата-центрами.

Оператор глубоководных дата-центров Subsea Cloud предложил потенциальным клиентам оценить возможности своего ЦОД в течение 90 дней. Как сообщает The Register, так компания пытается привлечь новых пользователей — если в последние три года дорогостоящие испытания проводились индивидуально, то теперь доступ к необычным дата-центрам упростится.

В Subsea заявляют, её дата-центры имеют на 40 % меньше углеродных выбросов, а операционные расходы для клиентов на 30 % меньше в сравнении с наземными ЦОД. Наконец, затрат энергии и воды на охлаждение вовсе нет. Изюминка Subsea Cloud в том, что компания предлагает не просто подводные, а именно глубоководные (до 3000 м) решения. В 2022 году компания сообщала о внедрении первого коммерческого подводного проекта в районе Порт-Анджелеса (штат Вашингтон), дополнительные ЦОД планировалось развернуть в Мексиканском заливе и Северном море.

Источник изображения: Subsea Cloud

В рамках Project OTTO компания предложит протетсировать возможности своего ЦОД недалеко от юго-западного побережья Норвегии. Первая фаза стартует в октябре. Участникам будут доступны тестовые периоди длительностью 30, 60 и 90 дней. При этом поучаствовать в тестировании можно только один раз — за исключением случаев, когда потенциальные клиенты захотят значительно изменить аппаратную составляющую своего оборудования, что потребует дальнейших тестов. О стоимости тестирования ничего не говорится, но компания предупреждает, что в случае отказать подписать соглашение о дальнейшем развёртывании мощностей продление тестирования не будет доступно.

Базовый модуль Subsea Cloud представляет собой ёмкость размерами 6,1 × 2,6 м, практически тех же габаритов, что и стандартный 20-футовый контейнер — в нём можно разместить до 16 стоек мощностью до 150 кВт каждая (суммарно до 1,5 МВт) или 826 серверов. Для охлаждения используется погружная СЖО. Компания может предоставить клиентам и собственные серверы. В целом конфигурация ЦОД рассчитана на высокоплотное размещение энергоёмких систем, например, для ИИ- и HPC-нагрузок. Срок службы модуля составляет 25–30 лет.

Источник изображения: Subsea Cloud

Подводные ЦОД пытаются внедрять не впервые. Microsoft в течение нескольких лет развивала Project Natick. Этот проект был признан успешным, но коммерциализировать компания его не стала в отличие от аналогичного проекта Highlander в Китае. Одним из сдерживающих клиентов факторов является отсутствие лёгкого доступа к оборудованию в подводных дата-центрах. По словам Subsea Cloud на то, чтобы добраться до модуля и заменить или обслужить серверы, уйдёт 4–16 часов.

В Subsea Cloud рассчитывают на сотрудничество с офшорными ветряными электростанциями — это обеспечит подводным ЦОД удобный доступ к возобновляемой энергии. Кроме того, компания намерена подключать свои подводные кампусы непосредственно к подводным ВОЛС. При этом в компании подчёркивают, что общая стоимость обслуживания значительно ниже, чем у обычных ЦОД. Правда, сама же говорит, что экономически целесообразно развёртывание не менее 20 модулей.

Группа компаний РСК, ведущий российский разработчик суперкомпьютеров и систем для высокопроизводительных вычислений (HPC), дата-центров, облачных платформ и систем хранения данных (СХД) показала на выставке Иннопром-2022 обновлённую версию своей платформы для автономных периферийных вычислений, которая позволяет оперативно, в течение часа силами двух человек, развернуть HPC-кластер практически в любом месте.

«РСК Мобильный ЦОД»

Решение упаковано в несколько контейнеров (0,7 × 0,7 × 1,1 м), которые можно транспортировать независимо друг от друга и собирать уже на месте. Один контейнер вмещает собственно вычислительную часть, второй — полностью интегрированный модуль распределения теплоносителя с узлом управления, а третий, опциональный — ИБП с инвертором. Дополняет их компактный внешний модуль охлаждения. Вся система имеет весьма солидный запас по возможности отвода тепла — до 60 кВт.

Правда, сейчас столько и не требуется. Вычислительный блок фактически является уменьшенной копией платформы «РСК Торнадо»: 2 колонны по 10 слотов. Поэтому мобильная платформа позволяет совмещать в одной системе серверы «Торнадо» с процессорами x86-64 (AMD EPYC и Intel Xeon) и «Эльбрус» (сейчас 8С/8СВ, в перспективе 16С) с любым уровнем TDP, GPGPU-серверы (по два PCIe-ускорителя на сервер, без ограничений по TDP) и серверы хранения (до 12 × M.2 All-Flash).

В текущем варианте платформы каждый слот рассчитан на 2 кВт тепловой нагрузки (и столько же по питанию), хотя нынешние серверы укладываются в среднем в 700–800 Вт, а серверы следующего поколения потребуют чуть больше 1 кВт. Подсистема питания имеет два домена, по одному на колонну, и требует однофазный ввод AC 230 В/50 Гц, хотя фактически может работать в диапазоне 105–280 В. Запитать систему можно от генератора, а подстраховать — ИБП. Но возможно и специсполнение с поддержкой 48 В DC.

Сервер «РСК Торнадо» с «Эльбрус-8СВ»

Сетевая подсистема может быть представлена ToR-коммутаторами как двойной (на обе колонны) ширины, так и одиночной. В том числе есть варианты с жидкостным охлаждением. Доступен даже InfiniBand — у Mellanox есть коммутаторы в подходящем форм-факторе, рассчитанные на промышленное применение. Также предоставляется 1 GbE-коммутатор для развёртывания служебной сети.

Самая интересная часть — это охлаждение. Как и в «большой» версии платформы здесь используется фирменная СЖО, которая покрывает все компоненты серверов, так что вычислительная часть не требует активного воздушного охлаждения и способна работать даже с закрытыми крышками контейнера. Защиты по какому-либо классу IP в стандартном варианте не предусмотрено, но опять-таки по заказу возможно специсполнение.

СЖО всё так же поддерживает охлаждение горячей водой, причём на всех компонентах температура не превышает +45 °C. Для запуска вычислительного модуля необходимо, чтобы он находился в помещении с плюсовой температурой и чтобы не было образования конденсата. А вот внешний контур охлаждения менее прихотлив и способен работать при температурах от -65 °C. Верхний же предел — не менее +40 °C. Требования по питанию у него те же, что и у серверов.

«РСК Мобильный ЦОД»

Узел управления автоматически отслеживает и регулирует параметры всех компонентов системы во время запуска и работы. По умолчанию используется сценарий защиты оборудования, так что при неблагоприятных условиях серверы могут выключаться. Но возможны и другие сценарии, например, «работа до последнего», когда потеря данных оказывается дороже потери оборудования.

Управляется мобильная платформа фирменной системой оркестрации «РСК БазИС», которая позволяет задействовать все возможности компонуемой, программно определяемой инфраструктуры, в том числе для реализации HCI-платформы. «РСК БазИС» предлагает GUI, CLI, открытые API и SDK для интеграции с другими приложениями. Таким образом, заказчик получает полностью интегрированное программно-аппаратное решение, готовое к быстрому развёртыванию и использованию.

Изначально платформа создавалась для нужд добывающего сектора, но этой сферой её возможности не ограничиваются. Она также подходит для научных экспедиций и промышленных предприятий (срочная обработка больших массивов данных), медиасферы и обслуживания массовых мероприятий (рендеринг, стриминг с множества камер) и т.д. В общем, везде, где на время требуется действительно мощная, но компактная и удобная в доставке, развёртывании и эксплуатации вычислительная платформа.

«Зелёная» экономика, переход на которую стремится осуществить всё больше стран, требует радикального сокращения вредного воздействия техносферы на окружающую среду. Один из эффективных способов достижения этой задачи связан с включением в полезный оборот побочных продуктов экономической деятельности. В случае дата-центров таким продуктом является тепло.

Великобритания, Дания и другие страны направляют тепло от ЦОД в отопительные системы домов, а Норвегия обогревает им омаровые фермы и планирует обязать дата-центры отдавать «мусорное» тепло на общественные нужды. Французская компания Qarnot решила посмотреть на эту задачу под другим углом, разработав в 2017 г. концепцию электрообогревателя для жилых и офисных помещений на процессорах AMD и Intel.

В 2018 г. Qarnot продолжила изыскания и выпустила криптообогреватель QC-1. А недавно она порадовала своих заказчиков следующим поколением отопительных устройств QB, которое создано в сотрудничестве с ITRenew. Новые модули используют OCP-серверы, которые ранее работали в дата-центрах гиперскейлеров. Оснащённые водяным охлаждением, они обогревают помещения пользователей и обеспечивают дополнительные мощности для периферийных облачных вычислений.

Изображение: Qarnot (via DataCenterDynamics)

Система отводит 96% тепла, производимого кластером серверов, которое попадает в систему циркуляции воды. IT-часть состоит из процессоров AMD EPYC/Ryzen или Intel Xeon E5 в составе OCP-платформ Leopard, Tioga Pass или Capri с показателем PUE, который, по словам разработчиков, стремится к 1,0. При этом вся система практически бесшумная, поскольку вентиляторы отсутствуют.

В компании заявляют, что с февраля уже развёрнуто 12 000 ядер, и планируется довести их число до 100 000 в течении 2022 года. Среди предыдущих заказчиков систем отопления Qarnot числятся жилищные проекты во Франции и Финляндии, а также банк BNP и клиенты, занимающиеся цифровой обработкой изображений.

По словам технического директора Qarnot Клемента Пеллегрини (Clement Pellegrini), QB приносит двойную пользу экологии, используя не только «мусорное» тепло, но и оборудование, которое обычно утилизируется. У ITRenew уже есть очень похожий совместный проект с Blockheating по обогреву теплиц такими же б/у серверами гиперскейлеров.

Полку подводных дата-центров прибыло — стартап Subsea Cloud, в отличие от проектов Highlander и Microsoft Natick, предлагает размещать центры обработки данных (ЦОД) не на мелководье в прибрежных водах, а на морском или океанском дне на глубине до 3000 м. Делается это не только для снижения вредных выбросов, поскольку на охлаждение энергию тратить не придётся, но и для безопасности.

Именно физическая безопасность является одним из ключевых достоинств проекта Subsea Cloud, так как на такой глубине дата-центрам не страшны не то что дайверы, но и подводные лодки — абсолютный рекорд до сих принадлежит лодке К-278 «Комсомолец», погрузившейся в 1985 году на глубину чуть больше километра. А специализированных аппаратов, способных работать в таких условиях, единицы и незаметно провести с их помощью атаку вряд ли получится. Поэтому компания ориентирована на предоставление услуг для заказчиков в сфере здравоохранения и финансов, а также для вооружённых сил.

Источник изображения: Subsea Cloud

Всех технических деталей Subsea Cloud пока не раскрывает. Например, не сообщается, как будут обслуживаться глубоководные ЦОД и будут ли вообще, хотя компания говорит, что уже испытала прототип новых ЦОД на надёжность и возможность работы на глубине 3 км, а часть оборудования внутри таких дата-центров будет иметь резервирование. Также упомянуто, что дата-центры будут вмещать до 800 серверов, а сами они сделаны из экологичных материалов, так что даже при разгерметизации они не навредят морской природе.

Основателем Subsea Cloud является Макси Рейнольдс (Maxie Reynolds), которая возглавляет техотдел компании Social Engineer LLC, работающей в сфере информационной безопасности. Ранее она занималась подводной робототехникой в Subsea 7 и даже успела побывать каскадёром. Как сообщает Data Centre Dynamics, в команду Subsea Cloud входят четыре специалиста по подводным технологиям, в том числе основатель Energy Subsea. Среди партнёров компании значатся Chevron, Laborde Marine и Oracle.

В минувшее воскресенье в китайском порту Гаолань в особой экономической зоне Чжухай провинции Гуандун состоялась официальная церемония запуска первого в стране подводного дата-центра (UDC). UDC был разработан компанией Beijing Highlander Digital Technology Co, которая специализируется на разработке и производстве судовой электронной аппаратуры и систем, и крупнейшей судостроительной компанией Китая Guangzhou Shipyard International Co.

По словам вице-президента Highlander Сюй Тань (Xu Tan), строительство подводного дата-центра было завершено в конце прошлого года.

В настоящее время крупные центры обработки данных в основном строятся для использования на суше. Как правило они занимают большую территорию, а их высокие требования к охлаждению означают, что они потребляют много энергии и водных ресурсов. В свою очередь, UDC использует большое количество проточной морской воды для охлаждения электроники через теплообменник, что позволяет сократить расход энергии по сравнению с традиционными методами охлаждения.

К тому же размещение UDC у прибрежных городов позволяет сократить расстояние между потребителями и вычислительными мощностями. Эта концепция была впервые предложена компанией Microsoft в проекте Project Natick, которая в течение двух лет эксплуатировала ЦОД с 12 стойками в прибрежных водах Шотландии.

«UDC занимает очень мало места на берегу, не имеет градирен и не потребляет пресную воду. Он не только поддерживает экологическую деятельность, такую как выращивание и разведение водных организмов, но также поддерживает другую промышленную деятельность, такую как морская ветроэнергетика и эксплуатация нефтяных платформ», — отметила Сюй.

Highlander сообщила о планах построить в течение следующих пяти лет серию подводных центров обработки данных в прибрежных водах, включая порт Хайнань (Hainan Free Trade Port, FTP), регион Большого залива Гуандун-Гонконг-Макао (GBA), дельту реки Янцзы и экономическую зону Bohai Rim Economic Circle (BREC).

В настоящее время она участвует в выборе места установки кабельных коммуникаций и подготовке к вводу в эксплуатацию дата-центра для тестирования, которое продлится с июня 2021 года по май 2022 года. На этом этапе проект будет представлен правительственным организациям, научно-исследовательским и финансовым учреждениям и полностью коммерциализирован во второй половине 2023 года.

В рамках реализации проекта в порту Хайнань Highlander подписала контракт с компаниями China Mobile, Lenovo, China Communications Service Construction и Qi'anxin Technology Group.

Производитель OCP-систем ITRenew объединил усилия с голландским облачным хостинг-провайдером Blockheating, чтобы предложить контейнеризированные дата-центры «всё-в-одном», которые поставляют ненужное тепло в теплицы.

Blockheating производит микро-ЦОД с жидкостным охлаждением, благодаря чему «мусорное» тепло может передаваться с водой (t°=65 °C) в близлежащие теплицы. В рамках партнёрства контейнеры будут укомплектованы стоечными серверами и системами хранения Sesame от ITRenew. Согласно совместному заявлению компаний, в Нидерландах имеется более 3700 га коммерческих теплиц.

Один микро-ЦОД может обогревать два гектара теплиц летом и полгектара зимой. Этого, по словам Blockheating, достаточно для выращивания тонны помидоров в год. Что более важно, тепло, выделяемое в виде отходов ЦОД, обходится намного дешевле природного газа, сжигаемого фермерами для обогрева теплиц.

Blockheating заявила о разработке «нового способа водяного охлаждения серверов», который делает его рентабельным. В 2019 году компания провела испытания тестового ЦОД мощностью 60 кВт в Венло, недалеко от границы с Германией (на фото выше). Сейчас решения Blockheating имеют мощность 200 уже кВт. Поскольку они охлаждаются жидкостью, это устраняет потребность в установке оборудования для кондиционирования воздуха и повышает энергоэффективность.

Blockheating

В свою очередь системы ITRenew Sesame, устанавливаемые в микро-ЦОД, используют б/у-оборудование гиперскейлеров вроде Facebook✴ и Microsoft. Таким образом, снижается стоимость покупки и владения, почти на четверть сокращаются выбросы CO₂ и объёмы электронного мусора, связанные с ИТ-индустрией.