Корпорация Microsoft объявила о заключении соглашения о покупке компании Lumenisity, базирующейся в Великобритании. Этот стартап, основанный в 2017 году, специализируется на разработке решений для высокоскоростной передачи данных с применением технологии полого оптоволокна HCF (Hollow Core Fiber). Компания Lumenisity создана как дочерняя структура Исследовательского центра оптоэлектроники (ORC) Саутгемптонского университета.

Конструкцией HCF предусмотрено наличие заполненного воздухом канала, окружённого кольцом стеклянных трубок, похожим на соты. Свет проходит не через обычное волокно, а через воздушный канал, так что, по словам Lumenisity, он распространяется по HCF-кабелям примерно на 47 % быстрее, чем через волокно из кварцевого стекла. Хотя это и не новая технология, интерес к ней растёт по мере улучшения пропускной способности и надёжности.

Источник изображения: Microsoft

Такая конструкция позволяет не только повысить скорость передачи данных и снизить задержки, но и открывает путь к созданию протяжённых ВОЛС без использования репитеров благодаря более низким потерям энергии. Кроме того, Lumenisity говорит, что её решение дешевле аналогов и лучше защищено от вторжений.

Microsoft заявляет, что приобретение Lumenisity расширит возможности по дальнейшей оптимизации глобальной облачной инфраструктуры Azure. Lumenisity привлекла на развитие в общей сложности около $15,5 млн, а недавно открыла производственное предприятие HCF в Ромси, Великобритания. Финансовые условия сделки не раскрываются. Важно отметить, что волокно Lumenisity не требует для развёртывания специального оборудования и работает со многими оптическими системами, которые сегодня используются в телекоммуникационных сетях.

По всей видимости, Microsoft будет применять технологию Lumenisity для объединения своих ЦОД. Также Microsoft по неподтверждённым пока официально данным приобрела Fungible, разработчика DPU. Компания, судя по всему, намерена задействовать эти DPU только для собственных нужд.

Как выяснили СМИ Нидерландов, в 2021 году местный кластер дата-центров Microsoft потребовал намного больше воды, чем обещали до его строительства власти и сам техногигант. Как сообщает Data Center Dynamics, ранее говорилось, что ежегодный расход составит 12–20 тыс. м3, однако оказалось, что только в 2021 году объекты компании потребляли 84 тыс. м3.

Предполагается, что в текущем году объект Microsoft в Холландс-Крон (Hollands Kroon) истратит ещё больше воды из-за засухи. Хотя проект в своё время встретил противодействие со стороны местных фермеров, строительство новых ЦОД было всё же одобрено в 2021 году рядом с уже существующим объектом. Здесь же расположены и мощности Google, тоже потребляющие огромные объёмы воды.

Обычно ЦОД Microsoft довольствуются для охлаждения забортным воздухом, но когда температура превышает +25 °C, вынуждены использовать воду. В 2021 году такое случалось лишь несколько раз, однако расход воды всё равно оказался в разы выше заявленного: 75 тыс. м³ ушло на охлаждение и ещё 9 тыс. м³ — на «другие нужды». Всего расположенные в окрестностях 28 ЦОД Microsoft, Google и других компаний суммарно потребили 550 тыс. м³, т.е. 0,5 % от общего объёма поставок питьевой воды. В этом году ситуация, как ожидается, будет значительно хуже.

Источник изображения: E Mens/unsplash.com

В июне совет Холландс-Крон объявил о приостановке строительства новых ЦОД в районе. Хотя девятимесячный мораторий на строительство ЦОД пока действует по всей стране, Холландс-Крон попал в число двух исключений из общего правила для гиперскейлеров, поэтому ограничения пришлось вносить самому совету. Второй «исключительный» проект планировала реализовать Meta✴ в Зееволде, но в прошлом месяце компания окончательно отказалась от его реализации, в том числе из-за активных протестов местного населения.

Ранее Microsoft под давлением местных фермеров пообещала, что будет собирать дождевую воду для использования в системах охлаждения. Однако идея пока не пошла дальше проекта и пока неизвестно приблизительно, когда начнётся хотя бы тестовый период. Кроме того, в США компания собиралась построить установку для очистки сточных вод своих дата-центров. Microsoft обещала стать «водно-положительной» к 2030 году, схожее обещание сделано и Google.

Дизель-генератор — неотъемлемая часть подсистемы резервного питания любого серьёзного ЦОД, но по природе своей он не может похвастаться нейтральностью выхлопа. Многие ищут традиционным генераторам замену, и в их числе Microsoft. На днях компания сообщила, что ей удалось достичь важной вехи в освоении водородных топливных элементов, которые, по замыслу Microsoft, и должны заменить традиционные дизель-генераторы в принадлежащих ей центрах обработки данных.

Компания начала тестирование новой генераторной станции мощностью 3 МВт, построенной на базе топливных ячеек с протонообменной мембраной (PEM). Она способна обеспечивать питание 10 тыс. серверов. С топливными элементами компания экспериментирует давно, ещё с 2013 года, но более ранние разработки использовали природный газ и не по факту не являлись такими уж экологичными.

Тестовая станция мощностью 3 мВт. Источник: Microsoft/John Brecher

Разработать водородные PEM-ячейки компании удалось в сотрудничестве с Plug Power. В течение нескольких недель июня компании совместно протестировали прототип генератора нового поколения. Новая система, выбрасывающая в атмосферу лишь нагретый водяной пар, сработала успешно, так что Plug Power уже работает над созданием коммерческой версии системы.

Протонообменная мембрана: конструкция и принцип действия. Источник: Encyclopedia Britannica

Первый же экземпляр будет установлен научно-исследовательском центре Microsoft, но пока конкретных сроков пока озвучено не было. У IT-гиганта большие надежды на подобные технологии: к 2030 году компания планирует обновить системы резервного питания во всех своих ЦОД.

В работе система выделяет только горячий водяной пар. Источник: Microsoft/John Brecher

Правда, в полной экологичности водородных топливных элементов есть сомнения: работают они без вредных выбросов, но само их производство может оказаться далеко не таким чистым, как эксплуатация. Тем не менее, администрация США одобрила план стоимостью $8 млрд по развитию производства водорода в рамках программы альтернатив ископаемому топливу. В Европе есть аналогичные инициативы — как совсем скромные (€2,5 млн), так и весьма крупные (€1 млрд).

Гленн Локвуд (Glenn K. Lockwood), ведущий специалист Национального научного вычислительного центра энергетических исследований (NERSC) при Министерстве энергетики США перешёл на работу в Microsoft. Он является архитектором высокопроизводительных масштабируемых систем хранения данных для суперкомпьютеров. Локвуд, в частности, руководил развёртыванием первого в мире 35-Пбайт All-Flash хранилища с ФС Lustre для суперкомпьютера Perlmutter.

В своём блоге Локвуд объяснил, почему он ушёл из NERSC в Microsoft. По его словам, лидирующие HPC-системы балансируют на грани выживания, в то время как HPC-системы среднего клсса практически полностью обесцениваются поставщиками облачных услуг. При текущих тенденциях стоимость строительства нового дата-центра и обширной инфраструктуры питания и охлаждения для каждого нового мощного суперкомпьютера очень скоро станет непомерно высокой, говорит Локвуд. Он высказал мнение, что ЦОД мощностью 50–60 МВт, строящиеся сейчас для экзафлопсных суперкомпьютеров, будут последними в своём роде.

Источник изображения: AMD

Что касается менее мощных систем, таких как Perlmutter, то необходимость в них постепенно сокращается по мере того, как облако набирает обороты. «Вы можете установить полную систему [HPE] Cray EX, идентичную той, что вы можете найти в NERSC или OLCF, в Azure <…> и интегрировать её с богатыми инфраструктурными возможностями облака», — говорит Локвуд. Кроме того, облака действительно гораздо быстрее внедряют новинки. Так, процессоры AMD EPYC MilanX и ускорители Instinct MI200 появились в инфраструктуре Microsoft Azure намного раньше, чем в HPC-центрах.

«Я не утверждаю, что знаю будущее, и многое из того, что я изложил, является в лучшем случае гипотетическим», — заявил Гленн Локвуд, отметив, что приверженность Министерства энергетики США к независимым HPC-системам сохранится по меньшей мере ещё десятилетие. Локвуд стал очередным специалистом, покинувшем традиционный HPC-сектор и ушедшим в Microsoft. В 2020 году в Microsoft перешёл технический директор Cray Стив Скотт (Steve Scott). Год спустя к Microsoft присоединился соруководитель программы Cray PathForward доктор Дэн Эрнст (Dan Ernst).

Компания Microsoft подала заявку на строительство специального объекта Circular Center в городке Куинси штата Вашингтон. После ввода в эксплуатацию здесь планируется перерабатывать старые серверы и компьютеры. Городские власти пошли навстречу компании, подтвердив, что проект не должен оказать значительно негативного влияния на окружающую среду.

Проект MWH90 CC предусматривает строительство здания площадью 1905 м² для переработки бывших в эксплуатации компьютеров, серверов и комплектующих. Для этого в Куинси будет расширен и доработан кампус компании, на территории которого уже имеется функционирующий ЦОД.

К 2025 году Microsoft планирует перерабатывать 90 % своего облачного оборудования, а к 2030 году этот показатель должен достигнуть 100 %. При этом в докладе за прошлый год упомянуто, что расширение инфраструктуры ЦОД и продажи Xbox привели к росту выбросов класса Scope 3 на 23 % — такие выбросы не являются прямым результатом деятельности компании, но она своей деятельностью косвенно влияет на их объёмы.

Новый Circular Center будет очередным из специальных центров, строительство которых началось в 2020 году. В переработку там идут облачные серверы и прочее оборудование, причём некоторые компоненты могут быть использованы заново, перепроданы или перепрофилированы для использования в иных целях. Например, отдельные части могут использоваться даже в электронных игрушках и игровых системах.

Изображение: ITRenew

В 2020 году работу начали три Circular Center в Амстердаме, Дублине и американском Бойдтоне. В компании утверждают, что она уже получила возможность заново использовать 83 % критически важных комплектующих, снизив выбросы на 145 тыс. т. В обозримом будущем планируется строительство ещё нескольких центров аналогичного назначения по всему миру — от США до ЕС и Австралии.

Прочие облачные компании, включая Google, Oracle и AWS реализуют похожие проекты, причём часть бывших в употреблении комплектующих используется в инфраструктуре самих компаний, а часть продаётся на вторичном рынке. Так, только Google и только в 2020 году продала 8,2 млн уже использовавшихся компонентов. А ITRenew, известный игрок на рынке утилизации оборудования гиперскейлеров, предлагает б/у серверы для микро-ЦОД и даже для отопления. Похожие решения есть и у Qarnot.

Ранее сообщалось, что у Microsoft довольно необычный подход к защите природы. В январе появилась информация, что компания намерена вырубить более 2500 деревьев в Техасе для строительства дата-центра. В качестве компенсации компания обещала высадить более 800 новых и заплатить в фонд защиты деревьев около $1,5 млн.

Microsoft неожиданно раскрыла подробности использования своей распределённой службы планирования «планетарного масштаба» Singularity, предназначенной для управления ИИ-нагрузками. В докладе компании целью Singularity названа помощь софтверному гиганту в контроле затрат путём обеспечения высокого коэффициента использования оборудования при выполнении задач, связанных с глубоким обучением.

Singularity удаётся добиться этого с помощью нового планировщика, способного обеспечить высокую загрузку ускорителей (в том числе FPGA и ASIC) без роста числа ошибок или снижения производительности. Singularity предлагает прозрачное выделение и эластичное масштабирование выделяемых каждой задаче вычислительных ресурсов. Фактически она играет роль своего рода «умной» прослойки между собственно аппаратным обеспечением и программной платформой для ИИ-нагрузок.

Изображение: Microsoft

Singularity позволяет разделять задачи, поручаемые ресурсам ускорителей. Если необходимо масштабирование, система не просто меняет число задействованных устройств, но и управляет распределением и выделением памяти, что крайне важно для ИИ-нагрузок. Правильное планирование позволяет не простаивать без нужды весьма дорогому «железу», благодаря чему и достигается положительный экономический эффект.

NVIDIA DGX-2

В докладе также прямо говорится, что у Microsoft есть сотни тысяч GPU и других ИИ-ускорителей. В частности, упоминается, что Singularity используется на платформах NVIDIA DGX-2: два Xeon Platinum 8168 (по 20 ядер каждый), восемь ускорителей V100 с NVSwitch, 692 Гбайт RAM и интерконнект InfiniBand. Таким образом, ИИ-парк компании должен включать десятки тысяч узлов, поэтому эффективное управление им очень важно.

Городской муниципальный совет Сан-Антонио (Техас, США) выдал корпорации Microsoft разрешение на расчистку территории от деревьев для строительства нового центра обработки данных. Правда, в обмен редмондскому гиганту придётся внести денежный вклад в специальный фонд.

Как передаёт Datacenter Dynamics, речь идёт о вырубке 2642 деревьев на территории приблизительно 13,4 га, расположенной на западе Сан-Антонио. Эти насаждения защищены в соответствии с местным законодательством, поэтому их уничтожение требует особого разрешения. Как сообщается, в ходе принятия решения за выдачу разрешения Microsoft проголосовали восемь членов муниципального совета, против — трое. Таким образом, подтверждено декабрьское решение комиссии по планированию, когда голоса распределились в соотношении 6 к 1.

Источник изображения: pixabay.com / Lars_Nissen

В соответствии с решением, корпорация Microsoft должна внести $1,47 млн в фонд защиты деревьев. Кроме того, компания высадит 833 новых дерева вокруг будущего дата-центра. В соответствии с установленными нормами в ходе вырубки компании должны сохранять минимум 20 % деревьев с диаметром более 60 см и столько же деревьев с диаметром более 15 см. Microsoft же собирается сохранить соответственно 4,5 % и 3 % таких насаждений.

Впрочем, в корпорации заявляют, что те деревья, которые будут высажены, по состоянию здоровья значительно превзойдут существующие, а со временем они образуют и более качественный полог. Всего Microsoft, как сообщалось ранее, планирует потратить $1 млрд на постройку ЦОД в данной местности.

Microsoft объединила усилия с Caterpillar и Ballard Power Systems для тестирования резервных генераторов на водородных топливных элементах в своём дата-центре в Куинси (штат Вашингтон). Проект рассчитан на три года и нацелен на изучение возможности использования водородных топливных элементов в масштабе ЦОД. Проект частично финансируется Министерством энергетики США (DOE) в рамках инициативы H2@Scale.

Caterpillar станет генеральным подрядчиком, обеспечивающим общую интеграцию всех систем, работу силовой электроники и средств управления. Ballard предоставит водородный электрогенератор на топливных элементах ClearGen-II мощностью 1,5 МВт, а Национальная лаборатория возобновляемых источников энергии (NREL) выполнит анализ его безопасности, экологичности и технико-экономических аспектов эксплуатации.

Источник изображения: Microsoft

Для успешной реализации проекта необходимо решить ряд проблем. Чтобы топливные элементы обеспечивали мощность 3 МВт в течение 48 часов, требуется около 68 м³ жидкого водорода, для хранения которого требуется намного больше места, чем для дизельного топлива. Для избегания утечек требуются специальные трубопроводы, а сам водород надо хранить при температуре ниже -253 °C. Ранее Microsoft успешно испытала водородные топливные ячейки мощностью 250 кВт от Power Innovations.

Пентагон аннулировал облачный контракт Joint Enterprise Defense Infrastructure (JEDI) на сумму $10 млрд, заключённый в 2019 году с Microsoft и ставший предметов судебных исков ряда других соискателей, включая Amazon AWS. Amazon считалась главным претендентом на получение контракта JEDI, но получила его Microsoft, обойдя и других конкурентов, включая IBM и Oracle, которые пытались обжаловать формат проведения конкурса.

В заявлении военного ведомства указано, что «из-за меняющихся требований, увеличения доступности облачных вычислений и достижений отрасли контракт JEDI Cloud больше не отвечает его потребностям». Министерство обороны США будет придерживаться нового контракта под названием Joint Warfighter Cloud Capability (JWCC), который, как ожидается, будет заключён с Microsoft и Amazon и, возможно, с другими подрядчиками.

STAFF/AFP/Getty Images

Пентагон заявил, что поставщик облачных услуг для нового контракта должен будет соответствовать нескольким критериям, например, работать на всех трёх уровнях классификации (т.е. несекретно, секретно или совершенно секретно), быть доступным по всему миру и иметь средства контроля кибербезопасности высшего уровня. Последней каплей, вероятно, стала очередная судебная жалоба Oracle, поданная на прошлой неделе.

«Министерство обороны столкнулось с трудным выбором: продолжить судебную тяжбу, которая может длиться годами, или найти другой путь продвижения вперед, — пишет Тони Таунс-Уитли (Toni Townes-Whitley), президент Microsoft Regulated Industries. — Безопасность США важнее любого отдельного контракта, и мы знаем, что Microsoft преуспеет, когда у страны все будет хорошо <…> мы уважаем и принимаем решение Министерства обороны США двигаться вперёд по другому пути для обеспечения безопасности критически важных технологий».

Microsoft и Amazon жёстко конкурируют на рынке облачных вычислений. В прошлом году на конференции компании re: Invent бывший руководитель Amazon Web Services Энди Ясси (Andy Jassy), вступивший на этой неделе в должность генерального директора Amazon, представил статистику, согласно которой доля AWS на рынке облачной инфраструктуры составляет 45%, что более чем вдвое превышает долю Microsoft Azure.

Но Microsoft понемногу отвоёвывает долю рынка. В майском отчете Wedbush прогнозируется дальнейший рост Microsoft, поскольку облачные технологии Azure «все ещё находятся на начальном этапе», и компания «имеет твёрдые позиции для увеличения доли рынка по сравнению с AWS в этой гонке облачных вооружений».

Строительство нового дата-центра Microsoft в Холландс-Крон (Hollands Kroon), общине в нидерландской провинции Северная Голландия, вызвало противодействие местных жителей, узнавших о том, что такие объекты могут вызвать нехватку питьевой воды. В связи с этим Организация сельского хозяйства и садоводства (LTO), представляющая интересы более 35 000 сельскохозяйственных предпринимателей, обжаловала выдачу разрешение Microsoft.

По данным газеты De Telegraaf, принадлежащие Microsoft и Google дата-центы на территории бизнес-парка Agriport A7 используют 525 м³ питьевой воды в час, что составляет 4,6 млн м³ в год, а для реализации планов по строительству пяти новых объектов потребуется ещё 10 млн м3 воды в год. Как сообщает De Telegraaf, внутренние документы муниципалитета предупреждают, что при экстремальных погодных условиях может возникнуть нехватка пресной воды.

Согласно ресурсу Hortidaily, в ответ на критику Microsoft сообщила телеканалу EenVandaag, что она будет охлаждать свои ЦОД дождевой водой, а излишки отдавать местным теплицам. Microsoft обратилась за помощью к компании ECW Energy, которая уже пятнадцать лет занимается вопросами использования дождевой воды. По словам Роберта Кильстра (Robert Kielstra) из ECW Energy, Microsoft требуется лишь около 30 % всего объёма воды, который она могла бы собрать на своих объектах в Agriport для охлаждения, а оставшуюся часть можно было бы поставлять в теплицы.

Фото: Microsoft

Вода в Нидерландах очень дешёвая, и сбор и поставки дождевой воды обойдётся Microsoft гораздо дороже её потребления, но компания предпочла выбрать этот путь, чтобы избавиться от давления со стороны властей и жителей региона — в связи с жалобой фермеров Microsoft потенциально может столкнуться с судебным разбирательством. В настоящее время компания строит свой второй центр обработки данных в Холландс-Крон.

Когда речь заходит об экологичности дата-центров, то чаще всего говорят об их энергопотреблении и о переходе на «зелёные» источники энергии. Однако потребление чистой и отвод или очистка отработанной воды ЦОД — не менее острый вопрос. В США Microsoft профинансировала создание установки для очистки и повторного использования воды в её дата-центрах в Массачусетсе, а в Аризоне корпорация строит новый, дружественный к экологии облачный регион. Здесь, согласно планам, к 2030 году Microsoft будет отдавать большей чистой воды, чем потребляет сама.