Министерство цифрового развития, инноваций и аэрокосмической промышленности Республики Казахстан, по сообщению агентства Kazinform, ведёт переговоры о строительстве ЦОД с корпорациями Google и Microsoft. О проектах в области дата-центров рассказал вице-министр цифрового развития Аскар Жамбакин.

По его словам, за последние пять лет количество стойко-мест в ЦОД Казахстана увеличилось приблизительно в два раза. Общая загрузка дата-центров в республике составляет примерно 76 %, тогда как в государственной инфраструктуре показатель достигает 97 %.

Жамбакин отмечает, что в настоящее время в Казахстане реализуются несколько проектов по строительству ЦОД. В частности, АО Kazteleport развернёт дата-центр на 200 стоек, тогда как ТОО «Инфраструктура Казахстана» создаёт площадку на 4 тыс. стоек.

Источник изображения: Google

«Инвесторы приходят в этот сектор. Также мы приглашаем сейчас зарубежные компании, ведём переговоры с Microsoft, Google для открытия центров обработки данных на территории Казахстана», — сказал Жамбакин.

На сегодняшний день в Казахстане действуют 51 дата-центр. Летом прошлого года Apple, Google и Microsoft заявили о готовности расширить своё присутствие на территории этой республики. В частности, у Microsoft имеются планы по созданию мультирегионального хаба в Казахстане с охватом стран Центральной Азии, Азербайджана, Армении, Грузии, Монголии и Пакистана. В свою очередь, Google развивает проекты в Казахстане в связи с уходом с российского рынка на фоне сформировавшейся геополитической обстановки. Кроме того, говорится о планах по сотрудничеству Казахстана с Google и Amazon Web Services (AWS) в сфере ИИ. В 2023-м в республике начала работу Ассоциация операторов ЦОД и облачных услуг. 

Компания Microsoft объявила о намерении построить облачную и ИИ-инфраструктуру в Таиланде, в том числе ЦОД, передаёт Datacenter Dynamics. Меры приняты в ответ на растущие потребности страны в облачных решениях, хотя подробности о планируемом регионе пока не разглашаются. На мероприятии Microsoft Build AI Day в Бангкоке глава Microsoft Сатья Наделла (Satya Nadella) заявил, что страна имеет невероятную возможность построить будущее на основе ИИ-технологий.

По мнению главы Microsoft, новый регион в совокупности с инвестициями в местную облачную и ИИ-инфраструктуру, а также обучение ИИ-технологиям, обеспечит долговременное сотрудничество со страной и поможет её государственным и частным организациям получить новый импульс к росту.

Источник изображения: Florian Wehde/unsplash.com

Власти страны подтверждают, что стратегия Ignite Thailand нацелена на превращения Таиланда в цифровой экономический хаб, который позволит значительно ускорить инновации и расширить возможности исследований и развития, заодно усилив и кадровый состав. Microsoft официально пригласили инвестировать в цифровую инфраструктуру страны в сентябре прошлого года. Компания уж заключила меморандум о взаимопонимании с госорганами, обязавшись помочь в реализации стратегии цифрового развития страны.

В прошлом году сообщалось, что AWS, Microsoft и Google намерены инвестировать в дата-центры Таиланда $8,5 млрд. Например, в августе 2022 года Google анонсировала планы построить в стране собственный облачный регион, с аналогичными планами выступила в октябре того же года и AWS. Последняя запустила зону периферийных вычислений Local Zone в Бангкоке в декабре 2022 года.

Стараются не отставать и азиатские инвесторы. Tencent имеет две зоны доступности в Бангкоке, открыла ЦОД в столице Таиланда и Alibaba в мае 2022 года. Наконец, ранее в этом году NTT начала в Бангкоке строительство ЦОД её 12 МВт, который должен заработать в 2025 году. Предложение Microsoft для Таиланда перекликается с инвестициями компании в объёме $1,7 млрд в облачную и ИИ-инфраструктуру Индонезии, анонс которых состоялся буквально на днях. Компания также намерена инвестировать в аналогичные объекты в Малайзии.

Microsoft заключила с Brookfield крупнейшее среди корпораций рамочное соглашение в области «зелёной» энергетики. По данным Financial Times, IT-гигант согласился вложить $10 млрд в решения по генерации энергии из возобновляемых источников — проекты будут разрабатываться Brookfield Asset Management, а поставками займётся Brookfield Renewable Partners.

Соглашение предусматривает строительство в 2026–2030 гг. крупных ветряных и солнечных электростанций суммарной мощностью до 10,5 ГВт. В Brookfield сообщили, что сделка приблизительно в восемь раз масштабнее, чем предыдущее крупнейшее соглашение о покупках возобновляемой энергии — в своё время его заключили горноперерабатывающая Rio Tinto и австралийский оператор солнечных электростанций. А по количеству PPA лидирует, судя по всему, Amazon.

У Brookfield большие планы по расширению уже имеющихся 33 ГВт, а партнёрство с Microsoft будет значительно способствовать этому. Microsoft объявила, что намерена использовать своё влияние и средства для создания длительного положительного эффекта для всех потребителей электричества. По некоторым данным, в сделке участвует и испанская компания X-Elio, занимающаяся проектами, посвящёнными возобновляемой энергии.

Источник изображения: Etienne Girardet/unsplash.com

Ёмкость действующих ЦОД Microsoft превышает 5 ГВт, ещё 1 ГВт должен добавиться в следующие полгода, и ещё 1,5 ГВт — в I половине 2025 года. Компания является одним из крупнейших корпоративных покупателей возобновляемой энергии, а в описании одной из вакансий указывается, что уже заключены соответствующие контракты на более 20 ГВт. Кроме того, по слухам, компания рассчитывает в скором времени развернуть ИИ-инфраструктуру мощностью 5 ГВт совместно с OpenAI.

В следующие четыре года компания Microsoft намерена инвестировать в облачную инфраструктуру и ИИ-проекты Индонезии $1,7 млрд. По данным Datacenter Dynamics, техногигант объявил, что речь идёт о крупнейшей инвестиции за 29-летнюю историю сотрудничества компании с местными властями и бизнесом. Предполагается, что это поможет достичь планов местной правительственной инициативы Golden Indonesia 2045 и позволит Microsoft удовлетворить растущие в регионе потребности в облачных сервисах.

Как заявил глава Microsoft Сатья Наделла (Satya Nadella), новое поколение ИИ переформатирует саму жизнь и работу людей во всём мире, а анонсированные инвестиции, в числе прочего предназначенные для расширения цифровой инфраструктуры, подготовки кадров и поддержки разработчиков, обеспечат процветание Индонезии в новую эру. По словам представителей индонезийских властей, партнёрство действительно откроет перед страной новые возможности, сделав Индонезию не только потребителем технологий, но и государством, делающим вклад в мировую технологическую цепочку поставок.

Источник изображения: Aeira Atelier/unsplash.com

Microsoft анонсировала создание индонезийского облачного региона в Джакарте ещё в феврале 2021 года, а сейчас строит дата-центры в Западной Яве. Компания не сообщила, каким образом связаны новые инвестиции с прежними строительными проектами в стране. Облаками и ИИ-решениями Microsoft уже пользуются некоторые индонезийские бизнесы, включая финтех-компанию Dana, государственного оператора железных дорог PT Kereta Api, а также азиатскую телеком-компанию Telkomsel.

При этом у IT-гиганта есть и конкуренты — в Индонезии уже действуют облачные компании, включая Huawei, Google, Alibaba, Tencent и AWS. Ранее в этом месяце Indosat заключила соглашение с NVIDIA о строительстве в стране ИИ-центра стоимостью $200 млн. При этом соседняя Малайзия стремится стать новым IT-хабом Юго-Восточной Азии.

Гиперскейлеры ради снижения совокупной стоимости владения (TCO) и зависимости от сторонних вендоров готовы вкладываться в разработку уникальных чипов, изначально оптимизированных под их нужды и инфраструктуру. К небольшому кругу компаний, решившихся на такой шаг, присоединилась Microsoft, анонсировавшая Arm-процессор Azure Cobalt 100 и ИИ-ускоритель Azure Maia 100.

Изображения: Microsoft

Первопроходцем в этой области стала AWS, которая разве что память своими силами не разрабатывает. У AWS уже есть три с половиной поколения Arm-процессоров Graviton и сразу два вида ИИ-ускорителей: Trainium для обучения и Inferentia2 для инференса. Крупный китайский провайдер Alibaba Cloud также разработал и внедрил Arm-процессоры Yitian и ускорители Hanguang. Что интересно, в обоих случаях процессоры оказывались во многих аспектах наиболее передовыми. Наконец, у Google есть уже пятое поколение ИИ-ускорителей TPU.

Microsoft заявила, что оба новых чипа уже производятся на мощностях TSMC с использованием «последнего техпроцесса» и займут свои места в ЦОД Microsoft в начале следующего года. Как минимум, в случае с Maia 100 речь идёт о 5-нм техпроцессе, вероятно, 4N. В настоящее время Microsoft Azure находится в начальной стадии развёртывания инфраструктуры на базе новых чипов, которая будет использоваться для Microsoft Copilot, Azure OpenAI и других сервисов. Например, Bing до сих пор во много полагается на FPGA, а вся ИИ-инфраструктура Microsoft крайне сложна.

Microsoft приводит очень мало технических данных о своих новинках, но известно, что Azure Cobalt 100 имеет 128 ядер Armv9 Neoverse N2 (Perseus) и основан на платформе Arm Neoverse Compute Subsystem (CSS). По словам компании, процессоры Cobalt 100 до +40 % производительнее имеющихся в инфраструктуре Azure Arm-чипов, они используются для обеспечения работы служб Microsoft Teams и Azure SQL. Oracle, вложившаяся в своё время в Ampere Comptuing, уже перевела все свои облачные сервисы на Arm.

Чип Maia 100 (Athena) изначально спроектирован под задачи облачного обучения ИИ и инференса в сценариях с использованием моделей OpenAI, Bing, GitHub Copilot и ChatGPT в инфраструктуре Azure. Чип содержит 105 млрд транзисторов, что больше, нежели у NVIDIA H100 (80 млрд) и ставит Maia 100 на один уровень с Ponte Vecchio (~100 млрд). Для Maia организован кастомный интерконнект на базе Ethernet — каждый ускоритель располагает 4,8-Тбит/с каналом для связи с другими ускорителями, что должно обеспечить максимально эффективное масштабирование.

Сами Maia 100 используют СЖО с теплообменниками прямого контакта. Поскольку нынешние ЦОД Microsoft проектировались без учёта использования мощных СЖО, стойку пришлось сделать более широкой, дабы разместить рядом с сотней плат с чипами Maia 100 серверами и большой радиатор. Этот дизайн компания создавала вместе с Meta✴, которая испытывает аналогичные проблемы с текущими ЦОД. Такие стойки в настоящее время проходят термические испытания в лаборатории Microsoft в Редмонде, штат Вашингтон.

В дополнение к Cobalt и Maia анонсирована широкая доступность услуги Azure Boost на базе DPU MANA, берущего на себя управление всеми функциями виртуализации на манер AWS Nitro, хотя и не целиком — часть ядер хоста всё равно используется для обслуживания гипервизора. DPU предлагает 200GbE-подключение и доступ к удалённому хранилищу на скорости до 12,5 Гбайт/с и до 650 тыс. IOPS.

Microsoft не собирается останавливаться на достигнутом: вводя в строй инфраструктуру на базе новых чипов Cobalt и Maia первого поколения, компания уже ведёт активную разработку чипов второго поколения. Впрочем, совсем отказываться от партнёрства с другими вендорами Microsoft не намерена. Компания анонсировала первые инстансы с ускорителями AMD Instinct MI300X, а в следующем году появятся инстансы с NVIDIA H200.

Корпорация Microsoft, по сообщениям ресурсов Datacenter Dynamics и Motley Fool, создаёт специализированный инструментарий, который позволит автоматически планировать выполнение рабочих нагрузок в ЦОД в зависимости от их срочности и воздействия на окружающую среду.

Идея заключается в том, чтобы выполнять определённые задачи в определённое время, что позволит минимизировать выбросы вредных газов в атмосферу. Например, те ресурсоёмкие задачи, выполнение которых не является срочным, могут быть отложены до момента, когда станет доступно необходимое количество энергии из возобновляемых источников.

Источник изображения: Microsoft

Microsoft патентует систему управления поведением оборудованием, «ориентированную на устойчивое развитие». Данный комплекс учитывает состояние энергосистемы в целом, а также другие факторы. На начальном этапе собирается информация о текущей нагрузке на сеть, о погодных условиях и температурах и т.д. После этого специальные алгоритмы делают прогноз использования ресурсов и распределяют выполнение задач так, чтобы они оказало «сравнительно меньшее воздействие на окружающую среду».

По заявлениям Microsoft, подобный подход позволит снизить нагрузку на энергосеть в часы-пик, а также увеличить срок службы оборудования. Кроме того, станет возможным более эффективное использование «зелёной» энергии. В частности, Microsoft может использовать систему для приостановки и возобновления некоторых операций в ЦОД для балансировки энергопотребления.

Нужно отметить, что Google ещё два года назад начала динамически и прозрачно для конечных потребителей перемещать нагрузки между различными дата-центрами, опираясь на уровень доступности для них «зелёной» энергии. При этом речь идёт только о задачах, для которых не критичны задержки или требования о суверенитете данных. Для этого Google составляет прогнозы доступности энергии на день вперёд.

Компания Microsoft получила разрешение на строительство газовой электростанции на 170 МВт для своего кампуса Grange Castle в пригороде Дублина. Как сообщает DataCenter Dynamics, объект стоимостью €100 млн будет использоваться для повседневного питания ЦОД, а в случае отключения от национальной энергосети станция и 21 дизель-генератор станут единственным источником питания всего кампуса. По данным Business Post, суммарно планируется установить 150 генераторов.

Экоактивисты уже выступили против проекта, обвинив IT-гиганта в попытке обойти запрет оператора EirGrid на новые подключения ЦОД к электросетям в Дублине и его окрестностях до 2028 года. Защитники природы подчёркивают, что хотя благодаря собственной электростанции Microsoft ограничит нагрузку на местные энергосети, электростанция будет только способствовать росту углеродного выброса. При этом власти Ирландии всё ещё намерены добиться того, чтобы к 2030 году 80 % энергии в стране должно поступать из возобновляемых источников.

Источник изображения: Microsoft

Хотя в Ирландии в целом строительство дата-центров не запрещено и даже приветствуется, в Дублине и окрестностях оно ограничено, поскольку здесь и без того уже действует немало ЦОД. Из-за введённых ограничений некоторые крупные компании уже приостановили реализацию ряда проектов. Экоактивисты призывают вообще заблокировать строительство новых ЦОД, утверждая, что это помешает декарбонизации страны. Строительство газовых электростанций может стать временным ответом на ограничения, позволив сделать ЦОД вообще автономными.

При этом власти Ирландии ещё в конце 2022 года предостерегли оператора Gas Networks Ireland от заключения новых контрактов с операторами ЦОД, предполагающими обеспечивать свои объекты преимущественно за счёт газовых генераторов для обхода существующих норм. Известно, что Microsoft, для соблюдения существующих в Ирландии правил, не станет эксплуатировать станцию круглосуточно — она будет работать всего по 8 часов в день. Вместе с тем это вряд ли поможет планам компании по полном переводу её ирландских ЦОД на «зелёную» энергию.

Компания Microsoft намерена распространить успешный опыт по интеграции энергохранилища дата-центра в Дублине с местными энергосетями на свои ЦОД во всём мире. Как сообщает DataCenter Dynamics, ещё в 2022 году свою эффективность доказала схема, объединяющая систему литий-ионных аккумуляторов (BESS) и интерактивные ИБП компании Eaton, которая позволяет делиться энергией с ирландской электросетью в случае необходимости. Подобные пилотные проекты уже реализуют многие операторы ЦОД вроде Google и Telia, а также операторы Deutsche Telecom и Elisa.

К 2030 году Ирландия намерена использовать в своих сетях не менее 70 % возобновляемой энергии, уже сейчас на долю ЦОД приходится порядка 10 % всего энергопотребления страны. По прогнозам экспертов, меньше, чем через 10 лет этот показатель вырастет до 30 %, что приведёт к замедлению роста рынка ЦОД в Ирландии и даже уходу некоторых игроков из-за внедрения новых правил. Применяемая Microsoft система уже сегодня особенно востребована именно здесь, где активное строительство ЦОД привело к нехватке энергетических мощностей.

Источник изображения: Jan Huber/unsplash.com

Такие «виртуальные электростанции» (Microsoft в этом деле помогала Enel X) могут эффективно использоваться в любой точке мира. Считается, что такое решение будет способствовать декарбонизации электросетей. Дело в том, что нестабильные поставки из возобновляемых источников увеличивают потребность в формировании именно аккумуляторных хранилищ. Кроме того, становится доступна и более эффективная и быстрая балансировка сетей — для передачи энергии на краткосрочный период аккумуляторные резервы намного эффективнее.

Пока неизвестно, сколько компания готова отдавать в ирландскую энергосеть. В дублинском кампусе ёмкостью 255 МВт Microsoft намерена построить дополнительные мощности — благодаря тому, что компания успела получить разрешение на строительство до введения в Дублине временных лимитов на создание ЦОД. Ожидается, что следующей на очереди станет Великобритания, где будет использовано аналогичное решение. Впрочем, есть и альтернативный подход — AWS приняла решение закупить более сотни дизель-генераторов для своих ирландских ЦОД.

Корпорация Microsoft официально объявила о заключении соглашения по покупке компании Fungible — молодого разработчика DPU (Data Processing Unit). О сумме сделки ничего не сообщается. Слухи о том, что редмондский гигант проявляет интерес к Fungible, появились в середине декабря 2022 года. Тогда говорилось, что приобретение стартапа обойдётся Microsoft приблизительно в $190 млн.

Решения Fungible помогут Microsoft поднять производительность её дата-центров. По условиям соглашения, команда Fungible присоединится к подразделению разработки ЦОД-инфраструктур Microsoft. Специалисты компании сосредоточатся на создании нескольких специализированных DPU, а также на сетевых инновациях и улучшении аппаратных систем. «Технологии Fungible помогают создать высокопроизводительную, масштабируемую, дезагрегированную, горизонтально масштабируемую инфраструктуру ЦОД с высокими показателями надёжности и безопасности», — говорится в заявлении Microsoft.

Источник изображения: Fungible

Добавим, что Fungible была основана в 2015 году выходцами из Xerox PARC Прадипом Синдху (Pradeep Sindhu, сооснователь и бывший глава Juniper Networks) и Бертраном Серле (Bertrand Serlet, работал в Apple и Parallels, основал Upthere). Стартап привлёк более $300 млн инвестиций, но в последнее время дела у него шли не слишком хорошо. По слухам, после неудачной попытки продать компанию Meta✴ стартап был вынужден уволить часть сотрудников и сократить портфолио решений.

Fungible, как и ряд аналогичных проектов, по мере развития перешёл от создания сверхбыстрых хранилищ к идее переноса на DPU иных инфраструктурных задач по примеру AWS Nitro (собственная разработка Amazon). Однако, как утверждают некоторые источники, сложность разработки ПО негативно сказалась на популярности решений Fungible. Например, Google пошла по другому пути и заручилась поддержкой Intel.

В ходе подготовки земли в округе Мекленберг штата Вирджиния к строительству дата-центра Microsoft, было обнаружено старое кладбище. Как сообщает DataCenter Dynamics со ссылкой на ProPublica, строители при содействии властей округа и самой Microsoft, попытались принизить его значение, предприняв ряд мер по сокрытию исторической важности объекта.

После того как кладбище было обнаружено, округ обратился к археологам, как того требует федеральный закон. Вопреки надеждам заинтересованных сторон, археологи решили, что место захоронения должно быть внесено в Национальный реестр исторических мест — это означало бы, что строительство на площадке будет запрещено. Эксперт рекомендовал избегать строительства на данной территории. Консультант компании Enviro-Utilities, выполнявшей работы, заявил, что рекомендация будет оспорена. Все работы оплачивала Microsoft.

Фото: jessica rigollot / Unsplash

Enviro-Utilities и власти округа попытались надавить на археологов, чтобы те отменили свои рекомендации о включении в Национальный реестр. Тем не менее, ещё один археолог, нанятый заказчиками, тоже порекомендовал провести дополнительные исследования. Вместо этого округ в соответствии с законами опубликовал в местной газете небольшую заметку о находке останков среди рекламных объявлений и намерении перенести их, после чего вскоре приступил к работам. При этом, как утверждает источник, минимум один ныне живущий потомок лиц, захороненных на найденном кладбище, широко известен в данной местности, но никаких попыток найти ни его, ни других членов семей похороненных не предпринималось.

Всего у Microsoft есть более 4 млн серверов в дата-центрах по всему миру (Изображение: Microsoft)

Всего было обнаружено 37 могил, которые Департамент исторических ресурсов штата разрешил перенести в другое место. Останки переносили очень быстро, под проливным дождём, а за сотрудниками, по слухам, следил беспилотник Microsoft. В результате буквально все кости перемешались и были захоронены всего в четырёх могилах, причём без необходимых отметок — о числе покоящихся, об изначальном местоположении могил, о датах и именах. В Microsoft сообщили, что округ придерживался всех федеральных и местных законов.

Вирджиния, особенно её северная часть, является местом концентрации операторов дата-центров, построивших здесь многочисленные кампусы ЦОД благодаря привлекательным условиям, созданным местными властями для инвесторов. Впрочем, местные жители рады притоку средств далеко не так сильно, как местные власти. Они постоянно жалуются на захват земель с изменением зонирования и ущерб экологии, включая сильное шумовое загрязнение.