Администрация общих служб США (GSA) реализовала на аукционе НРС-систему под названием Cheyenne, которая была введена в строй в Центре суперкомпьютерных вычислений NCAR-Wyoming (NWSC) штата Вайоминг в 2016 году. Стоимость лота составила $480 085, тогда как затраты на строительство машины оцениваются как минимум в $25 млн.

Cheyenne стал одним из последних суперкомпьютеров компании Silicon Graphics International (SGI). Корпорация HPE приобрела эту фирму после того, как Cheyenne был смонтирован, но до фактического запуска системы в эксплуатацию. На момент начала работы производительность комплекса составляла 5,34 Пфлопс, что соответствовало 20 месту в актуальном тогда списке ТОР500.

Cheyenne представляет собой кластер SGI ICE XA с 4032 узлами, каждый из которых содержит два процессора Intel Xeon E5-2697v4 Broadwell (18C/36; 2,3 ГГц). Таким образом, суммарное количество ядер достигает 145 152. Применяется оперативная память DDR4-2400 ECC общей ёмкостью 313 Тбайт (4890 модулей на 64 Гбайт). В состав машины изначально входило хранилище данных вместимостью 40 Пбайт. Энергопотребление — приблизительно 1,7 МВт. Задействована система жидкостного охлаждения.

Источник изображения: GSA

Две стойки управления с воздушным охлаждением состоят из 26 серверов типоразмера 1U (20 со 128 Гбайт ОЗУ и ещё 6 с 256 Гбайт ОЗУ), 10 коммутаторов и двух блоков питания. Суперкомпьютер эксплуатировался с 12 января 2017 года по 31 декабря 2023-го, решая задачи в области изменений климата и в других сферах, связанных с науками о Земле. Cheyenne превзошёл свой запланированный срок службы: в заявлении NWSC говорилось, что он будет эксплуатироваться до 2021 года. Однако к концу 2023-го количество сбоев и проблем стало слишком большим.

В описании лота говорится, что «примерно 1 % узлов столкнулись с отказами за последние шесть месяцев», в основном из-за модулей памяти. Кроме того, система испытывает ограничения по техническому обслуживанию из-за неисправных быстроразъёмных соединений, вызывающих протечки воды. Таким образом, «учитывая затраты и время простоя, связанные с устранением проблем», дальнейшее использование комплекса признано нецелесообразным, в связи с чем он пущен с молотка.

Вместе с тем, как отмечает Tom's Hardware, новый владелец суперкомпьютера может реализовать его основные компоненты на вторичном рынке. Например, стоимость чипов Xeon E5-2697 v4 на eBay составляет около $50, а модулей DDR4-2400 ECC ёмкостью 64 Гбайт — примерно $65. То есть, по самым скромным подсчётам, только эти компоненты могут принести новому владельцу суперкомпьютера приблизительно $700 тыс. без учёта затрат на демонтаж и вывоз машины массой 43 т, а также на тестирование компонентов. Впрочем, массовый выброс на рынок CPU и RAM в таких объёмах приведёт к снижению цен.

Компания Amazon намерена расширять инфраструктуры «ответственного использования» электроники, применяемой в центрах обработки данных. Как сообщает портал компании, её дочернее предприятие re:Cycle Reverse Logistics откроет в Пенсильвании (США) фабрику по оценке, ремонту и переработке электронных отходов. Объект площадью 51 тыс. м2 заработает в апреле 2024 года. Ожидается, что в переработке оборудования будут заняты от 300 до 500 человек.

Само здание фабрики в некотором роде тоже относится к объектам, «бывшим в употреблении» — в компании приняли решение использовать пустующее промышленное здание для создания собственного центра переработки отходов и ремонта той электроники, которая может быть восстановлена. По данным СМИ, Пенсильванию выбрали из-за близости к объектам Amazon на восточном побережье США. А конкретное здание — потому, что оно уже зонировано для промышленных целей, поэтому бюрократические процедуры серьёзно упрощаются.

Источник изображения: Amazon

Программа работы со списанным оборудованием состоит из восьми этапов:

1. Отправка стоек в специальные хабы, где стираются данные, хранящиеся на списанных серверах;
2. Отправка стоек и другие компонентов в центры переработки для оценки и ремонта оборудования в случаях, когда это возможно;
3. Разбор стоек на индивидуальные компоненты;
4. Отправка компонентов в лаборатории для тестирования, поиска физических дефектов и мелкого ремонта;
5. Оценка общей работоспособности оборудования при нагрузках;
6. Оценка модулей AWS Nitro Card;
7. Сбор статистики для отправки инженерным командам, которые могут использовать информацию для улучшения будущих ЦОД;
8. Отправка работоспособных компонентов на склады для повторного использования в будущем, прочие же компоненты отправляются на переработку.

Источник изображения: Amazon

Так называемая «обратная логистика» — это весьма распространённая практика разборки изношенного оборудования для восстановления тех комплектующих, которые ещё можно использовать, и добычи из оставшегося мусора ценного сырья. Известно, что у Amazon уже имеются соответствующие хабы, а теперь компания намерена прибегать к подобной практике более широко. Аналогичные проекты есть у Microsoft. Кроме того, б/у-оборудование гиперскейлеров нередко перепродаётся, а сами они увеличивают сроки эксплуатации «железа».

Компания Meta✴ прибегла к необычному экспериментальному способу утилизации строительного мусора. Совместно с биоинженерами Mycocycle она занялась превращением остатков гипсокартона, сохранившихся после строительства ЦОД Meta✴ в Галлатине (США), в ценное сырьё. Как сообщает DataCenter Dynamics, мусор буквально пожирают грибы. Ранее Meta✴ c партнёрами уже разработали с помощью ИИ «зелёный» экобетон для своих новых дата-центров.

Только в США ежегодно «генерируется» 660 млн тонн строительных отходов, как от самой стройки, так и в результате предварительного сноса зданий и очистки строительных площадок. Одним из наиболее распространённых и при этом проблемных материалов является гипсокартон, простые методы переработки которого пока отсутствуют — гипсокартон может вступать в реакции с другими материалами, в результате чего выделяются опасные вещества, в том числе сероводород и аммиак. Meta✴ же является одним из крупных «поставщиков» таких отходов на мусорные полигоны.

Источник изображения: Meta✴

В результате сотрудничества Meta✴ с Mycocycle с 2022 года разрабатывается метод, позволяющий буквально «скармливать» гипсокартон грибам, в результате чего создаётся перспективный побочный продукт, который тоже можно использовать в качестве строительного материала. Он, например, может применяться в составе термо- или шумоизоляционных панеле. В Meta✴ уже сообщили о сотрудничестве с крупными строительными компаниями для расширения экспериментов по созданию многократно перерабатываемого сырья.

Вырастая на гипсокартоне, грибы распространяют грибницу, которая буквально «взламывает» сам материал, питаясь мелкими остатками. Новый композит на основе остатков гипсокартона и грибницы может служить для формирования огнеупорного, крепкого и водонепроницаемого сырья, в перспективе способного заменить пластик. Известно, что Mycocycle уже участвовала в исследовании на эту же тему, профинансированным Microsoft.

Источник изображения: Meta✴

По мнению представителей строительной компании DPR, тоже участвующей в проекте Meta✴, инициатива имеет критически важное значение, поскольку отходы гипсокартона являются огромной проблемой для строительной отрасли. Как сообщает DataCenter Dynamics, Mycocycle уже «тренировала» грибы для переработки других типов материалов — например, битумной черепицы. Пока не уточняется, какие меры безопасности принимаются и как грибы смогут отличить «полезный» гипсокартон от строительного мусора.

Компания Microsoft подала заявку на строительство специального объекта Circular Center в городке Куинси штата Вашингтон. После ввода в эксплуатацию здесь планируется перерабатывать старые серверы и компьютеры. Городские власти пошли навстречу компании, подтвердив, что проект не должен оказать значительно негативного влияния на окружающую среду.

Проект MWH90 CC предусматривает строительство здания площадью 1905 м² для переработки бывших в эксплуатации компьютеров, серверов и комплектующих. Для этого в Куинси будет расширен и доработан кампус компании, на территории которого уже имеется функционирующий ЦОД.

К 2025 году Microsoft планирует перерабатывать 90 % своего облачного оборудования, а к 2030 году этот показатель должен достигнуть 100 %. При этом в докладе за прошлый год упомянуто, что расширение инфраструктуры ЦОД и продажи Xbox привели к росту выбросов класса Scope 3 на 23 % — такие выбросы не являются прямым результатом деятельности компании, но она своей деятельностью косвенно влияет на их объёмы.

Новый Circular Center будет очередным из специальных центров, строительство которых началось в 2020 году. В переработку там идут облачные серверы и прочее оборудование, причём некоторые компоненты могут быть использованы заново, перепроданы или перепрофилированы для использования в иных целях. Например, отдельные части могут использоваться даже в электронных игрушках и игровых системах.

Изображение: ITRenew

В 2020 году работу начали три Circular Center в Амстердаме, Дублине и американском Бойдтоне. В компании утверждают, что она уже получила возможность заново использовать 83 % критически важных комплектующих, снизив выбросы на 145 тыс. т. В обозримом будущем планируется строительство ещё нескольких центров аналогичного назначения по всему миру — от США до ЕС и Австралии.

Прочие облачные компании, включая Google, Oracle и AWS реализуют похожие проекты, причём часть бывших в употреблении комплектующих используется в инфраструктуре самих компаний, а часть продаётся на вторичном рынке. Так, только Google и только в 2020 году продала 8,2 млн уже использовавшихся компонентов. А ITRenew, известный игрок на рынке утилизации оборудования гиперскейлеров, предлагает б/у серверы для микро-ЦОД и даже для отопления. Похожие решения есть и у Qarnot.

Ранее сообщалось, что у Microsoft довольно необычный подход к защите природы. В январе появилась информация, что компания намерена вырубить более 2500 деревьев в Техасе для строительства дата-центра. В качестве компенсации компания обещала высадить более 800 новых и заплатить в фонд защиты деревьев около $1,5 млн.

Американский банк Morgan Stanley заключил мировое соглашение и согласился выплатить компенсацию в размере $60 млн для урегулирования коллективного иска, поданного от имени 15 млн клиентов. Согласно иску, из-за ошибочных действий банка, произошли две утечки персональных данных его клиентов. Банк потенциальные утечки признал, разослав клиентам уведомления в июле 2020 года, но виноватым себя не считает.

В первом случае во время вывода из эксплуатации двух центров обработки данных (ЦОД) в 2016 году с жёстких дисков, возможно, не была стёрта вся информация, в том числе данные клиентов, которые попали в руки сторонних организаций. Во втором случае в ходе модернизации оборудования в одном из филиалов был утерян сервер с клиентскими данными, которые могли быть незашифрованными из-за программного бага. Эти данные тоже могли попасть в чужие руки.

Фото: Pixabay/pastedo

Из-за неспособности вывести должным образом из эксплуатации два ЦОД банк уже был оштрафован Управлением контролёра денежного обращения США (OCC) на $60 млн. Регулятор обвинил банк в том, что тот «не осуществлял надлежащего надзора». Из-за нарушения банк столкнулся с восемью судебными исками, которые были объединены в один коллективный иск. Банк обвинили в «игнорировании отраслевых стандартов» в отношении надлежащей утилизации ИТ-активов (ITAD).

Согласно документам, банк отказался от услуг IBM в пользу «неизвестного и неквалифицированного поставщика» для вывода из эксплуатации своего IT-оборудования в рамках «решений, ориентированных на получение прибыли», чтобы сэкономить $100 тыс. Затем Morgan Stanley заключил контракт с фирмой Triple Crown на демонтаж оборудования и утилизацию. Вместо утилизации Triple Crown продала это оборудование фирме AnythingIT, а банку сообщила, что оборудование утилизировано. В свою очередь, AnythingIT, не удалив данные с жёстких дисков, продала оборудование компании KruseCom.

Как поступила с ним KruseCom неизвестно — оборудование либо было продано ещё кому-то, либо уничтожено. Несмотря на признание того, что часть утерянного оборудования так и не была возвращена, банк продолжает настаивать на том, что клиентам не было причинено никакого вреда. Предварительное соглашение об урегулировании коллективного иска было подано в пятницу вечером в федеральный суд Манхэттена. Соглашение вступит в силу после одобрения окружным судьёй.

Гиганты Google, Facebook✴ и Microsoft каждый год покупают огромное количество серверов, которые могут работать и до 10 лет. Однако через 2–3 года они заменяются на новые, более производительные модели, так как для гиперскейлеров это проще и быстрее, чем строить или расширять ЦОД. При объемах закупок от 100 тыс. серверов в год каждый квартал более 10 тыс. единиц оборудования выводится из эксплуатации.

Утилизировать всю эту технику было бы слишком расточительно, ведь даже серверы возрастом 2–3 года из ЦОД гиперскейлеров мощнее многих серверов, которые используются на предприятиях сегодня. ITRenew предлагает разумный выход из ситуации.

ITRenew подписала с гиперскейлерами контракты на выкуп старого оборудования. Впрочем, «старое» — не совсем подходящее слово, так как оно отработало в среднем от 2 до 5 лет. Компания помогает значительно снизить издержки, дав, с одной стороны, возможность гипескейлерам вернуть часть вложенных средств, а с другой — снизить затраты на 40-50% для небольших предприятий, которые оснащают свои дата-центры.

Стойки ITRenew Sesame

Для многих компаний это единственная возможность купить оборудование такого класса, так как ODM вроде Wiwynn, Inspur, Quanta продают его только гиперскейлерам 1-го уровня (Amazon, Facebook✴, Google) и не собираются менять свою модель продаж, поскольку у них нет проблем со сбытом своей продукции.

Еще один важный момент, на который обращают большое внимание в Европе и США, связан с экологией. То, что техника продолжает использоваться, а не уничтожается, позволяет экономить ресурсы и не загрязнять окружающую среду. Это особенно важно в свете того, что Китай закрыл ввоз подобного оборудования для утилизации и сортировки. И пока тенденция агрессивного обновления крупнейших дата-центров сохраняется, объем выведенной из эксплуатации техники будет расти.

Может сложиться впечатление, что покупка б/у оборудования — это удел отсталых и бедных компаний, которые не хотят вкладывать деньги в развитие IT. Однако это далеко не так! Оборудованием от ITRenew комплектуются целые дата-центры, например, шведский ЦОД Hydro66.

Узлы ITRenew Sesame

Все оборудование в ITRenew проходит обязательную процедуру обслуживания: компоненты с малым остаточным ресурсом заменяются новыми или снятыми с других единиц техники. Затем всё проверяется, настраивается и упаковывается для транспортировки новым владельцам.

Несмотря на то, что оборудование из дата-центров гиперскейлеров выпущено разными производителями (Wiwynn, Quanta и другими), оно проходит процедуру стандартизации и настройки, после чего управлять и поддерживать его гораздо проще, чем «зоопарком» обычного серверного оборудования разных брендов. Кроме того, многие компоненты таких систем открыты — они будут иметь полноценную поддержку долгие годы.

Одна из причин, почему продажа б/у-оборудования от гиперскейлеров до сих по не стала действительно массовым явления, в том, что оно имеет OCP-исполнение, отличное от принятых в корпоративном мире стандартов. Это касается и шасси, и прошивок, и ПО. Именно поэтому ITrenew создала серию платформ, готовых принятть OCP-оборудование, со всем необходимым ПО для оркестрации Kubernetes.

Sesame позволит объединить до 20 стоек (более 750 узлов) в один кластер с 25GbE-подключение. Слоган нового решения: «Сила гиперскейлеров для всех». Звучит довольно громко, однако так оно и есть. Теперь даже мелкие компании могут приобрести производительное оборудование, которое не стоит огромных денег. А для «самых маленьких» компания предлагает Sesame Fast Start, мини-стойку на колёсиках со всем необходимым. Fast-Start помещается под столом — она рассчитана на 5 узлов суммарной мощностью до 1600 Вт и имеет 10GbE-коммутатор.