Российский провайдер сервисов IT-инфраструктуры Selectel приступил к бета-тестированию инференс-платформы собственной разработки, которая позволит упростить запуск ML-моделей в промышленную эксплуатацию и ускорить их работу. Как сообщается на сайте провайдера, с помощью нового сервиса можно всего за несколько минут развернуть готовую модель на вычислительных мощностях провайдера без привлечения разработчиков.

Решение нацелено на компании, использующие в работе ИИ-модели для обеспечения функционирования голосовых роботов в колл-центрах, чат-ботов для консультаций сотрудников и клиентов, сервисов распознавания изображений и других задач. С помощью платформы можно загружать модели в объектное хранилище Selectel, а на выходе получить готовые API. Также с её помощью можно регулярно обновлять версии моделей без прекращения обработки поступающих пользовательских запросов.

Selectel отметил, что благодаря инференс-платформе можно в несколько раз сократить время вывода ИИ-проектов на рынок, причём с учётом конкретных профилей нагрузок и требований к производительности, которые помогут подобрать и донастроить специалисты ML-команды провайдера.

Источник изображения: Selectel

Платформа построена на базе GPU-кластеров Managed Kubernetes с использованием открытых инструментов NVIDIA Triton Inference Server, Ray Serve Cluster и Istio Ingress Controller. Решение полностью независимо от привязки к поставщику (vendor lock) и обеспечивает высокую производительность за счёт встроенных возможностей по повышению пропускной способности и максимальной утилизации ресурсов.

Компании Foxconn и NVIDIA объединили усилия для постройки крупнейшего на Тайване суперкомпьютера. По данным пресс-службы NVIDIA, проект Hon Hai Kaohsiung Super Computing Center был представлен в ходе традиционного мероприятия Foxconn — Hon Hai Tech Day, прошедшего в минувший вторник. Вычислительные мощности будут построены на основе передовой архитектуры NVIDIA Blackwell — будет использована платформа GB200 NVL72, включающая 64 стойки.

С ожидаемой производительностью ИИ-вычислений более 90 Эфлопс (FP4), машина может легко считаться самой быстрой на Тайване. Foxconn намерена использовать суперкомпьютер для исследований в области медицины, разработки больших языковых моделей (LLM) и инноваций в системах умного города. Это может сделать Тайвань одним из лидеров ИИ-индустрии.

В рамках стратегии «трёх платформ» Foxconn уделяет внимание умному производству, умным городам и электрическому транспорту. Новый суперкомпьютер призван сыграть ключевую роль в поддержке инициатив компании по созданию «цифровых двойников», автоматизации робототехники и созданию умной городской инфраструктуры.

Источник изображения: NVIDIA

Строительство уже началось в тайваньском муниципалитете Гаосюн, первая фаза должна заработать к середине 2025 года. Полностью работоспособным компьютер станет в 2026 году. Проект будет активно использовать технологии NVIDIA вроде робоплатформ NVIDIA Omniverse и Isaac для ИИ и «цифровых двойников».

В Foxconn утверждают, что суперкомпьютер будет не только крупнейшим на Тайване, но и одним из самых производительных в мире. Каждая стойка GB200 NVL72 включает 36 CPU Grace и 72 ускорителя Blackwell, объединённых интерконнектом NVIDIA NVLink (суммарно 130 Тбайт/с). Технология NVIDIA NVLink Switch позволит системе из 72 ускорителей функционировать как единый вычислительный модуль — оптимальный вариант для обучения ИИ-моделей и инференса в режиме реального времени, с моделями на триллион параметров. Предполагается использование решений NVIDIA DGX Cloud Infrastructure и Spectrum-X для поддержки масштабируемого обучения ИИ-моделей.

Тайваньская Foxconn (официально Hon Hai Precision Industry Co.) — крупнейший в мире производитель электроники, известный выпуском самых разных устройств, от смартфонов до серверов для популярных во всём мире заказчиков. Компания уже имеет производства по всему миру и является ключевым игроком в мировой технологической инфраструктуре. При этом производитель считается одним из лидеров в организации «умного» производства, внедряющим промышленные ИИ-системы и занимающимся цифровизацией заводов с помощью NVIDIA Omniverse Cloud. Кроме того, именно она одной из первых стала пользоваться микросервисами NVIDIA NIM в разработке языковых моделей, интегрированных во многие внутренние системы и процессы на предприятиях, создании умных электромобилей и инфраструктуры умных городов.

Суперкомпьютер Hon Hai Kaohsiung Super Computing Center — лишь часть растущей общемировой сети передовых проектов на основе решений NVIDIA. Сеть включает несколько значимых проектов в Европе и Азии. Сотрудничество компаний становится всё теснее. В ходе того же мероприятия объявлено о сотрудничестве Foxconn и NVIDIA в Мексике. Первая построит завод в стране для упаковки полупроводников NVIDIA.

Компания Nebius, образовавшаяся из Yandex N.V., занимающаяся разработкой ИИ-решений, объявила об увеличении мощности дата-центра в финской общине Мянтсяля (Mäntsälä). По данным Datacenter Dynamics, ёмкость ЦОД вырастет втрое.

Nebius увеличит ёмкость дата-центра с 25 до 75 МВт, на объекте разместятся более 60 тыс. ускорителей. Ещё в июле компания сообщала об увеличении площади ЦОД — две секции уже построены, позже будут возведены ещё две, как и планировалось ранее.

К середине 2025 года компания намерена инвестировать более $1 млрд в ИИ-инфраструктуру Европы, в том числе «кастомных» ЦОД по индивидуальным заказам, и запустит первый ИИ-кластер во Франции на базе ускорителей NVIDIA H200. Кроме того, на прошлой неделе компания намекнула на строительство ЦОД в США, а в Европе Nebius уже подписала два соглашения о намерениях строительства двух новых ЦОД.

Источник изображения: Miikka Luotio/unsplash.com

Объект в Финляндии будет использовать ускорители NVIDIA H200, доступ к которым клиенты NVIDIA должны получить с ноября 2024 года. В этом случае Nebius станет одним из первых операторов в Европе, представивших решения на базе этой платформы на рынке.

ЦОД в Финляндии использует фрикулинг и отдаёт тепло для отопления местных жилых помещений. Сегодня речь идёт о ежегодной «рекуперации» около 20 ГВт∙ч. После расширения возможности компании только увеличатся. Конструкция ЦОД позволяет работать при температурах до +40 °C, благодаря этому экономится ещё 15 % энергии. По словам представителя Nebius Андрея Короленко, утроение мощности стало важным этапом на пути построения лучшей в своём классе инфраструктуры ИИ в Европе, демонстрирующим возможности Nebius.

Базирующая в Амстердаме Nebius, оставшаяся в Европе после раскола «Яндекса», сохранила финский ЦОД компании и подразделение Nebius AI, а также подразделение Toloka AI для обработки данных, поставщика образовательных технологий TripleTen и компанию Avdrive, занимающуюся системами автономного вождения. ЦОД в Мянтсяля был одним из пяти дата-центров «Яндекса» и сегодня является крупнейшим налогоплательщиком местного муниципалитета.

Корпорация Microsoft опубликовала в социальной сети Х фото новой ИИ-системы на базе ускорителей NVIDIA GB200 для облачной платформы Azure. Вычислительная стойка запечатлена рядом с блоком распределения охлаждающей жидкости (CDU), который является частью СЖО.

Как отмечает ресурс ServeTheHome, вычислительная стойка содержит восемь узлов на основе GB200 с архитектурой Blackwell, а также ряд других компонентов. Точная конфигурация системы не раскрывается.

На фотографии видно, что CDU-блок, расположенный по правую сторону от вычислительной стойки, имеет вдвое большую ширину. Он содержит крупноразмерный теплообменник жидкость — воздух, по сути, представляющий собой аналог автомобильного радиатора. Можно видеть насосы, элементы подсистемы питания, а также средства мониторинга.

Наблюдатели отмечают, что обычно теплообменники шириной в две стойки предназначены для нескольких вычислительных стоек. Поэтому не исключено, что запечатленные на снимке изделия являются частью более крупной системы, где показанный CDU-блок будет отвечать за охлаждение сразу нескольких вычислительных стоек с ускорителями NVIDIA GB200.

Источник изображения: Microsoft

Напомним, ранее у Microsoft и NVIDIA возникли разногласия по поводу использования решений B200. NVIDIA настаивает на том, чтобы клиенты приобретали эти изделия в составе полноценных серверных стоек, тогда как Microsoft хочет использовать вариант стоек OCP с целью унификации инфраструктуры своих многочисленных дата-центров. Недавно также стало известно, что NVIDIA отказалась от выпуска двухстоечных суперускорителей GB200 NVL36×2 в пользу одностоечных вариантов NVL72 и NVL36. Причём Microsoft отдала предпочтение именно NVL72: корпорация начнёт получать эти системы в декабре.

Компания Foxconn построит в Мексике крупнейший в мире завод по упаковке суперчипов GB200 компании NVIDIA — ключевого продукта нового семейства Blackwell. По данным Reuters, Foxconn стал одним из главных выгодоприобретателей от бума ИИ, поскольку компания уже собирает серверы для систем искусственного интеллекта.

По словам представителя Foxconn, речь действительно идёт о крупнейшем заводе по упаковке GB200 на планете. В мексиканском правительстве сообщили, что завод построят в городе Гвадалахара.

В августе NVIDIA сообщала о начале поставок образцов чипов Blackwell партнёрам и клиентам, в период до января она рассчитывает уже заработать на новейших полупроводниках несколько миллиардов долларов. В Foxconn уверены, что сотрудничество компании с NVIDIA имеет важнейшее значение, поскольку спрос на новую платформу «ужасно огромный».

Источник изображения: Sergio Rodríguez/unsplash.com

Foxconn уже активно развивает производство в Мексике и инвестировала более $500 млн в штате Чиуауа. В компании утверждают, что цепочка поставок компании уже готова к ИИ-революции и производственные возможности включают выпуск передовых систем жидкостного охлаждения и теплоотвода, необходимых для оснащения серверов с GB200.

Утверждается, что в текущем квартале компания обеспечила сильные показатели. В минувшую субботу Foxconn отчиталась о рекордной выручке в III квартале — на фоне сильного спроса на ИИ-серверы.

Ещё одним приоритетом Foxconn являются амбициозные планы диверсификации бизнеса. В компании не желают, чтобы она ассоциировалась исключительно со сборкой электроники для Apple и надеются использовать технологические наработки для контрактного производства других продуктов, в т.ч. электромобилей и даже собственных машин под брендом Foxconn.

Также известно, что на днях Foxconn и NVIDIA объявили о совместном строительстве самого быстрого ИИ-суперкомпьютера на Тайване с использованием платформы GB200 NVL72.

В августе 2023 года Microsoft развернула в своём облаке Azure инстансы ND H100 v5 на базе NVIDIA H100 для HPC-вычислений и нагрузок ИИ. А теперь запущены машины ND H200 v5 с ускорителями NVIDIA H200, оптимизированные для инференса и обучения больших языковых моделей (LLM).

Новые инстансы объединяют восемь ускорителей NVIDIA H200, каждый из которых содержит 141 Гбайт памяти HBM3e с пропускной способностью 4,8 Тбайт/с. По сравнению с NVIDIA H100 объём памяти увеличился на 76 %, пропускная способность — на 43 %.

Для ND H200 v5 предусмотрена возможность масштабирования до тысяч ускорителей при помощи интерконнекта на базе NVIDIA Quantum-2 CX7 InfiniBand с пропускной способностью до 400 Гбит/с в расчёте на ускоритель (до 3,2 Тбит/с на виртуальную машину). В составе инстансов задействованы чипы Intel Xeon поколения Sapphire Rapids: каждая виртуальная машина насчитывает 96 vCPU. Объём памяти составляет 1850 Гбайт, вместимость локального хранилища — 28 000 Гбайт. Обеспечивается доступ к 16 облачным накопителям. Кроме того, используются восемь сетевых адаптеров (суммарно до 80 Гбит/c).

Источник изображения: Microsoft

Виртуальные машины ND H200 v5 имеют предварительную интеграцию с Azure Batch, Azure Kubernetes Service, Azure OpenAI Service и Azure Machine Learning. Говорится, что инстансы обеспечивают высокую производительность при решении различных задач, связанных с ИИ, машинным обучением и аналитикой данных.

Компания VAST Data, специализирующаяся на разработке инфраструктуры для ИИ, объявила о создании Cosmos — онлайн-сообщества, предназначенного для объединения ИИ-специалистов из разных отраслей. Учитывая стремительный темп изменений на рынке ИИ, оставаться в курсе последних достижений может быть непростой задачей, отметила VAST Data, добавив, что компании спешат внедрить ИИ, чтобы трансформировать свою деятельность. При этом ИИ-специалисты сталкиваются со сложными проблемами, требующими постоянного обучения и адаптации.

VAST Data сообщила, что сообщество Cosmos предоставит специалистам по ИИ возможность общаться, делиться передовым опытом и имеющимися знаниями. Благодаря обсуждениям в реальном времени, практическим занятиям и библиотеке ресурсов Cosmos поможет компаниями добиться успеха в их проектах по развитию ИИ, независимо от их сложности.

В качестве платформы для общения выбран Discord. Для обучения предлагаются практические лаборатории Cosmos Lab, где будет возможность ознакомиться с реальными примерами работы над ИИ под руководством экспертов, которые понимают аспекты развёртывания таких решений. Лаборатории призваны помочь специалистам углубить свои навыки в интерактивной среде. Центральным узлом сообщества станет форум Discourse. Это будет место для объёмного контента, включая подробные статьи, обмен знаниями, календари событий и презентации поставщиков. «Именно здесь Cosmos превращается в нечто большее, чем просто чат — это библиотека знаний, созданная сообществом для сообщества», — отметила VAST Data.

Источник изображения: VAST Data

VAST Data также уточнила, что Cosmos предназначено не только для тех, кто уже является экспертом: «Независимо от того, возглавляете ли вы команду ИИ, являетесь ли вы студентом, интересующимся тем, как ИИ повлияет на вашу будущую карьеру, или только начинаете развёртывать свою первую модель, Cosmos предлагает пространство, где вы можете учиться, сотрудничать и расти».

Соучредитель VAST Data Джефф Денворт (Jeff Denworth) сообщил ресурсу The Register, что одной из моделей функционирования нового сообщества является организация Open Compute Project, занимающаяся разработкой оборудования и лучших практик с помощью совместных усилий организаций-членов, выкладывающих свои решения в open source. Ещё один ориентир для Cosmos — Конференция RSA (RSA Conference), на которой обсуждаются технологии современной защиты информационных систем, проблемы безопасности, тенденции развития сетевых угроз и вредоносных программ и т.д.

Денворт также сообщил, что был разработан кодекс поведения участника и начался набор экспертов для руководства контентными треками. На должность менеджера сообщества назначен Джонас Росланд (Jonas Rosland), занимавший должности менеджера сообщества в VMware, CIQ и Dell EMC. К сообществу уже присоединились NVIDIA, xAI, Supermicro, Deloitte, WWT, Cisco, CoreWeave, Core42, NEA, Impetus, Run:AI и Dremio.

Источник изображения: VAST Data

Параллельно VAST Data объявила о новом сотрудничестве с NVIDIA, Cisco и Equinix, пишет ресурс Blocks and Files. На прошедшей неделе VAST Data представила решение VAST InsightEngine with NVIDIA для безопасного получения, обработки и извлечения всех корпоративных данных (файлов, объектов, таблиц и потоков) в режиме реального времени. В нём VAST Data интегрировала своё ИИ-хранилище и обработку данных с ускорителями NVIDIA и микросервисами NIM. Теперь ускорители могут напрямую работать с данными в массивах VAST, а микросервисы NIM работают непосредственно внутри программной среды VAST.

В свою очередь, Cisco в рамках сотрудничества с VAST Data планирует предлагать ПО VAST Data Platform на некоторых серверах UCS в качестве готовой интегрированной системы. Серверы Cisco UCS с ПО VAST Data и Cisco Nexus HyperFabric AI будут доступны в I половине 2025 года. А Equinix, которая уже предлагает оборудование Dell, NetApp, PureStorage и Seagate (Lyve Cloud) в 26 объектах IBX, планирует добавить платформу VAST для систем NVIDIA DGX, включая SuperPOD, а также платформу NVIDIA AI Enterprise. Сотрудничество с NVIDIA, Cisco и Equinix позволит VAST Data расширить возможности поставок своего продукта на рынки различных стран.

Глобальная консалтинговая компания Accenture и NVIDIA объявили о расширении партнёрства, в рамках которого Accenture создала новую бизнес-группу Accenture NVIDIA Business Group с целью помочь предприятиям быстро внедрить и масштабировать ИИ-решения. Также будет проведено обучение 30 тыс. сотрудников Accenture по всему миру полному набору ИИ-технологий NVIDIA. Это одна из крупнейших сделок на рынке.

Новая структура Accenture сосредоточится на стимулировании корпоративного внедрения так называемых «агентных систем ИИ», используя преимущества ключевых программных платформ NVIDIA. Как сообщает ресурс CRN, директор по ИИ Accenture Лань Гуань (Lan Guan) заявил на встрече с журналистами, что агентные системы включают в себя «армию ИИ-агентов», которые работают вместе с людьми, чтобы «принимать решения и точно выполнять задачи даже в самых сложных рабочих процессах».

Согласно пресс-релизу, агентные системы — это прорыв в области генеративного ИИ. Они могут автономно действовать в соответствии с намерениями пользователя, создавать новые рабочие процессы и предпринимать действия с учётом окружения, что может целиком реорганизовать бизнес-процессы или отдельные функции. По словам Гуаня, в отличие от чат-ботов, таких как ChatGPT, ИИ-агенты не требуют запросов и подсказок от людей и не предназначены для автоматизации уже существующих бизнес-шагов.

Источник изображения: Accenture

В своей работе Accenture NVIDIA Business Group будет полагаться на собственную платформу AI Refinery, которая использует полный стек NVIDIA AI, включая NVIDIA AI Foundry, AI Enterprise и Omniverse для продвижения таких направлений, как реорганизация процессов, моделирование на основе ИИ и суверенный ИИ. AI Foundry помогает в разработке кастомных ИИ-моделей, предоставляя доступ к базовым моделям, фреймворкам и инструментам. AI Enterprise предлагает микросервисы и инструменты для разработки, оптимизации и развёртывания приложений ИИ. Наконец, Omniverse ориентирована на создание цифровых двойников производственных процессов и т.п.

Accenture также заявила, что открывает сеть инженерных ИИ-центров в Сингапуре, Токио, Малаге и Лондоне, которые помогут ей во внедрении агентных систем ИИ. Эти центры станут частью Центра передового ИИ Accenture (Center for Advanced AI) в дополнение существующим филиалам в Маунтин-Вью и Бангалоре, и будут сосредоточены на подборе и тюнинге базовых моделей с последующим крупномасштабном инференсом. Кроме того, Accenture предложит NVIDIA NIM Agent Blueprints, шаблоны ИИ-приложений NIM Agent Blueprints для типовых бизнес-задач.

Источник изображения: Simon Kadula / Unsplash

В частности, Accenture подготовит Blueprint для моделирования производств с использованием парка роботов, который объединяет NVIDIA Omniverse, Isaac и Metropolis. Accenture планирует использовать эти новые возможности в Eclipse Automation, принадлежащей её компании по автоматизации производств. Это позволит вполовину ускорить подготовку проектов и почти на треть сократить время развёртывания.

Следует отметить, что на прошлой неделе Accenture сообщила о том, что в 2024 финансовом году, закончившемся 31 августа, у неё было на $3 млрд новых заказов на генеративный ИИ, $1 млрд из которых пришёлся на IV квартал. Для NVIDIA партнёрство с Accenture является частью реализации плана по расширению влияния на глобальных системных интеграторов (GSI) и другие многонациональные компании, которые имеют значительное влияние на предприятиях. Например, Infosys год назад заявила, что обучит и сертифицирует в рамках партнёрства с NVIDIA 50 тыс. сотрудников, которые изучат особенности аппаратных и программных ИИ-решений NVIDIA.

Известный изобретатель Джей Пи Вассёр (JP Vasseur), проработавший в Cisco 25 лет, присоединится к NVIDIA. По данным CRN, новость появилась вскоре после того, как финансовый директор NVIDIA Колетт Кресс (Colette Kress) объявила о запуске новых сетевых Ethernet-решений серии Spectrum-X, продажи которых должны принести компании миллиарды долларов.

Вассёр некогда считался самым плодовитым изобретателем Cisco. До недавнего времени он занимал пост вице-президента и занимался разработкой решений и сетей для систем машинного обучения и ИИ. Теперь он возглавит разработку ИИ-решений и сетевой архитектуры в NVIDIA. По словам Вассёра, он имеет 32 года общего опыта в области сетей, а последние 13 лет посвятил ИИ и сетевым продуктам. Решение нанять ветерана, успешно работавшего на стыке ИИ и сетевых технологий, косвенно свидетельствует о том, что NVIDIA сделает сетевые продукты одним из главных приоритетов.

Источник изображения: Marten Bjork / Unsplash

Выручка NVIDIA от Ethernet-решений, включая продукты Spectrum-X, удвоилась в сравнении с прошлым кварталом. По словам Кресс, продукты пользуются поддержкой OEM/ODM-партнёров и внедряются поставщиками облачных услуг и другими компаниями, включая X.ai. Серия Spectrum-X в ближайшем будущем позволит масштабировать вычислительные кластеры до миллионов ускорителей вместо десятков тысяч сегодня, говорит NVIDIA.

Примечательно, что недавно NVIDIA вошла в консорциум Ultra Ethernet, который фактически разрабатывает открытый интерконнект нового поколения для HPC/ИИ-сред, способный конкурировать с InfiniBand. Единственным производителем InfiniBand-решений является как раз NVIDIA, которая до этого долгие годы продвигала его в качестве наиболее предпочтительной сетевой платформы для своих же ИИ-систем. Впрочем, про Ethernet она тоже не забывала.

Источник изображения: NVIDIA

Вассёр, последние четверть века проработавший в Cisco, в 2019 году был назван в блоге компании «главным изобретателем» — на его счету 483 патента, связанных с ключевыми технологиями, от машинного обучения и ИИ в сфере безопасности на предприятиях до Интернета вещей. В должности вице-президента он, по его словам, руководил разработкой LLM и спецификаций вариантов использования генеративного ИИ, тюнингом моделей и RAG и др. Ранее Вассёр занимал руководящие посты, связанные с работой над прогностическими сетями, IoT и распознаванием киберугроз. Кроме того, он возглавлял рабочие группы в IEEE и IETF и приложил руку к созданию сетевых стандартов.

Уходя из Cisco пару недель назад, Вассёр напомнил о том, что именно он содействовал рождению и бурному росту интернета, в развитие которого именно Cisco в своё время внесла значительный вклад. Теперь талантливый изобретатель заявляет, что его «невероятно вдохновляют» перспективы NVIDIA и он рад присоединиться к талантливой команде.

За девять месяцев 2024 года в госсекторе России вдвое вырос год к году спрос на ИИ-серверы с ускорителями, затраты на закупки которых в ходе 30 тендеров составили 1,7 млрд руб., пишет «Коммерсантъ» со ссылкой на производителя вычислительной техники «Гравитон» (входит в структуру 3Logic Group). Для сравнения, за девять месяцев 2023 года, по данным «Гравитона», было проведено 16 таких тендеров по госзакупкам (по 223-ФЗ и 44-ФЗ) на сумму 930 млн руб.

По словам директора департамента серверных и сетевых систем «Гравитона» Александра Фильченкова, в госсекторе ИИ-технологии используются в первую очередь для интеллектуального анализа данных и в системах принятия решений. «Почти треть российских компаний заявили о планах внедрения ИИ в течение трёх лет, поэтому стоит ожидать дальнейшего роста спроса на это оборудование», — сообщил он.

Источник изображения: Fynephoqus / Unsplash

В апреле «Ведомости» отметили возросший спрос на аренду серверов для обучения моделей ИИ. По оценкам iKS-Consulting, выручка дата-центров от аренды ИИ-серверов в 2023 году составила 6,6 млрд руб., основными игроками были Cloud.ru, «Яндекс», «Крок», «МегaФон» и другие.

В числе сдерживающих факторов удовлетворения спроса отечественных компаний в «Гравитоне» назвали то, что серверы для работы с ИИ в основном основаны на ускорителях NVIDIA, ограничившей из-за санкций США доступ к своим технологиям. В связи с этим российские организации начали рассматривать сотрудничество с китайскими и отечественными разработчиками решений того же типа.