Системы оптического интерконнекта ждёт большое будущее — в этом уверено большинство крупных производителей микрочипов. Фотоника неизбежно проникнет и в такую консервативную область, как интерфейсы подключения дисковых накопителей. И в этом направлении сделаны первые практические шаги: на конференции FMS 2024 компания Kioxia показала в работе демонстрационную платформу SSD, оснащенную оптическим интерфейсом.

Источник здесь и далее: Kioxia via ServeTheHome

У нынешнего воплощения физических интерфейсов есть ряд неустранимых недостатков: это и ограниченность четырьмя линиями PCI Express, и определённые габаритные ограничения, и крайне малая длина кабелей, связанная в том числе с проблемами поддержания целостности сигнала, что особенно актуально для высокоскоростных версий PCIe, а также влиянием посторонних электромагнитных помех.

Решение Kioxia, разработанное в рамках «зелёной инициативы» NEDO, ставящей целью 40 % снижение энергопотребления компонентов ЦОД нового поколения, всех этих недостатков лишено. Оптический канал связи никаким электромагнитным помехам не подвержен, а дистанция подключения (в случае решения Kioxia) может составлять до 40 м, причём этот показатель планируется в дальнейшем довести до 100 м.

Кроме того, такой подход упрощает дезагрегацию СХД, благо такое подключение может быть коммутируемым. А заодно можно вынести флеш-накопители за пределы горячей зоны по соседству с CPU и GPU. Kioxia также говорит о более компактных соединительных разъёмах, сравнивая свою новинку с U.2, но стоит помнить, что последний обеспечивает SSD питанием, в то время как чисто оптический интерфейс этого делать не может.

Устройство, показанное на конференции, не было полноценным «оптическим SSD»: к обычному накопителю с интерфейсом U.2 была подключена плата-переходник, на которой располагался трансивер. Однако с учётом успехов, которые в настоящее время делает кремниевая фотоника, оптический интерфейс может быть легко интегрирован на плату самого накопителя. Правда, массовое производство таких SSD, согласно планам Kioxia, рассчитано на использование как минимум PCI Express 8.0, так что увидим мы их явно не завтра. Впрочем, такое решение уже сейчас могло бы подойти для Ethernet SSD.

Финский телеком-гигант Nokia, только что избавившийся от непрофильной с его точки зрения дочерней компании Alcatel Submarine Networks (ASN), анонсировал планы приобрести Infinera за $2,3 млрд. По данным Silicon Angle, сделка должна помочь масштабировать оптический сетевой бизнес компании.

Nokia заявила, что покупка Infinera поможет ускорить развитие в сфере оптических сетевых решений. Информация о сделке появилась после решения Nokia продать бизнес ASN, связанный с выпуском, прокладкой и обслуживанием подводных интернет-кабелей. Это позволит компании переформатировать свой инфраструктурный бизнес, сконцентрировав внимание на фиксированных сетях, IP-решениях и оптических технологиях.

Nokia согласилась выкупить акции Infinera по $6,65/шт., т.е. на 28 % выше их стоимости на момент закрытия торгов в минувшую среду. Как минимум 70 % этой суммы придётся на денежные средства, до 30 % акционеры Infinera смогут получить в виде американских депозитарных акций, принадлежащих Nokia. Nokia также возьмёт на себя долг Infinera на сумму $760 млн в виде конвертируемых облигаций (при некоторых условиях можно конвертировать в акции компании). Oaktree Optical Holdings, L.P., владеющая 11 % акций, проголосовала за проведение сделки.

Nokia приняла решение переформатировать свой оптический сетевой бизнес ещё в 2021 году. Утверждается, что решение было верным и компания получила более широкое признание клиентов, нарастила продажи и увеличила прибыльность. В Nokia считают, что покупка Infinera увеличит масштаб бизнеса в области оптических сетей на 75 %, позволит ускорить выпуск продуктов и повысит конкурентоспособность. Так, Nokia получит разработчиков DSP и фотонных чипов, экспертов в области кремниевой фотоники и полупроводниковых материалов на основе фосфида индия.

Среди преимуществ сделки также отмечается то, что заказчики обеих компаний практически не пересекаются друг с другом. Это позволит Nokia расширить клиентскую базу и привлечь корпоративных заказчиков. Порядка 30 % продаж Infinera приходится на гиперскейлеров. Кроме того, Infinera в последнее время занималась разработкой высокоскоростных энергоэффективных оптических решений для построения сетей внутри ЦОД, которые ориентированы на обслуживание ИИ-кластеров.

Nokia заявила, что сделка позитивно скажется на прибыли на акцию в первый же год после закрытия. К 2027 году прибыль на акцию (EPS) вырастет на 10 %, а операционная прибыль поднимется на €200 млн. Чтобы компенсировать «размывание» акций, совет директоров компании проголосовал за увеличение и ускорение обратного выкупа ценных бумаг, благодаря чему количество акций в обращении уменьшится. Nokia ожидает, что единовременные затраты на интеграцию Infinera составят €200 млн.

Intel ведет исследования в области интегрированной фотоники уже много лет, поскольку успех в этой сфере критически важен для HPC-систем нового поколения. Два года назад компания сообщила о создании технологии, использующей существующие техпроцессы обработки 300-мм кремниевых пластин для формирования массива лазеров вкупе с модуляторами. А сейчас можно говорить о достижении новой важной вехи в этой области.

На OFC 2024 Intel продемонстрировала опытный образец CPU, оснащённый 64-канальным фотонным интерконнектом OCI (Optical Compute Interconnect). Каждый канал позволяет передавать данные на скорости 32 Гбит/с на расстоянии до 100 м, что позволит решить проблему масштабирования HPC-систем и ИИ-комплексов: пропускной способности 2 Тбит/с (256 Гбайт/с) в каждом направлении хватит на многое. А в перспективе скорость будет доведена до 32 Тбит/с.

Источник изображений: Intel

В настоящее время в системах подобного класса для высокоскоростного соединения узлов используются либо решения с внешними оптическими трансиверами, что серьёзно увеличивает стоимость и энергопотреблению в целом, либо классическую «медь», серьёзно ограниченную по максимальной длине кабеля. OCI позволяет избежать обеих проблем.

Чиплет использует DWDM (восемь длин волн на волокно) и при этом экономичен: энергозатраты на передачу информации составляют всего 5 пДж/бит против 15 пДж/бит у решений с внешними оптическими трансиверами. Ранее заявленную цифру 3 пДж/бит пришлось немного увеличить, что связано с интеграцией интерфейса PCIe.

Внешне продемонстрированный образец чипа напоминает выпускавшиеся когда процессоры Xeon с поддержкой Omni-Path, но вместо электрического разъёма у него теперь оптический соединитель на восемь пар волокон. С помощью простого пассивного переходника к нему в демонстрационной системе Inel был подключен типовой оптоволоконный кабель.

Поскольку речь идёт о чиплете, теоретически ничто не мешает разместить модуль OCI в составе GPU/NPU, FPGA, DPU/IPU и вообще любой модульной SoC. При этом чиплет совместим с PCIe 5.0, так что проблем с интеграцией быть не должно, хотя это и не самый оптимальный вариант. А на уровне упаковки поддерживается и UCIe.

Вкупе с предельной дистанцией до 100 м новый чиплет существенно упростит системы интерконнекта: за редкими исключениями, вроде NVIDIA NVLink или Intel Gaudi 3 с его массивом Ethernet-контроллеров, связь организуется посредством PCIe-адаптера InfiniBand, либо Ethernet, в которые устанавливаются оптические трансиверы. Впрочем, и у PCI Express вскоре появится поддержка оптических подключений, что будет на руку Ultra Accelerator Link (UALink).

В следующем поколении пропускная способность каждой линии OCI возрастёт с 32 до 64 Гбит/с, после чего Intel планирует довести число одновременно используемых длин волн до 16. Затем, в промежутке между 2030 и 2035 годами планируется достигнуть 128 Гбит/с на линию, уже с 16 длинами волн и 16 парами волокон. Но без конкуренции здесь не обойдётся. NVLink, который уже сейчас существенно быстрее (1,8 Тбайт/с в нынешнем поколении), вскоре тоже обзаведётся оптической версией. Похожие решения развивают Celestial AI, MediaTek и Ranovus, Lightmatter и Ayar Labs.

Правительство Австралии и штата Квинсленд, по сообщению ресурса Datacenter Dynamics, инвестируют AU$940 млн (приблизительно $620 млн) в создание мощного квантового компьютера. Он будет развёрнут на площадке недалеко от аэропорта Брисбена. Созданием системы займётся калифорнийский стартап PsiQuantum.

PsiQuantum была основана в 2016 году. Своей миссией она называет разработку «первого в мире практически полезного квантового компьютера». Компания заявляет, что её технология даёт возможность в относительно короткие сроки создавать квантовые системы большого масштаба, устойчивые к появлению ошибок. Для этого предлагается использовать существующие технические решения, такие как мощные криогенные системы. Проект, реализуемый стартапом в Австралии, предусматривает строительство фотонного квантового компьютера. Предполагается, что система сможет оперировать приблизительно 1 млн кубитов.

Источник изображения: PsiQuantum

Власти Австралии и штата Квинсленд профинансируют проект в равных долях — примерно по $310 млн. В обмен на инвестиции PsiQuantum создаст региональную штаб-квартиру в штате Квинсленд, откуда будет управлять своими квантовыми системами. Ожидается, что новый компьютер заработает к концу 2027 года. Он будет использоваться для решения сложных задач в различных сферах, включая возобновляемую энергию, добычу полезных ископаемых и металлов, здравоохранение и транспорт.

Правительство Австралии впервые высказало идею развёртывания системы, созданной компанией PsiQuantum, в конце 2023 года. Но тогда проект подвергся критике за то, что власти хотят отдать предпочтение американской фирме, а не австралийским организациям, которые занимаются квантовыми вычислениями. Но теперь, похоже, все разногласия устранены.

Финская Nokia и научно-образовательное IT-объединение SURF из Нидерландов успешно добились скорости передачи данных 800 Гбит/с на существующей трансграничной оптоволоконной сетевой инфраструктуре SURF. По информации Nokia, новых скоростей удалось добиться благодаря применению платформы Photonic Service Engine (PSE-6s).

Ожидается, что внедрение нового решения поможет обмениваться большими массивами данных между Большим адронным коллайдером (БАК), исследовательскими мощностями NL Tier-1 (NL T1) группы SURF и нидерландским институтом NIKHEF, занимающимся атомной энергетикой и смежными проектами. Отмечается, что повысить скорость удалось на старых ВОЛС.

Испытание провели на линии протяжённостью 1648 км между Амстердамом и Женевой, которая пересекает Бельгию и Францию. Это часть сети SURF, связывающая научно-образовательные институты в Нидерландах и других странах мира, включая собственную оптическую сеть БАК (LHC Optical Private Network, LHCOPN). Последняя обеспечивает доступ к данным БАК в CERN. CERN, NIKHEF, SURF и эксперимент ATLAS объединили усилия для испытаний высокоскоростных соединений, которые понадобятся обновлённому варианту БАК HL-LHC.

Источник изображения: Nokia

SERF уже готовит свои сети к росту нагрузок, поскольку обновлённый коллайдер HL-LHC должен заработать в 2029 году. Ожидается, что такая модернизация позволит сделать ещё больше открытий — но данных придётся обрабатывать намного больше, чем это делается сегодня. В Nokia подчёркивают, что эксперимент демонстрирует важнейшую роль сетей передачи данных в инициативах, способных раскрыть секреты вселенной.

В 2024 году нельзя пожаловаться на отсутствие подходящего интерконнекта, если целью является «сшивка» в единую систему сотен, тысяч или даже десятков тысяч ускорителей. Есть NVIDIA NVLink и InfiniBand. Google использует оптические коммутаторы OCS, AMD вскоре выведет Infinity Fabric на межузловой уровень, да и старый добрый Ethernet отнюдь не собирается сдавать позиций и обретает новую жизнь в виде Ultra Ethernet.

Проблема не в наличии и выборе подходящего интерконнекта, а в резкой потере пропускной способности за пределами упаковки чипа (т.н. Memory Wall). Да, память HBM быстра, но намертво привязана к вычислительным ресурсам, а в итоге, как отметил глава Celestial AI в комментарии изданию The Next Platform, индустрия ИИ использует ускорители NVIDIA в качестве самых дорогих в мире контроллеров памяти.

Celestial AI ещё в прошлом году объявила, что ставит своей целью создание универсального «умного» интерконнекта на основе фотоники, который смог бы использоваться во всех нишах, требующих активного обмена большими потоками данных, от межкристалльной (chip-to-chip) до межузловой (node-to-node). Недавно она получила дополнительный пакет инвестиций объёмом $175 млн.

Источник изображений здесь и далее: Celestial AI

Технология, названная Photonic Fabric, если верить заявлениям Celestial AI, способна в 25 раз увеличить пропускную способность и объёмы доступной памяти при на порядок меньшем энергопотреблении в сравнении с существующими системами соединений. Развивается она в трёх направлениях: чиплеты, интерпозеры и оптический аналог технологии Intel EMIB под названием OMIB.

Наиболее простым способом интеграции своей технологии Celestial AI справедливо считает чиплеты. В настоящее время разработанный компанией модуль обеспечивает пропускную способность за пределами чипа на уровне 14,4 Тбит/с (1,8 Тбайт/с), а по размерам он немного уступает стандартной сборке HBM. Но это лишь первое поколение: во втором поколении Photonic Fabric 56-Гбит/с SerDes-блоки SerDes будут заменены на блоки класса 112 Гбит/с (PAM4).

Пресловутая «Стена Памяти»

Поскольку речь идёт о системах с дезагрегацией ресурсов, проблему быстрого доступа к большому объёму памяти Celestial AI предлагает решить следующим образом: новый чиплет, содержащий помимо интерконнекта две сборки HBM общим объёмом 72 Гбайт, получит также поддержку четырёх DDR5 DIMM суммарным объёмом до 2 Тбайт. С использованием 5-нм техпроцесса такой чиплет сможет легко превратить HBM в быстрый сквозной кеш (write through) для DDR5.

Фактически речь идёт об относительно простом и сравнительно доступном способе превратить любой процессор с чиплетной компоновкой в дезагрегированный аналог Intel Xeon Max или NVIDIA Grace Hopper. При этом латентность при удалённом обращении к памяти не превысит 120 нс, а энергозатраты в данном случае составят на порядок меньшую величину, нежели в случае с NVLink — всего 6,2 пДж/бит против 62,5 пДж/бит у NVIDIA.

Новый чиплет Celestial породнит HBM с DDR5 теснее, нежели это сделала NVIDIA

Таким образом, с использованием новых чиплетных контроллеров памяти становятся реальными системы, где все чипы, от CPU до сетевых процессоров и ускорителей, будут объединены единым фотонным интерконнектом и при этом будут иметь общий пул памяти DDR5 большого объёма с эффективным HBM-кешированием. По словам Celestial AI, она уже сотрудничает с некоторыми гиперскейлерами и с одним «крупным производителем процессоров».

По словам руководителя Celestial AI, образцы чиплетов с поддержкой Photonic Fabric появятся во II половине 2025 года, а массовое внедрение начнется уже в 2027 году. Однако это может оказаться гонкой на выживание: Ayar Labs, другой разработчик фотоники, получившая поддержку со стороны Intel, уже показала прототип процессора с интегрированным фотонным интерконнектом.

А Lightmatter ещё в декабре получила финансирование в объёме $155 млн на разработку фотонного интерпозера Passage и якобы уже сотрудничает с клиентами, заинтересованными в создании суперкомпьютера с 300 тыс. узлов. Нельзя сбрасывать со счетов и Eliyan, предлагающую вообще отказаться от технологии интерпозеров и заменить её на контроллеры физического уровня NuLink.

Компании MediaTek и Ranovus объявили о заключении соглашения о сотрудничестве в области разработки оптического интерконнекта для дата-центров, ориентированных на задачи ИИ и машинного обучения. Речь идёт о создании решения Co-Packaged Optics (CPO) с пропускной способностью 6,4 Тбит/с для ASIC MediaTek следующего поколения. Технология CPO предусматривает интеграцию оптических компонентов и традиционных электронных интегральных схем в одном изделии.

Сообщается, что Ranovus создала модуль Odin CPO 3.0 — первую в отрасли монолитную электронно-фотонную интегральную схему для мультитерабитного оптического интерконнекта. Это решение представляет собой специализированный чип, содержащий трансимпедансные усилители (TIA) класса 100 Гбит/с, драйверы, модуляторы на основе кремниевой фотоники и фотодетекторы. Возможно использование интегрированного лазера или внешнего лазерного источника.

Источник изображения: Ranovus

Утверждается, что использование Odin CPO 3.0 позволяет снизить энергопотребление (4 пДж/бит), занимаемую площадь и стоимость системы на 50 % по сравнению с существующими решениями. Предполагается, что использование Odin CPO 3.0 позволит MediaTek создавать наиболее передовые ASIC-решения для дата-центров с высокими ИИ-нагрузками и интенсивным обменом информацией.

«Совместная работа с MediaTek над созданием этой CPO-платформы открывает новую эру оптического интерконнекта высокой плотности в экосистемах ИИ и Ethernet», — говорит Ходжат Салеми (Hojjat Salemi), директор по развитию бизнеса Ranovus.

Компания Celestial AI, занимающаяся созданием технологий оптического интерконнекта, сообщила о проведении раунда финансирования Series C, в ходе которого привлечено $175 млн. Деньги будут использованы для ускорения разработки и вывода передовых продуктов на коммерческий рынок.

Летом прошлого года Celestial AI объявила о разработке технологии Photonic Fabric. Она ориентирована на ИИ-платформы и системы НРС. Благодаря оптическому интерконнекту нового типа ИИ-чипы могут быть соединены с большим пулом высокопроизводительной памяти HBM3, а в перспективе — и HBM4. Таким образом, решается проблема ограниченного объёма памяти HBM в составе ИИ-ускорителей.

По заявлениям Celestial AI, технология Photonic Fabric обеспечивает повышение пропускной способности и объёма доступной памяти более чем в 25 раз при одновременном снижении задержек и энергопотребления примерно в 10 раз по сравнению с существующими оптическими альтернативами и традиционными медными соединениями. Таким образом, можно масштабировать нагрузки ИИ.

Источник изображения: Celestial AI

В июне 2023 года Celestial AI провела раунд финансирования Series B на сумму в $100 млн. Тогда средства предоставили IAG Capital Partners, Koch Disruptive Technologies (KDT), Temasek Xora Innovation, Samsung Catalyst, Smart Global Holdings (SGH), Porsche Automobil Holding SE, The Engine Fund, imec.xpand, M Ventures и Tyche Partners.

Инвестиционная программа Series C проведена под предводительством Фонда инновационных технологий США (USIT) миллиардера Томаса Талла (Thomas Tull), основателя Legendary Entertainment. В программе также приняли участие AMD Ventures, KDT, Temasek, Xora Innovation, IAG Capital Partners, Samsung Catalyst, SGH, Porsche Automobil Holding SE, Engine Ventures, M-Ventures и Tyche Partners.

Coherent анонсировала специализированные оптические коммутаторы для ИИ-кластеров высокой плотности. В основу устройств Optical Circuit Switch (OCS) положена фирменная платформа кросс-коммутации Lightwave Cross-Connect (DLX). В изделиях, в отличие от традиционных коммутаторов, не применяются приемопередатчики для преобразования фотонов в электроны и обратно. Вместо этого все операции осуществляются в оптическом тракте: импульсы поступают в один порт и выходят из другого (конечно, с небольшим ослаблением).

Coherent выделяет несколько ключевых преимуществ своей технологии. Прежде всего значительно возрастает производительность, что важно при решении ресурсоёмких задач, связанных с приложениями ИИ. Кроме того, благодаря отказу от преобразования среды сокращаются энерозатраты. Наконец, отпадает необходимость в обновлении собственно коммутаторов при установке в ЦОД оборудования следующего поколения. Это значительно повышает окупаемость капитальных затрат.

Источник изображения: Coherent

Представленное решение насчитывает 300 входных и 300 выходных оптических портов. Коммутаторы OCS помогают решить проблемы масштабируемости и надёжности дата-центров, ориентированных на приложения ИИ. Аналитики Dell'Oro Group отмечают, что для ИИ-задач требуется более высокий уровень отказоустойчивости, нежели для традиционных приложений. Крайне важно, чтобы коммутаторы, используемые в составе ИИ-платформ, не провоцировали никаких перебоев во время обучения или эксплуатации больших языковых моделей. Устройства Coherent, как сообщается, обеспечивают необходимый уровень надёжности.

Массовые поставки новых коммутаторов планируется организовать в 2025 году. При этом Google уже использует в своих дата-центрах оптические коммутаторы (OCS) собственной разработки на базе MEMS-переключателей для формирования ИИ-кластеров, а Meta✴ совместно с MIT разработала систему TopoOpt, представляющую собой оптическую патч-панель с манипулятором, который позволяет менять топологию сети.

На конференции Hot Chips 34 компания Lightmatter, занимающаяся созданием фотонного ИИ-процессора, рассказала о своей новой разработке, Lightmatter Passage, открывающей для чиплетов эру фотоники. Как известно, переход на чиплеты позволил разработчикам сложных чипов сравнительно малой кровью обойти ограничения, накладываемые технологиями на создание монолитных кристаллов большой площади. Однако современный высокоскоростной межчиплетный интерконнект всё равно весьма сложен и потребляет сравнительно много энергии. И по мере роста количества чиплетов на общей подложке проблема будет лишь обостряться.

Изображения: Lightmatter (via ServeTheHome)

Но технология Lightmatter Passage, призванная заменить электрический интерконнект оптическим, позволит эту проблему обойти. По сути, Passage — универсальная кремниевая прослойка, содержащая в своём составе лазеры, оптические модуляторы, фотодетекторы, волноводы, а также классические транзисторы для сопутствующей логики. Поверх этой прослойки Lightmatter и предлагает размещать чиплеты любой архитектуры.

Электрическая часть Passage имеет изменяемую конфигурацию и в текущей реализации поддерживает установку до 48 чиплетов (в виде матрицы 6×8). Производится такая прослойка из 300-мм кремниевой пластины SOI, верхний и нижний слои Passage имеют классические контакты для чиплетов и установки на PCB соответственно. При этом максимальная подводимая электрическая мощность может достигать 700 Вт. Вся же коммуникация чиплетов между собой происходит внутри и является оптической.

Матрица фотонных волноводов, плотность которой в 40 раз выше, чем у традиционных оптоволоконные технологий, обеспечивает латентность одного перехода на уровне менее 2 нс. Как заявляют разработчики, расстояние между чиплетами при этом роли не играет — для любого сочетания пары точек «входа» и «выхода» сигнала значение задержки одинаково. Высокая плотность волноводов позволяет «накормить» каждый чиплет потоком данных до 96 Тбайт/с, а внешние каналы Passage позволяют связать чипы с другими компонентами системы на скоростях до 16 Тбайт/с.

Основой данной технологии является фирменная разработка компании, позволяющая точно «сшивать» в пределах нескольких слоев SOI-кремния электрические соединения с многочисленными волноводами. Уже существующая в кремнии тестовая реализация Passage потребляет 21 Вт, позволяет устанавливать до 48 чиплетов площадью по 800 мм², обеспечивает каждое посадочное место 32 каналами с пропускной способностью 1024 Тбит/с, причём топологию интерконнекта можно динамически менять.

Тестовая подложка Passage, полученная из 300-мм пластины, содержит 288 лазеров мощностью 50 мВт каждый. Всего в состав системы входит 150 тыс. компонентов, и это заявка на абсолютный рекорд для фотонных чипов. Кроме того, новая технология совместима со стандартом UCIe — говорится о скорости 32 Гбит/с на линию. Впрочем, в случае простого SerDes-соединения, как считают создатели, этот показатель можно поднять до 112 Гбит/с.