Разработчик ИИ-чипов Rebellions планирует расширить своё присутствие за пределами Южной Кореи с помощью поставок новой стоечной вычислительной платформы, которая не потребует от предприятий использования жидкостного охлаждения или сверхмощных стоек, пишет The Register. Основанный в конце 2020 года стартап производит ИИ-ускорители, которые используются многими компаниями Южной Кореи.

Главный коммерческий директор Rebellions Маршалл Чой (Marshall Choy) сообщил The Register, что поначалу компания сосредоточились на телекоммуникационных предприятиях, поставщиках услуг и корпоративных пользователях на южнокорейском рынке. «Мы разработали сценарии использования для всего, от колл-центров и обслуживания клиентов до систем видеонаблюдения для национальной системы автомагистралей», — отметил он, добавив, что компания сейчас находится в сильной позиции, а накопленный ею опыт и возможности позволяют расширять поставки в другие регионы.

Источник изображения: Rebellions

После выпуска ИИ-ускорителя Rebel Quad, переименованного в Rebel100, компания начала предпринимать шаги по выходу на международный рынок. За последние несколько месяцев Rebellions открыла офисы в Японии, Саудовской Аравии, на Тайване и в США, где надеется завоевать доверие предприятий с помощью своих стоечных систем RebelRack и RebelPods на базе Rebel100.

Ускоритель Rebel100, в отличие от NVIDIA H200, базирующегося на монолитном вычислительном кристалле, изготовленном TSMC, использует чиплетную архитектуру с четырьмя вычислительными кристаллами, произведёнными и упакованными Samsung. К нему подключены четыре стека памяти HBM3e общей ёмкостью 144 Гбайт и пропускной способностью 4,8 Тбайт/с. Благодаря тому, что Rebellions — южнокорейская компания, тесно связанная как с чеболем SK, так и с Samsung, крупнейшими поставщиками HBM, у неё нет проблем с закупкой этой памяти.

Сам Rebel100 выпускается в виде PCIe-карты с TDP 600 Вт и производительностью до 1 Пфлопс в режиме FP16 и до 2 Пфлопс на операциях FP8. Референсный дизайн Rebellions предусматривает размещение восьми таких карт в одном 19″ узле с воздушным охлаждением. Опора на стандартные форм-факторы была ключевым приоритетом при проектировании Rebellions, поскольку это позволяет развернуть системы в существующих корпоративных ЦОД, тогда как последние поколения ускорителей NVIDIA требуют СЖО.

Источник изображения: Rebellions

Стоечная система RebelRack будет включать четыре таких узла, объединённых 400GbE-сетью, что в сумме даст 32 ускорителя с общей производительностью 64 Пфлопс (FP8) и 4,6 Тбайт HBM3e с агрегированной ПСП 153,6 Тбайт/с. Для более крупных развёртываний предназначена стоечная система RebelPod, которая может масштабироваться от 8 до 128 узлов, каждый из которых имеет восемь ускорителей Rebel100, соединённых 800GbE-интерконнектом. Чой говорит, что в дальнейшем компания будет уделять первостепенное внимание сетевой инфраструктуре.

The Register отметил на примере стоечных систем от AMD и NVIDIA, что вычислительные ресурсы и сетевые возможности — это лишь две части решения задачи. Также необходимо ПО, которое сможет объединить всё это. Программный стек Rebellions работает на основе open source фреймворков, таких как vLLM, PyTorch и Triton. Для дезагрегированного инференса используется llm-d, ещё один открытый инструмент, позволяющий выполнять предварительное заполнение на одном наборе ускорителей, а декодирование — на другом. «Всё — open source, от vLLM до самого высокого уровня стека, Red Hat, OpenShift и т.д., — сказал Чой. — Если вы использовали какие-либо из этих технологий в другом контексте, вы уже знаете, как использовать Rebellions».

В понедельник стартап привлёк $400 млн в рамках предварительного раунда финансирования, который возглавили Mirae Asset Financial Group и Корейский национальный фонд развития, как для поддержки своей экспансии на международном рынке, так и для дальнейшего развития более совершенных и эффективных акселераторов и систем ИИ. По данным The Register, компания может подать заявку на IPO уже в этом году или в начале следующего.

Южнокорейский разработчик ИИ-чипов Rebellions, по сообщению Datacenter Dynamics, провёл раунд финансирования Series C, в ходе которого на развитие привлечено $250 млн. В число инвесторов вошли Arm и Samsung Ventures. В результате стартап получил оценку на уровне $1,4 млрд. Фирма Rebellions, основанная в 2020 году, создаёт ускорители для ИИ-инференса, которые обеспечивают энергоэффективность и высокую производительность при небольших задержках.

В 2023 году Rebellions начала массовое производство серверных ускорителей Atom и Atom Max для запуска больших языковых моделей (LLM) в дата-центрах. А в мае нынешнего года стартап представил ускоритель Rebel-Quad, оснащённый 144 Гбайт памяти HBM3e с пропускной способностью до 4,8 Тбайт/с. Это изделие, как утверждается, обеспечивает ИИ-производительность до 1 Пфлопс в режиме FP16 и до 2 Пфлопс на операциях FP8. Устройство выполнено в виде карты расширения с интерфейсом PCIe 5.0 x16. Заявленное энергопотребление — до 600 Вт. Rebellions отмечает, что по эффективности (количеству транзакций на 1 Вт затрачиваемой энергии) ускоритель Rebel-Quad приблизительно в 3,2 раза превосходит изделие NVIDIA H200.

Источник изображения: Rebellions

В инвестиционном раунде Series C, помимо Arm и Samsung Ventures, приняли участие Korea Development Bank и Korelya Capital. Полученные средства будут направлены в том числе на организацию массового производства Rebel-Quad, а также на укрепление позиций на рынках США, Европы и Азиатско-Тихоокеанского региона. По заявлениям Rebellions, её решения уже применяются клиентами в Японии, Саудовской Аравии и США.

Нужно отметить, что в январе 2024 года Rebellions осуществила раунд финансирования Series B, в ходе которого было получено $124 млн. Позднее компания привлекла $15 млн от Wa’ed Ventures, венчурного подразделения саудовского нефтегазового и химического гиганта Aramco. А в июне 2024-го стартап объявил о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году.

Южнокорейская компания Rebellions, занимающаяся созданием специализированных ИИ-чипов, объявила о сотрудничестве с американским разработчиком процессоров, микроконтроллеров и телекоммуникационных изделий Marvell Technology. Цель партнёрства — выпуск высокопроизводительных и энергоэффективных ИИ-решений для суверенных платформ в Азиатско-Тихоокеанском регионе и на Ближнем Востоке.

Стартап Rebellions основан в 2020 году. Компания проектирует чипы для инференса, способные обеспечить энергоэффективность и высокую производительность при небольших задержках. В январе 2024 года Rebellions провела раунд финансирования Series B, в ходе которого на развитие было привлечено $124 млн. Позднее стартап получил $15 млн от Wa’ed Ventures — венчурного подразделения саудовского нефтегазового и химического гиганта Aramco. Кроме того, фирма Rebellions объявила о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году.

Источник изображения: Rebellions

В заявлении Rebellions говорится, что инфраструктура ИИ становится всё более важной в плане обеспечения национальной конкурентоспособности. На этом фоне наблюдается переход от стандартизированных архитектур на базе GPU к специализированным системам, построенным с применением ASIC. Такой трансформации способствуют суверенные инициативы и проекты региональных поставщиков облачных услуг, которым требуется инфраструктура, обеспечивающая масштабируемость, эффективность и контроль.

Предполагается, что новое партнёрство позволит Rebellions разрабатывать кастомизированные ИИ-ускорители с использованием специализированных платформ Marvell. При этом будут использоваться передовые технологии упаковки чипов, высокоскоростные SerDes-блоки и межкомпонентные соединения. Новые чипы, как ожидается, обеспечат возможность высокопроизводительного и энергоэффективного инференса.

В целом, сотрудничество позволит объединить достижения Rebellions в области разработки ИИ-решений с передовыми технологиями интеграции кремниевых компонентов Marvell для создания специализированной инфраструктуры ИИ, отвечающей потребностям государственных организаций.

Шведская компания ZeroPoint Technologies, специализирующаяся на создании решений для оптимизации памяти, объявила о стратегическом альянсе с южнокорейским разработчиком ИИ-чипов Rebellions с целью разработки ИИ-ускорителей для инференс. Компании планируют представить новые продукты в 2026 году, обещая «беспрецедентную производительность в пересчёте на токены в секунду на Вт (TPS/W)», пишет EE Times.

Компании планируют увеличить эффективную пропускную способность и ёмкость памяти для нагрузок инференса, используя технологии сжатия, уплотнения и управления памятью от ZeroPoint Technologies. По словам генерального директора ZeroPoint Technologies Класа Моро (Klas Moreau), аппаратная оптимизация работы с памятью на уровне ЦОД позволит увеличить адресуемую ёмкость с ускорением работы почти в 1000 раз по сравнению с использованием программного сжатия.

Компании планируют улучшить показатели токенов в секунду на Вт без ущерба для точности, используя сжатие модели без потерь для уменьшения её размера и сокращения использования энергии, необходимой для перемещения компонентов модели. Гендиректор Rebellions Сонхён Пак (Sunghyun Park) указал, что партнёрство позволит компаниям переопределить возможности инференса, предоставляя более умную, экономичную и устойчивую ИИ-инфраструктуру.

Источник изображения: ZeroPoint Technologies

Моро ранее заявил, что более 70 % данных, хранящихся в памяти, являются избыточными, что позволяет полностью избавиться от них, добившись сжатия без потерь полезной информации. Такая технология сжатия должна выполнять ряд специфических действий в пределах наносекунды, т.е. всего нескольких тактов: «Во-первых, она должна отрабатывать сжатие и распаковку. Во-вторых, она должна уплотнять полученные данные, собирая небольшие фрагменты в единичную линию кеша, чтобы значительно улучшить видимую пропускную способность памяти, и, наконец, она должна бесперебойно управлять данными, отслеживая все фрагменты. Чтобы минимизировать задержку, такой подход должен работать с гранулярностью линий кеша — сжимая, уплотняя и управляя данными в 64-байт фрагментах — в отличие от гораздо больших блоков 4–128 Кбайт, используемых традиционными методами сжатия вроде ZSTD и LZ4».

По словам Моро, благодаря этой технологии, для базовых рабочих нагрузок в ЦОД гиперскейлера адресуемая ёмкость памяти и пропускная способность могут быть увеличены в два-четыре раза, производительность на Вт может увеличиться на 50 %, а совокупная стоимость владения (TCO) может быть значительно снижена. А для специализированных нагрузок, таких как большие языковые модели (LLM), интеграция программного сжатия в сочетании с встроенной аппаратной декомпрессией (что минимизирует любую дополнительную задержку) уже продемонстрировала прирост примерно на 50 % в адресуемой ёмкости памяти, пропускной способности и токенах в секунду.

Моро утверждает, что грядущая интеграция аппаратной (де-)компрессии обещает ещё более существенные улучшения. Например, для базовых ИИ-нагрузок кластер со 100 Гбайт физической памяти благодаря использованию этой технологии будет функционировать так, как если бы у него было 150 Гбайт памяти. «Это не только представляет собой миллиарды долларов потенциальной экономии, но и может повысить производительность сложных ИИ-моделей», — заявил Моро. «Эти достижения обеспечивают надёжную основу для компаний, производящих чипы ИИ, позволяя бросить вызов доминированию таких гигантов отрасли, как NVIDIA», — добавил он.

Южнокорейский стартап Rebellions представила на днях план развития своих ИИ-ускорителей. Как сообщает Business Korea, компания ускорит выпуск ИИ-чипов нового поколения, которые получат 4-нм модули памяти HBM3e производства Samsung. Samsung же будет отвечать за объединение чипов и HBM в одной упаковке.

Изначально к концу 2024 года планировалось наладить выпуск продукта Rebel Single с одним модулем памяти, но потом было решено выпустить гораздо более производительный вариант Rebel Quad с четырьмя 12-слойными (12-Hi) модулями HBM3e суммарной ёмкостью 144 Гбайт, тоже к концу текущего года. Новинка придёт на смену ускорителю ATOM, который оснащён всего лишь 16 Гбайт GDDR6.

Использование ёмкой и быстрой HBM3e-памяти считается одним из главных преимуществ Rebel Quad, по этому показателю новинки сравнимы с последними ускорители NVIDIA семейства Blackwell. При этом обещано, что новинки будут значительно энергоэффективнее решений NVIDIA и даже ускорителей Groq. Это по-прежнему серверные ускорители для обработки LLM вроде ChatGPT, но подойдут ли они для обучения ИИ-моделей, пока не уточняется.

Источник изображения: Rebellions

Сейчас Rebellions ориентируется на поставки комплексных ИИ-решений «стоечного уровня». В рамках концепуии Rebellion Scalable Design (RDS) будет предложены программно-аппаратные комплексы, которые позволят органично взаимодействовать многочисленным ускорителями и серверам с максимальной производительностью и энергоэффективностью. Речь идёт о решении, теоретически способном конкурировать с NVIDIA CUDA.

Wa’ed Ventures, венчурное подразделение саудовского нефтегазового и химического гиганта Aramco, по сообщению Datacenter Dynamics, инвестировало $15 млн в южнокорейский стартап Rebellions, занимающийся разработкой ИИ-чипов для машинного зрения, чат-ботов и больших языковых моделей (LLM).

Компания Rebellions основана в 2020 году. Она создаёт специализированные решения для инференса, которые обеспечивают энергоэффективность и высокую производительность при небольших задержках. В 2023-м Rebellions освоила массовое производство чипов ATOM, способных, как утверждается, конкурировать с NVIDIA A100 в некоторых задачах. Изделия ATOM предназначены для обработки LLM в дата-центрах.

Источник изображения: Rebellions

В январе нынешнего года Rebellions осуществила раунд финансирования Series B, в ходе которого на развитие было привлечено $124 млн. Инвестиционную программу возглавил оператор KT при участии kt cloud, Shinhan Venture Investment, KDB (Корейский банк развития), Noh& Partners, KB Securities, KB Investment, SV Investment, Mirae Asset Venture Investment, IMM Investment, KT Investment, Seoul Techno Holdings, SDB Investment и ряда других инвесторов.

А в июне 2024-го стартап Rebellions объявил о слиянии с разработчиком ИИ-чипов Sapeon Korea, который был выделен из SK Telecom в 2016 году. Rebellions также сотрудничает с Samsung Electronics в рамках проекта по созданию ускорителя для генеративного ИИ.

Сообщается, что Wa’ed Ventures присоединилась к раунду финансирования Series B. Соучредитель и генеральный директор Rebellions Сонхён Пак (Sunghyun Park) отметил, что инвестиции будут направлены на создание высокопроизводительных и энергоэффективных ЦОД для задач ИИ в Королевстве Саудовская Аравия. Таким образом, Rebellions стала первым корейским стартапом, получившим стратегическое финансирование от Aramco Wa'ed Ventures. В общей сложности на текущий момент компания привлекла более $215 млн финансирования.

Sapeon и Rebellions, два южнокорейский участника альянса AI Platform Alliance, сформированного в прошлом году с целью ускорения внедрения передовых решений в области ИИ, объявили о планах по объединению усилий, чтобы ускорить работу и добиться больших масштабов бизнеса.

Компания Sapeon предлагает чип X330, предназначенный для инференса и обслуживания больших языковых моделей (LLM), а также основанные на этом чипе серверы. В свою очередь, Rebellions разработала NPU ATOM для систем компьютерного зрения и использования с чат-ботами на базе ИИ. Оба производителя участвуют в программе по импортозамещению ИИ-ускорителей, CPU и иных чипов.

Сейчас Южная Корея стремится добиться технологической независимости от зарубежных поставщиков оборудования и ПО. Речь, в первую очередь, об NVIDIA. Ускорители последней в своё время не достались местному IT-гиганту Naver, который временно был вынужден заменить их процессорами Intel Xeon, а впоследствии вместе с Samsung создал собственные ИИ-чипы Mach-1.

Источник изображения: Rebellions

Инициатором слияния Sapeon и Rebellions выступила SK hynix, которая вместе с SK Telecom является акционером Sapeon. В своём заявлении она отметила, эти компании согласились на слияние, поскольку, по их мнению, это позволит создать компанию, способную оказать конкуренцию другим участникам глобального рынка ИИ.

Как отметил The Register, время сейчас имеет решающее значение для Sapeon и Rebellions, поскольку следующие два или три года воспринимаются как «золотое время» для создания компаний, способных стать крупными игроками в области ИИ. Поэтому предполагается провести слияние в кратчайшие сроки с завершением сделки в III квартале и запуском объединённой компании до конца 2024 года.

Источник изображения: Sapeon

В свою очередь, SK hynix планирует оказать помощь объединенной компании в разработке ИИ-полупроводников. Sapeon была выделена SK Telecom в отдельную компанию в 2016 году. Rebellions была создана всего четыре года назад при поддержке прямого конкурента SK Telecom в лице KT Corp., но уже договорилась с Samsung о поставке ей ИИ-чипов, которые будут производиться компанией Chaebol с использованием 4-нм процесса с интеграцией HBM3e.