Компания NVIDIA представила микросервис NIM, входящий в платформу NVIDIA AI Enterprise 5.0 и предназначенный для оптимизации запуска различных популярных моделей ИИ от NVIDIA и её партнёров. NVIDIA NIM позволяет развёртывать ИИ-модели в различных инфраструктурах: от локальных рабочих станций до облаков.

Предварительно созданные контейнеры и Helm Chart'ы с оптимизированными моделями тщательно проверяются и тестируются на различных аппаратных платформах NVIDIA, у поставщиков облачных услуг и на дистрибутивах Kubernetes. Это обеспечивает поддержку всех сред с ускорителями NVIDIA и гарантирует, что компании смогут развёртывать свои приложения генеративного ИИ где угодно, сохраняя полный контроль над своими приложениями и данными, которые они обрабатывают. Разработчики могут получить доступ к моделям посредством стандартизированных API, что упрощает разработку и обновление приложений.

Источник изображений: NVIDIA

NIM также может использоваться для оптимизации исполнения специализированных решений, поскольку не только использует NVIDIA CUDA, но и предлагает адаптацию для различных областей, таких как большие языковые модели (LLM), визуальные модели (VLM), а также модели речи, изображений, видео, 3D, разработки лекарств, медицинской визуализации и т.д. NIM использует оптимизированные механизмы инференса для каждой модели и конфигурации оборудования, обеспечивая наилучшую задержку и пропускную способность и позволяя более просто и быстро масштабироваться по мере роста нагрузок.

В то же время NIM позволяет дообучить и настроить модели на собственных данных, поскольку можно не только воспользоваться облачными API NVIDIA для доступа к готовым моделями, но и самостоятельно развернуть NIM в Kubernetes-средах у крупных облачных провайдеров или локально, что сокращает время разработки, сложность и стоимость подобных проектов и позволяет интегрировать NIM в существующие приложения без необходимости глубокой настройки или специальных знаний.

Исследование Cast AI показало, что клиенты облачных платформ используют в среднем только около 13 % предоставляемых им CPU-ресурсов и примерно 20 % выделенной памяти, передаёт DataCenter Dynamics. Это приводит к росту затрат и увеличению углеродного следа. А из-за того, что одни предприятия запрашивают избыточное количество мощностей, другие не могут получить доступ к вычислительным ресурсам.

Cast AI, предоставляющая средства оптимизации затрат на Kubernetes-платформы, проанализировала работу 4000 кластеров в Amazon Web Services (AWS), Google Cloud Platform и Microsoft Azure в период с 1 января по 31 декабря 2023 года. Оценивались кластеры с 50 и более процессорами.

Источник изображения: Google

Оказалось, что в AWS и Azure уровень использования CPU-ресурсов находится на отметке 11 %, у Google Cloud — 17 %. В плане потребления памяти показатель равен 18 % у Google Cloud, 20 % — у AWS и 22 % — у Azure. В случае крупных кластеров, насчитывающих 1000 и более процессоров, средняя утилизация CPU составляет 17 %.

Аналитики Cast AI называют несколько причин, из-за которых наблюдается недостаточное использование облачных ресурсов. В частности, многие клиенты резервируют больше вычислительных мощностей, чем им необходимо на самом деле. Кроме того, заказчики прохладно относятся к так называемым спотовым инстансам. Такая модель обеспечивает значительную экономию средств (в некоторых случаях до 90 %), но клиенты опасаются возможной нестабильности. Ещё одна причина — недостаточное использование ресурсов кастомизированных инстансов, для которых можно выбрать соотношение CPU и RAM.

Для поставщиков облачных услуг сложившаяся ситуация в некотором смысле играет на руку: из-за неполной загрузки мощностей снижается потребность в электроэнергии. При этом провайдеры по-прежнему получают доход, основанный на гипотетическом использовании их серверов. Но вместе с тем приходится закупать больше дорогостоящего оборудования, чем это по факту необходимо.