NVIDIA GB200 NVL72: Архитектура стойки, питание, охлаждение и требования к ЦОД

NVIDIA GB200 NVL72 — стоечная вычислительная система, которая объединяет 72 GPU Blackwell и 36 процессоров Grace. Ускорители связаны общим NVLink-доменом, а вычислительные модули, коммутация, питание и жидкостное охлаждение спроектированы как единый комплекс.

Для заказчика это означает смену масштаба проекта. Недостаточно найти свободное место в серверной и заказать несколько мощных линий питания. Нужно согласовать электрическую нагрузку, отвод тепла, внешнюю сеть, хранение данных, программную среду и маршрут доставки стойки.

Как устроена NVIDIA GB200 NVL72

Один суперчип GB200 содержит процессор Grace и два GPU Blackwell. В полной системе NVL72 таких суперчипов 36. Поэтому формулировки «72 GPU» и «72 GB200» не равнозначны: последняя означала бы другое количество вычислительных компонентов.

В рассматриваемой одностоечной компоновке установлены 18 вычислительных модулей, или compute trays. Каждый содержит два Grace CPU и четыре GPU. Еще девять модулей занимают NVLink-коммутаторы, через которые ускорители разных вычислительных узлов обмениваются данными.

Почему это не девять независимых восьми-GPU серверов

Различие в границах быстрого взаимодействия. В типовой восьми-GPU системе локальный NVLink-домен ограничен соответствующей платформой. В NVL72 он охватывает ускорители нескольких вычислительных узлов внутри стоечной системы.

Такой подход полезен, когда части одной задачи часто обмениваются данными: при распределенном обучении, работе с крупной моделью или интенсивных коллективных операциях. Но для множества независимых задач отдельные серверы могут оказаться удобнее по закупке, размещению и обслуживанию.

NVL72 не превращает 18 операционных систем в одну ОС и не избавляет разработчиков от распределенного запуска. Схему параллелизма, размещение модели и программные зависимости все равно нужно проверять. Различия классов готовых систем разобраны в обзоре линейки NVIDIA DGX.

NVLink, внешняя сеть и хранение: три разных задачи

NVLink обслуживает высокоскоростной обмен между GPU. Для GB200 NVIDIA указывает двунаправленную полосу до 1,8 ТБ/с на GPU и около 130 ТБ/с в совокупности для NVL72. Это не скорость одного сетевого порта, не результат теста приложения и не пропускная способность подключения к СХД.

Внутри стойки связь проходит через специализированные соединения, кабельные картриджи и NVLink switch trays. Эту систему нельзя заменить обычными Ethernet-коммутаторами. Принцип взаимодействия ускорителей подробно объяснен в материале о NVLink и NVSwitch.

Для выхода за пределы NVLink-домена нужна внешняя вычислительная сеть. В документации DGX GB200 указаны ConnectX-7 с портами 400 Гбит/с, тогда как GB300 использует другой набор адаптеров. Переносить на GB200 параметры 800G из описания следующего поколения нельзя без проверки конкретной конфигурации.

Проект сети должен разделять несколько функций:

• обмен между вычислительными системами;

• доступ к общему хранилищу;

• развертывание и управление программной средой;

• внеполосное управление оборудованием, доступное независимо от рабочей ОС;

• связь с корпоративной сетью и разрешенными внешними ресурсами.

Как не оставить GPU без данных

Приемка только вычислительной части не покажет, сможет ли хранилище выдавать данные с нужной скоростью. Особенно заметно это на одновременном чтении множеством процессов и записи крупных checkpoint — контрольных точек, необходимых для продолжения работы после остановки.

Например, если проект требует сохранить условные 6 ТБ за 120 секунд, средняя полезная скорость записи должна составить не менее 50 ГБ/с. Это простой расчет объема за время, а не характеристика GB200. К нему добавляются конкурирующие операции, накладные расходы и необходимый запас.

Локальные NVMe можно использовать для предусмотренных архитектурой задач, но они не заменяют общее хранилище и независимую защиту данных автоматически. Подробнее о выборе уровней хранения — в статье о датасетах и checkpoint в AI-кластере.

Электропитание GB200 NVL72: от цифры в паспорте к проекту ЦОД

В руководстве NVIDIA DGX GB указана мощность стойки около 120 кВт. Для исполнения Supermicro SRS-GB200-NVL72-M1 производитель приводит рабочий диапазон 125–135 кВт. Это разные документированные значения, а не основания выбрать среднее и применить его к любой NVL72.

В DGX питание распределяется через силовые полки и DC-шину. Полки преобразуют входное переменное напряжение в постоянное; резервирование строится на нескольких силовых модулях. Эти особенности описаны в руководстве NVIDIA по оборудованию DGX GB.

Для согласования с площадкой нужно разделить четыре величины:

1. Расчетную нагрузку конкретной стойки в принятой конфигурации.

2. Фактическое потребление на рабочем приложении, которое меняется во времени.

3. Установленную мощность блоков питания с учетом резервных компонентов.

4. Нагрузку внешних систем: охлаждения, сети, хранения и управляющих серверов.

Что запросить у поставщика и ЦОД

До заказа должны быть согласованы схема вводов, напряжение и частота, состав силовых полок, разъемы, допустимые нагрузки и распределение по независимым трактам. Электрический проект также учитывает защиту, заземление, переходные процессы и режимы обслуживания.

Если заявлено резервирование, нужно проверить всю цепочку, а не только блоки в стойке. Два кабеля от одного незащищенного источника не дают независимых трактов. При потере предусмотренного элемента оставшаяся часть инфраструктуры должна выдержать согласованный режим работы.

На стороне ЦОД отдельно оценивают ИБП, распределение питания и доступную мощность в аварийном режиме. Подбор кабелей, аппаратов защиты и схем подключения выполняет квалифицированный проектировщик по документации поставляемой системы. Значения из обзорной статьи для этого недостаточны.

Пример оценки энергопотребления

Допустим, для предварительного расчета принята постоянная IT-нагрузка 132 кВт. За 30 суток непрерывной работы она потребит:

132 × 24 × 30 = 95 040 кВт·ч, или 95,04 МВт·ч.

Это сценарий для бюджета, не прогноз реального графика GB200 NVL72. Чтобы оценить затраты на электроэнергию, нужно использовать измеренный или согласованный профиль нагрузки, тариф и принятую методику учета инфраструктурных расходов.

Не следует механически прибавлять к мощности стойки паспортную холодопроизводительность CDU. Тепло, которое оборудование переносит, и электричество, которое оно потребляет, измеряются в кВт, но описывают разные процессы.

Жидкостное охлаждение: что именно нужно подготовить

В GB200 NVL72 жидкость отводит тепло от компонентов через холодные пластины. Теплоноситель проходит по внутреннему контуру, а коллекторы распределяют его между модулями. Это direct-to-chip охлаждение, а не погружение оборудования в жидкость.

При этом часть компонентов продолжает охлаждаться воздухом. В описании вычислительных модулей DGX NVIDIA отдельно указывает воздушное охлаждение сетевых устройств и накопителей. Поэтому наличие жидкостного контура не отменяет вентиляцию, контроль температуры на входе и расчет остаточной тепловой нагрузки на зал.

Точное разделение тепла между жидкостью и воздухом нужно получить для выбранной системы. Универсальное утверждение «в жидкость уходит 100%» здесь неприемлемо, как и перенос фиксированного процента из другой стойки.

Зачем нужен CDU

CDU, или coolant distribution unit, управляет циркуляцией и параметрами теплоносителя. В типовой схеме liquid-to-liquid он также передает тепло через теплообменник между контуром оборудования и контуром здания. Наличие CDU само по себе не означает, что у ЦОД достаточно мощности для окончательного отвода этого тепла.

При подборе согласуют не только номинал в кВт. Нужны рабочие температуры, расход, перепад давления, состав жидкости, допустимые загрязнения, материалы контура и условия резервирования. Заявленная холодопроизводительность имеет смысл только вместе с условиями, при которых она обеспечивается.

Какие параметры нужны до проектирования

Универсальную температуру подачи или расход для всех GB200 NVL72 назначать нельзя. Документ должен относиться к конкретной стойке, ее компонентам и выбранной системе охлаждения. Общая архитектура описана в материале о жидкостном охлаждении серверов и ЦОД.

Можно ли обойтись без воды ЦОД

У производителей встречаются решения liquid-to-air: жидкость отводит тепло от оборудования, затем теплообменник передает его воздуху. Такой вариант позволяет обойтись без подключения к жидкостному контуру здания, если это предусмотрено комплектом и проектом.

Но тепло не исчезает. Его должна принять воздушная система охлаждения помещения, причем с учетом мощности, размещения теплообменника и движения воздуха. Поэтому «без facility water» не означает «подойдет для любой серверной с кондиционером».

Размещение стойки: габариты, пол и маршрут доставки

Требования к площадке начинаются на разгрузке. До заказа нужно проверить весь маршрут: проемы, повороты, лифт, пандусы, пороги и участок до окончательной точки установки. Габариты транспортной упаковки могут отличаться от рабочих размеров стойки.

Для SRS-GB200-NVL72 Supermicro указывает исполнение 48U с размерами 600 × 1068 × 2236 мм, ширина × глубина × высота. Это пример конкретной модели, а не стандарт для всех GB200 NVL72. Размеры CDU, шлангов, кабельных вводов и зон обслуживания должны войти в план размещения отдельно.

По полу нужно проверить допустимые распределенные и точечные нагрузки. Деление общей массы на площадь основания не описывает нагрузку на колесо во время перевозки или на отдельную опору после установки. Массу в транспортном и рабочем состоянии, способ перемещения и требования к основанию запрашивают у производителя.

Часть требований похожа на обычную установку серверной стойки, но уровень интеграции другой. Переставить вычислительные модули в произвольный шкаф только потому, что у него достаточно юнитов, нельзя: важны силовая шина, NVLink-соединения, коллекторы и механическая совместимость.

Программная среда и эксплуатация

Grace использует архитектуру Arm. До закупки нужно проверить не только поддержку GPU в основной библиотеке, но и всю среду: контейнеры, сторонние расширения, агенты мониторинга, средства защиты и управления данными. Образ, собранный только для x86-64, нельзя считать готовым к штатному запуску на Arm64 без проверки.

NVLink между вычислительными узлами также требует согласованного программного стека. В него входят драйверы, компоненты управления фабрикой и средства межузловой работы с памятью. Установка свежей версии одного пакета отдельно от остальных может нарушить проверенное сочетание версий.

В эксплуатации полезно свести в один мониторинг состояние вычислений и инженерной инфраструктуры. Ошибка приложения может совпасть с ограничением мощности, изменением температуры или проблемой сети. Раздельные журналы без единого времени усложняют поиск причины.

Заранее определите владельцев системы: кто обновляет ПО стойки, кто обслуживает CDU, кто отвечает за контур здания и кто принимает решение об остановке нагрузки. Резервирование компонентов не заменяет понятного порядка действий при неисправности.

Когда NVL72 оправданна, а когда стоит выбрать меньшее решение

Стойка имеет смысл, если задаче действительно нужен большой домен быстрого обмена GPU и есть план его загрузки. Это может быть крупное распределенное обучение или инференс, где размещение модели и обмен между ускорителями существенно влияют на результат.

Для небольших моделей, нерегулярных экспериментов и множества независимых заданий полезно сравнить NVL72 с несколькими отдельными GPU-серверами. Считать нужно стоимость рабочего результата, ограничения по задержке и загрузку оборудования, а не только число ускорителей в закупке.

Если рассматривается следующее поколение, сравнивайте GB200 с GB300 NVL72 по конкретному приложению и полному проекту. Требования новой платформы к памяти, сети, питанию и охлаждению нельзя автоматически приписывать GB200.

На практике возможны три исхода обследования:

• Площадка готова, а тест приложения подтверждает пользу NVL72. Можно переходить к детальному проекту и согласованию поставки.

• Вычислительная задача подходит, но инфраструктура не готова. В бюджет и календарный план включают модернизацию или размещение на другой площадке.

• Польза большого NVLink-домена не подтверждена. Сначала сравнивают меньшую конфигурацию или аренду подходящей инфраструктуры, затем возвращаются к решению о покупке.

NVIDIA GB200 NVL72: цена стойки и стоимость внедрения

Цена NVIDIA GB200 NVL72 без состава поставки мало говорит о бюджете проекта. В одном предложении могут быть включены CDU, сетевые компоненты и пусконаладка, в другом — только вычислительная стойка. Сравнивать такие суммы напрямую нельзя.

Смету удобно разделить на несколько блоков:

У Start Server есть карточки Supermicro GB200 NVL72 и других исполнений этой архитектуры. Для сравнения с вариантом GIGABYTE GB200 NVL72 нужно запросить одинаковый перечень оборудования, работ и обязательств по поддержке.

Как проверить готовность ЦОД и принять систему

До размещения заказа стоит составить матрицу готовности площадки. Для каждого пункта нужны документ, ответственный и согласованный результат, а не только устное подтверждение «место найдется».

Приемку полезно разделить на заводскую проверку комплекта и испытания после установки. На площадке контролируют не только обнаружение всех GPU, но и состояние NVLink, работу внешней сети, доступ к СХД, длительную нагрузку и инженерные параметры.

Критерии должны соответствовать приложению: например, время шага обучения или скорость инференса при заданной задержке, размере контекста и параллельности. Пиковые FLOPS из спецификации не заменяют эти показатели. Температуры и потребление записывают одновременно с результатом теста.

Отказные проверки выполняют только по утвержденной программе с участием ответственных специалистов. Нельзя экспериментально отключать питание или циркуляцию на рабочей системе без согласованного сценария. Общий подход к формированию программы приведен в статье о приемке GPU-сервера.

Вопросы и ответы

Сколько GPU и суперчипов в GB200 NVL72?

В полной системе 72 GPU Blackwell и 36 CPU Grace, то есть 36 суперчипов GB200. Число 72 в названии относится к GPU в NVLink-домене, а не к количеству суперчипов.

Можно ли установить ее в обычную серверную?

Только после проверки конкретной площадки. Нужны достаточное электроснабжение, поддерживаемая схема отвода тепла, подходящее основание, маршрут доставки и внешняя инфраструктура. Свободного места в зале недостаточно.

Какую мощность закладывать на стойку?

Ту, которая указана в согласованной документации выбранного исполнения и режиме подключения. Около 120 кВт у DGX и 125–135 кВт в паспорте Supermicro SRS-GB200-NVL72-M1 показывают масштаб, но не являются универсальным техническим условием для всех поставок.

Можно ли охлаждать GB200 NVL72 только воздухом?

Нельзя заменить предусмотренный жидкостный контур обычным обдувом. При использовании поддерживаемого liquid-to-air решения компоненты по-прежнему охлаждаются жидкостью, а тепло передается воздуху через отдельный теплообменник. Возможности охлаждения зала нужно подтвердить расчетом.

NVLink заменяет сеть между стойками?

Нет. В описываемой системе NVLink объединяет GPU внутри одного домена. Для межстоечных вычислений, хранения и управления проектируют внешние сети. Их пропускная способность не равна суммарной полосе NVLink.

13,4 ТБ HBM можно использовать как память одной видеокарты?

Это суммарная память нескольких GPU. Приложению нужны подходящие средства распределенного выполнения и управления данными. Поддержка доступа между узлами не делает любую программу автоматически готовой к работе со всем объемом.

От чего зависит цена NVIDIA GB200 NVL72?

От производителя, комплектации, охлаждения, внешней сети, ПО, поддержки и состава работ. Для бюджета внедрения к стоимости стойки добавляют необходимые изменения ЦОД и эксплуатационные расходы. Сравнивать нужно предложения с одинаковыми границами проекта.

С чего начать проект GB200 NVL72

Подготовьте описание нагрузки, требования к производительности и доступности, параметры электроснабжения и охлаждения площадки. Добавьте схему сети, требования к хранению и ограничения доставки. Эти данные позволят проверить реализуемость проекта до закупки.

Подбор AI-серверов и стоечных систем стоит завершать согласованной спецификацией и программой приемки. Тогда заранее понятно, какое оборудование требуется, что нужно изменить в ЦОД и по каким результатам система будет признана готовой к эксплуатации.