Обзор передней и внутренней части ASRock 8U8X-GNR2 B200

Это сервер в формате 8U. ASRock Rack взяла предыдущую 6U-платформу и добавила 2U для питания и охлаждения — чтобы разместить NVIDIA HGX B200.

Верхний ряд — отсеки для накопителей. Первые восемь подключены к GPU, два следующих — для загрузочных дисков.

Лотки накопителей — удобные, без необходимости в инструментах. В одном из них установлен SSD Kioxia для прямого подключения хранилища.

Из 12 накопителей — 10 NVMe. Восемь подключены к GPU, два используются для загрузки. Ещё два отсека в этой системе не задействованы.

Перед процессорами — плата подключения накопителей. Под ней есть слот M.2, но главное отличие — отсутствие PCH. В новых платформах Xeon 6 он больше не используется, в отличие от предыдущих систем с NVIDIA HGX H200 на базе процессоров Intel Xeon 4-го и 5-го поколений.

В этих системах используются длинные кабельные линии PCIe.

Под фронтальными отсеками U.2 размещены порты ввода-вывода. Здесь четыре порта USB.

Рядом — порт VGA. Такое решение обеспечивает широкие возможности для локального подключения.

На фронтальной панели также находятся кнопка питания и светодиоды состояния.

Далее — фирменное решение ASRock Rack: порты 1GbE и управления выведены на переднюю панель. Сигнал от них передаётся на заднюю часть через Ethernet-кабели. На фото ниже показана задняя компоновка.

Если хотите использовать порты для подключения спереди, просто отключите Ethernet-кабели.

Под этим блоком — лоток с восемью GPU NVIDIA HGX B200. Ему мы посвятим отдельный раздел.

Модуль подключается к плате с PCIe-коммутатором в нижней задней части системы. ASRock также добавила силовые разъёмы с автоматическим подключением.

Вот как выглядит нижняя часть системы — с внутренними направляющими, которые фиксируют все компоненты.

Кабелей в системе действительно много — это хорошо видно на фото.

Вот схема подключения PCIe-коммутатора под радиаторами. Плата использует кабели MCIO для связи с материнской платой и фронтальными отсеками накопителей. С одной стороны подключается плата NVIDIA HGX B200, с другой — сетевые карты NVIDIA ConnectX-7.

Нижние 6U системы занимают GPU и сетевые карты. Верхняя часть — как 2U-сервер: спереди накопители, за ними — процессоры и память, далее вентиляторы на межплате и порты ввода-вывода сзади. Описание пойдёт справа налево.

Спереди установлены два процессора Intel Xeon 6 — серии 6700P, 6500P и 6700E.

Преимущество этих процессоров по сравнению с Granite Rapids-AP и AMD EPYC — поддержка памяти в конфигурации 8 каналов с двумя модулями на канал (2DPC). На практике это 16 модулей DDR5 на каждый CPU, всего 32. При объёме памяти GPU более 1,4 ТБ, 2 ТБ системной ОЗУ — это даже меньше, чем 2:1. Большее число слотов позволяет увеличить объём памяти без использования дорогих модулей высокой ёмкости.

Кабели собраны в жгуты, но их всё равно очень много — они проходят по всей системе.

Доступ к модулям памяти не идеален — часть кабелей проходит над слотами. Но зазора хватает, чтобы обслуживать память без особых затруднений.

За процессорами и памятью — не стандартные порты ввода-вывода и не слот OCP NIC 3.0, а только разъёмы MCIO. Это кастомная материнская плата, спроектированная для сокращения длины PCIe-линий до коммутатора, GPU и сетевых карт в нижней части шасси.

В верхней части установлены крупные модули с двумя вентиляторами — они прогоняют воздух через компоненты.

В задней части системы расположены райзеры, принимающие входы по MCIO-кабелям. Справа — райзер x16, предназначенный для подключения сетевых карт, таких как NVIDIA ConnectX-7 или NVIDIA BlueField-3 DPU, — для трафика North-South в AI-кластере.

Слева сзади — второй райзер с разъёмами MCIO и ещё одной сетевой картой.

Он установлен прямо над платой заднего ввода-вывода ASRock Rack 4UXG_IOB.

Рядом расположена небольшая плата распределения питания — для подачи энергии на райзеры при необходимости.

Сборка NVIDIA HGX B200 в ASRock 8U8X-GNR2 SYN B200

Модуль NVIDIA HGX B200 с восемью GPU установлен на выдвижном лотке, который выходит через переднюю часть шасси. GPU могут выходить из строя — из-за сбоя кремния, памяти HBM, датчиков и других компонентов. Поэтому лоток HGX — обслуживаемый узел. В отличие от некоторых систем, здесь не нужно снимать десятки компонентов или вытаскивать сервер из стойки. Достаточно выдвинуть лоток.

С обеих сторон передней панели шасси есть защёлки.

В поколении NVIDIA HGX H200 использовался 4U-лоток с воздушным охлаждением. У HGX B200 — уже 6U, поэтому размещать его на боку нельзя. Несмотря на многолетний опыт работы с системами SXM, это первое поколение, где из-за массивных радиаторов становится критично важным держать лоток строго горизонтально.

Здесь применено интересное решение: вместо разработки собственного механизма направляющих, ASRock Rack использует стандартные салазки King Slide. Всё как в обычных серверных рельсах, только внешняя часть направляющих закреплена не в стойке, а внутри самого сервера.

Для сравнения: вот 4U-модуль NVIDIA HGX H200 в своём лотке рядом с новым 6U-модулем HGX B200 из текущего поколения.

Передняя часть модуля — это большая стенка вентиляторов, увеличившаяся на 2U и получившая дополнительный ряд в этом поколении. Вентиляторы надёжны и выходят из строя редко, особенно в гипермасштабируемых дата-центрах, где на вопрос о запасных вентиляторах чаще всего отвечают: «пару штук». Однако замена занимает некоторое время, и в будущем было бы удобно сделать их сменными по принципу hot-swap с фронтальной стороны.

Эти вентиляторы выполняют ключевую задачу — охлаждают модуль NVIDIA HGX B200 с восемью GPU.

Вентиляторы охлаждают GPU NVIDIA Blackwell, коммутаторы NVLink и другие компоненты. Ключевая особенность платформы NVIDIA HGX с восемью GPU — это NVLink-коммутаторы, обеспечивающие высокоскоростное соединение между всеми видеокартами.

Для подключения к основной системе используются высокоплотные разъёмы UBB на базовой плате — это критически важный элемент конструкции.

Каждый установленный модуль — это GPU NVIDIA HGX B200 SXM6 с 180 ГБ памяти HBM3e.

С восемью GPU общий объём памяти HBM3e превышает 1,4 ТБ.

Вид на лоток сзади показывает, насколько высокие здесь радиаторы. Из-за их размера модуль получился достаточно тяжёлым — для его перемещения потребовались два человека.

Сзади расположены разъёмы для питания и передачи данных на плату.

А вот как выглядит внутренняя часть системы, где эти разъёмы подсоединяются.

Плата PCIe-коммутатора — ключевой компонент этой системы.

Обзор задней панели ASRock Rack 8U8X-GNR2 SYN B200

Сзади размещено множество компонентов: 12 блоков питания, 9 модулей вентиляторов и 2 лотка с сетевыми картами — и это только часть всей конструкции.

Вот блок заднего ввода-вывода. Есть несколько интересных особенностей. Сзади — только два порта USB 3.0, тогда как спереди их четыре. Также доступны кнопки питания и перезагрузки, светодиоды состояния, два порта Intel i350-AM2 1GbE и порт для управления вне полосы (OOB). Система использует стандартное управление IPMI на базе чипсета ASPEED AST2600 с HTML5 iKVM, мониторингом и другими функциями. Одна из заметных деталей — больше USB-портов на передней панели, чем на задней, что встречается редко.

Для вывода портов 1GbE и управления на заднюю панель используется трассировка через шасси с помощью тонких кабелей 1GbE — мы показывали их ранее. Эти кабели подключаются к задней части платы ASRock Rack 4UXG_IOB и передают сигнал от трёх передних портов на тыльную сторону. Это позволяет выбирать, какие порты использовать — передние или задние, без дублирования. Полезным улучшением в будущем могло бы стать цветовое кодирование кабелей — для упрощения трассировки от передней части к задней.

Ранее мы уже показывали два райзера для сетевых карт North-South — в данном случае это NVIDIA ConnectX-7. Теперь перейдём к остальной части задней панели. Если посмотреть на центральную область, видно, как ASRock Rack добавила дополнительные 2U: по два слота под блоки питания с каждой стороны и три вентилятора посередине. Это связано с переходом лотка HGX с 4U в поколении NVIDIA H200 на 6U в B200.

Внизу — массивный пучок кабелей MCIO, подключённых к плате PCIe-коммутатора. На этом фото видно 16 кабелей MCIO, обеспечивающих 128 линий PCIe Gen5.

Внутри шасси ASRock реализовала множество конструктивных элементов вокруг этих соединений — для подачи питания, управления вентиляторами и других функций.

Поскольку эта зона находится за базовой платой NVIDIA HGX B200 с восемью GPU, установленные здесь компоненты часто требуют радиаторов для охлаждения.

Помимо фронтальных вентиляторов в нижней 6U-зоне, сзади установлены ещё девять модулей вентиляторов.

В новом шасси используются одинаковые модули вентиляторов — это улучшение по сравнению с предыдущим поколением.

Это простые в установке hot-swap вентиляторы — легко вставляются и вынимаются без инструментов.

Далее — крупные разъёмы по обе стороны платы PCIe-коммутатора. Они предназначены для лотков с сетевыми картами, у которых есть собственные вентиляторы.

Вот модули с четырьмя сетевыми картами NVIDIA ConnectX-7 400GbE внутри.

Каждый лоток имеет четыре низкопрофильных слота PCIe Gen5 x16. В них установлены сетевые карты, каждая из которых подключается напрямую к одному из GPU на плате HGX.

Сетевые карты NVIDIA ConnectX-7 в этих модулях могут работать как в режиме Ethernet, так и InfiniBand. Сейчас Ethernet, особенно в связке с NVIDIA Spectrum-X, набирает большую популярность. Каждая видеокарта получает по 400 Гбит/с выделенного внешнего подключения.

Лотки легко выдвигаются с помощью рычага — обслуживание не вызывает трудностей.

Далее — двенадцать блоков питания.

Система оснащена двенадцатью блоками питания по 3 кВт каждый, сертифицированными по стандарту 80Plus Titanium. Производитель — Delta. В поколении NVIDIA H200 использовалось восемь блоков, здесь — уже двенадцать с полной схемой 6+6 резервирования. ASRock Rack реализовала полную высокоуровневую избыточность, что приятно видеть.

Каждый блок питания на 3 кВт подаёт два напряжения: 12 В — для основных компонентов сервера и 54 В — для платы с восемью GPU NVIDIA Blackwell. Некоторые производители используют для этого два разных типа блоков, но здесь всё реализовано в одном.

По шесть блоков питания установлены с каждой стороны. Поскольку каждый из них подаёт и 12 В, и 54 В, нет необходимости следить за тем, в какой слот установлен конкретный блок.

С установленными двенадцатью блоками питания суммарной мощностью 36 кВт система получает большой запас по питанию.

Все компоненты в задней части системы установлены.

Блок-схема ASRock Rack 8U8X-GNR2 SYN B200

Мы тестируем сервер на раннем этапе, поэтому схема всей системы пока недоступна. Однако нам удалось найти блок-схему материнской платы ASRock Rack SP2C741D32G-2L+.

На этой материнской плате больше нет PCH — Intel перешла на архитектуру без чипсета (PCH-less) в линейке Xeon 6. Это современный и специализированный дизайн. Плата разработана специально для этой системы. Было бы необычно увидеть такую компоновку — с множеством разъёмов MCIO по всей задней кромке — в стандартных серверах 1U или серверах 2U. Кабели MCIO обеспечивают гибкое распределение PCIe-линий внутри системы и улучшают качество сигнала при длинных трассировках. В этом поколении сервер стал ещё крупнее, а длина линий — больше.

AI-серверы требуют большого количества специализированных PCIe-соединений, поэтому такой подход полностью оправдан. Многие крупные вендоры, включая Dell, используют стандартные материнские платы от 1U/2U-серверов даже в GPU-системах. ASRock Rack пошла другим путём и адаптировала плату под конкретную задачу. Это разумное решение: при инвестициях в системы стоимостью сотни тысяч долларов имеет смысл оптимизировать материнскую плату как ключевой элемент всей архитектуры.

Производительность ASRock Rack 8U8X-GNR2 SYN B200

За годы мы протестировали множество AI-серверов. Производительность таких систем зависит в основном от двух факторов: охлаждение и питание. Охлаждение определяет, могут ли CPU, GPU, сетевые карты, память и накопители работать на полной мощности. Питание влияет на то, насколько стабильно работают компоненты, особенно GPU NVIDIA — в зависимости от типа охлаждения (воздушного или жидкостного) они могут работать на разной мощности. В этой системе GPU работают на официальных 1000 Вт — это соответствует полным техническим характеристикам.

Производительность GPU ASRock Rack 8U8X-GNR2 SYN B200

С GPU всё просто — NVIDIA обеспечивает стабильные результаты вне зависимости от вендора. Мы смогли быстро запустить несколько тестов на облачном bare-metal сервере с B200 и получили сопоставимые результаты.

GPU NVIDIA Blackwell обеспечивают больше памяти и выше производительность. Важно, что вместе с этим приходят архитектурные улучшения поколения Blackwell. Благодаря увеличенному шасси и новым радиаторам система эффективно охлаждает 8000 Вт тепловыделения от восьми GPU.

Производительность CPU ASRock Rack 8U8X-GNR2 SYN B200

Мы запустили бысткий тестовый сценарий и сравнили результаты процессоров Xeon с эталонной 2U-платформой.

Небольшие различия между серверами — обычное дело. В 2016–2019 годах колебания производительности в GPU-серверах могли достигать 10 % и больше. Сейчас мы ожидаем, что GPU-серверы будут показывать уровень CPU-производительности, сопоставимый со стандартными системами. Эта система как раз это и демонстрирует. Интересный выбор — процессоры Intel Xeon 6760P с 64 ядрами.

Потребляемая мощность ASRock Rack 8U8X-GNR2 SYN B200

Суммарная мощность двенадцати блоков питания 80Plus Titanium — 36 кВт. К счастью, полный объём не требуется. Система использует схему 6+6: шесть блоков работают постоянно, шесть — в резерве.

Вот краткий обзор блоков питания Delta. Это высокоэффективные и надёжные модули — критически важны для стабильной работы GPU-серверов.

При простое система с десятью сетевыми картами (10× NVIDIA ConnectX-7) потребляла чуть более 2,9 кВт. Каждый GPU в режиме простоя использует около 140 Вт, плюс множество дополнительных компонентов. При максимальной нагрузке потребление достигало 12,5 кВт. В зависимости от типа задач пиковая нагрузка может быть ниже, особенно если приложения ограничены пропускной способностью памяти. Тем не менее, с блоками питания на 18 кВт + 18 кВт у системы большой запас по мощности. Но ключевой момент — для таких AI-серверов требуется очень много энергии на стойку, и потребности будут только расти.

Server Spider: ASRock Rack 8U8X-GNR2 SYN B200

Во второй половине 2018 года мы представили Server Spider — инструмент для быстрой оценки направления, на которое рассчитан сервер. Цель — наглядно показать, для каких задач оптимизирована конкретная система.

Эти новые системы предлагают больше GPU-вычислений по сравнению с предыдущими поколениями, но и стали на 2U выше. Посмотрим на это шире: в одной системе — более 1,4 ТБ памяти HBM3e и более 4 Тбит/с пропускной способности сети. Это больше, чем у многих 32-портовых коммутаторов 100 GbE, и всё это — в одном сервере. Именно поэтому такие системы подключают к коммутаторам класса 51,2 Тбит/с, например NVIDIA Spectrum-X. Хотя по числу сетевых карт на юнит это не рекорд, плотность всё равно впечатляющая — 500 Гбит/с на юнит. В этой системе основной упор — на мощные GPU, высокоскоростную сеть и новые процессоры.

Заключение

После тестирования ASRock Rack 6U8X-EGS2 H200 в прошлом году эта система ощущается знакомой. Во многом компоновка 8U8X-GNR2 SYN B200 повторяет решения предыдущего поколения.

При этом есть и серьёзные обновления. Система стала выше на 2U, перешла на новое поколение GPU — NVIDIA Blackwell, а также получила процессоры Intel Xeon 6 с более быстрой памятью, большим числом ядер и архитектурой без PCH. Однако главное отличие таких AI-серверов от стоек NVIDIA GB200 NVL72 — в PCIe-подсистеме.

Новые GPU Blackwell с потреблением 1 кВт каждый требуют стойки с высоким энергобюджетом. В то же время они дают колоссальный прирост по сравнению с поколением Hopper.

Интересно наблюдать, как ASRock Rack проектирует крупные AI-серверы. Здесь сочетаются передовые технологии и практичный инженерный подход, в результате чего получается утилитарный, но эффективный дизайн. Такой подход становится типичным для серверов этого класса.