Внешний обзор ASUS RS720-E12-RS8G

Сервер ASUS RS720-E12-RS8G выполнен в формате 2U и имеет глубину 830 мм (32,7 дюйма) — стандартный размер для этого класса. Передняя панель напоминает дизайн других современных серверов.

Слева — два USB-порта и вентиляционное отверстие. В серверах с поддержкой GPU часто сочетаются накопители и крупные воздухозаборники для охлаждения.

В центре — 8 отсеков для 2,5″ накопителей.

По умолчанию подключение — NVMe. Также поддерживаются SAS и SATA.

Салазки — фирменные, бесвинтовые от ASUS. Установка накопителей упрощена.

Справа — ещё одна зона для забора воздуха, кнопка питания и индикаторы состояния.

На задней панели — одна из ключевых особенностей сервера: большое количество разъёмов ввода-вывода. Восемь слотов расширения (полноразмерные) и два слота OCP NIC 3.0. Платформа построена по стандарту OCP DC-MHS и использует материнскую плату формата M-FLW.

Слева установлен блок питания на 3,2 кВт и двойной райзер.

В центре — ещё один двойной райзер, два одиночных райзера и задние порты: управление, два USB и mini DisplayPort.

В нижнем ряду по центру справа — два слота OCP NIC 3.0. Справа — второй блок питания (3,2 кВт) и ещё один двойной райзер.

Один из двойных райзеров: позволяет установить две PCIe-карты или одну двухслотовую, например GPU. Всего сервер поддерживает до трёх GPU.

Нижние одиночные райзеры обычно используются для сетевых адаптеров.

Райзеры легко извлекаются без инструментов — удобно для обслуживания.

Далее — внутренняя компоновка системы.

Внутренний обзор ASUS RS720-E12-RS8G

Начнём с передней части и будем двигаться к задней.

Бэкплейн для восьми фронтальных NVMe-отсеков подключается через интерфейсы MCIO. Кабели проходят под перегородкой вентиляторного модуля.

Перегородка оснащена шестью модулями, каждый из которых включает два вентилятора.

Все вентиляторы поддерживают горячую замену.

Система охлаждения разделена на два канала: нижний поток направлен на процессоры, память и сетевые карты, верхний — на PCIe-слоты, включая GPU. Это обеспечивает эффективное охлаждение разных зон.

В нижней части установлены два процессора Intel Xeon 6700. Поддерживаются обе серии — 6700E (до 288 энергоэффективных ядер) и 6700P (высокопроизводительные ядра).

Охлаждение организовано с помощью радиаторов формата 1U. Для увеличения теплоотвода используются тепловые трубки, выводящие тепло к передним секциям.

Центральные радиаторы приподняты, чтобы под ними могли проходить MCIO-кабели, соединяющие PCIe с NVMe-бэкплейном. Это компактное и продуманное решение.

Система поддерживает 32 модуля памяти DDR5 — по 16 модулей на каждый из двух процессоров. Контроллер — восьмиканальный. Xeon 6700P также поддерживают модули MCR DIMM / MRDIMM.

На материнской плате есть слот M.2 — он расположен под задней частью райзеров.

Вид на установленные райзеры.

Обзор слотов райзеров и дисплея POST-кодов. ASUS традиционно оснащает серверы такими индикаторами.

После извлечения райзеров можно увидеть радиатор одного из процессоров с тыльной стороны.

В центральной части шасси — направляющие, которые помогают точно установить райзеры.

В нижней задней части — два слота OCP NIC 3.0 с внутренними фиксирующими защёлками.

Модуль DC-SCM с установленным решением для внеполосного управления — ASMB12-iKVM.

Далее рассмотрим блочную схему и топологию системы.

Блок схема и топология ASUS RS720-E12-RS8G

Ниже представлена блочная схема системы. Видно, что PCIe-линии распределены равномерно, а фронтальные NVMe-отсеки подключены к первому процессору (CPU1).

Пример конфигурации: два графических процессора NVIDIA H100 NVL, два процессора Intel Xeon 6740P и 1 ТБ оперативной памяти. Ниже — топология этой сборки.

Такая структура топологии характерна для серверов формата 2U на базе Intel Xeon 6-го поколения.

Управление ASUS RS720-E12-RS8G

В системе используется модуль ASMB12-iKVM в форм-факторе OCP DC-SCM. Это значит, что BMC-контроллер ASPEED AST2600 размещён на съёмной плате в задней части шасси, а не на материнской плате.

ASUS традиционно применяет платформу MegaRAC SP-X, которая включает HTML5 iKVM и стандартный набор функций удалённого управления. В рамках этого обзора углубляться в интерфейс не будем — функциональность типовая.

Производительность ASUS RS720-E12-RS8G

В тестируемой конфигурации использовались два процессора Intel Xeon 6740P — 48-ядерные чипы с высокопроизводительными ядрами (P-core).

Ключевой вопрос при использовании таких процессоров — эффективность охлаждения: справляются ли радиаторы с отводом тепла и позволяют ли CPU работать без троттлинга.

Результаты оказались близки к эталонной системе. Это подтверждает, что сервер обеспечивает стабильную работу и эффективное охлаждение процессоров.

В системе также установлены два графических процессора NVIDIA H100 NVL с интерфейсом PCIe.

NVIDIA H100 NVL — PCIe-версия GPU с памятью HBM3, ориентированная на задачи ИИ, а не визуализацию. Мы протестировали эти ускорители в составе сервера, чтобы оценить их производительность и эффективность охлаждения.

GPU NVIDIA H100 NVL с TDP 400Вт показывают ожидаемую производительность. Это важно: некоторые 2U-серверы поддерживают такие карты только при снижении потребления до 300Вт. Здесь же охлаждение позволяет использовать их на полной мощности — отличный результат.

Далее — анализ энергопотребления.

Потребляемая мощность ASUS RS720-E12-RS8G

Сервер оснащён двумя блоками питания Delta по 3,2 кВт — это мощное решение для такой конфигурации.

В отличие от, например, Dell PowerEdge R770 с двумя БП по 1,5 кВт, здесь два 3,2-киловаттных блока обеспечивают реальное резервирование, даже при установке графических ускорителей. В сборке с тремя GPU и двумя топовыми процессорами энергопотребление CPU и GPU может достигать 2 кВт. Если добавить восемь NVMe SSD, 32 модуля DDR5, четыре сетевых адаптера и систему охлаждения — суммарное потребление может приблизиться к 3 кВт. Это существенный рост. По сравнению с системами пятилетней давности с тремя PCIe GPU, новая конфигурация может потреблять вдвое больше энергии — и при этом обеспечивает гораздо более высокую вычислительную плотность и производительность.

STH Server Spider: ASUS RS720-E12-RS8G

Во второй половине 2018 года мы представили инструмент STH Server Spider — он помогает быстро оценить, для каких задач предназначена серверная система. Цель — наглядно показать направления использования и ключевые характеристики.

Система демонстрирует высокую гибкость. Некоторые 2U-серверы поддерживают только две двухслотовые видеокарты. Здесь же можно установить три GPU. Это не максимальная плотность для AI-серверов, но для универсального решения в формате 2U — отличные возможности. Дополнительно благодаря множеству PCIe-слотов можно установить до четырёх высокоскоростных сетевых адаптеров. Это делает систему действительно универсальной и хорошо масштабируемой.

Заключение

ASUS RS720-E12-RS8G — интересное направление в развитии серверных платформ ASUS. В конструкции использованы элементы из стандартов OCP, что делает систему гибкой и удобной для расширения. Возможность установки до 10 карт расширения, 32 модулей памяти и выбор между производительными (P-core) и энергоэффективными (E-core) процессорами Intel Xeon делают платформу универсальной.

ASUS хорошо продумала обслуживание этой системы. По функциональности сервер сопоставим с протестированным нами Dell PowerEdge R770, но в плане удобства сборки и замены компонентов RS720-E12-RS8G оказался проще. Как человек, собравший сотни серверов разных производителей, могу сказать: если нужно заменить сетевой адаптер за минуту — я выберу именно эту модель.

В целом, направление, в котором развивается серия RS720-E12, заслуживает внимания. Мы много лет работаем с серверами ASUS, и эта модель — заметный шаг вперёд как в конструкции, так и в функциональности. Платформа предоставляет широкие возможности для настройки под разные задачи.