Внешний обзор ASUS ESC A8A-E12U

Для 8-GPU системы с воздушным охлаждением это компактная конфигурация: высота 7U, глубина 885 мм (34,84 дюйма).

На передней панели сразу бросается в глаза блок вентиляторов.

Установлено 10 вентиляторных модулей с горячей заменой.

Платы питания вентиляторов спроектированы так, чтобы направлять поток воздуха к GPU в верхней части корпуса.

Слева на фронтальной панели — четыре отсека для NVMe-накопителей и набор разъёмов: четыре USB 3.2 Gen1, VGA, два 10Gbase-T на контроллере Intel X710, порт управления и дисплей Q CODE для вывода POST-кодов.

Фронтальная панель ввода-вывода выполнена модулем и обслуживается спереди корпуса.

Справа спереди — ещё четыре отсека для 2,5″ U.2 NVMe-накопителей, всего их восемь. Остальное пространство предназначено для воздушного потока.

Сзади корпус разделён на два модуля. В верхнем лотке OAM установлены GPU, в нижнем — процессоры и сетевые карты PCIe.

Верхняя часть корпуса — решётка для воздушного потока. В нижней расположены загрузочные накопители, блоки питания и слоты PCIe.

Система оснащена шестью блоками питания по 3 кВт. Используется схема 5+1 с избыточностью вместо A+B, что уменьшает число и размеры блоков.

Блоки питания произведены компанией Delta.

Сзади расположены два отсека 2,5″, предназначенные для загрузочных дисков с ОС.

В системе поддерживается до 11 карт PCIe, подробнее об этом — при рассмотрении внутренней компоновки.

Корпус состоит из передней секции и двух зон для модулей. Такое решение упрощает обслуживание.

В верхней части расположены фронтальные вентиляторы с горячей заменой и разъёмы UBB для подключения базовой платы GPU.

В нижней секции находятся разъёмы для процессорного модуля и лотка с картами PCIe.

Отсек для материнской платы ASUS ESC A8A-E12U

Материнская плата и лоток PCIe объединены в крупный модуль, который сам по себе мог бы работать как отдельный сервер.

В лотке сзади размещены два уровня разъёмов.

Верхний уровень используется в основном для подключения PCIe.

В таких системах топология PCIe крупная, поэтому через корпус проходят пучки кабелей MCIO.

Верхняя часть лотка предназначена для подключений PCIe и оснащена съёмными райзерами.

Каждый райзер оснащён двумя слотами и собственным вентилятором. Вентиляторы и металлический корпус обеспечивают обдув и охлаждение сетевых карт.

Сзади видно сетевые карты низкого профиля, которые часто используют в AI-системах: обычно восемь по 400 Гбит/с — по одной на каждый GPU.

Эти фото сделаны на Тайване, где удалось снять ещё одну материнскую плату без кабелей. Она находится внизу лотка. Мы положили её поверх секции PCIe, а снизу видны выровненные разъёмы.

Помимо разъёмов высокой плотности по краю, через плату проходят многочисленные кабели MCIO. Слотов для райзеров здесь нет — плата разработана специально под эту систему.

На плате ASUS K14PN-D24/A-T два сокета AMD EPYC SP5. Каждый процессор поддерживает 12 каналов памяти — всего 24 слота DDR5 DIMM. Это позволяет использовать мощные CPU вместе с GPU.

Помимо сокетов для процессоров и памяти, плата заметно отличается от стандартных серверных решений.

Для наглядности — вид материнской платы сверху.

Материнская плата с установленными процессорами, радиаторами и модулями DDR5 ECC RDIMM.

Вид сбоку на зону разъёмов.

В сервере с воздушным охлаждением процессоры и память обдуваются воздухом. В центре лотка установлена вентиляторная перегородка для их охлаждения.

ASUS ESC A8A-E12U AMD Instinct MI325X OAM Tray

В сервере ASUS ESC A8A-E12U установлены GPU AMD Instinct MI325X в формате OAM. Система также поддерживает новые воздушно охлаждаемые GPU AMD Instinct MI350.

Для ориентира: в верхней части корпуса расположен лоток, который вынимается с помощью рычага-защёлки.

Лоток оснащён универсальной базовой платой с восемью GPU AMD Instinct MI325X. Каждый GPU имеет 256 ГБ памяти HBM3E, всего — 2 ТБ HBM.

Тяжёлые радиаторы оснащены ручками для удобства переноски.

Система оснащена контроллером AMD SMC для управления универсальной базовой платой (UBB) Instinct.

Со стороны разъёмов используется привычный дизайн.

Со стороны разъёмов расположены универсальные базовые платы (UBB) и PCIe-ретаймеры. AMD применяет ретаймеры, чтобы устранить проблемы с сигналами, которые возникали у NVIDIA в высокопроизводительных системах.

Топология и блок-схема ASUS ESC A8A-E12U

Топология включает множество PCIe-линий и три соединения xGMI. Такая схема в архитектуре AMD даёт каждому процессору дополнительный x16-канал, увеличивая общее число до 32 линий PCIe.

Конструкция ориентирована на максимальное распределение PCIe-коммуникаций, чтобы снизить нагрузку на связи между процессорами. Пропускная способность PCIe значительно выше, чем у межпроцессорных соединений AMD EPYC, поэтому современные AI-системы строятся именно по такому принципу.

В итоге получается громоздкая топология, которую интересно рассматривать.

Управление ASUS ESC A8A-E12U

Система оснащена ASUS ASMB11-iKVM на базе стандарта MegaRAC SP-X.

Это решение обеспечивает мониторинг компонентов системы.

BMC получает данные телеметрии. Информация о конфигурации и состоянии каждого устройства критически важна для эксплуатации и обслуживания крупных AI-систем.

Система поддерживает HTML5 iKVM и другие стандартные функции BMC.

Производительность ASUS ESC A8A-E12U

В системе установлены два процессора AMD EPYC 9575F с 64 ядрами. Их выбирают за высокую тактовую частоту. В таких конфигурациях применяют два подхода: либо максимизируют число ядер, либо используют процессоры с меньшим числом ядер, но более высокой частотой. Здесь реализован второй вариант.

Чтобы проверить заявленную производительность процессоров, мы сравнили её с эталонным 2U-сервером:

Эффективное охлаждение процессоров — ключевая задача крупных AI-серверов, и ASUS реализовала её успешно.

Мы протестировали систему на Llama 3.1 и Deepseek-R1. Для Llama 3.1 использовали vllm с параметрами: 128 входных и 2048 выходных токенов, размер батча 8. Для Deepseek-R1 — sglang с теми же 128/2048 токенами и параллелизмом 64. В качестве метрики сравнения брали среднюю межтокеновую задержку. Производительность оказалась сопоставимой с другими системами.

В целом, вот что мы увидели.

Результаты показывают высокую производительность GPU MI325X и подтверждают эффективность охлаждения.

Потребляемая мощность ASUS ESC A8A-E12U

Энергопотребление мы не измеряли через стандартный PDU-контроль, но телеметрия системы дала несколько интересных наблюдений.

Даже в простое восемь GPU потребляют более 1 кВт. Это без учёта процессоров, сетевых карт, SSD, PCIe-переключателей, охлаждения и других компонентов. На пике система может достигать 12 кВт и имеет запас по мощности. Каждый GPU потребляет до 1 кВт, суммарно — 8 кВт.

Схема избыточности 5+1 снижает потребность в дополнительных блоках питания и, вероятно, уменьшает высоту системы на 1U.

Server Spider: ASUS ESC A8A-E12U

Во второй половине 2018 года мы представили Server Spider как инструмент для быстрой оценки серверных систем. Его цель — наглядно показывать ключевые параметры, на которые ориентирован сервер.

Сервер рассчитан на максимальную вычислительную мощность для AI-задач. Ключевая характеристика — объём памяти HBM3E, важная оптимизация GPU AMD Instinct MI325X. При создании метрики в 2018 году показатель объёма HBM на единицу пространства в стойке ещё не учитывался.

Заключение

В целом система представляет интерес для изучения и разборки.

Система с восемью GPU AMD Instinct MI325X и 2 ТБ памяти HBM3E обеспечивает колоссальный объём вычислений.

ASUS реализовала продуманный дизайн: система компактна, удобна в обслуживании и эффективно охлаждается. Конструкция позволяет разместить множество компонентов в ограниченном пространстве без потери производительности.

ASUS ESC A8A-E12U — это крупный AI-сервер с 11 слотами PCIe, двумя процессорами, восемью GPU и большим объёмом памяти как у CPU, так и у GPU.