Внешний обзор Gigabyte G893-ZX1-AAX2

Сервер выполнен в формате 8U: 6U занимают графические ускорители и блоки питания, ещё 2U — лоток с процессорами.

Глубина сервера — 923 мм (36,3 дюйма). Это стандартный размер для ИИ-серверов. Съёмные ручки упростили установку устройства на стол.

На передней панели 6U занимает стенка вентиляторов. Она охлаждает графические ускорители.

Нижние 2U занимают процессорный лоток. Слева — четыре отсека для накопителей U.2 NVMe.

В нижней центральной части расположены порты USB, VGA и порт для внеполосного управления. Сетевой адаптер Intel X710 оснащён двумя портами 10Gbase-T для подключения к сети 10GbE на пониженной скорости.

Передняя панель с управляющей платой выполнена в типичной для Gigabyte компоновке. В этом образце вентиляторы не установлены.

Справа находятся ещё четыре отсека U.2 NVMe для хранилища.

Сзади расположены вентиляторы, блоки питания и слоты для карт расширения PCIe.

Центральную часть задней панели занимают модули вентиляторов с поддержкой горячей замены.

Один из модулей вентиляторов показан крупным планом.

В системе установлено 12 блоков питания по 3 кВт. Этого достаточно для резервируемого питания всех компонентов.

В нижней левой и правой части расположены модули с четырьмя слотами PCIe. Они предназначены для North-South взаимодействия внутри сервера или установки сетевых карт, подключаемых напрямую к процессорам, а не к GPU.

Модуль съёмный и имеет собственный вентилятор. Всего два таких лотка — по одному с каждой стороны задней панели.

В центре расположены восемь слотов PCIe Gen5 x16 для связи между GPU. Всего в сервере 16 таких слотов.

Лоток содержит слоты для установки сетевых карт East-West. Они обеспечивают обмен данными между GPU.

Лоток для материнской платы Gigabyte G893-ZX1-AAX2

Во время визита в офис Gigabyte мы изучили лоток материнской платы без установленных компонентов. Это помогло лучше понять внутреннюю архитектуру системы.

На плате видно два сокета AMD EPYC SP5. Вокруг каждого — 12 слотов DDR5 DIMM, всего 24 модуля памяти. Также заметны контактные площадки для разъёмов MCIO (подключение PCIe) и участки для чипов-коммутаторов Broadcom PEX89104, которые маршрутизируют PCIe-сигналы.

Лоток с установленными компонентами включает вентиляторы, кабели, слоты DIMM, сокеты CPU, PCIe-коммутаторы и радиаторы. Вид сверху показывает плотную и продуманную компоновку системы.

Сравнение пустой и полностью укомплектованной платы помогает понять устройство сложной системы. На самой PCB установлены четыре PCIe-коммутатора Broadcom. По бокам размещены два дополнительных Broadcom PEX89048 — они обслуживают боковые сетевые модули.

Gigabyte G893-ZX1-AAX2 AMD Instinct MI325X OAM-плата

Секция OAM вмещает восемь ускорителей AMD Instinct MI325X. Каждый потребляет до 1 кВт, поэтому радиаторы сделаны из плотных металлических блоков с воздушным охлаждением — они массивные и тяжёлые.

Универсальная базовая плата (UBB) для восьми OAM GPU оснащена PCIe-ретаймерами. Они стабилизируют сигнал при работе с высокоскоростными интерфейсами.

Плата оснащена разъёмами для питания и передачи данных. Они обеспечивают надёжное соединение GPU с остальной системой.

Каждый ускоритель AMD Instinct MI325X (1 кВт) оснащён ручкой на радиаторе. Она упрощает установку и извлечение устройства.

Для Instinct UBB предусмотрен контроллер AMD SMC (System Management Controller). В изучаемом образце этот компонент не был установлен.

Топология и блок-схема Gigabyte G893-ZX1-AAX2

В системе установлены два процессора AMD EPYC 9965 по 192 ядра каждый. Конфигурация включает большое количество GPU, накопителей и сетевых адаптеров. Получилась одна из самых масштабных топологий, которые мы встречали.

Блок-схема системы показывает распределение линий PCIe. От него зависит, как взаимодействуют процессоры, GPU, хранилища и сетевые адаптеры.

В системе установлены шесть PCIe-коммутаторов. Четыре Broadcom PEX89104 связывают процессоры, GPU, сетевые карты и NVMe-накопители. Два Broadcom PEX89048 обслуживают соединения между процессорами и North-South сетевыми интерфейсами. Коммутаторы PEX89048 не подключены напрямую к графическим ускорителям и хранилищу.

Управление Gigabyte G893-ZX1-AAX2

В системе установлен контроллер ASPEED AST2600 BMC с прошивкой MegaRAC SP-X. Он обеспечивает удалённый мониторинг и управление сервером по промышленному стандарту.

В таких системах много компонентов: множество вентиляторов и 12 блоков питания. Интерфейс управления должен контролировать больше параметров для мониторинга и журналирования, чем в стандартных конфигурациях.

Система поддерживает стандартные функции, включая HTML5 iKVM. На скриншоте видно восемь графических ускорителей AMD Instinct MI325X в режиме ожидания, потребляющих от 122 до 137 Вт по данным утилиты rocm-smi.

Интерфейс и функции SP-X знакомы пользователям серверов Gigabyte и других платформ. Они остаются единообразными и узнаваемыми.

Производительность Gigabyte G893-ZX1-AAX2

В системе стоят два процессора AMD EPYC 9965 с 192 ядрами каждый — всего 384 ядра и 768 потоков. При выборе CPU для таких систем одни выбирают максимальное число ядер, как здесь, другие — процессоры с меньшим количеством ядер, но выше тактовой частотой.

Мы проверили производительность процессоров, сравнив систему с эталонным сервером формата 2U.

Эффективное охлаждение процессоров — важная задача в крупных ИИ-серверах. Gigabyte решает её успешно.

Мы тестировали GPU на нескольких системах. Для модели Llama 3.1 использовали фреймворк vllm с 128 входными и 2048 выходными токенами. Размер батча — 8, для сравнения задержек. Для Deepseek-R1 применяли sglang с теми же параметрами и уровнем параллелизма 64. Метрика — средняя межтокенная задержка. Производительность совпала с другими аналогичными системами.

Результаты сопоставимы с другими системами на базе AMD Instinct MI325X, которые мы тестировали ранее. Все испытания проводились до выхода ROCm 7. AMD продолжает развивать программный стек, поэтому с новой версией ROCm производительность может быть выше.

Питание Gigabyte G893-ZX1-AAX2

В системе используются блоки питания Delta мощностью 3 кВт.

В системе установлено 12 таких блоков питания. Это обеспечивает резервирование и работу при подключении к двум независимым линиям питания (A и B). Такая схема гарантирует стабильное питание ресурсоёмкой конфигурации даже при перебоях с электроснабжением.

В режиме простоя одни GPU потребляли свыше 1 кВт. Во время тестов общая мощность системы превышала 12 кВт. Это подтверждает высокий уровень масштабов и энергопотребления таких систем.

Server Spider: Gigabyte G893-ZX1-AAX2

Во второй половине 2018 года мы представили инструмент Server Spider. Он помогает быстро понять сильные стороны серверных систем, показывая ключевые параметры каждого сервера в визуальном виде.

Система оптимизирована для максимального заполнения стойки GPU и сетевыми интерфейсами. Центральные процессоры и память служат для поддержки работы GPU. Хотя корпус формата 8U имеет высокую плотность мощных GPU, системы с жидкостным охлаждением могут размещать компоненты ещё плотнее.

Заключение

Gigabyte G893-ZX1-AAX2 — мощная система с двумя процессорами AMD EPYC по 192 ядра и восемью графическими ускорителями AMD Instinct MI325X. Сервер оснащён всеми необходимыми компонентами для эффективной работы. Расширенная топология с PCIe-коммутаторами обеспечивает оптимальное взаимодействие между CPU, GPU, хранилищем и сетевыми модулями.

Gigabyte G893-ZX1-AAX2 — высокоуровневая ИИ-система, альтернатива платформам NVIDIA. Восемь ускорителей с общим объёмом 2 ТБ памяти HBM3E делают её мощным инструментом для ресурсоёмких задач искусственного интеллекта.