Внешний обзор Supermicro SYS-112C-TN

Сервер выполнен в форм-факторе 1U. Его глубина — 29,4 дюйма (747 мм).

Слева расположены кнопка питания и индикаторы состояния.

Система оснащена восемью отсеками для накопителей 2.5″ U.2 NVMe.

Накопители устанавливаются в лотки без использования инструмента.

Справа — два из шести рядов под накопители. В этой конфигурации они используются для вентиляции. В другой версии корпуса их можно задействовать под накопители — всего до 12 отсеков.

На правом креплении стойки размещены USB-порт и mini DisplayPort для обслуживания с передней панели.

На задней панели — стандартные порты ввода-вывода.

Сначала идет райзер полной высоты с картой DC-MHS, установленной ниже.

Райзер — это PCIe Gen5 x16.

В центральном блоке — ещё один райзер и слот для AIOM/OCP NIC 3.0.

В райзере установлена сетевая карта NVIDIA ConnectX-7 в слоте PCIe Gen5 x16.

Задние слоты DC-MHS и AIOM основаны на стандарте OCP. Модуль DC-MHS упрощает использование различных интерфейсов управления, таких как Supermicro Stack или OpenBMC.

На задней панели — два блока питания для обеспечения избыточности.

Теперь заглянем внутрь системы, чтобы рассмотреть её устройство.

Обзор внутреннего оборудования Supermicro SYS-112C-TN

Мы будем рассматривать систему от передней панели к задней, начиная с накопителей.

Кабели MCIO проложены через корпус к задней плате.

Вентиляторы — это интересная особенность. Горячая замена в корпусах 1U обычно затруднена, а в корпусах 2U встречается реже. В этом случае можно извлечь отдельные вентиляторы или быстро снять весь вентиляторный модуль.

Вентиляторы подключаются к плате управления.

Позади вентиляторов — направляющие воздушного потока. Интересное решение: в конструкции виден радиатор, который служит опорой для большого направляющего элемента.

Под направляющей воздушного потока — передние разъёмы MCIO x8.

В системе установлен процессор Intel Xeon 6781P из серии производительных ядер.

Сокет поддерживает не только процессор Xeon 6781P, но и модели Xeon 6700P/6500P и серию Xeon 6700E. В этой конфигурации можно выбрать до 86 производительных ядер (P-cores) или 144 эффективных ядер (E-cores). Intel значительно улучшила предложения для рынка 1P, и процессоры для платформ R1S (с одним сокетом), такие как этот, имеют привлекательную цену.

Краткий обзор процессора, установленного в держатель радиатора.

Этот маленький рычаг — TIM Breaker, или рычаг для разъединения теплопередающего материала (TIM). Он позволяет разорвать сцепление между термопастой, радиатором и процессором.

Вокруг сокета — 8-канальная конфигурация DDR5 с двумя модулями DIMM на канал (2DPC), всего 16 модулей памяти.

Позже в разделе топологии мы подробнее обсудим это, но стоит отметить, что материнская плата очень компактна — её длина примерно в два раза больше длины сокета и слотов DIMM. Время громоздких материнских плат с одним сокетом прошло.

Большая часть этого обусловлена слотами M-XIO PCIe Gen5 x16 для райзеров, задними слотами для сетевых карт (NIC) и DC-MHS, а также разъёмами MCIO по периметру платы.

В задней части — плата DC-MHS для управления и слот OCP NIC 3.0 / Supermicro AIOM для сетевых подключений. Этот сервер серии Supermicro CloudDC вдохновлён принципами дизайна OCP, но совместим с форм-фактором стойки 19″.

В задней части есть вырез для систем жидкостного охлаждения.

Блоки питания подают энергию на распределительную плату.

Распределительная плата имеет разъёмы для питания компонентов системы и обеспечивает резервирование питания.

Между вентиляторным модулем и распределительной платой питания — зона для внутреннего расширения.

В системе установлена плата с двумя M.2 SSD для загрузки, подключённая к материнской плате. Это интересный способ добавления внутренних M.2 SSD.

Теперь перейдём к блок-схеме и топологии.

Блок-схема и топология Supermicro SYS-112C-TN

Основное изменение — топология системы. В платформах Intel Xeon 6 больше нет PCH (платформенного контроллера управления), и все функции теперь выполняет процессор. Ещё одно важное изменение — большое количество линий PCIe.

Материнская плата также связана с топологией. Несмотря на компактность системы 1U, это вся материнская плата. Традиционных слотов PCIe нет. Вместо этого используются слоты M-XIO x16 для райзеров, слот OCP NIC/AIOM, слот DC-SCM для управления, а остальной ввод/вывод — через разъёмы MCIO.

Ещё одно важное изменение — процессор Intel Xeon 6781P имеет два вычислительных кристалла, и в режиме NPS=2 он почти идентичен системе 4-го поколения Intel Xeon Scalable. Главное отличие — более крупные кэши, и всё это в одном физическом сокете.

Теперь быстро перейдём к управлению.

Управление Supermicro SYS-112C-TN

Сервер использует BMC ASPEED AST2600 для удалённого управления через IPMI.

Веб-интерфейс управления Supermicro IPMI/Redfish соответствует стандартам серверов Supermicro на данный момент.

Есть функции HTML5 iKVM и случайный пароль, как и ожидалось.

Теперь давайте поговорим о производительности.

Производительность Supermicro SYS-112C-TN

Мы тестировали платформу с процессорами Intel Xeon 6700P, 6500P Granite Rapids-SP и 6781P.

Поскольку это та же платформа, а Intel Xeon 6700P — наш первый процессор с одним сокетом, мы покажем результаты производительности из предыдущего обзора.

Производительность STH nginx CDN

В тесте производительности nginx CDN используется старый снимок и модели доступа с сайта STH, с отключённым кэшированием в DRAM, чтобы показать производительность при извлечении данных с дисков. Это требует работы nginx с низкой задержкой и дополнительных шагов для обеспечения низкой задержки при доступе к I/O, что делает тест интересным на уровне сервера. Вот быстрый взгляд на распределение:

Конфигурация, которую мы используем, — это снимок с живой системы. Nginx — одно из лучших решений для рабочих нагрузок на базе Arm и облачных процессоров. На современных процессорах большее количество ядер уже помогает, но нас удивило, что часть показала немного лучшую производительность, чем Xeon 6780E, облачный процессор Intel в этом сокете. Xeon 6781P выигрывает за счёт большего числа потоков и 20W дополнительного запаса по TDP. Также стоит отметить, что мы не использовали ускорение через QAT, что могло бы существенно повысить производительность для платформ Xeon 6, снимая нагрузку по SSL.

Аналитика цен на MariaDB

Этот тест интересен для меня лично. Рабочая нагрузка анализирует цены на сделки с анонимизированными данными от крупного производителя дата-центров. Приложение ищет ценовые тренды по продуктовым линейкам, регионам и каналам, чтобы определить выгодные и невыгодные сделки на основе рыночных трендов для формирования конфигураций материалов (BOM) в реальном времени. Основное отличие от решения крупного поставщика — это используемые данные. Это тип приложения, который перешёл на методы ИИ для инференса, и хороший пример того, как такие решения могут работать в облаке для бизнеса.

Здесь видно, что производительные ядра (P-cores) опережают эффективные ядра (E-cores). Если вы хотите оценить производительность Xeon 6700P и уже имеете результаты для Xeon 6980P, разница в производительности незначительна в этих рабочих нагрузках, если только не ограничена пропускная способность памяти. Процессор 6781P обеспечивает немного большую производительность на ядро, что характерно для чипов с меньшим количеством ядер.

Отправной точкой является двухсокетный процессор Intel Xeon Gold 6252. Мы выбрали его для серии рабочих нагрузок в облачных решениях, так как это чип, который, по данным крупного OEM-поставщика, был самым продаваемым в линейке 2-го поколения Xeon Scalable. Чип с 24 ядрами не является топовой моделью, но был высоко в линейке, так как 28-ядерные модели встречались реже. Это также указывает на соотношение консолидации около 5:1 — отличный результат.

Тестирование виртуализации STH STFB KVM

Одна из рабочих нагрузок, которой мы хотим поделиться, — задача клиента DemoEval. Мы имеем разрешение на публикацию результатов, но само приложение закрытого исходного кода. Это нагрузка на базе виртуализации KVM, где клиент тестирует, сколько виртуальных машин (VM) можно одновременно поддерживать онлайн, выполняя работу в рамках целевого SLA. Каждая VM — это самостоятельный рабочий узел. Это похоже на тестирование VMware VMark, но с использованием KVM для большей универсальности.

В этом тесте процессор Xeon с эффективными ядрами (E-core) хорошо справляется с маленькими виртуальными машинами или их большим количеством. Однако, по мере увеличения размера VM, процессор с производительными ядрами (P-core) Xeon компенсирует нехватку ядер, имея 80 вместо 144. На графике показаны результаты топовых чипов Ampere и AMD, а также Intel Xeon 6980P. Стоит отметить, что мы не используем топовую модель Xeon 6700P, которая имеет 80 ядер вместо 86 и оптимизирована для одного сокета. Тем не менее, её производительность вполне достойна.

Теперь обсудим потребление энергии этой системы.

Потребление энергии Supermicro SYS-112C-TN

Сервер оснащён двумя блоками питания по 1 кВт, сертифицированными по стандарту 80Plus Titanium.

При анализе энергопотребления процессора значения колебались от 50 до 55 Вт.

Мы были удивлены, что даже при серьёзной конфигурации — с двумя сетевыми картами (включая 400Gbps NVIDIA ConnectX-7), 1 ТБ оперативной памяти DDR5 (16×64 ГБ), более 200 ТБ хранилища и 80-ядерным процессором Intel Xeon 6781P — система стабильно потребляла менее 95 Вт в режиме простоя на платформе 1U с одним сокетом. Это отличный результат по сравнению с многими современными платформами Intel. Например, платформа Sapphire Rapids с 56 ядрами, 16 модулями DIMM и сетевой картой на 400 Гбит/с не опустится ниже 100 Вт в режиме простоя.

Процессор Xeon потреблял от 340 до 350 Вт.

Под нагрузкой энергопотребление системы достигало 588 Вт, а при нагрузке только на процессоры — 470–495 Вт. Каждый модуль памяти добавлял около 1 Вт.

Сервер Xeon 6 R1S при потреблении 500 Вт использует около 54% энергии по сравнению с двухсокетной системой на базе Platinum 8380 с тем же количеством ядер. Несмотря на отсутствие множества новых ускорителей, добавленных в Xeon 6, он работает быстрее. Кроме того, односокетный Xeon 6 R1S обеспечивает в два раза большую пропускную способность PCIe, чем двухсокетная система на Xeon 8380. Получить такую производительность за половину стоимости и энергопотребления по сравнению с топовыми процессорами двухлетней давности — впечатляющий результат.

STH Server Spider: Supermicro SYS-112C-TN

Во второй половине 2018 года мы представили STH Server Spider как быстрый способ определить основное предназначение серверной системы. Наша цель — предоставить наглядное визуальное представление типов задач, для которых предназначен сервер.

Это интересная система, основанная на односокетной платформе, и не стремится к максимальной плотности. Однако она предлагает множество преимуществ. Для тех, кто переходит с систем на базе 3-го поколения Intel Xeon или более ранних, апгрейд даст как минимум двукратное сокращение количества сокетов. Хотя в протестированной конфигурации не самое большое количество SSD, благодаря PCIe Gen5 каждый накопитель обеспечивает в четыре раза большую пропускную способность по сравнению с SSD 2021 года.

Хотя здесь не максимальная плотность сетевых подключений, сетевая карта на 400 Гбит/с обеспечивает большую пропускную способность, чем весь PCIe-поток одного сокета Intel Xeon Scalable 1-го или 2-го поколения. Всё относительно, и новое поколение систем гораздо быстрее.

Ранее мы использовали категорию «Ёмкость хранения» в Server Spider с акцентом на 3.5″ диски. Однако с появлением современных 2.5″ SSD объёмом от 30,72 ТБ до 122,88 ТБ NVMe-отсеки теперь обеспечивают и производительность, и ёмкость. Возможно, стоит пересмотреть подход к метрикам Server Spider.

Заключение

Это платформа, на которую стоит обратить внимание. С увеличением TDP серверных процессоров с каждым поколением многие дата-центры не могут справиться с 1U-серверами, потребляющими более 1 кВт энергии. В сочетании с расширенными возможностями подключения в новых поколениях процессоров, односокетные решения становятся более привлекательными, предлагая расширенные возможности ввода-вывода прямо на платформе.

Поставщики серверов подтвердят: рынок односокетных решений растёт. Это связано с высокой плотностью вычислений, которую такие платформы предлагают по сравнению с более старыми поколениями серверов.

В рамках роста доли односокетных серверов Supermicro SYS-112C-TN — хорошо спроектированная платформа, соответствующая многим принципам OCP и предназначенная для облачных развертываний.

Источник: ServeTheHome