Обзор внешнего оборудования Supermicro SYS-222H-TN

Передняя часть системы 2U очень Supermicro. Это конструкция с высоким воздушным потоком, которую мы видели в предыдущих поколениях, и это преемник системы Supermicro SYS-221H-TNR, которую мы рассматривали ранее.

Для тех, кто обеспокоен восемью отсеками для хранения 2,5″ U.2, есть два момента. Вы можете видеть, что с обновлением объединительной платы и заменой каждой стороны лотками для дисков система способна иметь альтернативные SKU и конфигурации с до 24 отсеками 2,5″ для хранения. Возможно, более впечатляющим моментом здесь является то, что SSD стали намного больше. Мы используем здесь DapuStor Haishen5 SSD H5100 с емкостью 30,72 ТБ в диске PCIe Gen5 U.2. По сравнению с предыдущими поколениями, где большие диски были в классе 15,36 ТБ, текущие поколения SSD оба больше, при этом предлагая вдвое большую пропускную способность интерфейса. На серверах Sierra Forest с большим количеством ядер может быть полезно иметь много быстрого и локального хранилища.

Лотки для дисков сами по себе являются конструкциями без инструментов, использующими боковые защелки. Они намного быстрее устанавливаются в диски, чем старый метод с винтовыми отверстиями, но лотки все еще имеют винтовое крепление, что является забавным возвратом. Конечно, если вы хотите быть особенно осторожными, каждая защелка диска имеет индивидуальный замок, и вы можете привинтить диски к лоткам для дополнительной безопасности.

Два вентиляционных отверстия размером 8x 2,5″ по обе стороны хранилища предназначены для воздушного потока. Современные сетевые карты 400GbE могут использовать 15–150 Вт в одном слоте, поэтому во многих современных конструкциях больший воздушный поток направляется на карты расширения.

А вы заметили преднамеренный момент начала на фотографии выше с запуском процессора Intel Xeon 6700E на фоне этой системы, показанной на экране на заднем плане?

В задней части системы мы видим более современный язык дизайна Supermicro.

Слева сзади расположены два слота расширения полной высоты и два блока питания.

Слоты расширения должны быть подключены кабелями с PCIe-подключениями через MCIO, а также питанием. PCIe Gen5 затрудняет использование традиционных слотовых райзеров в таких больших системах, поэтому мы видим кабельные соединения. Это также обеспечивает гибкость в том, как линии PCIe распределяются по разным слотам, поскольку теперь это просто вопрос перемещения кабелей.

Резервные блоки питания имеют мощность 2 кВт уровня Titanium, но на сервере предусмотрены различные варианты блоков питания мощностью до 2,6 кВт каждый.

В центре сервера мы получаем наш задний ввод-вывод, который состоит просто из порта управления, двух портов USB и порта VGA. Идея заключается в том, что сетевое взаимодействие добавляется через слот AIOM/OCP NIC 3.0. Два из них находятся рядом с задним блоком ввода-вывода.

Вот кабельный двухслотовый райзер, который находится в этой средней секции. Опять же, эти райзеры очень конфигурируемы, поскольку они кабельные.

С правой стороны у нас есть секция расширения на четыре слота.

Сборка райзера имеет небольшой райзер с одним слотом для нижнего слота полной высоты. Можно увидеть, что есть альтернативная конфигурация для райзера с двумя слотами. В верхней части сборки есть еще один райзер с двумя слотами, подключенный кабелем. В этом случае у нас есть карта Supermicro AOC-S100GC-i2C 100GbE , которая использует установленный чипсет Intel E810.

Теперь давайте заглянем внутрь системы.

Обзор внутреннего оборудования Supermicro SYS-222H-TN

Вот краткий обзорный снимок, который поможет вам сориентироваться.

За хранилищем мы получаем промежуточную панель с четырьмя вентиляторами. Они обеспечивают избыточные пути воздушного потока через каждый ЦП и к остальной части системы. Вентиляторы имеют возможность горячей замены, но вентиляторы также стали чрезвычайно надежными.

Каждый ЦП и память получают свой собственный воздуховод, а затем идет центральный кабельный канал. Это лучшая конструкция, чем что-то вроде Dell EMC PowerEdge R750xa, поскольку замена DIMM не требует удаления кабеля MCIO.

А вот взгляд с другой стороны.

Что касается ЦП, у нас есть два процессорных разъема Intel Socket E2 (LGA-4710). Мы протестировали их с процессорами Intel Xeon 6780E и Xeon 6766E, каждый из которых имеет 144 ядра, что в сумме составляет 288. У нас есть версия с воздушным охлаждением, поскольку 330 Вт в 2U — это неплохо, но, по-видимому, есть вариант с жидкостным охлаждением, который мы не тестировали.

Каждый процессор имеет 8 каналов DDR5 и поддерживает 2DPC (два модуля DIMM на канал), поэтому мы получаем в общей сложности 16 модулей DIMM на сокет и 32 модуля DIMM в общей сложности.

Материнская плата, если хотите узнать, — Supermicro X14DBM-SP.

Ранее мы уже упоминали о переходных платах и ​​хранилищах, что кабели MCIO являются основным инструментом для подключения слотов PCIe/хранилищ на сервере.

На материнской плате имеются разъемы MCIO. Рядом с кластером центрального разъема находится ASPEED AST2600 BMC.

В этом поколении вы не увидите PCH. Контроллер платформы Intel был снят с производства в этом поколении, что сделало платформу Xeon гораздо более современной по своей конструкции.

Рядом с BMC у нас есть еще кабели MCIO.

Что вы можете здесь увидеть, что довольно аккуратно, так это то, что два диска M.2 разработаны для обслуживания без инструментов. Фактические слоты M.2 находятся на краю материнской платы. Диски затем простираются вдоль середины корпуса за задним I/O.

Еще одной интересной особенностью Supermicro является то, что она использует кабельное соединение для слота AIOM/OCP NIC 3.0 .

Стоит отметить, что материнская плата довольно короткая. Она простирается только от блока питания до блока питания или только от блока питания. Когда мы говорим о том, что передача сигналов PCIe Gen5 является проблемой, это прямой способ, которым эта проблема влияет на дизайн. Сигнал проходит дальше по кабелям, чем по печатной плате.

Далее перейдем к блок-схеме.

Блок-схема Supermicro SYS-222H-TN

Вот структурная схема материнской платы X14DBM-SP.

Что-то очень примечательное здесь, так это то, что в конструкции больше нет PCH. В результате все операции ввода-вывода переходят в ЦП. Затем идут BMC и CPLD, которые обрабатывают часть низкоскоростных операций ввода-вывода. Это большое изменение в Xeon 6, и оно делает платформу более соответствующей предложениям AMD и Ampere, не требуя PCH.

Вот краткий обзор топологии системы.

Управление Supermicro SYS-222H-TN

Сервер использует ASPEED AST2600 BMC для функций управления IPMI по внешнему каналу.

Для краткости отметим, что на данном этапе веб-интерфейс управления Supermicro IPMI/Redfish — это то, что мы ожидаем от сервера Supermicro.

Конечно, есть такие функции, как HTML5 iKVM, как мы и ожидали, а также рандомизированный пароль. Вы можете узнать больше о том, почему это требуется, чтобы старые учетные данные ADMIN/ADMIN не работали, в статье Почему ваши любимые пароли по умолчанию меняются .

Теперь поговорим о производительности.

Производительность Supermicro SYS-222H-TN

Поскольку мы использовали этот сервер для нашей первой части Intel Xeon 6 6700E Sierra Forest Shatters Xeon Expectations , у нас будет сводка производительности, которую мы уже опубликовали. Главное отличие в том, что мы хотели провести повторное тестирование с SSD DapuStor, чтобы увидеть, оказывает ли это влияние, поскольку это то, что мы обнаружили при работе над частью AMD EPYC 9005 Turin . Оказывается, огромные многоядерные процессоры могут фактически столкнуться с узкими местами в хранилище, где мы никогда не видели их раньше.

Тест производительности компиляции ядра Python Linux 4.4.2

Это один из самых востребованных бенчмарков для STH за последние несколько лет. Задача была простой: у нас был стандартный файл конфигурации, ядро ​​Linux 4.4.2 с kernel.org, и мы создали стандартную автоматически сгенерированную конфигурацию, использующую каждый поток в системе. Мы выражаем результаты в терминах компиляций в час, чтобы сделать результаты более удобными для чтения.

Так что это действительно крутой результат. Это один из первых тестов, который мы начали разбивать на несколько экземпляров. Причина в том, что есть несколько мест, где мы получаем точки с одним потоком, которые просто останавливают большие процессоры, где вы получаете менее 1% использования. Перейдя к 4x 36-потоковым экземплярам на ЦП для 8x 36-потоковых экземпляров на систему, мы увидели огромный скачок производительности.

Когда мы обсуждаем, что бенчмаркинг одного приложения на целых облачных собственных процессорах кажется немного неправильным, вот отличный пример того, почему. Если вы поднимаете и перемещаете рабочие нагрузки с серверов с меньшим количеством ядер, то это больше похоже на то, как они будут работать на облачных собственных процессорах. Это странно, но они работают лучше, поскольку работа распределяется, а однопоточные моменты не вызывают использования менее 1%.

c-ray 1.1 Производительность

Мы используем c-ray для тестирования производительности уже много лет. Это бенчмарк трассировки лучей, который чрезвычайно популярен для демонстрации различий в процессорах при многопоточных рабочих нагрузках. Вот результаты 8K:

Это тот случай, когда нам придется его разделить. Масштабирование с этими большими процессорами начинает становиться шатким.

Результаты SPEC CPU2017

SPEC CPU2017, пожалуй, самый известный и используемый тест в запросах предложений для серверов, и Supermicro действительно представила результат для этого сервера; мы просто укажем на результат 1360 для двух чипов Xeon 6780E в этом сервере.

Производительность STH nginx CDN

В тесте nginx CDN мы используем старый снимок и шаблоны доступа с сайта STH с отключенным кэшированием DRAM, чтобы показать, как выглядит производительность при извлечении данных с дисков. Для этого требуется работа nginx с низкой задержкой, но также дополнительный шаг доступа к вводу-выводу с низкой задержкой, что делает его интересным на уровне сервера. Вот краткий обзор распределения:

Здесь мы видим знакомую картину. Однако есть несколько моментов, на которые стоит обратить внимание. Процессоры Intel работают действительно хорошо. Однако мы не используем Intel QAT offload для OpenSSL и nginx. Если вы не хотите использовать ускорение, то это хороший результат. Если вы готовы использовать ускорители, то это не идеальный вариант, поскольку есть кремниевые ускорители, которые не используются. Это как не использовать GPU или NPU для ускорения ИИ.

Даже без QuickAssist и глядя только на ядра, Intel делает очень хорошо. Представьте себе 288-ядерную часть.

Аналитика ценообразования MariaDB

Лично для меня это очень интересно. Происхождение этого теста заключается в том, что у нас есть рабочая нагрузка, которая запускает аналитику ценообразования управления сделками на основе набора данных, которые были анонимизированы из крупного центра обработки данных OEM. Приложение эффективно ищет тенденции ценообразования по линейкам продуктов, регионам и каналам, чтобы определить хорошие/плохие рекомендации по сделкам на основе рыночных тенденций для информирования о конфигурациях BOM в реальном времени. Если это кажется очень конкретным, большая разница между этим и чем-то, развернутым у крупного поставщика, заключается в данных, которые мы используем. Это тип приложения, который перешел на методологии вывода ИИ, но это отличный реальный пример того, что бизнес может запустить в облаке.

Здесь SMT помогает, но это меньший процентный прирост на поток. AMD по-прежнему имеет значительное преимущество с Bergamo, поскольку выигрывает с 256 ядрами Zen 4c против 288, но ядра E держатся.

Тестирование виртуализации STH STFB KVM

Одна из других рабочих нагрузок, которой мы хотели поделиться, принадлежит одному из наших клиентов DemoEval. У нас есть разрешение на публикацию результатов, но само тестируемое приложение имеет закрытый исходный код. Это рабочая нагрузка на основе виртуализации KVM, где наш клиент тестирует, сколько виртуальных машин он может иметь в сети в определенный момент времени, выполняя работу в соответствии с целевым SLA. Каждая виртуальная машина является самодостаточным работником. Это очень похоже на VMware VMark с точки зрения того, что он делает, просто используя KVM для более общего представления.

Это действительно отличные цифры для Sierra Forest. Bergamo по-прежнему побеждает, и в некоторых более крупных размерах виртуальных машин простое наличие 512 потоков вместо 288 в двухсокетном сервере действительно очень помогает здесь. Размер памяти также оказывает некоторое влияние на более крупные тесты. Тем не менее, Sierra Forest работает очень хорошо, и он делает это при более низкой мощности 330 Вт. Причина, по которой мы используем здесь Intel Xeon 6780E, а не Xeon 6766E, заключается просто в том, что это занимает слишком много времени, но мы чувствуем, что некоторые результаты будут неразличимы, когда они связаны с памятью и ядром. Мы предполагаем, что это будет большим победителем с точки зрения производительности на ватт.

В целом, это не консолидация уровня AMD EPYC Bergamo. С другой стороны, есть большое преимущество перед Intel Xeon 5-го поколения как по производительности и мощности, так и по чистой производительности.

DapuStor Haishen5 SSD H5100 30.72TB Влияние

Для этого обзора мы хотели посмотреть, повлияет ли добавление высокоскоростного PCIe Gen5 NVMe SSD на результаты производительности наших приложений. Поскольку это новейший SSD в нашей лаборатории, мы хотели попробовать DapuStor Haishen5 SSD H5100, который компания прислала емкостью 30,72 ТБ. Это также диск 1 DWPD, поэтому у него огромная выносливость записи — более 10 ПБ/год.

Диск сочетает в себе огромную емкость с большой производительностью. Последовательное чтение/запись составляет 14 ГБ/с и 9,5 ГБ/с соответственно с 4K при 2,8M IOPS и 380K IOPS. Главное здесь — большой и быстрый.

Начиная с нашего nginx CDN, мы видим хороший прирост, особенно с более тактовой частотой Xeon 6780E.

Обычно мы видим, что меньшее количество ядер и более низкочастотные части достигают меньших дельт в нашем тестировании. Настолько, что мы даже не изучали это, пока в этом году 130+ ядерных процессоров не поступили на тестирование.

В целом, DapuStor Haishen5 H5100 — действительно классный диск. Он может дать вам несколько процентов производительности вашей системы не только в синтетических тестах вроде fio, но и в реальных приложениях. Для некоторых приложений, например, nginx CDN, наличие больших 30,72 ТБ емкостей может быть очень приятным.

Теперь давайте перейдем к энергопотреблению.

Потребляемая мощность

В нашем обзоре Intel Xeon 6700E мы рассмотрели показатели энергопотребления этой системы.

Используя эту платформу Supermicro с момента ее создания и начиная с базового энергопотребления BMC при выключенном сервере, но подключенных сетевых картах, подключенной клавиатуре и т. д., мы получаем диапазон примерно 6–12 Вт.

Включая систему, в режиме ожидания мы получаем около 315 Вт. Это выше, чем некоторые ожидали, но это почти точно то, что мы ожидали увидеть от процессора с одним ядром E. Эти ядра не дросселируются до небытия. Вместо этого, состояния мощности от минимума до максимума в реализациях E, которые мы видели, как правило, относительно близки. Когда мы запускаем систему, мы достигаем пика в 905 Вт через показания блока питания BMC.

В качестве краткого примечания, мы теряем здесь небольшую сумму из-за использования резервных источников питания, поэтому использование одного источника питания будет менее 900 Вт. Во-вторых, это не типичная конфигурация lean, которую мы используем для тестирования энергопотребления. Вместо этого у нас есть 32x 64 ГБ DDR5 DIMM для общего объема памяти 2 ТБ. У нас было два порта 100GbE и даже подключенный четырехканальный сетевой адаптер Intel X710-T4 10Gbase-T, потому что нам нужно было соединение RJ45, учитывая, что у нас было время протестировать это только в студии, а не в лаборатории центра обработки данных.

Отбросив половину DIMM (~5 Вт каждый) и периферийных устройств, мы получили это ниже 800 Вт, и, вероятно, было куда снижаться. Это довольно хорошо с двумя 330 Вт TDP ЦП.

С Xeon 6766E нам удалось получить энергопотребление в полной конфигурации 2 ТБ до примерно 725 Вт. Снижение 80 Вт TDP на процессор дает нам 160 Вт в целом к ​​этому снижению, и охлаждение также составляет несколько ватт. Это абсолютно безумная цифра. 288 ядер, 2 ТБ памяти DDR5, 100GbE и 10Gbase-T сетевое взаимодействие, и всего 725 Вт? Переходя к 1DPC и только 1 ТБ памяти, мы были ниже максимума 650 Вт для примерно 2,25 Вт / ядро, что зажглось с 100GbE сетевым взаимодействием.

STH Server Spider: Supermicro SYS-222H-TN

Во второй половине 2018 года мы представили STH Server Spider как краткий справочник по возможностям серверной системы. Наша цель — начать давать быстрое визуальное описание типов параметров, на которые нацелен сервер.

Наша конфигурация была больше наклонена в сторону использования дополнительных карт. В то же время, с 288 физическими ядрами мы получаем много ядер при очень разумном энергопотреблении. В нашем STH Server Spider мы не смотрим на такие вещи, как ватты на ядро, но эта система работает очень хорошо, при этом имея довольно большую расширяемость. Мы рассмотрели только одну конфигурацию, но это платформа, которая может обрабатывать в три раза больше SSD по сравнению с тем, что мы рассматривали просто в качестве примера. С SSD на 122,88 ТБ, которые появятся в 2025 году, этот сервер 2U может иметь 288 ядер и почти 3 ПБ хранилища, что здорово.

Заключение

Это была забавная система, которую нужно было изучить, поскольку мы могли показать ее как на запуске Xeon 6, так и с приятным небольшим обновлением в DapuStor H5100. Наличие большей емкости было здорово, но также наличие SSD большой емкости, который мог бы улучшить производительность приложений системы с 288 ядрами, было также здорово. Платформы Supermicro Hyper, такие как эта, обычно имеют гораздо больше вариантов конфигурации, но Supermicro также фокусируется на том, чтобы сделать конструкции очень удобными в обслуживании. Это немалое достижение.

Для тех, кто развертывает Sierra Forest, Supermicro предлагает очень универсальный сервер 2U с двумя сокетами в SYS-222H-TN. Лучшей частью может быть энергоэффективность. Эта конфигурация Intel Xeon 6766E позволяет вам разместить много физических ядер и планок DDR5 в маломощном пакете.

Источник: servethehome.com