Внешний обзор Dell PowerEdge R770

PowerEdge R770 — это сервер формата 2U с глубиной 801,5 мм (31,56 дюйма). В зависимости от конфигурации, например, наличия передней или задней панели ввода-вывода, глубина может увеличиваться до чуть более 32 дюймов.

Передняя панель шасси PowerEdge R770 поддерживает до 40 SSD накопителей формата E3.S. Также доступны конфигурации с установкой до 24 накопителей формата 2,5 дюйма. В тестируемой системе установлено 16 SSD E3.S. Дополнительно в задней части сервера можно разместить до четырёх SSD E3.S, хотя в нашем экземпляре эта опция не реализована.

В центральной части шасси, вместо отсеков для накопителей, размещены вентиляционные отверстия для улучшения потока воздуха.

С правой стороны шасси расположены восемь слотов для SSD E3.S, ещё восемь слотов — слева.

SSD накопители формата E3.S со временем должны заменить накопители 2,5" U.2 и U.3. Мы рассказывали об этом ещё в 2021 году в материале о переходе с форматов M.2 и 2,5" SSD на E1 и E3 EDSFF. Переход идёт медленнее, чем ожидалось.

Dell предлагает несколько вариантов для установки SSD. В тестируемой системе использовались накопители Kioxia CM7 из нашей лаборатории.

Переходя к задней части сервера, стоит отметить её широкие возможности расширения. Наша конфигурация — только один из множества возможных вариантов. Все доступные опции можно изучить отдельно, а сейчас мы расскажем о компонентах, установленных в тестируемой системе.

Слева установлены блок питания и райзер PCIe двойной ширины.

В установленном райзере размещён графический процессор NVIDIA H100 NVL. Система поддерживает установку до двух GPU двойной ширины или до семи ускорителей одинарной ширины мощностью 75 Вт. Некоторые конкуренты Dell предлагают решения с большим количеством GPU в формате 2U. Однако у Dell для таких задач традиционно есть отдельные модели серии xa, например, PowerEdge R750xa, рассчитанный на четыре ускорителя двойной ширины в корпусе 2U.

Задняя панель ввода-вывода выполнена в стиле OCP и включает порты VGA, два порта USB Type-A и порт iDRAC для внеполосного управления.

В центральной части размещены верхний слот OCP и дополнительный слот райзера полной высоты.

Под центральными райзерами установлены ещё два райзера полной высоты. Для всех райзеров доступны различные варианты конфигурации.

В нижней части шасси установлен модуль Dell BOSS — фирменное решение для загрузки сервера с двух SSD-накопителей. Модуль позволяет использовать два загрузочных накопителя без задействования фронтальных отсеков с горячей заменой. Хотя уровень отказов (AFR) у SSD обычно составляет менее 0,25%, использование Dell BOSS упрощает обслуживание накопителей без необходимости вскрывать шасси.

Необычная особенность серверов Dell формата 2U — наличие ручки для удобства установки и перемещения. Мы отмечаем эту деталь уже несколько поколений подряд.

С правой стороны размещены два слота полной высоты и второй блок питания.

В нашей системе установлен дополнительный райзер с одним слотом двойной ширины.

Теперь рассмотрим внутреннее устройство сервера и узнаем, как Dell реализовала универсальность и гибкость этой системы.

Обзор внутреннего устройства Dell PowerEdge R770

Общий обзор системы: мы будем двигаться от передней части к задней.  На фотографии видно, что несмотря на множество вариантов райзеров, в задней части сервера почти нет лишних кабелей. Спереди кабели сосредоточены в области хранения данных и проложены низко в шасси. Переход на PCIe Gen5 увеличил требования к передаче сигнала, что обычно приводит к росту количества кабелей, однако в этой системе кабельная разводка остаётся компактной.

За накопителями расположена секция вентиляторов. Её можно выдвинуть для удобного доступа к кабелям. Под вентиляторами и в центральной части шасси предусмотрены аккуратные кабельные каналы с пенными уплотнителями.

Секцию вентиляторов можно извлечь целиком. Каждый вентилятор также выполнен в виде модуля с поддержкой горячей замены.

Центральная секция шасси отвечает за организацию основного воздушного потока.

В серверах линии PCIe обычно выходят с северной и южной сторон чипа, а направления восток–запад отведены под оперативную память. В этой системе видно передние PCIe-соединения MCIO, которые используются для подключения NVMe-накопителей. Также видны разъёмы для подключения секции вентиляторов.

С правой стороны размещены дополнительные разъёмы MCIO и точка фиксации секции вентиляторов.

С левой стороны также расположены разъёмы MCIO и кабели питания для задних панелей NVMe-накопителей.

Воздушный канал Dell спроектирован с возможностью адаптации. В левой части канала верхняя секция открыта для подачи воздуха к графическому процессору NVIDIA H100 NVL. В правой части воздушный поток перекрыт. Это показывает, как Dell управляет распределением воздуха внутри шасси.

Под воздушным каналом расположены процессоры и модули памяти. В системе установлены два процессора Intel Xeon серии 6700.

Каждый процессор поддерживает восемь каналов памяти DDR5 и по два модуля DIMM на канал. В сумме это 32 слота для модулей памяти ECC RDIMM.

Dell использует архитектуру HPM, основанную на стандарте OCP. Слоты райзеров размещены на задней части материнской платы, а на краю платы находятся слоты в стиле OCP.

Система производит сильное впечатление благодаря продуманной компоновке и качественной реализации.

За блоками питания расположены разъёмы питания для компонентов, таких как графический процессор NVIDIA H100 NVL.

Вот вид с другой стороны.

И вид сверху.

Dell использует модуль OCP DC-SCM для iDRAC и локального управления, размещённый в так называемом «чердаке» (attic), что привлекает внимание своим оригинальным расположением.

В центральной части размещён модуль BOSS.

Рядом находится слот OCP NIC 3.0. Внутреннее фиксирующее крепление не самое удобное решение, поскольку для замены сетевой карты требуется разборка системы. Другие производители используют коннекторы SFF с откидными язычками, что упрощает обслуживание, особенно в облачных серверах, позволяя заменять карты без снятия райзеров.

Этот слот OCP NIC 3.0 — только один из двух. Ещё один слот такого типа находится в верхнем райзере центральной секции.

Конструкция PowerEdge R770 позволяет гибко настраивать конфигурации. Однако система сложна в обслуживании. Из-за плотной компоновки компонентов для доступа к одним модулям часто приходится снимать другие. На практике это увеличивает количество операций при ремонте и замене.

Теперь давайте перейдём к рассмотрению топологии.

Топология Dell PowerEdge R770

В нашей конфигурации с 2 ТБ памяти установлены процессоры с производительными ядрами (P-core). PowerEdge R770 поддерживает процессоры Intel Xeon серий 6700P и 6700E.

В нашей конфигурации почти все компоненты подключены к процессору 0. Платформа поддерживает больше возможностей, чем использовано в системе. Также сервер совместим с памятью стандарта CXL.

Теперь давайте перейдём к разделу управления.

Управление Dell PowerEdge R770 через iDRAC

В PowerEdge R770 установлена система управления iDRAC 10. Она сохраняет логику и принципы работы предыдущих версий. Большинство пользователей уже знакомы с iDRAC.

Dell усилила акцент на скорости работы системы и расширила объём информации в интерфейсе управления. По сравнению с другими производителями, iDRAC 10 предоставляет больше данных для мониторинга и настройки.

Система поддерживает функцию инвентаризации с подробной информацией о компонентах и HTML5 iKVM. Эта функция позволяет управлять сервером через браузер без установки дополнительных плагинов.

В системах Dell установлено много датчиков. Это позволяет точно настраивать охлаждение под конкретные сценарии работы. Для гибкой платформы PowerEdge R770 такая настройка особенно важна.

Dell публикует подробные материалы о работе iDRAC для новых пользователей. Эта система — одно из самых старейших и широко используемых решений для удалённого управления серверами.

Теперь давайте перейдём к обсуждению производительности.

Производительность Dell PowerEdge R770

В нашей системе установлены два процессора Intel Xeon 6760P. Каждый процессор имеет 64 ядра, 128 потоков и 320 МБ кэш-памяти. В линейке доступны варианты на производительных (P-core) и эффективных (E-core) ядрах.

Просто запустив систему через наш набор тестов, мы получили следующие результаты:

Производительность системы высокая. Радиаторы высотой 1U не повлияли на результаты. Тестирование проводилось в режиме 1DPC (один модуль памяти на канал): из системы изъяли половину модулей, оставив 1 ТБ ОЗУ. При полной установке памяти производительность в задачах виртуализации могла бы быть выше.

Мы установили графический процессор NVIDIA H100 NVL и проверили его производительность в сервере 2U. Модель H100 NVL оснащена 94 ГБ памяти HBM3 и обеспечивает почти 4 ТБ/с пропускной способности — это заметное улучшение по сравнению с оригинальной версией H100.

Мы тестировали несколько систем с H100 NVL и проверяли, насколько эффективно охлаждается карта при энергопотреблении 400 Вт. Оценивали соответствие уровню охлаждения в специализированных графических серверах.

Результаты тестирования укладываются в допустимые пределы. PowerEdge R770 эффективно справляется с охлаждением. Графический процессор H100 NVL поддерживает настройку энергопотребления до 200 Вт, но для максимальной производительности рекомендуется использовать его на полной или близкой к полной мощности.

Теперь давайте перейдём к обсуждению энергопотребления.

Энергопотребление Dell PowerEdge R770

Система оснащена двумя блоками питания мощностью 1500 Вт с сертификатом 80Plus Titanium. Доступны варианты блоков от 800 Вт до 3,2 кВт. При запуске на одном блоке питания система выдала предупреждение из-за риска превышения 1,5 кВт. Однако фактическое энергопотребление осталось ниже этого порога.

Система работала в режиме производительности. Энергопотребление в режиме простоя превышало 500 Вт, что соответствует полной конфигурации с модулями памяти, двумя процессорами и графическим процессором NVIDIA.

Процессоры и память вместе потребляли более 200 Вт, а графический процессор NVIDIA H100 NVL — свыше 60 Вт. Эти значения не включают потребление SSD-накопителей, других компонентов и системы охлаждения.

Существует несколько способов снизить энергопотребление на уровне оборудования и программного обеспечения. Это наблюдение важно для оценки работы системы.

STH Server Spider — Dell PowerEdge R770

Во второй половине 2018 года мы представили инструмент STH Server Spider для быстрой оценки сильных сторон серверной системы. Он помогает визуально определить, на какие параметры и сценарии использования рассчитан сервер.

PowerEdge R770 — это сервер 2U с одним узлом. Он ориентирован на широкий спектр задач, а не на максимальную плотность размещения компонентов. Основное ограничение — ёмкость хранения данных: в спецификациях нет поддержки 3,5-дюймовых накопителей. Возможно, в будущем этот критерий будет исключён из стандартной схемы оценки STH Server Spider.

Заключение

Серверы Dell PowerEdge отличаются высоким уровнем инженерной проработки. Раньше Dell уделяла меньше внимания открытым стандартам, но сегодня активно использует технологии Open Compute Project, такие как OCP NIC 3.0, DC-SCM и DC-HPM. На основе этих стандартов компания разрабатывает собственные решения.

Тестируемая конфигурация PowerEdge R770 — лишь одна из множества возможных. Для каждой подсистемы доступно шесть и более вариантов настройки. Модель PowerEdge R770 ориентирована на широкий спектр задач серверного рынка.