Внешний обзор MikroTik CRS812-8DS-2DQ-2DDQ-RM

Коммутатор представляет собой стандартное устройство формата 1U и поставляется с комплектом для монтажа в стойку.

Основная особенность этого коммутатора — наличие двух портов 400G QSFP56-DD. Эти порты фактически представляют собой два порта 200G QSFP56, объединённых в один 400GbE порт, и их можно разделить на два порта 200G, как мы это делали для систем NVIDIA GB10. Если вас интересует, может ли MikroTik действительно обеспечить двустороннюю передачу данных на скорости 400G на обоих портах, перейдите в раздел тестирования производительности, где мы демонстрируем HTTP-трафик с использованием нашего инструмента генерации нагрузки Keysight CyPerf.

Важно помнить, что здесь используются порты QSFP56-DD. Существуют также порты OSFP 400GbE (с ребристым и плоским верхом), QSFP112 и другие варианты для работы с 400GbE. Физические соединения стали гораздо более сложными, чем раньше, и именно поэтому наша команда уделила столько времени этим вопросам в предыдущих материалах. Если вы привыкли к SFP+ 10G или SFP28/QSFP28, 400G — это совершенно другой уровень. Вы можете потратить много времени и денег, пытаясь разобраться в этом.

Если вам нужны порты 200GbE, то здесь также есть два дополнительных порта QSFP56 для этого.

Рядом с ними находятся восемь портов SFP56. SFP56 — это обновление сигнализации PAM4 для SFP28, которое использовало NRZ, при этом увеличив скорость с 28G до 56G. Для наших целей это означает, что SFP28 поддерживает 25GbE, а SFP56 — 50GbE. Если посмотреть на конфигурацию этого коммутатора, то можно заметить, что здесь есть два порта 400GbE, затем два порта 200GbE (в сумме 400GbE), а также восемь портов 50GbE (в сумме также 400GbE). Другим способом объяснить это можно так: QSFP56-DD — это четыре порта SFP56, удвоенные до восьми линий SFP56, что и дает нам 400GbE.

Далее идут порты 10Gbase-T для управления и загрузки. Эти порты подключаются к процессору управления и не связаны напрямую с чипом коммутатора.

Также имеется консольный порт для управления, кнопка сброса и индикаторы состояния.

На задней панели коммутатора расположено много вентиляторов.

Два из этих вентиляторов находятся в резервных блоках питания мощностью 250W.

Оставшиеся четыре вентилятора предназначены для охлаждения остальной части коммутатора.

Эти четыре вентилятора — горячезаменяемые модули. Мы подробнее обсудим это в разделе о питании и шуме, но стоит отметить, что если бы у MikroTik был более низкий уровень шума, это было бы отличным преимуществом, поскольку коммутатор можно было бы разместить прямо рядом с рабочим местом, и он не был бы слишком шумным, за исключением случаев, когда используется оптика высокой мощности.

Обзор MikroTik CRS812-8DS-2DQ-2DDQ-RM внутри

Внутри коммутатора порты расположены спереди, вентиляторы — сзади, а плата коммутатора находится слева, блок питания — справа.

Стоит отметить, что оптика QSFP56-DD может потреблять много энергии. Например, у нас есть оптика Cisco QSFP56-DD 400GbE DR4 на 500 м, которая имеет ограничение по мощности 12 Вт. В коммутаторах с низким потреблением энергии управление мощностью и охлаждением оптики становится важным аспектом.

Вы можете заметить, что порты QSFP56 200GbE имеют меньшие радиаторы, в то время как оптика SFP56 не оснащена охлаждающими ребрами. Стоит отметить, что в более дорогих коммутаторах OSFP обычно используются оптические модули с ребрами охлаждения, которые являются частью самого модуля оптики.

Для порта 10Gbase-T также требуется охлаждение для PHY-чипа.

В центре находится чип Annapurna Labs AL52400 Marvell 98DX7335. Marvell обладает крупным бизнесом в области сетевых коммутаторов, от небольших устройств до коммутаторов Teralynx 10 с пропускной способностью 51,2 Тбит/с для гипермасштабируемых решений и будущих разработок CPO. Annapurna Labs была приобретена Amazon несколько лет назад для разработки чипов для AWS. Если вы использовали AWS Graviton, то это чип от Annapurna Labs. В данном случае AL52400 — это четырёхъядерный ARM процессор с интегрированными интерфейсами 10GbE.

Вот блок-схема. Стоит отметить, что у AL52400 есть только одно соединение 10Gbps с Marvell 98DX7335, поэтому не стоит ожидать двух 10GbE портов для подключения к 400GbE портам. Эти порты помечены как управление/загрузка на передней панели, и это ещё одна важная причина. Они не подключены напрямую к Marvell, поэтому данные проходят через ARM чип, а затем по каналу 10Gbps передаются на коммутатор.

Коммутатор питается от двух резервных блоков питания мощностью 250W.

Здесь имеется небольшая плата распределения питания, которая подает один источник питания.

Здесь также присутствует маленький шлейф, вероятно, предназначенный для передачи данных с датчиков обратно в коммутатор.

Питание подается через провода на основную плату коммутатора.

Создается впечатление, что MikroTik изначально планировал другую конструкцию без платы распределения питания, поскольку на плате видны контакты для второго входа питания.

За чипом коммутатора и процессором управления находятся такие компоненты, как конденсаторы.

Горячезаменяемые модули вентиляторов имеют соединительные разъемы для подключения к коммутатору.

Управление MikroTik CRS812 DDQ

Для управления доступны три инструмента: MikroTik Webfig, Winbox и CLI. Однако для подключения к этому коммутатору нужно использовать более новую версию Winbox.

Мы не будем углубляться в детали, но наличие CLI для более опытных пользователей, а также веб-менеджмента и десктопного приложения для управления — это отличное решение. Это делает коммутатор более доступным для пользователей, которые не знакомы с настройками CLI на более сложных устройствах. Множество людей никогда не будут использовать CLI, и в целом такие варианты управления упрощают использование коммутатора для более широкой аудитории.

Производительность MikroTik CRS812-8DS-2DQ-2DDQ-RM

Многие, конечно, захотят задать очевидный вопрос: действительно ли эти порты 400GbE работают на скорости 400GbE или это просто маркетинговая характеристика? Мы запустили нашу машину Keysight CyPerf с HTTP-трафиком и полностью нагрузили порты. Ключевым моментом является то, что мы всё ещё используем карты NVIDIA ConnectX-7 с оптикой NVIDIA 400G OSFP DR4 на стороне машины CyPerf. В одном из портов у нас установлена оптика Innolight под брендом Cisco.

В другом порту у нас установлена одна из старых оптических решений Intel Silicon Photonics.

С этим мы нагрузили оба порта двусторонним трафиком и получили фактически скорость линии.

Пропускная способность на уровне Layer 2/3 составила 796-797 Гбит/с (примерно 398 Гбит/с в каждом направлении), что очень близко к заявленной скорости 400 Гбит/с. Реальный трафик HTTP (пропускная способность на уровне Layer 4/7) находился в диапазоне 789-790 Гбит/с. Возможно, были другие параметры настройки, которые можно было бы изменить, но результат оказался в пределах половины процента от заявленного значения, что является отличным показателем для коммутатора с розничной ценой $1295, а на рынке — около $1050. Оптика на каждом конце канала стоила дороже самого коммутатора, но это было довольно впечатляюще.

Тем не менее, вероятно, кто-то будет недоволен и скажет, что это не 800 Гбит/с общего двустороннего трафика на портах, несмотря на то что мы используем HTTP-трафик. Поэтому стоит добавить оговорку, что мы не проводили глубокую настройку, и результат может немного отличаться при оптимизации параметров.

Тем не менее, интерфейс MikroTik показывал, что мы превышаем 800 Гбит/с двустороннего трафика во время теста, что выглядело немного странно. Это также может дать лучшее представление о том, что именно происходило в ходе теста — мы одновременно отправляли и получали 400 Гбит/с HTTP-трафика через два порта.

Энергопотребление и шум MikroTik CRS812 DDQ

MikroTik CRS812 DDQ действительно вызывает интерес с точки зрения потребления энергии и уровня шума. Существует широко распространённое заблуждение, что это высокомощный коммутатор в режиме простоя, о чём мы видели комментарии. Наше предположение, что это связано с тем, что люди не могут читать технические характеристики и, вероятно, не проводили тестирование устройства. В режиме простоя мы зафиксировали потребление энергии в пределах 28-36 Вт при подключении одного порта 10Gbase-T для управления. Хотя это и не 11 Вт, как у MikroTik CRS504-4XQ-IN, но это и не в 4 раза больше потребления энергии в режиме простоя, несмотря на то, что коммутатор имеет в 4 раза большую пропускную способность.

Максимальное потребление энергии коммутатора без подключенных устройств составляет 81 Вт, но это значение мы не наблюдали. Наше предположение, что MikroTik использует какие-то оптимизации с процессором Annapurna Labs и чипом Marvell для достижения таких показателей, однако мы никогда не могли воспроизвести максимальные значения, указанные MikroTik, и всегда получали значительно более низкие показатели.

Максимальное потребление энергии с подключёнными устройствами составляет 134 Вт. Два оптических модуля, упомянутых выше, объясняют, почему это имеет значение. Например, оптика Cisco InnoLight 400G DR4, указанная выше, имеет номинальное потребление до 12 Вт и поддерживает расстояние до 500 м, и она работает в этом коммутаторе без проблем. Два таких модуля — это уже 24 Вт, но два пассивных оптоволоконных кабеля (DAC) обычно добавляют лишь около 1/10 от этой мощности, хотя и с гораздо меньшей дальностью.

Шум тоже представляет интерес. В режиме простоя этот коммутатор работает на уровне 39-41 дБа. Однако при нагрузке, особенно при использовании оптики с высоким потреблением, уровень шума может легко достигать 48-49 дБа, и, вероятно, он может быть ещё выше с другой оптикой и нагрузками, которых мы не создаём. Мы не можем назвать этот коммутатор бесшумным. С другой стороны, если вы используете в основном DAC-кабели, то по сравнению с 32-портовыми коммутаторами 400GbE, этот будет казаться почти бесшумным.

Что касается других коммутаторов, у нас есть также Dell Z9332F-ON — 32-портовый коммутатор 400GbE. Конечно, его пропускная способность в 8 раз больше, чем у CRS812 DDQ. С другой стороны, типичное потребление энергии у него составляет около 900 Вт, а максимальное может достигать 1500 Вт. Для более крупных и требовательных установок Dell — это старый, но более мощный коммутатор. Однако он также потребляет значительно больше энергии.

Заключение

С тех пор как мы увидели этот коммутатор во время своего тура по MikroTik в Латвии, чтобы узнать, как они делают отличное сетевое оборудование, мы не переставали обсуждать его, особенно учитывая, что мы также знали о выходе NVIDIA DGX Spark и Dell Pro Max с GB10. Это также объясняет, почему вы видели такие материалы, как «QSFP против QSFP-DD: основные отличия», «Что такое 400G-SR8 оптика и почему она важна», «Обзор адаптера NVIDIA ConnectX-7 с четырьмя портами 50GbE SFP56», «Строим новую студию и NAS для AI-хранилища» и другие. Мы готовили контент для этого обзора с момента, как вернулись из Латвии в июле.

Существует множество причин приобрести 32-портовые 400GbE коммутаторы по низкой цене на eBay. Цена за Гбит/с здесь ниже, и они могут физически поддерживать больше устройств. В то же время, с ценой около $1050 на момент этого обзора, если вам нужно решение с меньшим потреблением энергии и уровнем шума для 400GbE и 200GbE, это именно тот коммутатор, который вам нужен.

Конечно, в будущем мы вернемся к этому вопросу, но на данный момент этот компактный коммутатор оказался отличным. Мы собираемся купить еще несколько, учитывая наш опыт использования.