ИИ-ускоритель AMD Instinct MI300X 128Гб

Instinct MI300X представляет собой ускоритель на основе GPU и является специализированным ускорителем вычислений Instinct MI300X, предназначенным для работы с огромными объемами данных для генеративного ИИ и высокопроизводительных вычислительных нагрузок. Это самый мощный ускоритель вычислений в арсенале AMD.

В основе Instinct MI300X используется архитектура CDNA 3 и чиплетная компоновка с использованием кристаллов, выполненных по 5- и 6-нм техпроцессам. Для сборки чипов применяется продвинутая 3D-упаковка и TSV-монтаж. Базовый слой чипа представлен четырьмя кристаллами I/O Die с поддержкой 128-канального интерфейса памяти HBM3, 256 Мбайт кеш-памяти Infinity Cache, поддержкой 64 линий PCIe 5.0 и 64 линий PCIe 4.0.

Поверх кристаллов I/O Die установлены восемь кристаллов XCD, в каждом из которых содержится по 38 исполнительных блоков на архитектуре CDNA 3, что в сумме даёт 304 блока. Ускоритель оснащён 128 Гбайт памяти HBM3 с пропускной способностью в 5,3 Тбайт/с. Для объединения MI300X в кластеры предусмотрена поддержка шины Infinity Fabric четвёртого поколения. В целом в составе MI300X присутствуют 153 млрд транзисторов.

AMD сравнивает MI300X с ИИ-ускорителями NVIDIA H100. Последний имеет 80 Гбайт HBM3 со скоростью 3,35 Тбайт/с. AMD заявляет, что MI300X обеспечивает паритет в задачах обучения ИИ, но в 1,6 раза превосходит конкурента в инференс-задачах (работе уже обученных систем ИИ). Например, AMD обещает увеличение скорости работы большой языковой модели Llama 2 с 70 млрд параметров в 1,4 раза, по сравнению с H100, а в работе модели Bloom с 176 млрд параметров MI300X обеспечит пропускную способность в 1,6 раза выше.

Instinct MI300X можно будет объединять в системы из восьми ускорителей на одной плате. Такая платформа сможет конкурировать с системой NVIDIA H100 HGX, и при этом обеспечит более высокую производительность и значительно большой объём памяти, а последнее весьма важно для задач ИИ.

Компания AMD называет Instinct MI300X самыми мощными ускорителями ИИ-вычислений. Платформа AMD из восьми MI300X обеспечивает производительность в 10,4 Пфлопс в операциях FP16 / BF16. Для сравнения, HGX-платформа из NVIDIA H100 в тех же задачах обеспечивает производительность в 7,9 Пфлопс. А объём памяти HBM3 у решения AMD в 2,4 раза больше, чем у платформы конкурента.