Интеллектуальная карта-ускоритель Cambricon MLU370-X4

В плате ускорителя MLU370-X4 используется чип Siyuan 370. Это полноразмерная плата ускорителя мощностью 150 Вт с одним слотом, которая может обеспечить вычислительную мощность вывода до 256 TOPS (INT8) и обучающую вычислительную мощность до 24 TFLOPS (FP32). Она также обеспечивает богатый FP16. , BF16 и т. д. Такая точность обучения в сочетании с новой базовой системной программной платформой может полностью удовлетворить потребности интегрированных задач искусственного интеллекта для продвижения по службе и обучения.

Чип SIYUAN370 содержит до 24 ядер MLU и использует архитектуру MLUv03 для обеспечения многоядерного параллельного процессора. Память 24 ГБ может обеспечить в 3 раза большую пропускную способность памяти по сравнению с памятью предыдущего поколения, эффективно устраняя узкое место в пропускной способности в вычислительном процессе искусственного интеллекта; новая платформа vMLU может поддерживать 8 экземпляров на одном чипе, помогая клиентам добиться виртуализации облака и изоляции ресурсов на уровне контейнера. Чип SIYUAN370 обеспечивает комплексную прецизионную поддержку искусственного интеллекта для INT16, INT8, INT4, FP32, FP16, BF16 и т. д., чтобы удовлетворить требования к вычислительной мощности различных нейронных сетей, а также обладает универсальностью и производительностью.

Особенности

Передовая технология чиплетов

Впервые компания Cambrian использует технологию чиплетов для объединения двух вычислительных ядер искусственного интеллекта в один чип искусственного интеллекта, предоставляя пользователям экономичные чипы искусственного интеллекта, подходящие для различных сценариев, благодаря продуктам с различными комбинациями ядер и разнообразными спецификациями.

Архитектура чипа MLUarch03

Тензорный вычислительный блок нового поколения имеет встроенный модуль Supercharger, который значительно повышает эффективность различных сверток; он использует новую технологию многооператорного аппаратного слияния, позволяющую значительно сократить время выполнения оператором на основе программного слияния.

Механизм ускорения вывода MagicMind

Первый в отрасли механизм вывода, основанный на технологии компиляции графов MLIR, обеспечивающий возможности коммерческого развертывания. Пользователям нужно лишь инвестировать минимальные затраты на разработку, чтобы развернуть услуги вывода для всего спектра продуктов Cambrian и получить конкурентоспособную производительность.

Интегрированная платформа разработки программного обеспечения для обучения и продвижения

Базовая программная платформа Cambrian объединяет весь базовый стек программного обеспечения для обучения и вывода, включая базовые драйверы, библиотеки времени выполнения, библиотеки операторов, цепочки инструментов и т. д. Она глубоко интегрирует MagicMind с платформами искусственного интеллекта Tensorflow и Pytorch для достижения интегрированного обучения и вывода.

Низкое энергопотребление и память LPDDR5 с высокой пропускной способностью.

Чип Siyuan 370 является первым в отрасли, поддерживающим память LPDDR5, с высокой пропускной способностью и низким энергопотреблением. Пропускная способность памяти в 3 раза выше, чем у продукта предыдущего поколения, а энергоэффективность доступа к памяти в 1,5 раза выше, чем у GDDR6. Он может Обеспечить чипы искусственного интеллекта с ограниченным энергопотреблением внутри платы. Выделять больше энергии и выводить более мощные вычислительные мощности.

Кодек нового поколения

Новый блок кодирования и декодирования видеоизображений может поддерживать 132 канала декодирования видео 1080p и 10 каналов декодирования видео 8K. При кодировании видео он экономит 42% полосы пропускания по сравнению с продуктом предыдущего поколения при том же качестве изображения (PSNR видео Full HD), что эффективно снижает затраты на полосу пропускания.

Технология многоядерного соединения MLU-Link

Технология многоядерных соединений MLU-Link, реализованная на чипе Cambrian 370, обеспечивает каждому чипу дополнительную возможность прямой межчиповой связи со скоростью 200 ГБ/с. Siyuan 370 обеспечивает более эффективную параллельную работу при решении параллельных задач с несколькими картами и многоядерными процессорами.

Оптимизирован для вычислений AI с плавающей запятой.

Чип Siyuan 370 оснащен полноценным тензорным вычислительным блоком с плавающей запятой, который может поддерживать тяжелые вычислительные задачи FP32, FP16 или BF16 в рамках ускорения искусственного интеллекта, что упрощает выбор вычислений.