Графический ускоритель NVIDIA GB200

Флагманским ускорителем на новой архитектуре станет Nvidia Grace Blackwell Superchip, в котором сочетается пара графических процессоров B200 и центральный Arm-процессор Nvidia Grace с 72 ядрами Neoverse V2. Данный ускоритель шириной в половину серверной стойки обладает TDP до 2,7 кВт. Производительность в операциях FP4 достигает 40 Пфлопс, тогда как в операциях FP8/FP6/INT8 новый GB200 способен обеспечить 10 Пфлопс. Nvidia GB200 обеспечивает 30-кратный прирост производительности по сравнению с Nvidia H100 для рабочих нагрузок, связанных с большими языковыми моделями, а она до 25 раз более экономична и энергетически эффективна.

Производительность

Графический процессор B200 выполнен по 4-нанометровому техпроцессу компании TSMC и содержит в себе 208 млн транзисторов. Пара из таких чипов станет ядром видеокарты GB200. Ее производительность можно оценить в 20 петафлопс. Новая архитектура Blackwell позволяет ускорить процесс обмена данными между несколькими подобными устройствами. К примеру, кластер из 16 графических ускорителей прошлого поколения тратил только 40% времени на полезные вычисления. Всё остальное занимал обмен информацией между единицами кластера.

Одними из главных источников более высокой производительности B200 стали новые тензорные ядра и второе поколение механизма Transformer Engine. Последний научился более тонко подбирать необходимую точность вычислений для тех или иных задач, что влияет и на скорость обучения и работы нейросетей, и на максимальный объём поддерживаемых LLM. Теперь Nvidia предлагает тренировку ИИ в формате FP8, а для запуска обученных нейросетей хватит и FP4. Blackwell поддерживает работу с самыми разными форматами, включая FP4, FP6, FP8, INT8, BF16, FP16, TF32 и FP64. И во всех случаях кроме последнего есть поддержка разреженных вычислений.

Особенности

С их помощью можно значительно ускорить обучение нейросетей и сделать процесс более энергоэффективным. Для объединения нескольких ускорителей Blackwell в одной системе новый GPU получил поддержку интерфейса NVLink пятого поколения, которая обеспечивает пропускную способность до 1,8 Тбайт/с в обоих направлениях. С помощью данного интерфейса (коммутатор NVSwitch 7.2T) в одну связку можно объединить до 576 GPU.

Blackwell GB200, который состоит из двух графических процессоров B200. GB200 обеспечивает более высокую производительность последовательной обработки и имеет высокую пропускную способность интерфейса NVLink для связи с GPU. В отличие от процессоров Intel Xeon Scalable или AMD EPYC, технология NVLink обеспечивает более быструю передачу данных между процессорами и графическими процессорами NVIDIA AI. Каждый чип B200 имеет производительность 20 PFLOPs в области искусственного интеллекта и поддерживает NVIDIA Transformer второго поколения и ядро Tensor шестого поколения.

Графический ускоритель NVidia GB200 включает в себя целый ряд инновационных технологий для ускорения вычислений, которые помогут совершить прорыв в обработке данных, инженерном моделировании, автоматизации проектирования электроники, компьютерном проектировании лекарств, квантовых вычислениях и генеративном ИИ. ИИ-ускорители позволят создавать ещё более крупные нейросети, в том числе работать с большими языковыми моделями (LLM) с триллионами параметров, и при этом будут до 25 раз энергоэффективнее и экономичнее в сравнении с Hopper.

Вместе с базовой видеокартой Nvidia выпустит серверную стойку GB200 NVL72, которая состоит из 72 новых графических ускорителей. Её мощность составляет уже 1,4 экзафлопса. Система жидкостного охлаждения будет поддерживать оптимальную рабочую температуру. Для связи всех компонентов используется более 3 км кабеля. При необходимости такие серверы можно связывать друг с другом, масштабирую всю систему. Nvidia отмечает, что новые устройства помогут ускорить обучение моделей с триллионами параметров и снизить потребление электроэнергии.