Видеокарта GPU NVIDIA A100 80 ГБ с тензорными ядрами

Видеокарта GPU NVIDIA A100 80 ГБ с тензорными ядрами обеспечивает непревзойденное ускорение нагрузок ИИ, анализа данных и HPC для решения самых сложных вычислительных задач.

GPU NVIDIA A100 выпускается в двух модификациях: NVIDIA A100 для HGX
и NVIDIA A100 для PCIe

A100 на базе архитектуры NVIDIA Ampere — это ядро платформы NVIDIA для дата-центров. A100 повышает производительность до 20 раз по сравнению с предыдущими решениями. Каждый GPU A100 можно разделить на семь инстансов для быстрой адаптации к постоянно меняющимся запросам. A100 80 ГБ обладает самой быстрой в мире пропускной способностью памяти (более 2 ТБ/с), что позволяет работать с самыми крупными моделями и наборами данных.

A100 — это часть комплексного решения NVIDIA для дата-центров, которая содержит программно-аппаратное обеспечение, сетевые технологии, библиотеки, а также оптимизированные модели и приложения для ИИ из NGC™. Представляя собой самую производительную комплексную платформу для ИИ и HPC, A100 позволяет получать результаты в реальном времени и разворачивать масштабируемые решения.

СТАТЬЯ: Обучение AI и инференс LLM моделей

Корпоративное ПО для ИИ

Платформа NVIDIA EGX™ предоставляет доступ к оптимизированному ПО, которое обеспечивает ускоренные вычисления по всей инфраструктуре. NVIDIA AI Enterprise — это комплексный облачный набор инструментов для работы с ИИ и анализа данных, оптимизированный, сертифицированный и поддерживаемый NVIDIA для VMware vSphere в сертифицированных NVIDIA системах. Он позволяет развертывать и масштабировать нагрузки ИИ, а также управлять ими в современной гибридной облачной платформе.

Тренировка алгоритмов глубокого обучения

Тензорные ядра в NVIDIA A100 с поддержкой Tensor Float (TF32) повышают производительность в 20 раз по сравнению с NVIDIA Volta, не требуя изменений в коде, и в 2 раза ускоряют автоматическую функцию работы с различной точностью и FP16. При объединении с NVIDIA® NVLink®, NVIDIA NVSwitch™, PCI Gen4, NVIDIA® Mellanox® InfiniBand®, и SDK NVIDIA Magnum IO™ ускоритель на базе A100 можно масштабировать в тысячи раз.

Тренировочная нагрузка, такая как алгоритм BERT, может быть обработана менее чем за минуту с помощью 2048 GPU A100, что является мировым рекордом.

A100 80 ГБ располагает 1,3 ТБ объединенной памяти на узел и увеличивает пропускную способность до 3 раз, по сравнению с A100 40 ГБ, для самых больших моделей с массивными таблицами данных, например, для моделей рекомендательных системы на основе глубокого изучения (DLRM).

Инференс моделей глубокого обучения

A100 представляет революционные функции для оптимизации инференса. Он ускоряет широкий диапазон операций: от FP32 до INT4. Технология Multi-Instance GPU (MIG) обеспечивает работу нескольких сетей на одном A100 для максимальной эффективности использования вычислительных ресурсов. А структурная поддержка разреженности повышает производительность до 2 раз помимо других преимуществ A100 в задачах инференса.

В современных моделях разговорного ИИ, таких как BERT, A100 ускоряет пропускную способность до 249 раз по сравнению с процессором.

В самых сложных моделях, ограниченных размером пакета, таких как RNN-T для автоматического распознавания речи, увеличенный объем памяти A100 80 ГБ удваивает размер каждого MIG и обеспечивает до 1,25 более высокую пропускную способность, чем A100 40 ГБ.

В MLPerf Inference была продемонстрирована ведущая в отрасли производительность NVIDIA. A100 в 20 раз производительнее, что укрепляет лидерство компании.

Высокопроизводительные вычисления

Чтобы совершать новые научные открытия, ученые обращаются к моделированию для лучшего понимания окружающего мира.

NVIDIA A100 представляет тензорные ядра с двойной точностью, обеспечивающие самую большую производительность HPC с момента появления GPU. В сочетании с 80 ГБ самой быстрой памяти GPU исследователи могут уменьшить 10-часовой процесс моделирования с двойной точностью до менее четырех часов на A100. Приложения для высокопроизводительных вычислений также могут использовать TF32 в A100 для достижения до 11 раз большей пропускной способности для операций умножения плотных матриц с одинарной точностью.

Для HPC-приложений с большими наборами данных дополнительная память A100 80 ГБ увеличивает пропускную способность в 2 раза благодаря Quantum Espresso, пакету для моделирования материалов. Огромный объем памяти и высокая пропускная способность делают A100 80 ГБ идеальной платформой для рабочих нагрузок нового поколения.

Высокопроизводительный анализ данных

Специалистам по data science необходимо анализировать, визуализировать большие наборы данных и извлекать из них ценную информацию. Но помехой для горизонтально-масштабируемых решений зачастую становится распределенность наборов данных на нескольких серверах.

Чтобы справиться с рабочими нагрузками, ускоренные серверы с A100 обеспечивают необходимую вычислительную мощность наряду с огромной памятью, пропускной способностью более 2 ТБ/с и масштабируемостью с NVIDIA® NVLink® и NVSwitch™. В сочетании с InfiniBand, NVIDIA Magnum IO™ и набором библиотек с открытым исходным кодом RAPIDS™, включая RAPIDS Accelerator для Apache Spark для анализа данных с ускорением на GPU, платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и эффективность.

Во время бенчмарка анализа больших данных A100 80 ГБ передавал информацию с более высокой производительностью (в 83 раза), чем процессор, и в 2 раза более высокой производительностью, чем на A100 40 ГБ. Таким образом, он идеально подходит для рабочих нагрузок со стремительно растущими размерами наборов данных.

Готовность к развертыванию на предприятии

A100 с технологией Multi-Instance GPU (MIG) обеспечивает максимальную эффективность использования инфраструктуры с ускорением на GPU. Технология MIG позволяет разделить GPU A100 на семь отдельных инстансов и предоставить доступ к GPU большему числу пользователей. С A100 40 ГБ каждый инстанс MIG может иметь объем до 5 ГБ, а с увеличенным объемом памяти A100 80 ГБ он удваивается до 10 ГБ.

MIG работает с контейнерами Kubernetes и  виртуализацей серверов с гипервизором. MIG позволяет разработчикам инфраструктуры предлагать оптимальный размер GPU с гарантированным качеством обслуживания (QoS) для каждой задачи, повышая эффективность использования ресурсов и предоставляя доступ к ресурсам для ускоренных вычислений большему числу пользователей.

Технические характеристики

* С разреженностью
** Графические процессоры SXM4 через серверные платы HGX A100; графические процессоры PCIe через мост NVLink для конфигураций, включающих до 2 GPU
*** Требования по теплоотводу 400 Вт для стандартной конфигурации. Заказная система охлаждения (CTS) SKU для HGX A100-80GB может поддерживать требования по теплоотводу до 500 Вт