Видеокарта GPU NVIDIA H100 с тензорными ядрами

Видеокарта GPU NVIDIA H100 с тензорными ядрами - беспрецедентная производительность, масштабируемость и безопасность для любых задач.

GPU NVIDIA A100 выпускается в двух модификациях: NVIDIA H100 SXM и NVIDIA H100 PCIe.

С помощью коммутационной системы NVIDIA® NVLink® можно подключить до 256 H100 для ускорения экзафлопсных нагрузок, а также специальный механизм Transformer Engine для языковых моделей с триллионами параметров. Совокупность технологических инноваций H100 позволяет ускорить большие языковые модели в 30 раз по сравнению с предыдущим поколением, обеспечивая лучший в отрасли разговорный ИИ.

H100 для популярных серверов поставляется с пятилетней подпиской, включающей корпоративную поддержку, на пакет ПО NVIDIA AI Enterprise, который упрощает внедрение ИИ с максимальной производительностью. Это гарантирует организациям доступ к платформам и инструментам искусственного интеллекта, необходимым для создания процессов ИИ с ускорением H100, таких как чат-боты на основе ИИ, механизмы рекомендаций, машинное зрение на базе ИИ и многое другое.

Трансформационное обучение моделей ИИ

Графические процессоры H100, оснащенные тензорными ядрами четвертого поколения и Transformer Engine с точностью FP8, ускоряют обучение до 9 раз по сравнению с предыдущим поколением для моделей коллектива экспертов (MoE). Сочетание NVlink четвертого поколения, обеспечивающее соединение между графическими процессорами со скоростью 900 гигабайт в секунду (ГБ/с), системы NVSwitch, ускоряющей коллективную связь каждого GPU между узлами, PCIe 5-го поколения и ПО NVIDIA Magnum IO™ обеспечивает эффективную масштабируемость как для небольших предприятий, так и для крупных унифицированных кластеров GPU.

Развертывание графических процессоров H100 в масштабах дата-центра обеспечивает беспрецедентную производительность и делает следующее поколение экзафлопсных высокопроизводительных вычислений (HPC) и ИИ с триллионами параметров доступным для всех исследователей.

Инференс глубокого обучения в реальном времени

ИИ решает широкий спектр бизнес-задач, используя настолько же широкий набор нейронных сетей. Хороший ускоритель инференса модели ИИ должен обеспечивать не только высочайшую производительность, но и универсальность для ускорения этих сетей.

H100 укрепляет лидерство NVIDIA на рынке инференса благодаря улучшениям, которые ускоряют инференс до 30 раз и обеспечивают минимальную задержку. Тензорные ядра четвертого поколения ускоряют все типы точности, включая FP64, TF32, FP32, FP16 и INT8, а Transformer Engine использует FP8 и FP16 вместе, чтобы сократить использование памяти и повысить производительность, сохраняя при этом точность для больших языковых моделей.

Экзафлопсные высокопроизводительные вычисления

Платформа NVIDIA для дата-центров обеспечивает постоянный прирост производительности сверх закона Мура. А новые прорывные возможности ИИ в H100 еще больше усиливают мощь сочетания высокопроизводительных вычислений и ИИ, ускоряя работу ученых и исследователей по решению важнейших мировых задач.

H100 утраивает число операций с плавающей точкой в секунду (FLOPS) для тензорных ядер с операциями с двойной точностью, обеспечивая 60 терафлопс вычислений FP64 для задач HPC. Приложения для высокопроизводительных вычислений с ИИ могут использовать точность TF32 процессора H100, чтобы обеспечить пропускную способность один петафлопс в операциях умножения матриц с одинарной точностью без изменений кода.

H100 также содержит инструкции DPX, которые обеспечивают в 7 раз более высокую производительность по сравнению с GPU NVIDIA A100 с тензорными ядрами и 40-кратное ускорение по сравнению с традиционными двухпроцессорными серверами, работающими только на базе CPU, при использовании алгоритмов динамического программирования, таких как алгоритм Смита-Уотермана для выравнивания последовательностей ДНК.

Ускоренный анализ данных

Аналитика данных часто занимает большую часть времени при разработке приложений на основе ИИ. Поскольку большие наборы данных разбросаны по нескольким серверам, масштабируемые решения с серверами на базе CPU не справляются с задачами из-за отсутствия необходимой производительности вычислений.

Ускоренные серверы с H100 обеспечивают вычислительную мощность, а также пропускную способность памяти 3 ТБ/с на GPU и масштабируемость с помощью NVLink и NVSwitch, что позволяет выполнять аналитику данных с высокой производительностью и масштабированием для задач с большими наборами данных. В сочетании с NVIDIA Quantum-2 InfiniBand, ПО Magnum IO, Spark 3.0 с ускорением на основе GPU и NVIDIA RAPIDS™ платформа NVIDIA для дата-центров позволяет ускорить эти ресурсоемкие задачи, обеспечивая непревзойденную производительность и энергоэффективность.

Готовность к развертыванию на предприятии

IT-менеджеры стремятся обеспечить максимально эффективное использование (как пиковое, так и среднее) вычислительных ресурсов в дата-центре. Они часто используют динамическую реконфигурацию вычислительных ресурсов, чтобы правильно распределить их для используемых нагрузок.

Технология Multi-Instance GPU (MIG) второго поколения в H100 позволяет максимально использовать каждый графический процессор, безопасно разделив его на семь отдельных инстансов. Благодаря поддержке конфиденциальных вычислений H100 обеспечивает безопасное сквозное многопользовательское использование, что идеально подходит для сред поставщиков облачных услуг (CSP).

H100 с MIG позволяет руководителям инфраструктур стандартизировать свою инфраструктуру с ускорением на основе GPU и обеспечить гибкое распределение ресурсов GPU с большей степенью детализации, чтобы безопасно предоставить разработчикам необходимый объем ускоренных вычислений и оптимальное использование всех ресурсов GPU.

Встроенные конфиденциальные вычисления

Современные решения для конфиденциальных вычислений основаны на CPU, которые слишком ограничены для ресурсоемких задач, таких как ИИ и высокопроизводительные вычисления. NVIDIA Confidential Computing – это встроенная функция безопасности архитектуры NVIDIA Hopper™, которая делает H100 первым в мире ускорителем с возможностями конфиденциальных вычислений. Пользователи могут защищать конфиденциальность и целостность своих данных и используемых приложений с доступом к беспрецедентному ускорению на основе GPU H100. Это создает аппаратную доверенную среду выполнения (TEE), которая защищает и изолирует всю нагрузку, выполняемую на одном графическом процессоре H100, нескольких GPU H100 в узле или отдельных инстансах MIG. Приложения с ускорением на основе GPU могут работать без изменений в TEE, и их не нужно разбивать на разделы. Пользователи могут сочетать мощь ПО NVIDIA для ИИ и HPC с безопасностью аппаратного корня доверия, поддерживаемого в NVIDIA Confidential Computing.

Непревзойденная производительность для крупномасштабных задач ИИ и высокопроизводительных вычислений

GPU с тензорными ядрами Hopper ляжет в основу архитектуры NVIDIA Grace Hopper CPU+GPU, специально созданной для ускоренных вычислений терабайтного масштаба и обеспечивающей 10-кратный рост производительности при работе с крупными моделями ИИ и высокопроизводительных вычислений. Процессор NVIDIA Grace использует гибкость Arm® для создания архитектуры процессора и сервера с нуля для ускоренных вычислений. Графический процессор Hopper подключен к процессору Grace по ультраскоростному межкристальному интерфейсу NVIDIA, который обеспечивает пропускную способность 900 ГБ/с (в 7 раз быстрее по сравнению с PCIe Gen5). Этот инновационный дизайн обеспечит увеличение совокупной пропускной способности системы до 30 раз по сравнению с самыми быстродействующими из современных серверов и до 10 раз более высокую производительность для приложений, обрабатывающих терабайты данных.

Технические характеристики

Форм-фактор	H100 SXM	H100 PCIe
FP64	34 терафлопс	26 терафлопс
Тензорное ядро для FP64	67 терафлопс	51 терафлопс
FP32	67 терафлопс	51 терафлопс
Тензорное ядро для TF32	989 терафлопс*	756 терафлопс*
Тензорное ядро для BFLOAT16	1979 терафлопс*	1513 терафлопс*
Тензорное ядро для FP16	1979 терафлопс*	1513 терафлопс*
Тензорное ядро для FP8	3958 терафлопс*	3026 терафлопс*
Тензорное ядро для INT8	3958 TOPS*	3026 TOPS*
Объем видеопамяти	80 ГБ	80 ГБ
Пропускная способность GPU	3,35 ТБ/с	2 ТБ/с
Декодеры	7 NVDEC 7 JPEG	7 NVDEC 7 JPEG
Максимальные требования по теплоотводу (TDP)	До 700 Вт (настраиваемая)	300–350 Вт (настраиваемая)
Комбинации Multi-Instance GPU	До 7 MIG с 10 ГБ каждый
Форм-фактор	SXM	PCIe Двухслотовый с воздушным охлаждением
Межсоединение	NVLink: 900 ГБ/с PCIe Gen5: 128 ГБ/с	NVLINK: 600 ГБ/с PCIe Gen5: 128 ГБ/с
Сервер	Сервер NVIDIA HGX™ H100 на базе NVIDIA-Certified Systems™ и решений партнеров с 4 или 8 графическими процессорами NVIDIA DGX™ H100 с 8 графическими процессорами	Сервер на базе сертифицированных NVIDIA систем и решений партнеров с 1–8 графическими процессорами
NVIDIA AI Enterprise	Дополнительно	Входит в комплект