NVIDIA H100

Ускоритель архитектуры Hopper 2022 года, на котором обучено большинство моделей 2023–2025 годов. Три исполнения с разной памятью и разъёмом; в 2026 году его место постепенно занимают H200 и Blackwell, но парк H100 остаётся самым массовым.

Исполнения

	H100 PCIe	H100 NVL	H100 SXM
Память	80 ГБ HBM2e	94 ГБ HBM3	80 ГБ HBM3
Пропускная способность	2,0 ТБ/с	3,9 ТБ/с	3,35 ТБ/с
FP8, без sparsity	около 1 500 TFLOPS	около 1 700 TFLOPS	около 1 980 TFLOPS
Интерфейс	PCIe 5.0	PCIe 5.0	SXM5, плата HGX
NVLink	мост на 2 карты	мост на 2 карты	NVSwitch, 8 карт
Мощность	350 Вт	400 Вт	700 Вт

H100 NVL — самое удачное исполнение для PCIe-серверов: больше памяти и заметно быстрее памяти, чем у базовой PCIe-версии, при умеренном потреблении. SXM нужен для обучения на 8 картах с полной связностью.

Серверы на H100

• 1 карта в 2U: инференс моделей до 70 млрд в FP8, разработка.
• 4 карты PCIe в 4U, 320–376 ГБ: дообучение и инференс моделей до 300 млрд в FP8.
• 8 карт PCIe в 4U, 640 ГБ: инференс больших моделей, попарные NVLink-мосты.
• HGX H100, 8× SXM, 640 ГБ, 8U, до 10 кВт: обучение с нуля, полный NVSwitch.

H100, H200 или RTX PRO 6000

• H200 — тот же чип с 141 ГБ и более быстрой памятью. При одинаковой цене H100 брать нет смысла; H100 выбирают, когда он ощутимо дешевле или уже стоит в кластере и нужен такой же.
• RTX PRO 6000 Blackwell даёт 96 ГБ и сравнимые FP8-вычисления без NVLink и с более медленной памятью. Для инференса он выгоднее H100 PCIe почти всегда.
• H100 остаётся выбором, если требуется совместимость с существующим кластером H100, NVLink на 8 картах или проверенные библиотеки под Hopper.

Наличие

H100 относится к номенклатуре с ограничениями поставки со стороны страны-производителя. Наличие и возможность поставки уточняются по запросу; на сайте позиции справочные. Смотрите также: H200, RTX PRO 6000 Blackwell.

Информация на сайте не является публичной офертой. Характеристики приведены по документации NVIDIA.