Серверы с NVIDIA H100
Серверы с NVIDIA H100
GPU-серверы NVIDIA H100 для AI и LLM
Start Server поставляет GPU-серверы на базе NVIDIA H100 для обучения и инференса LLM, машинного обучения, RAG, генеративного AI, анализа данных и HPC. H100 (архитектура Hopper) доступен в исполнениях: H100 SXM — 80 ГБ HBM3, H100 NVL — 94 ГБ HBM3 на GPU. NVIDIA позиционирует H100 для крупномасштабных AI и HPC-нагрузок.
Серверы NVIDIA H100 SXM 80 ГБ: H100 SXM — для высокоплотных multi-GPU систем: 80 ГБ HBM3 с пропускной способностью 3,35 ТБ/с, NVLink до 900 ГБ/с. HGX H100 — системы с 4 или 8 GPU, DGX H100 — с 8 GPU. В конфигурации 8× H100 SXM 80 ГБ — суммарно 640 ГБ GPU-памяти. Применяются для обучения LLM, fine-tuning, production-инференса, RAG, генеративного AI, ML, HPC и научных вычислений.
Серверы NVIDIA H100 NVL 94 ГБ: H100 NVL — PCIe-версия с 94 ГБ HBM3 на GPU, пропускная способность 3,9 ТБ/с, поддержка систем с 1–8 GPU. Пара H100 NVL даёт 188 ГБ HBM3 — NVIDIA позиционирует такую архитектуру для LLM-инференса. Интересен для серверов, где нужна большая память на ускоритель и PCIe-архитектура вместо специализированной HGX/SXM-платформы.
Серверы 4× и 8× NVIDIA H100: для ресурсоёмких задач — multi-GPU конфигурации. На российском рынке представлены серверы Supermicro, Dell, HPE, GIGABYTE, ASUS и ASRock Rack с несколькими H100; в сегменте HGX H100 — преимущественно 8× H100 SXM 80 ГБ. Для таких серверов учитывается вся архитектура: GPU → NVLink/NVSwitch → CPU → RAM → NVMe → сеть → питание → охлаждение.
H100 для обучения и инференса LLM: одна платформа используется и для training, и для inference, но требования различаются. Для обучения важны количество GPU и производительность меж-GPU обмена. Для production-инференса — доступный VRAM, задержка, пропускная способность и число одновременных запросов. NVIDIA NIM поддерживает H100 SXM 80GB и H100 NVL 94GB для LLM-нагрузок.
Купить сервер NVIDIA H100: Start Server помогает подобрать сервер под конкретную нагрузку. При расчёте учитываются: H100 SXM или NVL, количество GPU, training или inference, модель, необходимый VRAM, CPU и RAM, NVMe, сетевые интерфейсы, питание, охлаждение и требования к масштабированию. Можно заказать отдельный GPU-сервер или комплексную инфраструктуру с несколькими H100-узлами, СХД и высокоскоростной сетью.