Жидкостное охлаждение для NVIDIA GB200–GB300

Технические характеристики химического состава охлаждающей жидкости для сердечника радиатора.

• Частицы: максимальный размер ≤ 50 мкм; в платформах следующего поколения размер частиц уменьшается до ≤ 25 мкм.

• Содержание хлоридов: как можно ниже — обычно < 50 мг/л в спецификациях контуров жидкостного охлаждения.

• Концентрация гликоля: 25 % ± допустимое отклонение, проверено рефрактометром.

Основные формулы теплоотдачи

\(Водная основа:\ Расход =120 /(1,163 × 10)=10,32\ м^{3}/ч=172\ л/мин\) \(Q\ (кВт)=0,0698 × Расход\ (л/мин) × \ΔT(K)\)

Требования к CDU для GB200 / GB300

Резервирование: N+1 или N+N насосов внутри блока распределения, с возможностью «горячей» замены, где это возможно; N+1 блоков распределения на уровне ряда; диверсифицированные мощности, так что один отказ снижает производительность лишь на небольшую долю; двойное электропитание; и буферная емкость на стороне предприятия для компенсации интервалов переключения.

Управление: ПИД-регулятор, поддерживающий температуру вторичного источника питания в пределах ±0,5–±1 °C, модуляция скорости насоса в соответствии с нагрузкой, повышение давления на вторичной стороне выше атмосферного, обнаружение утечек с поэтапной сигнализацией и отключением, а также связь через Modbus TCP, SNMP, BACnet и, все чаще, Redfish.

Полную информацию о работе блока распределения питания (CDU) см. в разделе «Как работает блок распределения питания?».

Быстроразъемные соединения и трубопроводы на уровне стойки

Для вторичного подключения используются стандартизированные OCP универсальные быстроразъемные соединения — UQD (ручное подключение) и UQDB (слепое подключение) — основными поставщиками которых являются Stäubli и CPC. Указано, что соединение UQD от Stäubli одобрено NVIDIA для этих платформ.

Их роль имеет решающее значение для обеспечения ремонтопригодности: вычислительный лоток должен извлекаться из работающей стойки без осушения контура или прерывания охлаждения других лотков. Это требует использования быстроразъемных соединений с низким уровнем протечек, с заданными допустимыми остаточными каплями и процедурой технического обслуживания, которая их соблюдает.

Технические характеристики: номинальное давление соединения и перепад давления при фактическом расходе, остаточный объем капель, усилие при вставке, срок службы, совместимость материала с PG25 и пакетом ингибиторов, а также марка эластомера. Быстроразъемные соединения являются распространенным источником как ограничения потока, так и утечек, и они относительно недороги по сравнению с простоями, которые они вызывают.

Требования к помещениям, выходящие за рамки CDU.

Напольная загрузка

Стойка GB200 NVL72 весит около 1,36 тонны. Стандартные конструкции серверных залов с фальшполом часто рассчитаны на нагрузки, значительно меньшие, чем те, которые возникают при таком покрытии. Оценка несущей способности пола — это задача проектирования несущих конструкций, которую необходимо выполнить до проектирования системы охлаждения, поскольку она определяет, будет ли зал вообще пригоден для использования, а добавление буферного резервуара, который в заполненном состоянии весит примерно тонну на кубический метр, усугубляет ситуацию.

Обнаружение и локализация утечек

Использование недиэлектрической охлаждающей жидкости внутри стойки с работающим графическим процессором делает контроль утечек сложной задачей проектирования:

• Обнаружение утечек — тросовые датчики вдоль коллекторных трасс, точечные датчики в поддонах для сбора капель CDU и под стойками, интегрированные с контроллером CDU и DCIM.

• Защитные сооружения — поддоны для сбора капель, вторичная защита под распределительными путями, герметичные отверстия.

• Поэтапное реагирование — сигнализация при первом обнаружении, контролируемое отключение на втором этапе.

• Запорные вентили — секционные задвижки, позволяющие изолировать стойку или ответвление без слива воды из зала.

• Процедуры технического обслуживания — для быстроразъемных соединений, извлечения лотков и отбора проб охлаждающей жидкости, с наличием комплектов для ликвидации разливов на рабочем месте.

водопотребление

Типичные конструкции, основанные на контурах с теплой водой (45 °C) и сухими охладителями, приближаются к почти нулевому потреблению воды, поскольку исключают испарительное охлаждение. Традиционные конструкции на основе градирен потребляют значительно больше воды — для установок с градирнями приводятся данные о потреблении порядка 2,6 миллиона галлонов на МВт в год. Для установок искусственного интеллекта мощностью в десятки или сотни мегаватт, часто расположенных в регионах с дефицитом воды, это вопрос получения разрешений и репутации в той же мере, что и эксплуатационные расходы.

Направление развития очевидно: более теплые классы хладагентов сокращают или полностью исключают использование механического охлаждения и испарительной воды. Проектирование объекта для W32 сегодня, когда следующее поколение платформ поддерживает W45, сопряжено с риском потери активов.

Интеграция электрооборудования и систем управления

Блок управления распределительным устройством (CDU) — это контролируемое и управляемое устройство, а не система водоснабжения. Ему необходимо электропитание (часто двойное), сетевое подключение к DCIM и интеграция в иерархию аварийных сигналов и остановок наряду с ИТ-оборудованием. Укажите протокол, который фактически использует ваш DCIM.

Критически важное вспомогательное оборудование для GB200 / GB300

Два из них заслуживают особого внимания именно в контексте стандартов GB200/GB300.

Управление потоком воздуха и газа. При наличии примерно 54 параллельно подключенных холодных пластин на стойку и каналов диаметром 200–300 мкм, пузырек воздуха, застрявший в одной из пластин, уменьшает локальный поток и повышает локальную температуру перехода. В синхронизированном процессе обучения стойка — и сам процесс — работают со скоростью самого горячего графического процессора. Управление потоком газа — это вопрос производительности, а не только надежности.

Расчет размеров на основе фактической теплоносителя. PG25 расширяется примерно в 1,3–1,5 раза больше, чем вода, при том же повышении температуры, имеет примерно на 5–10 % меньшую объемную теплоемкость и примерно в 2 раза большую вязкость. Расширительный бак, рассчитанный на основе свойств воды, примерно на 30 % меньше необходимого размера. Буферный бак, рассчитанный на основе свойств воды, не обеспечивает достаточной устойчивости системы. Напор насоса, рассчитанный на основе свойств воды, занижает мощность. Во всех дополнительных расчетах необходимо использовать фактические свойства PG25.

См. также: Как подобрать размер расширительного бака для жидкостного охлаждения и Что такое буферный бак в системах охлаждения центров обработки данных с использованием ИИ?

Часто задаваемые вопросы

Сколько тепла выделяет стойка GB200 NVL72? Примерно 120–132 кВт номинальная мощность, пиковые значения составляют 130–140 кВт. Приблизительно 90% или более тепла улавливается за счет жидкостного охлаждения на холодных пластинах; остальная часть отводится за счет охлаждения остаточным воздухом внутри стойки.

Можно ли использовать воздушное охлаждение для GB200 NVL72? Нет. Варианта с воздушным охлаждением не существует. Обязательно жидкостное охлаждение.

В чем разница между GB200 и GB300 с точки зрения охлаждения? В GB300 NVL72 используются графические процессоры Blackwell Ultra мощностью примерно 1400 Вт каждый, в то время как в B200 — около 1000 Вт, что составляет приблизительно 140 кВт для всей стойки. Это увеличивает требуемый поток охлаждающей жидкости и теплоотводящую способность при условии активного контроля химического состава воды.

См. Материалы для резервуаров жидкостного охлаждения: нержавеющая сталь 304 против 316L.

Укажите систему управления потоками жидкости в соответствии с платформой.

Поставщики платформы указывают в качестве компонентов стойку, охлаждающие пластины и блок первичной обработки. Никто не указывает расширительный бак, резервуар, буферный бак или оборудование для деаэрации — до тех пор, пока контур не перестанет удерживать давление, охлаждающие пластины не засорятся или установка не начнет отключаться при каждом перезапуске чиллера.

Отправьте нам информацию о вашей платформе (GB200 NVL72 / GB300 NVL72), количестве установок, модели CDU, объеме вторичного контура, характеристиках охлаждающей жидкости, статической высоте, настройке предохранительного клапана и условиях водоснабжения предприятия, и мы предоставим вам полную, рассчитанную спецификацию по управлению потоками жидкости — емкости, соответствующие стандартам EN 12828 / EN 13831 с соответствием PED или ASME, материалы, выбранные с учетом фактического химического состава вашей воды, а также оборудование для разделения и деаэрации, соответствующее объему вашего контура.