Какие теплоносители используются в системах жидкостного охлаждения дата-центров для ИИ?

Выбор архитектуры системы охлаждения стоит на первом месте, а затем уже циркуляционный хладагент. В этой статье рассматриваются свойства и критерии выбора в рамках каждого семейства.

PG25: режим охлаждения с использованием ИИ по умолчанию

Что это такое

PG25 состоит из 25 % пропиленгликоля по объему, 75 % обработанной (обычно деионизированной) воды и пакета ингибиторов коррозии. Пропиленгликоль используется вместо этиленгликоля из-за его значительно меньшей токсичности — это важный фактор в ситуациях, когда утечка внутри серверного зала является реалистичным сценарием и когда воздействие на персонал во время технического обслуживания является обычным явлением.

Почему это значение по умолчанию

Три причины, в порядке важности:

1. Защита от замерзания. PG25 замерзает при температуре приблизительно от −10 до −13 °C в зависимости от точного состава и пакета ингибиторов. Это важно не только для холодного климата, но и для любого контура, который можно изолировать и оставить в статическом состоянии — например, на техническом обслуживании, при транспортировке или при остановке производства на зимние выходные. Вода, замерзающая в микроканальной охлаждающей пластине, разрушает её, и повреждения не всегда видны до тех пор, пока контур не будет заполнен и герметизирован.

2. Предотвращение коррозии. Эту работу выполняет пакет ингибиторов, а не гликоль. В современных охлаждающих жидкостях для центров обработки данных используется химия OAT (технология органических кислот), а не более старые составы IAT на основе силикатов. Это различие важно для оборудования ИИ: силикаты могут образовывать гелеобразные отложения, которые загрязняют микроканальные охлаждающие пластины, тогда как ингибиторы OAT образуют тонкие защитные пленки на каждой металлической поверхности. Для любого контура, содержащего охлаждающие пластины, следует использовать охлаждающую жидкость без силикатов, с ингибиторами OAT.

3. Микробиологическая стабильность. При 25%-ной концентрации пропиленгликоль, как правило, биостатичен — микроорганизмы не могут быстро размножаться. При концентрации гликоля ниже примерно 10% сам гликоль становится источником углерода, и биологическое загрязнение представляет собой реальную опасность. Именно поэтому недостаточная дозировка в контуре «для экономии денег» или «для улучшения теплопередачи» приводит к обратному результату.

Во сколько это вам обойдется

Тепловые потери реальны, и их следует учитывать при проектировании, а не игнорировать. Приблизительно при 40 °C:

Из этого вытекают три следствия проектирования:

• Расход должен увеличиться при том же объеме отводимого тепла, поскольку ρcₚ ниже. Примерно на 5–10 % больший объемный расход, чем в конструкции с водой.

• Мощность насоса примерно удваивается при одинаковом расходе, поскольку вязкость примерно вдвое выше, чем у воды. В больших масштабах это представляет собой реальные эксплуатационные расходы и существенный фактор, влияющий на показатель PUE (эффективность использования энергии).

• Эффективность теплообменника и охлаждающей пластины снижается, поскольку теплопроводность примерно на 22 % ниже. Температура на выходе из теплообменника ЦПД и сопротивление между соединением и охлаждающей жидкостью на охлаждающей пластине ухудшаются. Заявленные производителем характеристики

Классы температур подачи ASHRAE W

Однофазные иммерсионные жидкости

Типичные свойства

Тепловые потери значительны. Удельная теплоемкость примерно вдвое меньше, чем у воды, а теплопроводность — примерно в три раза меньше. Погружение компенсирует это перемещением гораздо больших объемов жидкости и смачиванием всей поверхности компонента, а не только холодной пластины. Это работает, но не обеспечивает высокой тепловой эффективности на единицу перекачиваемого объема.

Что дает вам погружение в языковую среду?

• Никаких охлаждающих пластин, никаких коллекторов, никаких быстроразъемных соединений — охлаждается весь сервер, включая память, VRM и накопители, которые охлаждающие пластины оставляют без охлаждения.

• Практически полное улавливание тепла в рабочей среде, что позволяет повторно использовать тепло высокого качества.

• Отсутствие вентиляторов в сервере устраняет существенный источник шума и энергии.

• Внутренняя устойчивость к протечкам — жидкость уже находится там, где расположены электронные компоненты.

Во сколько вам обойдется погружение в воду

• Стоимость и объем жидкости — резервуар с синтетическим углеводородом для стеллажа представляет собой существенную капитальную статью расходов.

• Совместимость материалов — эластомеры, оболочки кабелей, клеи и некоторые пластмассы набухают, размягчаются или становятся хрупкими в углеводородных жидкостях. Необходимо проверить совместимость каждого компонента.

• Загрязнение при обслуживании — сервер, извлеченный из резервуара, покрыт маслом и требует очистки перед использованием.

• Вес и нагрузка на пол — резервуар, заполненный жидкостью, значительно тяжелее, чем стойка с воздушным охлаждением.

Двухфазные диэлектрические жидкости

На рынке представлены жидкости Galden PFPE, фторкетоновые продукты Standard Fluids, а также продукция Chemours, AGC и китайских производителей. Некоторые из них позиционируются как прямые заменители; однако ни один из них не следует считать таковым без проверки совместимости материалов, тепловых характеристик и — что крайне важно — наличия письменных гарантий долгосрочных поставок.

Рекомендации по техническому обслуживанию: если вы рассматриваете двухфазное погружение, получите документально оформленную стратегию обеспечения рабочей жидкостью на десятилетний период, включая позицию производителя в отношении нормативных требований и ваши договорные средства защиты в случае прекращения поставок. Система охлаждения, рабочая жидкость которой может стать недоступной, представляет собой риск, связанный с неликвидными активами, а не выбор технологии.

Критерии отбора, ранжированные по порядку.

1. Архитектура охлаждения. Пластинчатая или погружная? Это определяет семейство систем прежде всего. Пластинчатая → на водной основе. Погружная → диэлектрическая.

2. Температурный диапазон. Какой класс W по стандарту ASHRAE требуется для ИТ-оборудования? Каковы минимальные и максимальные температуры охлаждающей жидкости в течение года, включая условия остановки и транспортировки? Это определяет требования к защите от замерзания и, следовательно, необходимость использования гликоля.

3. Тепловой поток и тепловые характеристики. Тепловое сопротивление перехода к охлаждающей жидкости и способность холодной пластины пропускать тепловой поток напрямую зависят от k и cₚ. Платформы с высоким тепловым потоком (500–600 Вт/см² на границе кристалла, согласно данным для современного оборудования класса GB200) ограничивают поток жидкости сильнее, чем серверы с низкой плотностью размещения компонентов.

4. Мощность насоса. Она определяется вязкостью. PG25 стоит примерно в 2 раза дороже воды; стоимость погружных жидкостей сильно варьируется. На объекте мощностью 10 МВт это статья расходов, учитываемая в показателе PUE, а не погрешность округления.

5. Совместимость материалов. Необходимо подтвердить совместимость каждого смачиваемого материала — меди, нержавеющей стали, алюминия (если присутствует), эластомеров EPDM или FKM, PTFE, оболочек кабелей, клеев — с конкретной жидкостью и ингибитором. Часто причиной проблем является неправильный выбор эластомера: EPDM хорошо подходит для водно-гликолевых смесей, но набухает в углеводородах; FKM подходит для углеводородов, но подвергается воздействию некоторых полярных жидкостей.

6. Требование к диэлектрическим свойствам. Обязательно для погружения. В системах с охлаждающими пластинами использование недиэлектрической жидкости означает, что утечка немедленно становится электрическим событием — именно поэтому вместо использования жидкости требуются системы обнаружения утечек, поддоны для сбора капель и вторичная защита.

7. Возможность контроля химического состава воды. Можно ли реально отслеживать и поддерживать pH, электропроводность, концентрацию хлоридов, гликоля и количество микроорганизмов в течение десяти лет? Если нет, выбирайте охлаждающую жидкость, которая наиболее устойчива к пренебрежению.

8. Нормативно-правовая и логистическая безопасность. Статус ПФАС, региональные ограничения, обязательства производителя, доступность альтернативных источников. Все чаще становится решающим фактором.

9. Стоимость жизненного цикла. Цена жидкости за литр × объем × интервал обновления. Ингибированный гликоль обычно обновляется каждые 3-7 лет в зависимости от состава и результатов мониторинга. Иммерсионные жидкости могут служить дольше, но изначально стоят значительно дороже за литр.

10. Экологический профиль и профиль безопасности. Токсичность, биоразлагаемость, способ утилизации, температура вспышки и что происходит при разливе внутри действующего дата-зала.

Практика ввода в эксплуатацию и технического обслуживания

Предпусковая промывка. Новые контуры содержат производственные отходы — волочильные составы, сварочные оксиды, твердые частицы, масла. Промойте деионизированной водой (обычно с удельным сопротивлением ≥0,5 МОм∙см) до тех пор, пока сточные воды не достигнут целевого значения (часто указывается значение ниже ~5 мкСм/см) перед введением окончательного охлаждающего агента. OCP опубликовала руководство по предпусковой подготовке коллекторов систем охлаждения оборудования, которому стоит следовать даже в тех случаях, когда это не требуется по контракту.

Проверьте концентрацию гликоля при розливе. Используйте рефрактометр, откалиброванный для пропиленгликоля. При розливе с концентрацией 20 % там, где указано 25 %, защита от замерзания теряется, и это может изменить эффективность ингибитора.

Установите базовые показатели. При вводе в эксплуатацию зафиксируйте значения pH, электропроводности, содержания хлоридов, концентрации гликоля, количества микроорганизмов и растворенного кислорода (если измерялось). Без этих данных все последующие результаты будут бессмысленны.

Не ограничивайтесь тестированием, а ориентируйтесь на тренд. Квартальная выборка, всегда "в пределах допустимых значений", ничего не говорит. Восходящий тренд говорит обо всем.

Запланируйте замену охлаждающей жидкости. Ингибированный гликоль разлагается. Ингибиторы истощаются, гликоль окисляется, pH изменяется, и антикоррозионные свойства жидкости постепенно снижаются — задолго до того, как это станет видимым. Заложите в бюджет замену в течение 3-7 лет и спроектируйте систему с дренажными отверстиями, портами для отбора проб и заправочным патрубком, которые сделают эту работу практичной на действующем предприятии.

Часто задаваемые вопросы

Обязательно ли использовать PG25 для охлаждения ИИ с помощью холодной пластины? Это наиболее распространенная спецификация и состав, используемый на современных платформах класса NVIDIA, но это не единственный вариант. Обработанная вода с ингибитором используется там, где защита от замерзания не требуется. Всегда следуйте требованиям поставщика ИТ-оборудования.