Это не элемент роскоши. В действительно герметичном контуре без сжимаемого объема воде, нагретой с 10 °C до 40 °C, некуда деваться. Давление повышается до тех пор, пока что-нибудь не выйдет из строя — не сработает предохранительный клапан, не начнет протекать прокладка или не выйдет из строя уплотнение насоса. Если охладить тот же контур, давление может упасть ниже атмосферного, затягивая воздух через вентиляционные отверстия, прокладки и уплотнения насоса. Оба типа отказов распространены, оба предотвратимы, и оба дешевы в предотвращении на этапе проектирования, но дороги в устранении в работающем кластере ИИ.
Обычная система охлаждения с использованием охлажденной воды — довольно неприхотливая система. Система охлаждения, разработанная для центров обработки данных с использованием искусственного интеллекта (AI TCS), — нет. Три различия повышают ставки:
Значительно больший тепловой поток на единицу объема жидкости. Одна стойка NVIDIA GB200 NVL72 рассеивает порядка 120–132 кВт, с пиковыми значениями 130–140 кВт, и большая часть этого тепла отводится непосредственно во вторичный контур охлаждения через холодные пластины. Масса охлаждающей жидкости в контуре со стороны стойки мала по сравнению с тепловой нагрузкой, поэтому температурные переходы быстрые и резкие. Контур, температура которого колеблется на 15 К за несколько минут во время выполнения обучающего задания, за это же время изменяет свой объем примерно на 0,3–0,4%. Этот объем должен куда-то деваться.
Узкие диапазоны давления и расхода на охлаждающей пластине. Микроканальные медные охлаждающие пластины с шириной каналов около 200–300 мкм и фильтрация во вторичном контуре с размером пор 25 мкм или меньше означают, что контур нетерпим к двум явлениям: кавитации (схлопыванию паровых пузырьков в пластине) и уносу газа (пузырькам, покрывающим поверхности теплообмена). Оба явления обусловлены низким или нестабильным давлением на всасывании насоса — именно то, что предотвращает правильно предварительно заполненный расширительный бак.
Ограничения по конденсации. Температура охлаждающей жидкости на стороне стойки часто указывается в диапазоне от 18 °C до 32 °C для современного оборудования класса Blackwell, что может быть близко к точке росы или ниже нее. Стабильность давления важна, поскольку она позволяет системе управления поддерживать высокую температуру подачи (обычно ±0,5–1 °C на блоке распределения) без побочного эффекта в виде дрейфа давления в контуре.
Компенсация теплового расширения. Плотность охлаждающей жидкости падает с повышением температуры. Сосуд принимает этот дополнительный объем, поэтому остальная часть контура практически не испытывает изменения давления. Принятый объем называется объемом приема или полезным объемом, и он составляет лишь часть номинального размера сосуда.
Со стороны газа: для обеспечения длительного срока службы установок предпочтительнее предварительная заправка азотом, чем воздухом.
FWS — Система водоснабжения объекта (первичная). Холодильная установка, градирни или сухие охладители, первичное распределение, теплообменник первичной стороны установки первичной переработки. Более высокое давление, больший объем, качество воды контролируется в соответствии со стандартами объекта.
TCS — Технологическая система охлаждения (вторичная). Насосы CDU, вторичные распределительные трубопроводы, коллекторы внутри стойки, быстроразъемные соединения, охлаждающие пластины и обратная линия. Более чистая, с более низким давлением и строго контролируемой температурой, обычно используется PG25 (25 % пропиленгликоля с обработанной водой и пакетом ингибиторов).
Обе стороны должны иметь собственные резервы для расширения. Этот момент часто упускается из виду в проектах модернизации: существующая установка охлаждения воды уже имеет давление, рассчитанное на старую нагрузку; добавление блока установок первичной обработки создает совершенно новый герметичный вторичный контур, который вообще не имеет давления, пока кто-то не укажет это в спецификации. Встроенный резервуар установки первичной обработки покрывает часть требований, но для более крупных вторичных контуров — нескольких блоков на общем коллекторе — часто требуется отдельный внешний расширительный бак, а также устройство для разделения воздуха и грязи.
На практике резервуар следует подключать к обратной стороне, перед всасывающим патрубком циркуляционного насоса, в самой холодной части контура. Такое расположение максимизирует преимущество NPSH, поддерживает мембрану при самой низкой рабочей температуре (что продлевает срок ее службы) и размещает точку подключения там, где давление самое низкое и наиболее стабильное.
| Стандарт | Объем | Почему это важно для покупателя |
| EN 12828 | Проектирование систем отопления/охлаждения на основе воды в зданиях. | Задает метод расчета размеров, минимальное давление заполнения и запас воды в системе, составляющий 0,5 % от объема системы. |
| EN 13831 | Закрытые расширительные сосуды со встроенной диафрагмой | Стандарт на продукцию, охватывающий проектирование, изготовление и испытания; распространяется на сосуды с давлением от 0,5 бар до 30 бар. |
| DIN 4807‑2 | Исторический немецкий стандарт для расширительных баков открытого и закрытого типа. | В значительной степени заменен стандартом EN 13831; по-прежнему упоминается в более старых спецификациях. |
| Директива ЕС 2014/68/ЕС | Директива ЕС об оборудовании, работающем под давлением | Обязательная оценка соответствия и маркировка CE для оборудования, работающего под давлением выше 0,5 бар, — обязательные требования для установок в ЕС. |
\(P_{0} \geq H / 10+0.2\ \text{bar}\)
Контрольный список для ввода в эксплуатацию расширительных баков:
Измерьте фактическое предварительное давление при отключенном и осушенном резервуаре — показания манометра, снятые при полной системе, представляют собой давление в системе, а не предварительное давление.
Убедитесь, что давление заполнения превышает предварительное давление на заданный предел.
Убедитесь, что значение срабатывания предохранительного клапана ниже максимально допустимого давления самого слабого компонента в контуре (чаще всего это холодная пластина или быстроразъемное соединение, а не трубопровод).
Запишите значения. Повторите проверку при первом плановом техническом обслуживании — проницаемость газа через эластомерные мембраны постепенно снижает предварительную заправку с течением лет, а дозаправка занимает всего пять минут.
Эти три понятия часто путают, и их смешение приводит к появлению плохо видоспецифичных растений.
Расширительный бак — герметичный, с предварительной закачкой газа, диафрагменный или мембранный. Функция: регулирование давления и компенсация расширения. Объём: обычно от десятков до нескольких сотен литров на вторичной стороне.
Резервуар для охлаждающей жидкости — обычно это вентилируемый или закрытый сапуном бак без мембраны. Функции: учет объема жидкости, время выдержки при деаэрации, напор на всасывании насоса, индикация уровня и подпитки. Объем: обычно 50–500 л на одну установку первичной переработки в зависимости от количества обслуживаемых установок.
Буферный резервуар — большой, по сути, безмембранный сосуд. Функция: накопление тепловой энергии для обеспечения бесперебойной работы и гидравлической развязки между первичным и вторичным контурами. Объём: от тысяч до десятков тысяч литров.
Многие современные блоки распределения охлаждающей жидкости объединяют резервуар и расширительный бак в единый узел вторичной системы, поэтому терминология часто размывается. Понимание основных функций, а не обозначений, позволяет правильно выбрать нужный компонент. Оба различия подробно рассмотрены в наших статьях «Расширительный бак против резервуара для охлаждающей жидкости: в чем разница?» и «Что такое буферный бак в системах охлаждения центров обработки данных для ИИ?».
Расчет размеров с учетом свойств воды при фактической работе контура PG25. Гликоль расширяется значительно сильнее, чем вода; чистый пропиленгликоль имеет коэффициент объемного расширения примерно в 2,7 раза выше, чем у воды при 20 °C, а 25%-ная смесь обычно расширяется примерно в 1,3–1,5 раза сильнее, чем вода, при том же повышении температуры.
Не учитывая требуемый стандартом EN 12828 запас воды в 0,5%.
Использование избыточного давления вместо абсолютного давления в уравнении расчета размеров — небольшая арифметическая ошибка, которая приводит к значительному занижению размеров сосуда.
Установка давления заполнения на уровне предварительного заполнения приводит к отключению сосуда.
Подключение сосуда к напорной стороне насоса влечет за собой потерю преимущества NPSH.
Забыли, что значение предохранительного клапана, а не расчетное давление, определяет конечное давление \(P_f\) в уравнении расчета размеров.
Отсутствие запорного клапана и сливного отверстия в месте соединения с резервуаром означает, что каждая последующая проверка перед заправкой будет заключаться в сливе жидкости.
Указание на наличие воздухоотводчика, но отсутствие воздухо- или грязеотделителя — означает, что сосуд регулирует давление, но не удаляет содержащийся в нем газ или магнетит.
Не следует игнорировать совместимость мембраны с используемым охлаждающим веществом, особенно в системах на основе гликоля или синтетических углеводородов.
Заказ судна без заявленного соответствия стандартам PED или ASME с целью сэкономить несколько процентов от цены.
В чём разница между расширительным баком и расширительным баком? В принципе, ничего существенного — в отрасли эти термины используются взаимозаменяемо. «Бассейн» обычно подразумевает более крупное, соответствующее стандартам устройство; «резервуар» чаще используется в североамериканской практике. Функционально они идентичны.
Нужен ли стойке с жидкостным охлаждением собственный расширительный бак? Блок управления охлаждением (CDU) почти всегда обеспечивает расширение на вторичной стороне и объем резервуара. Необходимость дополнительного внешнего бака зависит от общего объема вторичного контура, количества стоек на общем коллекторе, статической высоты и заявленных производителем CDU ограничений. Уточните у поставщика CDU максимальный поддерживаемый объем внешней системы; если ваш контур превышает его, потребуется внешний бак.
Можно ли использовать открытый вентилируемый бак? Только если перепроектировать систему с учетом этого. Открытый бак не может поддерживать положительное давление на всасывании насоса, не может эффективно подавлять выделение газа, допускает постоянное проникновение кислорода (что вызывает коррозию) и подвергает охлаждающую жидкость загрязнению. Закрытые контуры под давлением являются стандартом для систем охлаждения AI по веским причинам.
Как часто следует проверять предварительную заправку? При вводе в эксплуатацию, а затем, по крайней мере, ежегодно в рамках графика профилактического обслуживания. Давление со стороны газа медленно снижается через мембрану.
Какое номинальное давление следует указать? Оно определяется максимальным рабочим давлением контура плюс запас, и ограничивается компонентом с наименьшим номинальным давлением (часто это холодная пластина или быстроразъемное соединение, рассчитанное на давление около 2,4–3,5 бар во вторичной системе). Обычно рабочее давление во вторичной системе находится в диапазоне 3–6 бар; емкость должна быть рассчитана на давление выше, чем срабатывание предохранительного клапана.
Предварительная заправка азотом или воздухом? Азотом. Он исключает попадание кислорода и влаги в газовую камеру и обеспечивает более стабильное и долговременное поддержание давления.
При расчете размеров оборудования для создания давления и управления потоками жидкости в системе жидкостного охлаждения искусственного интеллекта, самый быстрый способ получить правильный ответ — это три параметра: общий объем системы, температура заполнения и максимальная рабочая температура, а также характеристики охлаждающей жидкости. Имея эти параметры, а также статическую высоту и настройку предохранительного клапана, можно выбрать и задокументировать емкость в одном расчетном листе.
Наша инженерная команда в стандартном порядке составляет этот расчет, включая документацию по соответствию стандартам EN 12828 / EN 13831, маршрут соответствия PED или ASME, а также выбор материала мембраны с учетом фактического состава вашего хладагента, для каждого коммерческого предложения.
Специализируясь на производстве сосудов, работающих под давлением, мы предлагаем надежные, сертифицированные решения, разработанные с учетом индивидуальных требований заказчиков из различных отраслей по всему миру.
Ул. Синьда, д. 268, Промышленный парк высоких технологий, г. Лункоу, провинция Шаньдун