Охлаждение центра обработки данных: архитектура климатических систем

Энергоэффективность современной ИТ-инфраструктуры определяется не только производительностью процессоров, но и коэффициентом PUE (Power Usage Effectiveness). В условиях, когда 100% потребляемой серверами электроэнергии преобразуется в тепловую, задача инженера сводится к нейтрализации этих тепловых нагрузок. Отвод тепла требует комплексного подхода, включающего расчёт аэродинамики машинного зала, гидравлики чиллерных контуров и термодинамического баланса стоек.

Профессиональное охлаждение центра обработки данных (ЦОД) – это технологически сложная задача. Ошибки в проектировании климатических систем приводят к образованию зон перегрева, троттлингу оборудования и, как следствие, снижению качества предоставляемых услуг.

Тепловая карта ЦОД: как распределяется тепло от серверов

Главная проблема эксплуатации залов с серверной техникой – не дефицит холодильных мощностей, а неэффективное распределение воздушных потоков. Хаотичное смешивание холодного приточного воздуха с уже нагретым снижает ΔT на теплообменниках кондиционеров, заставляя систему работать с низким КПД. Для анализа и оптимизации потоков применяется специальное моделирование, позволяющее визуализировать тепловые поля.

В основе управления климатом серверных помещений лежит принцип изоляции воздушных масс:

• Подача воздуха. Осуществляется через перфорированные плиты фальшпола или межрядные кондиционеры непосредственно к фронтальной части стоек.
• Забор тепла. Нагретый воздух удаляется из тыльной зоны через заниженные потолки или «горячие» воздуховоды.
• Поддержание давления. Избыточное статическое давление под фальшполом (обычно 20–50 Па) обеспечивает равномерную раздачу воздуха по всей площади зала.

Горячие и холодные коридоры: классическая схема

Архитектура «Hot Aisle / Cold Aisle» является отраслевым стандартом для ЦОД с воздушным охлаждением. Смысл концепции заключается в рядной расстановке стоек – лицевыми сторонами друг к другу (холодный коридор) и тыльными сторонами друг к другу (горячий коридор). Но простого геометрического разделения недостаточно для нагрузок выше 5 кВт на стойку.

Для повышения эффективности применяются системы изоляции коридоров:

• Изоляция холодного коридора (CACS). Перекрытие верхней и торцевых зон ряда создаёт буфер холода. Это позволяет повысить температуру подачи воздуха до 24-27ºС (в рамках стандарта ASHRAE A1-A4), увеличивая время фрикулинга.
• Изоляция горячего коридора (HACS). Весь нагретый воздух отводится в запотолочное пространство и далее к кондиционерам. Это решение считается более эффективным для высоконагруженных залов, поскольку весь объем помещения становится «холодным», что комфортнее для персонала.
• Заглушки (Blanking panels). Обязательная установка панелей в пустые юниты стоек предотвращает рециркуляцию горячего воздуха внутри шкафа.

Точечный нагрев: проблемы с GPU-кластерами

Внедрение вычислений на базе GPU (искусственный интеллект, майнинг, рендеринг) кардинально меняет тепловой профиль. Если стандартная серверная стойка выделяет 5–8 кВт тепла, то кластер с графическими ускорителями генерирует 30–50 кВт и более. Традиционная периметральная система кондиционирования не способна «продуть» такой объём тепла из-за физических ограничений скорости воздуха.

При интеграции высокоплотного оборудования возникают специфические инженерные вызовы:

• Недостаток объёма воздуха. Вентиляторы серверов работают на предельных оборотах, создавая шумовое давление свыше 90 дБ и вибрации, вредные для HDD-дисков.
• Образование зон застоя. Даже при мощном притоке возникают локальные перегревы в верхних юнитах стойки из-за недостаточного статического давления.
• Риск аварии. При отказе системы охлаждения время достижения критической температуры на чипе составляет менее 2 минут, что требует применения буферных аккумуляторов холода.

Эволюция систем охлаждения: от воздуха к жидкости

Рост плотности тепловыделения диктует смену технологических решений. Воздух, как теплоноситель, имеет низкую теплоёмкость и теплопроводность. Чтобы отвести 1 кВт тепла воздухом потребуется прокачать примерно в 3500 раз больше объёма теплоносителя, чем при использовании воды. Поэтому в сегменте High Density (высокая плотность) происходит миграция от воздушных систем к гибридным и жидкостным.

Развитие технологий идёт по пути приближения источника холода к источнику тепла:

• In-Row (Межрядные кондиционеры). Охлаждающие блоки устанавливаются непосредственно в ряд стоек, сокращая путь воздушного потока.
• RDHx (Rear Door Heat Exchanger). Теплообменники, встроенные в заднюю дверь стойки, снимают тепловую энергию сразу на выходе из серверов, нейтрализуя влияние на климат зала.
• DTC (Direct-to-Chip). Жидкость подаётся непосредственно на водоблоки процессоров.

Пределы воздушного охлаждения и рост плотности стоек

Физическим пределом рентабельности воздушного охлаждения принято считать 20–25 кВт на стойку. Превышение этого порога влечёт экспоненциальный рост затрат на вентиляцию. Энергия, затрачиваемая вентиляторами, начинает составлять существенную долю в PUE, нивелируя эффективность ИТ-нагрузки.

Факторы, ограничивающие применение воздуха в высоконагруженных системах:

• Аэродинамическое сопротивление. Плотная компоновка компонентов внутри 1U-сервера препятствует прохождению воздушного потока.
• Энергоёмкость вентиляции. По законам аэродинамики, удвоение потока воздуха требует восьмикратного увеличения мощности вентилятора.
• Неравномерность. Сложно гарантировать одинаковую температуру входящего воздуха для сервера внизу стойки и вверху (эффект рециркуляции).

Погружное и контактное жидкостное охлаждение как новый стандарт

Жидкостное охлаждение позволяет радикально повысить плотность размещения оборудования и снизить PUE до значений 1.05–1.1. Вода или диэлектрические жидкости обладают теплоёмкостью, в 4000 раз превышающей теплоёмкость воздуха, что позволяет эффективно отводить тепло от чипов с потребляемой мощностью свыше 500 Вт.

Технологии жидкостного теплоотвода делятся на две основные категории:

• Прямой контакт. Теплоноситель циркулирует через медные или алюминиевые пластины, установленные на CPU и GPU. Остаточное тепло (от памяти, дисков, VRM) отводится воздухом, что требует сохранения классической вентиляции (гибридная схема).
• Иммерсионное охлаждение. Серверы полностью погружаются в ванну с диэлектрической жидкостью. Это может быть однофазное (циркуляция жидкости через теплообменник) или двухфазное охлаждение (кипение жидкости на горячих элементах с последующей конденсацией пара). Этот метод полностью исключает шум, пыль и окисление контактов, позволяя размещать модули мощностью до 100 кВт и более в одном резервуаре.

Переход на жидкостные технологии открывает возможности для рекуперации тепла. К примеру, нагретый до 60ºС теплоноситель можно эффективно использовать для отопления зданий или подогрева воды, превращая ЦОД из потребителя энергии в поставщика тепловых ресурсов.