Стоечные гидроохлаждаемые ASIC: что меняется при переходе от отдельных устройств к шкафам

Переход к стоечным гидроохлаждаемым ASIC позволяет компактнее разместить вычислительное оборудование и организовать общие подключения питания, сети и охлаждения. Одновременно в одном шкафу концентрируется большая электрическая и тепловая нагрузка: его вместимость определяют не только размеры устройств, но и возможности электроснабжения, жидкостного контура и внешнего теплоотвода.

Для промышленной площадки главный результат такого перехода — возможность расширяться повторяемыми инженерными блоками. Преимущество реализуется, если шкаф, насосное оборудование, автоматика и система охлаждения рассчитаны совместно. Простая установка Hydro-майнеров в серверную стойку этой задачи не решает.

Чем стоечный Hydro ASIC отличается от отдельного устройства

У гидроохлаждаемого ASIC тепло от чипов передается жидкости через охлаждающие пластины. Затем теплоноситель переносит его к внешнему оборудованию охлаждения. Электронные платы при этом не погружаются в жидкость, как при иммерсионном охлаждении.

Стоечное исполнение добавляет к этому принципу определенную механику размещения: корпус устанавливается на предусмотренные опоры или направляющие, а подключения организуются в пределах шкафа. Но Hydro-охлаждение и стоечный форм-фактор — разные характеристики. Отдельные гидромайнеры тоже требуют внешнего контура, а установка на полку не делает любое устройство совместимым со стандартным серверным шкафом.

Например, для WhatsMiner M63S производитель указывает корпус 86 × 483 × 663 мм с ручкой и массу 27,5 кг. Эти размеры помогают оценить размещение, но не подтверждают совместимость с произвольными направляющими, глубиной шкафа и расположением коллекторов. Подбирать нужно весь комплект креплений и подключений. Спецификация MicroBT.

Общий шкаф не означает общий блок питания или обязательную остановку всех ASIC при замене одного. Эти свойства определяются конкретной конструкцией. Аналогично общие насосы могут обслуживать и устройства на обычных стеллажах: стоечный формат делает компоновку более упорядоченной, но сам по себе не создает новую схему охлаждения.

Как меняется плотность мощности: пример шкафа на десять ASIC

В стоечном проекте важно различать три показателя: количество устройств в шкафу, электрическую мощность шкафа и мощность на площадь всей площадки. Они связаны, но не заменяют друг друга.

В спецификации WhatsMiner M63S для исполнения 408 TH/s указаны энергоэффективность 18 J/TH и потребляемая мощность 7 344 Вт. Рассмотрим расчетный пример с десятью такими устройствами в согласованном шкафу. Это пример нагрузки, а не утверждение о вместимости любого шкафа или результат испытаний.

Мощность ASIC в шкафу = количество устройств × мощность одного устройства.

Для выбранного исполнения:

10 × 7,344 = 73,44 кВт.

При непрерывной работе на этой мощности за сутки сами майнеры потребят:

73,44 × 24 = 1 762,56 кВт·ч.

Электропотребление насосов, вентиляторов внешних охладителей и другого вспомогательного оборудования добавляется отдельно. Для проектирования также учитывают допустимые отклонения потребления и выбранные режимы ASIC. Указанная в спецификации мощность входа блока питания не должна автоматически подменять потребление устройства в расчетном режиме.

Почти вся потребляемая ASIC электроэнергия в итоге превращается в тепло. Поэтому группа на 73,44 кВт создает примерно такую же тепловую нагрузку, хотя доля, поступающая непосредственно в жидкость, зависит от конструкции оборудования.

Более компактная расстановка шкафов не означает пропорционального сокращения участка. Нужны проходы, электрораспределение, насосные узлы и наружные охладители. Плотность на площади машинного зала и плотность на площади всего объекта нужно считать отдельно.

При подборе WhatsMiner M63S необходимо согласовать конкретное исполнение: хешрейт, потребление и условия охлаждения могут отличаться. Параметры версии 408 TH/s нельзя автоматически переносить на все устройства с названием M63S.

Почему жидкостный контур становится главным ограничением

Рабочая система включает не только шланги и насос. Необходимо распределить расход между устройствами, удерживать допустимые температуры и давление, удалять воздух, фильтровать теплоноситель и отводить полученное тепло за пределы оборудования.

В документации MicroBT описаны одноконтурная и двухконтурная схемы. В двухконтурной системе теплообменник в CDU — узле распределения и управления охлаждением — отделяет контур оборудования от внешнего контура. Это позволяет раздельно выбирать рабочие жидкости и режимы в пределах требований проекта, но добавляет теплообменник и температурный перепад на нем. Описание схем Hydro-систем MicroBT.

Внутри шкафа важен расход через каждую ветвь. Достаточная производительность насоса в сумме еще не гарантирует, что нужное количество жидкости получит наиболее неблагоприятно расположенный ASIC. На распределение влияют сопротивление трубопроводов, арматуры, фильтров, соединений и самих устройств.

Как оценить расход по тепловой нагрузке

Для предварительной оценки можно посчитать, сколько воды нужно пропустить через систему при выбранном нагреве. В условном примере примем, что все 73,44 кВт передаются воде, а разница между подачей и обраткой составляет 10 °C.

Для воды приближенно:

Расход, м³/ч = тепловая мощность, кВт ÷ (1,163 × разница температур, °C).

Получаем:

73,44 ÷ (1,163 × 10) ≈ 6,3 м³/ч, или около 105 л/мин.

Это оценка по тепловому балансу, а не установленная производителем норма расхода для M63S. Рабочий расход выбирают с учетом требований каждого ASIC, фактического теплоносителя и гидравлического расчета. При использовании антифриза меняются теплоемкость, плотность и вязкость, поэтому расчет для воды нельзя переносить без поправок.

Отдельно проверяют, сможет ли насос обеспечить этот расход при сопротивлении системы, не превышая допустимого давления на входе устройств. Добавление более мощного насоса без такой проверки не решает проблему распределения жидкости.

Какие требования возникают к площадке

Для шкафа с гидроохлаждаемыми ASIC площадка должна обеспечить одновременно питание, теплоотвод и обслуживание. Общие критерии разобраны в статье о выборе площадки для майнингового дата-центра; для стоечного проекта особенно важны следующие условия.

Электроснабжение и остаточное тепло в помещении

Напряжение, число фаз и подключения проверяют по документации конкретного оборудования. Например, в спецификации M63S указано питание AC 380–480 В. Наличие подходящего по размеру серверного шкафа не подтверждает, что его распределение питания рассчитано на такие устройства.

Жидкостное охлаждение также не отменяет воздухообмен в помещении. Часть тепла может поступать от корпусов, электрики и вспомогательного оборудования. Его нужно учитывать отдельно, даже если основной тепловой поток уходит через жидкость.

Наружное охлаждение и климат

Сухой охладитель передает тепло наружному воздуху без штатного испарительного расхода воды. Его возможности зависят от температуры воздуха и допустимой температуры подачи. Если сухой охладитель не обеспечивает требуемую температуру подачи, могут потребоваться испарительное охлаждение либо холодильная машина — с другими расходами воды и электроэнергии.

Сухие и испарительные режимы различаются и по расчетным климатическим условиям. Например, для башни в составе ANTSPACE HW5 версии V1 производитель указывает температуру выхода 35 °C при температуре мокрого термометра 28 °C. Последний показатель учитывает влажность воздуха. Это конкретная рабочая точка, а не обещание одинаковой производительности при любой погоде. Спецификация ANTSPACE HW5.

Зимой проект должен предусматривать защиту от замерзания, управление температурой подачи и восстановление работы после отключения питания. Слишком холодный теплоноситель тоже может стать проблемой: учитывают требования запуска ASIC и риск конденсации влаги. Общие температурные пределы нельзя назначать сразу для всех Hydro-моделей.

Как меняются обслуживание и последствия отказов

Упорядоченный шкаф облегчает повторяемые операции: устройства имеют определенные места, подключения маркируются, а доступ для извлечения можно предусмотреть заранее. Быстроразъемные соединения с самозапиранием уменьшают потери жидкости при разъединении, если такая конструкция предусмотрена и правильно используется.

Но наличие быстросъема не означает возможность извлекать работающий ASIC. Регламент должен определять отключение питания, изоляцию ветви, обращение с жидкостью и проверку после подключения. Для тяжелых устройств также нужны подходящие средства перемещения и установленный порядок работы персонала.

Перед включением MicroBT требует проверить циркуляцию, удалить воздух и убедиться в отсутствии утечек. Производитель отдельно предупреждает о подключении сразу нескольких незаполненных устройств к работающей системе: это может вызвать нехватку жидкости и попадание воздуха в контур. Поэтому процедура замены должна учитывать состояние всей обслуживаемой группы. Требования MicroBT к установке и запуску.

Главный эксплуатационный риск связан с общими узлами. Отказ одного ASIC затрагивает одно устройство, а остановка общего насоса, контроллера или теплоотвода может остановить группу. Такая зависимость существует и у отдельных Hydro-майнеров с общей инфраструктурой; при плотной компоновке особенно важно заранее определить границы аварии.

В проекте нужно установить:

• какие устройства отключатся при отказе каждого общего компонента;

• можно ли изолировать ветвь и обслужить ее без остановки остальных;

• как обнаруживаются утечка, недостаточный расход и перегрев;

• какие узлы резервируются и как проверяется переключение;

• что происходит после пропадания питания и при повторном запуске.

Резервный насос помогает только при согласованной схеме питания, арматуры и управления. Общий отказ контроллера или электроввода может сделать оба насоса недоступными. Поэтому надежность оценивают по всей цепочке, а не по количеству запасных компонентов.

Что дают модульные гидросистемы для расширения

Модульность позволяет повторять проверенное сочетание шкафов, распределения жидкости, насосного оборудования и автоматики. Следующая очередь тогда требует меньше новых решений внутри самого модуля. Однако внешние сети и условия его подключения все равно рассчитываются для конкретной площадки.

На рынке существуют разные уровни комплектации: шкафы с внешним охлаждением, отдельные насосные узлы и контейнерные системы. В частности, MicroBT описывает комплекты из шкафа, CDU и сухого охладителя. У BITMAIN контейнер ANTSPACE HW5 версии V1 объединяет 210 мест под совместимое оборудование; в его спецификации отдельно указаны рабочая мощность контейнера 1 062 кВт и тепловая мощность башни 1 200 кВт. Эти показатели относятся к разным частям системы и не должны использоваться как взаимозаменяемые лимиты загрузки. Параметры ANTSPACE HW5 V1.

Развитие таких решений дает заказчику возможность выбирать размер очереди. Небольшой самостоятельный модуль позволяет вводить мощность постепенно. Крупный общий узел может обслуживать несколько шкафов, но сильнее связывает их эксплуатацию и требует достаточной загрузки. Универсально выгодного размера модуля нет: его выбирают по графику запуска, стоимости инфраструктуры и допустимой потере мощности при отказе.

Свободные места в шкафах не равны резерву для расширения. Для новой группы одновременно нужны электрическая мощность, расход теплоносителя, возможности теплоотвода и ресурс общих магистралей. Если один из этих ресурсов исчерпан, установка дополнительных ASIC потребует модернизации.

Механическая совместимость также не гарантирует возможность установить следующее поколение оборудования. При прежних габаритах могут измениться потребление, требования к расходу, соединения и допустимая температура. Резерв нужно задавать измеримыми параметрами, а не обещанием «поддержки будущих моделей».

Как понять, оправдан ли переход к шкафам

Стоечный формат имеет смысл, когда площадке нужны компактный машинный зал, повторяемое обслуживание и поэтапное расширение согласованными блоками. Для действующего объекта оценку начинают с того, какие элементы инфраструктуры можно сохранить. Если придется полностью менять питание и охлаждение, компактность сама по себе может не компенсировать вложения.

Сравнивать предложения нужно при одинаковом полезном хешрейте и расчетных условиях. В капитальные затраты включают шкафы, крепления, распределение питания, гидравлику, наружное охлаждение, автоматику, монтаж и пусконаладку. В эксплуатационные — энергию ASIC и вспомогательных систем, обслуживание, расходные материалы, воду при испарительном охлаждении и ожидаемые потери от простоев.

Улучшение показателя J/TH нового ASIC нельзя целиком приписывать стоечному размещению: на него влияют чипы и режим работы. Собственный эффект шкафа проявляется в компоновке, трудоемкости обслуживания, использовании площади и организации инфраструктуры. Его оценивают отдельно от эффективности вычислительного оборудования.

До заказа оборудования полезно получить от поставщика пять конкретных результатов:

1. Расчет загрузки: перечень совместимых исполнений ASIC, число устройств, рабочие и предельные нагрузки.

2. Расчет охлаждения: допустимые температуры, расход и давление, состав жидкости, летний и зимний режимы.

3. Схему отказов: границы отключения, резервирование и возможность обслуживания отдельных ветвей.

4. Границы поставки: что входит в модуль и какие внешние работы оплачиваются отдельно.

5. Программу приемки: проверку под расчетной нагрузкой, испытание защит и демонстрацию замены устройства.

Переход к шкафам оправдан тогда, когда вместе с более плотным размещением площадка получает понятный порядок эксплуатации и расширения. Отправная точка проекта — согласованная мощность, теплоотвод и допустимый масштаб простоя: уже под них выбирают шкафы и количество ASIC.