система жидкостного охлаждения многопроцессорного вычислительного комплекса, сборка и теплоотводящий модуль

Формула изобретения

1. Теплоотводящий модуль многопроцессорного вычислительного комплекса, содержащий верхнюю и нижнюю части, соединенные методом вакуумной пайки, на поверхности которых методом фрезерования выполнены прямоугольные углубления по форме электронных компонентов платы, которые в них устанавливаются для обеспечения оптимального сопряжения с возможностью достижения наилучшей теплопередачи, при этом теплоотводящий модуль снабжен внутренними подводящими и отводящими каналами, гибкий подводящий и отводящий шланги для подвода и отвода теплоносителя, при этом одни концы подводящего и отводящего гибких шлангов жестко соединены посредством неразъемного штуцера с теплоотводящим модулем, а другие концы гибких шлангов подключены к входному и выходному штуцерам, расположенным на трубопроводах для подачи и отвода теплоносителя посредством быстроразъемного соединителя.

2. Теплоотводящий модуль по п. 1, отличающийся тем, что материалом верхней и нижней частей теплоотводящего модуля является алюминиевый сплав, предпочтительно A1 6063 или A1 6082.

3. Теплоотводящий модуль по п. 1, отличающийся тем, что электронными компонентами платы являются центральный процессор, модуль регулятора напряжения центрального процессора, модули памяти, модуль регулятора напряжения модуля памяти, контроллер-концентратор ввода/вывода, преобразователь напряжения постоянного тока, модуль памяти, твердотелый накопитель, модуль регулятора напряжения контроллера, контроллеры.

4. Теплоотводящий модуль по п. 1, отличающийся тем, что методом изготовления подводящих и отводящих каналов является метод сквозного сверления.

5. Теплоотводящий модуль по п. 1, отличающийся тем, что в качестве теплоносителя используют воду.

6. Теплоотводящий модуль по п. 1, отличающийся тем, что в качестве быстроразъемного соединителя используют соединитель типа SPT08.

7. Сборка многопроцессорного вычислительного комплекса, содержащая теплоотводящий модуль многопроцессорного вычислительного комплекса по любому из пп. 1-6, платы электронных компонентов, монтируемые с каждой стороны теплоотводящего модуля, термоинтерфейсный материал, располагаемый между поверхностью теплоотводящего модуля и электронными компонентами платы, при этом на поверхности плат электронных компонентов выполнены отверстия для присоединения к поверхности теплоотводящего модуля.

8. Сборка по п. 7, отличающаяся тем, что количество плат составляет от 2 до 4.

9. Сборка по п. 7, отличающаяся тем, что теплопроводность термоинтерфейсного материала составляет не менее 6 Вт/м·К.

10. Сборка по п. 7, отличающаяся тем, что толщина термоинтерфейсного материала составляет от 0,1 до 2 мм.

11. Система жидкостного охлаждения многопроцессорного вычислительного комплекса, включающая, по крайней мере, одну сборку многопроцессорного вычислительного комплекса по любому из пп. 7-10, по крайней мере, один трубопровод для подачи теплоносителя, по крайней мере, один трубопровод для отвода теплоносителя, располагаемые в боковых отделениях передней части вычислительной стойки и отделенные от остальных ее частей герметичными кожухами, соединенными с дренажной системой в гидрораспределительном узле, через который подводится теплоноситель.

12. Система по п. 1, отличающаяся тем, что допустимый диапазон температуры воды на входе гидрораспределительного узла составляет 30-45°C, предпочтительно 44°C.

13. Система по п. 1, отличающаяся тем, что длина гибких шлангов составляет 10-20 см.

14. Система по п. 1, отличающаяся тем, что внутренний эквивалентный диаметр трубопровода составляет 48 мм.

15. Система по п. 1, отличающаяся тем, что расход теплоносителя внутри каждого трубопровода составляет не менее 4 л/с.

16. Система по п. 1, отличающаяся тем, что разница температур на входе и на выходе системы составляет, по меньшей мере, 5°C.

Описание изобретения к патенту

Заявленная группа изобретений относится к области охлаждающих устройств, применяемых для устройств цифровых вычислений и обработки данных, и может быть использовано при проектировании серверных платформ, предназначенных для проведения высокопроизводительных вычислений и компьютерного моделирования.

Из уровня техники известно устройство охлаждения для печатной платы, контактирующее с печатной платой, выполненное из металлической пластины, на поверхности которой находятся отверстия для крепления к печатной плате и оребрение, теплоотводящие площадки, контактирующие с тепловыделяющими элементами печатной платы, которые сопряжены цилиндрическими поверхностями друг с другом и с оребрением. При этом в области наименьшего нагрева устройства охлаждения и по периметру устройства охлаждения выполнены отверстия для входа воздуха, а в области наибольшего нагрева устройства охлаждения выполнены отверстия для выхода воздуха, которые расположены в местах перехода теплоотводящих площадок к области оребрения, где профиль сечения устройства охлаждения изменяется ступенчато (RU 2361378 С2, кл. H05K 7/20, опубл. 10.07.2009).

Недостатком данного технического решения является использование в качестве хладагента воздуха, который не позволяет эффективно охлаждать компоненты печатной платы.

Из уровня техники известен шкаф радиоэлектронной аппаратуры, содержащий корпус, плиты, расположенные одна над другой и образующие горизонтальные секции, в которых размещены съемные блоки радиоэлектронной аппаратуры, систему теплоотвода. Система теплоотвода состоит из плит, соединенных с задней стенкой шкафа. При этом плиты и задняя стенка шкафа выполнены из теплопроводящего материала. На внешней стороне задней стенки шкафа установлены средства крепления для теплоотводящей пластины с дополнительными средствами охлаждения на внешней ее стороне. Торцевой контакт каждой плиты с задней стенкой шкафа осуществляется через теплопроводящую пасту (RU 17107 U1, кл. H05K 7/20, опубл. 10.03.2001).

Недостатком данного технического решения является недостаточное эффективное охлаждение, поскольку отвод тепла осуществляется посредством излучения с задней стенки корпуса шкафа, а дополнительное охлаждение осуществляется посредством пластины с каналами для подачи воздуха или воды, которая устанавливается на задней стенке шкафа.

Из уровня техники известен шкаф с радиоэлектронной аппаратурой, содержащей пластины из высокотеплопроводного материала, замкнутую тепловую трубу для отвода тепла, вентилятор для обдува задней полости, защитный кожух, блок управления и температурный датчик, причем корпус шкафа герметически плотный, передняя панель содержит индикатор температурных режимов, теплопроводящая пластина находится в контакте с системой зоны испарения тепловых труб, зона конденсации тепловых труб, находящаяся в тепловом контакте с высокотеплопроводной пластиной и установленными на ней холодными спаями теплоэлектрическими батареями в шахматном порядке тепловыми мостиками, блок управления электрически связан с индикатором, системой вентиляторов, датчиком температуры и блоком питания (RU 2399174 C1, кл. H05K 7/20, опубл. 10.09.2010).

Недостатком данного технического решения является весьма высокое термическое сопротивление для использования в системах с высоким уровнем тепловыделения, а также данное решение не обеспечивает быстрый монтаж и демонтаж вычислительного и коммуникационного оборудования.

Из уровня техники известен теплоотводящий модуль, содержащий крышку и основание. Канал располагают на внешней поверхности основания. Также имеются зигзагообразные ребра, зафиксированные на канале методом пайки. Крышка зафиксирована на основании методом пайки, чтобы закрывать канал. Основание снабжено входами и выходами, которые соединяются с каналом. Нижняя поверхность основания крепко соединена с соединителями входов и выходов. Зигзагообразные ребра и теплоотводящий модуль соединены пайкой, поверхность теплопередачи большая, хладагент формирует турбулентное течение в ребрах для улучшения эффективности теплопередачи, падение напряжения низкое, надежность соединения между ребрами и теплоотводящим модулем высока, ребра и теплоотводящий модуль соединены посредством использования соединителя из нержавеющей стали (CN 202354023 U, H05K 7/20, опубл. 25.07.2012).

Недостатком данного технического решения является недостаточное эффективное охлаждение.

Наиболее близким аналогом к заявленной группе изобретений является теплоотводящий модуль, сборка и системе охлаждения. Теплоотводящий модуль содержит крышку и основание, где теплоизлучающее ребро расположено на крышке, теплоизлучающее ребро выполнено экструзией алюминия. Основание снабжено каналом, соединенным с теплоизлучающим ребром. Теплоизлучающее ребро центрировано в канале и крышка припаяна к основанию. Крышка, включающая теплоизлучающее ребро на теплоотводящем модуле, выполнена посредством экструзии алюминия. Таким образом, снижается стоимость теплоотводящего оребренного модуля. И крышка, и основание теплоотводящего модуля соединены с высокой степенью надежности (CN 202352650 U, H01L 23/473, опубл. 25.07.2012).

Недостатком данного технического решения является то, что имеется отличие интенсивности теплопередачи между крышкой с экструдированными теплоизлучающими ребрами и основанием, с которым теплоизлучающие ребра контактируют посредством пайки за счет неодинаковости толщины основания и крышки, а также наличия слоя припоя. При установке на данный теплоотводящий модуль со стороны крышки и со стороны основания одновременно двух одинаковых тепловыделяющих элементов тепловыделяющие элементы будут функционировать в разных тепловых условиях.

Существует необходимость в технических решениях, которые позволили бы осуществлять эффективный равномерный теплоотвод со всех компонентов платы.

Техническим результатом заявленной группы изобретений является повышение эффективности отвода тепла из объема шкафа за счет совершенствования конструкции теплоотводящего модуля и обеспечения оптимального теплового режима без изменения системы конструкции шкафа.

Задачей заявленной группы изобретений является разработка системы водяного охлаждения для многопроцессорного вычислительного комплекса.

Использование термоинтерфейсных материалов позволяет обеспечить наилучшую теплопередачу между тепловыделяющими элементами (электронными компонентами плат) и теплоотводящим модулем.

Плюсом водяного охлаждения является более эффективное охлаждение электронных компонентов плат, компактность по сравнению с системами с воздушным охлаждением, возможность охлаждения «теплой водой» (температура на входе гидрораспределительного узла составляет 30-45°C), возможность утилизации тепла, выделяемого суперкомпьютерами для отопления или охлаждения с использованием адсорбционных теплообменных аппаратов.

Поставленная задача достигается выполнением теплоотводящего модуль многопроцессорного вычислительного комплекса, содержащего верхнюю и нижнюю части, соединенные методом вакуумной пайки, на поверхности которых методом фрезерования выполнены прямоугольные углубления по форме электронных компонентов платы, которые в них устанавливаются для обеспечения оптимального сопряжения с возможностью достижения наилучшей теплопередачи, при этом теплоотводящий модуль снабжен внутренними подводящими и отводящими каналами; гибкий подводящий и отводящий шланги для подвода и отвода теплоносителя; при этом одни концы подводящего и отводящего гибких шлангов жестко соединены посредством неразъемного штуцера с теплоотводящим модулем, а другие концы гибких шлангов подключены к входному и выходному штуцерам, расположенным на трубопроводах для подачи и отвода теплоносителя посредством быстроразъемного соединителя.

Материалом верхней и нижней частей теплоотводящего модуля является алюминиевый сплав, предпочтительно Al 6063 или Al 6082.

Электронными компонентами платы являются центральный процессор (CPU), модуль регулятора напряжения (CPU VRM) центрального процессора, модуль памяти (DDR3 Ch n), модуль регулятора напряжения (DDR VRM) модуля памяти DDR3, контроллер-концентратор ввода/вывода (РСН), преобразователь напряжения постоянного тока (DC/DC), модуль памяти (DDR3), твердотелый накопитель (SSD), контроллер (ВМС), модуль регулятора напряжения контроллера ВМС (ВМС VRM), контроллер (FDR InfiniBand), контроллер (1G Ethernet).

Методом изготовления подводящих и отводящих каналов является метод сквозного сверления.

Теплоносителем для охлаждения электронных компонентов плат является вода.

В качестве быстроразъемного соединителя используют соединитель типа SPT08.

Поставленная задача достигается выполнением сборки многопроцессорного вычислительного комплекса, включающей теплоотводящий модуль многопроцессорного вычислительного комплекса, содержащего верхнюю и нижнюю части, соединенные методом вакуумной пайки, на поверхности которых методом фрезерования выполнены прямоугольные углубления по форме электронных компонентов платы, которые в них устанавливаются для обеспечения оптимального сопряжения с возможностью достижения наилучшей теплопередачи, при этом теплоотводящий модуль снабжен внутренними подводящими и отводящими каналами; гибкий подводящий и отводящий шланги для подвода и отвода теплоносителя; при этом одни концы подводящего и отводящего гибких шлангов жестко соединены посредством неразъемного штуцера с теплоотводящим модулем, а другие концы гибких шлангов подключены к входному и выходному штуцерам, расположенным на трубопроводах для подачи и отвода теплоносителя посредством быстроразъемного соединителя; а также платы электронных компонентов, монтируемые с каждой стороны теплоотводящего модуля для обеспечения оптимального сопряжения с возможностью достижения наилучшей теплопередачи; термоинтерфейсный материал, располагаемый между поверхностью теплоотводящего модуля и электронными компонентами платы; при этом на поверхности плат электронных компонентов выполнены отверстия для присоединения к поверхности теплоотводящего модуля.

Количество плат составляет от 2 до 4.

Теплопроводность термоинтерфейсного материала составляет не менее 6 Вт/(м·К).

Толщина термоинтерфейсного материала составляет от 0,1 до 2 мм.

Поставленная задача достигается выполнением системы жидкостного охлаждения многопроцессорного вычислительного комплекса, включающей, по крайней мере, один трубопровод для подачи теплоносителя и, по крайней мере, один трубопровод для отвода теплоносителя, располагаемые в боковых отделениях передней части вычислительной стойки и отделенные от остальных ее частей герметичными кожухами, соединенными с дренажной системой в гидрораспределительном узле, через который подводится теплоноситель; теплоотводящий модуль многопроцессорного вычислительного комплекса, содержащего верхнюю и нижнюю части, соединенные методом вакуумной пайки, на поверхности которых методом фрезерования выполнены прямоугольные углубления по форме электронных компонентов платы, которые в них устанавливаются для обеспечения оптимального сопряжения с возможностью достижения наилучшей теплопередачи, при этом теплоотводящий модуль снабжен внутренними подводящими и отводящими каналами; гибкий подводящий и отводящий шланги для подвода и отвода теплоносителя; при этом одни концы подводящего и отводящего гибких шлангов жестко соединены посредством неразъемного штуцера с теплоотводящим модулем, а другие концы гибких шлангов подключены к входному и выходному штуцерам, расположенным на трубопроводах для подачи и отвода теплоносителя посредством быстроразъемного соединителя; а также платы электронных компонентов, монтируемые с каждой стороны теплоотводящего модуля;

термоинтерфейсный материал, располагаемый между поверхностью теплоотводящего модуля и электронными компонентами платы; при этом на поверхности плат электронных компонентов выполнены отверстия для присоединения к поверхности теплоотводящего модуля.

Допустимый диапазон температуры воды на входе гидрораспределительного узла составляет 30-45°C, предпочтительно 44°C.

Длина гибких шлангов составляет 10-20 см.

Внутренний эквивалентный диаметр трубопровода составляет 48 мм.

Расход теплоносителя внутри каждого трубопровода составляет не менее 4 л/с.

Разница температур на входе и на выходе системы составляет, по меньшей мере, 5°C.

Указанные преимущества, а также особенности заявленной группы изобретений поясняются лучшим вариантом выполнения устройства со ссылками на прилагаемые чертежи:

Фиг.1 Трехмерная модель теплоотводящего модуля.

Фиг.2 Трехмерная модель конфигурации расположения каналов в теплоотводящем модуле.

Фиг.3 Трехмерная модель сборки теплоотводящего модуля с четырьмя платами вычислительного узла.

Фиг.4 Схема расположения электронных компонентов с обозначением мощности тепловыделения (Вт) на плате вычислительного узла.

Фиг.5 Диапазон температур электронных компонентов плат с обеих сторон от теплоотводящего модуля.

Фиг.6 Диапазон давления жидкости в канале.

Теплоотводящий модуль (1) многопроцессорного вычислительного комплекса содержит верхнюю (2) и нижнюю (3) части. Соединение верхней (2) и нижней (3) частей выполнено методом вакуумной пайки. При этом на поверхности теплоотводящего модуля методом фрезерования выполнены прямоугольные углубления (4). Форма углублений повторяет конструкцию устанавливаемых на него электронных компонентов плат (5) с возможностью обеспечения оптимального сопряжения.

Теплоотводящий модуль содержит гибкий подводящий и отводящий шланги (на фигурах не показаны). По гибкому подводящему шлангу подают теплоноситель в каналы (6) теплоотводящего модуля, по гибкому отводящему шлангу отводят теплоноситель. В качестве теплоносителя используют воду.

При этом одни концы гибкого подводящего и отводящего шлангов жестко соединены посредством неразъемного штуцера (7) с теплоотводящим модулем. А другие концы гибких шлангов подключены к входному и выходному штуцерам, расположенным на трубопроводах для подачи и отвода теплоносителя посредством быстроразъемного соединителя (на фигурах не показаны).

В качестве быстроразъемного соединителя используют соединитель типа SPT08.

В качестве теплоносителя используется вода с номинальной температурой теплоносителя 44°C на входе, допустимый диапазон температуры на входе - 30-45°C.

При этом на гидрораспределительный узел поступает теплоноситель с температурой 30-45°C, предпочтительно 44°C, затем по трубопроводу для подачи теплоносителя он поступает в гибкий подводящий шланг и затем в каналы (6) теплоотводящего модуля (1). Пройдя через каналы модуля охлаждения теплоноситель с увеличенной температурой возвращается по гибкому отводящему (7) шлангу, далее через отводящий трубопровод к баку (на фигурах не показан).

Разница температур на входе и на выходе системы составляет, по меньшей мере, 5°C.

При этом для контроля температуры на плате используют сигналы с датчиков температуры, которые устанавливают на плате и возле процессоров.

Термоинтерфейсный материал, обеспечивающий наилучшую теплопередачу между тепловыделяющими элементами, а именно электронными компонентами плат и теплоотводящим модулем, располагается

- между центральным процессором и основанием теплоотводящего модуля: толщина 0,15 мм, теплопроводность 6 Вт/(м·К);

- между микросхемами InfiniBand и контроллером-концентратором ввода/вывода (РСН) и основанием теплоотводящего модуля: толщина 0,5 мм, теплопроводность 6 Вт/(м·К);

- между преобразователями напряжения VRM и модулями памяти DDR3 и основанием теплоотводящего модуля: толщина 0,5 мм, теплопроводность 6 Вт/(м·К);

- между торцевой частью преобразователя напряжения постоянного тока 48 В/12 В и основанием теплоотводящего модуля: толщина 0,5 мм, теплопроводность 6 Вт/(м·К);

- между остальными тепловыделяющими электронными компонентами схемы и основанием теплоотводящего модуля: толщина менее 1,0 мм, теплопроводность 6 Вт/(м·К).

Система жидкостного охлаждения применяется для охлаждения большей части оборудования вычислительной стойки, в том числе вычислительного узла, модулей управления и мониторинга, коммутаторов InfiniBand коммуникационной и вспомогательной сетей, коммутаторов Ethernet управляющей и сервисной сетей.

Номинальная мощность тепловыделения (Вт) каждого из электронных компонентов платы представлена в таблице 1. Самая высокая мощность тепловыделения у центрального процессора (CPU) составляет 130 Вт. Количество электронных компонентов на одной плате составляет 25 штук. И, соответственно, номинальная мощность тепловыделения с одной платы составляет 461,41 Вт. Соответственно, суммарная мощность тепловыделения с максимально установленных плат (4 штуки) составляет 461,41·4=1845,64 Вт.

Табл. 1
Номинальная мощность тепловыделения электронных компонентов платы вычислительного узла
Обозначение электронного компонента	Описание	Мощность тепловыделения, Вт	Количество
CPU	ЦП	130	2
CPUVRM	Модуль регулятора напряжения ЦП	25	2
DDR 3 Ch n	Модуль памяти DDR3	9,2	8
DDRVRM	Модуль регулятора напряжения модуля памяти DDR3	2	4
PCH	Чипсет PCH	11,2	1
DC/DC	Преобразователь напряжения постоянного тока 48 В/12 В	20	2
DDR3	Микросхема памяти DDR3	0,5	1
SSD	Твердотельный накопитель SSD	0,41	1
BMC	Контроллер BMC	2,8	1
BMCVRM	Модуль регулятора напряжения контроллера BMC	3,2	1
IB	Контроллер FDR InfiniBand	7	1
ETH	Контроллер 1G Ethernet	4,7	1
Всего		461,41

Пример 1

При проведении расчетов конструкции теплоотводящего модуля в качестве образца была взята конструкция со следующими характеристиками:

Длина: 503 мм (с блоком входных/выходных штуцеров);

Ширина: 434 мм;

Толщина: 12 мм;

Материал: алюминиевый сплав, теплопроводность 180 Вт/(м·К);

Максимальная температура на поверхности: 55°C;

Пиковое давление: <6·10⁵ Па;

Количество внутренних подводящих/отводящих каналов: 16;

Сечение подводящих/отводящих каналов: круглое, диаметр канала: 10 мм;

Количество входных штуцеров: один;

Количество выходных штуцеров: один;

Расположения входного/выходного штуцеров по центру теплоотводящего модуля.

При проведении расчетов конструкции теплоотводящего модуля было смоделировано распределение температуры в области, представляющей собой основание теплоотводящего модуля, пространство между платами вычислительного узла и модулем, а также течение теплоносителя в модуле (вязкая теплопроводная несжимаемая жидкость) и распределение тепловых полей по всей рассматриваемой конструкции. Расчеты были произведены без учета воздушной прослойки между платой вычислительного узла и основанием теплоотводящего модуля. Были получены оптимальные результаты для нормального функционирования устройства.

Максимальная температура по металлу охлаждаемой платы составляет 59.3375°С.

Потеря давления в каналах охлаждаемой плиты 17233 Па. Подогрев воды составляет 5°С. Средняя скорость охлаждающей жидкости в каналах охлаждающего модуля 1,6 м/с.