![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
drvit.livejournal.com posting in ![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png){kind=small}
engineering_ruРаз пошла такая пьянка тема, то добавлю в общую копилку сообщений о компьютерных центрах свой небольшой фоторепортаж двухлетней давности о вычислительном центре, коорый работает на благо прогресса до сих пор.
У Ганноверского института гравитационной физики есть много всякого замечательного. Например, "Атлас". A.T.L.A.S. это название суперкомпьютера, созданного для того, чтобы обрабатывать информацию, получаемую с радиотелескопов и гравитационных датчиков в рамках проекта по обнаружению гравитационных волн Einstein@Home. Тому, как выглядит "мозг" проекта, и посвящена эта небольшая фотоэкскурсия для любителей всяких высокотехнологичных железяк.
Вид из окна института тоже замечателен, живописен и умиротворяющ. Так и хочется, предавшись размышлениям о "высоких материях", посидеть под одной из этих яблонь в ожидании осенения догадкой открытия.
Но мы всё-таки выйдем из-под сени кущ и зайдём в здание института,
в котором находится суперкомпьютер, денно и нощно выискивающий в сигналах со всего простора Вселенной своим многотысячепроцессорным мозгом слабые признаки того, что Эйнштейн был прав. В святая святых нас приглашает Брюс Ален — руководитель проекта и директор института:
Заглянем в комнаты, где находится вспомогательное оборудование. Компьютер проектировался с целью максимизировать производительность для данного класса задач при вполне определённом бюджете. Поэтому составляющие вычислительного комплекса предельно просты и дёшевы. Например, в качестве резервного источника энергии выступают довольно простые аккумуляторы.
Мощность всего комплекса на 2011 год — почти пол-мегаватта.
Тем не менее, энергии аккумуляторов хватает на то, чтобы работа системы была завершена корректно. Это примерно пять минут. Система питания рассчитана на один мегаватт, то есть тогда использовалась только половина, и было возможно дополнительное наращивание вычислительной мощности.
Эти кабели настолько толстые, что для того, чтобы их гнуть, пришлось использовать специальные гидравлические инструменты. Зато надёжно.
Вот он, главный потребитель энергии:
Таких рядов — шесть. Естественно, всё это требует охлаждения. Система охлаждения здесь воздушно-водяная. Трубы с водой подходят к каждому такому шкафу и идут в небольшом подпольном промежутке:
Температура входящей воды около 12С, выходящей — 20С. Синяя трубка предназначена для стока конденсата.
Затем через двухконтурный теплообменник излишки тепловой энергии выводятся по трубам наружу.
Где тепло рассеивается в атмосферу окончательно.
Заглянем внутрь стойки с вычислительным оборудованием, на тему устройства которого на фото Брюс Ален даёт нам подробные пояснения.
Поскольку задача была сделать сервер максимально мощным при минимальной стоимости, вычислительные элементы выбирались стандартными и простыми: одноюнитовыми (высотой 45 мм, что равно одному вершку) с воздушным охлаждением. Из них собиралась такая стойка.
Однако, дальше горячий воздух уходит не в открытое пространство, а направляется в решётки сбоку, где стоят уже водяные радиаторы, по которым циркулирует холодная жидкость. Охлаждённый этими радиаторами воздух снова направляется на переднюю часть стойки. Таким образом, из шкафа воздух никуда не выходит, а циркулирует исключительно внутри него. Это очень удобно: уменьшает количество пыли на оборудовании и позволяет поставить сплошные дверцы, что снижает уровень шума в помещении настолько, что можно разговаривать, совершенно не напрягаясь. Обслуживающему персоналу в таких условиях работать комфортнее.
На каждой стойке находится индикатор с параметрами системы охлаждения для визуального контроля.
Система рециркуляции и частичного обновления воздуха работает так: воздух из серверной смешивается с воздухом, забираемом с улицы, очищается, охлаждается, доводится до нужной влажности и подаётся обратно в серверную.
Конечно, вычислительное оборудование это не всё, из чего состоит суперкомпьютер. Вот система хранения на жёстких дисках данных, к которым нужно часто обращаться.
А это архив данных, к которым обращаться часто нужды нет, поэтому запись идёт на магнитную ленту — да, до сих пор стриммеры это, пожалуй, самый дешёвый и надёжный способ сохранить большое количество архивной информации. Робот вытаскивает кассету из ячейки, перемещает в считывающе-записывающее устройство и потом возвращает кассету обратно в стойку. Объём этого весьма компактного хранилища — два петабайта.
Когда к серверу обращается пользователь, индикатор мигает. Видно, что работа кипит вовсю — лампочки горят почти постоянно.
Всего в сервере в 2011 году находилось 1680 вычислительных узлов, каждый из которых содержал один 4-ядерный процессор Xeon-3220.
Всё это соединено сетью Ethernet. Её скорости достаточно, так как несколько десятков мегабайт данных анализируются одним ядром в течение нескольких часов, при этом вычисления происходят изолированно, то есть нет нужды обращаться к соседнему узлу за какой-либо информацией.
На момент создания в 2008 году это был самый мощный суперкомпьютер на основе сети Ethernet.
Часть вычислений проводится на GPU — "графических" картах общего назначения.
В задачах того типа, которые требуются решать проекту, GPU показали себя очень хорошо, поэтому, возможно, дальнейшее наращивание вычислительной мощности этого комплекса будет происходить за счёт именно GPU, так как послендние несколько лет вычислительные мощности CPU растут слишком медленно.
Несмотря на всю масштабность этого детища высоких технологий, результирующая вычислительная мощность, которую жертвуют добровольцы по всему миру этому проекту, во много раз больше. Прикинем: пусть в институте находятся 2000 процессоров, каждое о 4 ядрах. Всего это 8000 ядер средней на нынешний момент производительности, которые работают круглосуточно. Допустим, вы жертвуете всего час-два работы одного своего пусть не очень быстрого ядра в день. Таким образом, 80 000 добровольцев посчитают за день столько же, сколько и этот монстр.Активных пользователей же в этом проекте — около 200 000. Причём, многие из них не скупятся отдать при простое компьютера куда больше, чем один ядро-час, а то и GPU не жалеют загрузить. Вот и получается: с миру по нитке(треду) — учёным открытия. Очень хочется написать какую-нибудь банальность в стиле "вместе — мы сила!", но вы и без этого, уверен, осознаёте мощь интернационального вычислительного социума. Интернет действительно преображает мир.
Последней будет фото вечернего вида из окна гостиницы в трёх минутах ходьбы от института Эйнштейна, чтобы подчеркнуть, что великие дела совершаются не только в центре мегаполисов, но и на вполлне спокойных малоэтажных окраинах.
P.S. всё снято с рук без штатива на Nikon D200
У Ганноверского института гравитационной физики есть много всякого замечательного. Например, "Атлас". A.T.L.A.S. это название суперкомпьютера, созданного для того, чтобы обрабатывать информацию, получаемую с радиотелескопов и гравитационных датчиков в рамках проекта по обнаружению гравитационных волн Einstein@Home. Тому, как выглядит "мозг" проекта, и посвящена эта небольшая фотоэкскурсия для любителей всяких высокотехнологичных железяк.
Вид из окна института тоже замечателен, живописен и умиротворяющ. Так и хочется, предавшись размышлениям о "высоких материях", посидеть под одной из этих яблонь в ожидании осенения догадкой открытия.
Но мы всё-таки выйдем из-под сени кущ и зайдём в здание института,
в котором находится суперкомпьютер, денно и нощно выискивающий в сигналах со всего простора Вселенной своим многотысячепроцессорным мозгом слабые признаки того, что Эйнштейн был прав. В святая святых нас приглашает Брюс Ален — руководитель проекта и директор института:
Заглянем в комнаты, где находится вспомогательное оборудование. Компьютер проектировался с целью максимизировать производительность для данного класса задач при вполне определённом бюджете. Поэтому составляющие вычислительного комплекса предельно просты и дёшевы. Например, в качестве резервного источника энергии выступают довольно простые аккумуляторы.
Мощность всего комплекса на 2011 год — почти пол-мегаватта.
Тем не менее, энергии аккумуляторов хватает на то, чтобы работа системы была завершена корректно. Это примерно пять минут. Система питания рассчитана на один мегаватт, то есть тогда использовалась только половина, и было возможно дополнительное наращивание вычислительной мощности.
Эти кабели настолько толстые, что для того, чтобы их гнуть, пришлось использовать специальные гидравлические инструменты. Зато надёжно.
Вот он, главный потребитель энергии:
Таких рядов — шесть. Естественно, всё это требует охлаждения. Система охлаждения здесь воздушно-водяная. Трубы с водой подходят к каждому такому шкафу и идут в небольшом подпольном промежутке:
Температура входящей воды около 12С, выходящей — 20С. Синяя трубка предназначена для стока конденсата.
Затем через двухконтурный теплообменник излишки тепловой энергии выводятся по трубам наружу.
Где тепло рассеивается в атмосферу окончательно.
Заглянем внутрь стойки с вычислительным оборудованием, на тему устройства которого на фото Брюс Ален даёт нам подробные пояснения.
Поскольку задача была сделать сервер максимально мощным при минимальной стоимости, вычислительные элементы выбирались стандартными и простыми: одноюнитовыми (высотой 45 мм, что равно одному вершку) с воздушным охлаждением. Из них собиралась такая стойка.
Однако, дальше горячий воздух уходит не в открытое пространство, а направляется в решётки сбоку, где стоят уже водяные радиаторы, по которым циркулирует холодная жидкость. Охлаждённый этими радиаторами воздух снова направляется на переднюю часть стойки. Таким образом, из шкафа воздух никуда не выходит, а циркулирует исключительно внутри него. Это очень удобно: уменьшает количество пыли на оборудовании и позволяет поставить сплошные дверцы, что снижает уровень шума в помещении настолько, что можно разговаривать, совершенно не напрягаясь. Обслуживающему персоналу в таких условиях работать комфортнее.
На каждой стойке находится индикатор с параметрами системы охлаждения для визуального контроля.
Система рециркуляции и частичного обновления воздуха работает так: воздух из серверной смешивается с воздухом, забираемом с улицы, очищается, охлаждается, доводится до нужной влажности и подаётся обратно в серверную.
Конечно, вычислительное оборудование это не всё, из чего состоит суперкомпьютер. Вот система хранения на жёстких дисках данных, к которым нужно часто обращаться.
А это архив данных, к которым обращаться часто нужды нет, поэтому запись идёт на магнитную ленту — да, до сих пор стриммеры это, пожалуй, самый дешёвый и надёжный способ сохранить большое количество архивной информации. Робот вытаскивает кассету из ячейки, перемещает в считывающе-записывающее устройство и потом возвращает кассету обратно в стойку. Объём этого весьма компактного хранилища — два петабайта.
Когда к серверу обращается пользователь, индикатор мигает. Видно, что работа кипит вовсю — лампочки горят почти постоянно.
Всего в сервере в 2011 году находилось 1680 вычислительных узлов, каждый из которых содержал один 4-ядерный процессор Xeon-3220.
Всё это соединено сетью Ethernet. Её скорости достаточно, так как несколько десятков мегабайт данных анализируются одним ядром в течение нескольких часов, при этом вычисления происходят изолированно, то есть нет нужды обращаться к соседнему узлу за какой-либо информацией.
На момент создания в 2008 году это был самый мощный суперкомпьютер на основе сети Ethernet.
Часть вычислений проводится на GPU — "графических" картах общего назначения.
В задачах того типа, которые требуются решать проекту, GPU показали себя очень хорошо, поэтому, возможно, дальнейшее наращивание вычислительной мощности этого комплекса будет происходить за счёт именно GPU, так как послендние несколько лет вычислительные мощности CPU растут слишком медленно.
Несмотря на всю масштабность этого детища высоких технологий, результирующая вычислительная мощность, которую жертвуют добровольцы по всему миру этому проекту, во много раз больше. Прикинем: пусть в институте находятся 2000 процессоров, каждое о 4 ядрах. Всего это 8000 ядер средней на нынешний момент производительности, которые работают круглосуточно. Допустим, вы жертвуете всего час-два работы одного своего пусть не очень быстрого ядра в день. Таким образом, 80 000 добровольцев посчитают за день столько же, сколько и этот монстр.Активных пользователей же в этом проекте — около 200 000. Причём, многие из них не скупятся отдать при простое компьютера куда больше, чем один ядро-час, а то и GPU не жалеют загрузить. Вот и получается: с миру по нитке(треду) — учёным открытия. Очень хочется написать какую-нибудь банальность в стиле "вместе — мы сила!", но вы и без этого, уверен, осознаёте мощь интернационального вычислительного социума. Интернет действительно преображает мир.
Последней будет фото вечернего вида из окна гостиницы в трёх минутах ходьбы от института Эйнштейна, чтобы подчеркнуть, что великие дела совершаются не только в центре мегаполисов, но и на вполлне спокойных малоэтажных окраинах.
P.S. всё снято с рук без штатива на Nikon D200
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2014-11-20 06:01 am (UTC)no subject
Date: 2014-11-20 11:15 am (UTC)no subject
Date: 2014-11-20 12:52 pm (UTC)no subject
Date: 2014-11-20 01:15 pm (UTC)no subject
Date: 2014-11-20 05:00 pm (UTC)no subject
Date: 2014-11-20 06:39 pm (UTC)Но у меня все-таки не коммцентры, не было критичным поддерживать это все 24/7, кондей навернется - ну, придется попрыгать, но в целом выживет пока его чинить будем, а полноценные системы и голов поддерживают несколько. Но если трубу где проткнуть, то фсьо, это не чиллер, который с правильной установкой такого не боится, участок изолируется, обход включается и потекло дальше, пока сантехи ремонтируют.
no subject
Date: 2014-11-20 08:52 pm (UTC)no subject
Date: 2014-11-20 09:48 pm (UTC)no subject
Date: 2014-11-21 02:56 am (UTC)no subject
Date: 2014-11-21 05:49 am (UTC)Штатный ритталий кондей мне кстати совсем не понравился. Тухлый, и малопонятно как от него воздух разводить. Он засасывает с крыши и тут же рядом выплевывает, в результате наверху 20 а внизу все равно 35. Пришлось колхозить трубы. А навесной на стенку и стоит как самолет, и непонятно как с ним быть на группе шкафов.
Кстати вылезла забавная проблема. Кондей прекрасно работает (если помыт-почищен-заправлен) при +40, но при -20 его хватает карачун. Не потому что масло, зимний аомплект поставлен, а потому что весь фреон лежит кучкой в наружнлм блоке и напрочь не желает оттуда испаряться. А если подлить побольше, то при потеплении взорвется. Так что для главной стерверной, где тепла много и кондей не спраалялся, пришлось строить параллельный пассивный обменник, тосол насосиком гоняется, на улице остывает до -20 и в фанкойл. Итого если -15 то работает эта хрень, если выше - работает кондей, сам включается потому что хрень перестает достаточно охлаждать..
no subject
Date: 2014-11-21 12:49 pm (UTC)no subject
Date: 2014-11-21 03:28 pm (UTC)Можно было бы устроить воздух-воздушный теплообмен, но это требует кучу места и жабаква.
no subject
Date: 2014-11-21 04:28 pm (UTC)no subject
Date: 2014-11-21 04:35 pm (UTC)