![[identity profile]](https://www.dreamwidth.org/img/silk/identity/openid.png){kind=small}
drvit.livejournal.com posting in ![[community profile]](https://www.dreamwidth.org/img/silk/identity/community.png){kind=small}
engineering_ruРаз пошла такая пьянка тема, то добавлю в общую копилку сообщений о компьютерных центрах свой небольшой фоторепортаж двухлетней давности о вычислительном центре, коорый работает на благо прогресса до сих пор.
У Ганноверского института гравитационной физики есть много всякого замечательного. Например, "Атлас". A.T.L.A.S. это название суперкомпьютера, созданного для того, чтобы обрабатывать информацию, получаемую с радиотелескопов и гравитационных датчиков в рамках проекта по обнаружению гравитационных волн Einstein@Home. Тому, как выглядит "мозг" проекта, и посвящена эта небольшая фотоэкскурсия для любителей всяких высокотехнологичных железяк.
Вид из окна института тоже замечателен, живописен и умиротворяющ. Так и хочется, предавшись размышлениям о "высоких материях", посидеть под одной из этих яблонь в ожидании осенения догадкой открытия.
Но мы всё-таки выйдем из-под сени кущ и зайдём в здание института,
в котором находится суперкомпьютер, денно и нощно выискивающий в сигналах со всего простора Вселенной своим многотысячепроцессорным мозгом слабые признаки того, что Эйнштейн был прав. В святая святых нас приглашает Брюс Ален — руководитель проекта и директор института:
Заглянем в комнаты, где находится вспомогательное оборудование. Компьютер проектировался с целью максимизировать производительность для данного класса задач при вполне определённом бюджете. Поэтому составляющие вычислительного комплекса предельно просты и дёшевы. Например, в качестве резервного источника энергии выступают довольно простые аккумуляторы.
Мощность всего комплекса на 2011 год — почти пол-мегаватта.
Тем не менее, энергии аккумуляторов хватает на то, чтобы работа системы была завершена корректно. Это примерно пять минут. Система питания рассчитана на один мегаватт, то есть тогда использовалась только половина, и было возможно дополнительное наращивание вычислительной мощности.
Эти кабели настолько толстые, что для того, чтобы их гнуть, пришлось использовать специальные гидравлические инструменты. Зато надёжно.
Вот он, главный потребитель энергии:
Таких рядов — шесть. Естественно, всё это требует охлаждения. Система охлаждения здесь воздушно-водяная. Трубы с водой подходят к каждому такому шкафу и идут в небольшом подпольном промежутке:
Температура входящей воды около 12С, выходящей — 20С. Синяя трубка предназначена для стока конденсата.
Затем через двухконтурный теплообменник излишки тепловой энергии выводятся по трубам наружу.
Где тепло рассеивается в атмосферу окончательно.
Заглянем внутрь стойки с вычислительным оборудованием, на тему устройства которого на фото Брюс Ален даёт нам подробные пояснения.
Поскольку задача была сделать сервер максимально мощным при минимальной стоимости, вычислительные элементы выбирались стандартными и простыми: одноюнитовыми (высотой 45 мм, что равно одному вершку) с воздушным охлаждением. Из них собиралась такая стойка.
Однако, дальше горячий воздух уходит не в открытое пространство, а направляется в решётки сбоку, где стоят уже водяные радиаторы, по которым циркулирует холодная жидкость. Охлаждённый этими радиаторами воздух снова направляется на переднюю часть стойки. Таким образом, из шкафа воздух никуда не выходит, а циркулирует исключительно внутри него. Это очень удобно: уменьшает количество пыли на оборудовании и позволяет поставить сплошные дверцы, что снижает уровень шума в помещении настолько, что можно разговаривать, совершенно не напрягаясь. Обслуживающему персоналу в таких условиях работать комфортнее.
На каждой стойке находится индикатор с параметрами системы охлаждения для визуального контроля.
Система рециркуляции и частичного обновления воздуха работает так: воздух из серверной смешивается с воздухом, забираемом с улицы, очищается, охлаждается, доводится до нужной влажности и подаётся обратно в серверную.
Конечно, вычислительное оборудование это не всё, из чего состоит суперкомпьютер. Вот система хранения на жёстких дисках данных, к которым нужно часто обращаться.
А это архив данных, к которым обращаться часто нужды нет, поэтому запись идёт на магнитную ленту — да, до сих пор стриммеры это, пожалуй, самый дешёвый и надёжный способ сохранить большое количество архивной информации. Робот вытаскивает кассету из ячейки, перемещает в считывающе-записывающее устройство и потом возвращает кассету обратно в стойку. Объём этого весьма компактного хранилища — два петабайта.
Когда к серверу обращается пользователь, индикатор мигает. Видно, что работа кипит вовсю — лампочки горят почти постоянно.
Всего в сервере в 2011 году находилось 1680 вычислительных узлов, каждый из которых содержал один 4-ядерный процессор Xeon-3220.
Всё это соединено сетью Ethernet. Её скорости достаточно, так как несколько десятков мегабайт данных анализируются одним ядром в течение нескольких часов, при этом вычисления происходят изолированно, то есть нет нужды обращаться к соседнему узлу за какой-либо информацией.
На момент создания в 2008 году это был самый мощный суперкомпьютер на основе сети Ethernet.
Часть вычислений проводится на GPU — "графических" картах общего назначения.
В задачах того типа, которые требуются решать проекту, GPU показали себя очень хорошо, поэтому, возможно, дальнейшее наращивание вычислительной мощности этого комплекса будет происходить за счёт именно GPU, так как послендние несколько лет вычислительные мощности CPU растут слишком медленно.
Несмотря на всю масштабность этого детища высоких технологий, результирующая вычислительная мощность, которую жертвуют добровольцы по всему миру этому проекту, во много раз больше. Прикинем: пусть в институте находятся 2000 процессоров, каждое о 4 ядрах. Всего это 8000 ядер средней на нынешний момент производительности, которые работают круглосуточно. Допустим, вы жертвуете всего час-два работы одного своего пусть не очень быстрого ядра в день. Таким образом, 80 000 добровольцев посчитают за день столько же, сколько и этот монстр.Активных пользователей же в этом проекте — около 200 000. Причём, многие из них не скупятся отдать при простое компьютера куда больше, чем один ядро-час, а то и GPU не жалеют загрузить. Вот и получается: с миру по нитке(треду) — учёным открытия. Очень хочется написать какую-нибудь банальность в стиле "вместе — мы сила!", но вы и без этого, уверен, осознаёте мощь интернационального вычислительного социума. Интернет действительно преображает мир.
Последней будет фото вечернего вида из окна гостиницы в трёх минутах ходьбы от института Эйнштейна, чтобы подчеркнуть, что великие дела совершаются не только в центре мегаполисов, но и на вполлне спокойных малоэтажных окраинах.
P.S. всё снято с рук без штатива на Nikon D200
У Ганноверского института гравитационной физики есть много всякого замечательного. Например, "Атлас". A.T.L.A.S. это название суперкомпьютера, созданного для того, чтобы обрабатывать информацию, получаемую с радиотелескопов и гравитационных датчиков в рамках проекта по обнаружению гравитационных волн Einstein@Home. Тому, как выглядит "мозг" проекта, и посвящена эта небольшая фотоэкскурсия для любителей всяких высокотехнологичных железяк.
Вид из окна института тоже замечателен, живописен и умиротворяющ. Так и хочется, предавшись размышлениям о "высоких материях", посидеть под одной из этих яблонь в ожидании осенения догадкой открытия.
Но мы всё-таки выйдем из-под сени кущ и зайдём в здание института,
в котором находится суперкомпьютер, денно и нощно выискивающий в сигналах со всего простора Вселенной своим многотысячепроцессорным мозгом слабые признаки того, что Эйнштейн был прав. В святая святых нас приглашает Брюс Ален — руководитель проекта и директор института:
Заглянем в комнаты, где находится вспомогательное оборудование. Компьютер проектировался с целью максимизировать производительность для данного класса задач при вполне определённом бюджете. Поэтому составляющие вычислительного комплекса предельно просты и дёшевы. Например, в качестве резервного источника энергии выступают довольно простые аккумуляторы.
Мощность всего комплекса на 2011 год — почти пол-мегаватта.
Тем не менее, энергии аккумуляторов хватает на то, чтобы работа системы была завершена корректно. Это примерно пять минут. Система питания рассчитана на один мегаватт, то есть тогда использовалась только половина, и было возможно дополнительное наращивание вычислительной мощности.
Эти кабели настолько толстые, что для того, чтобы их гнуть, пришлось использовать специальные гидравлические инструменты. Зато надёжно.
Вот он, главный потребитель энергии:
Таких рядов — шесть. Естественно, всё это требует охлаждения. Система охлаждения здесь воздушно-водяная. Трубы с водой подходят к каждому такому шкафу и идут в небольшом подпольном промежутке:
Температура входящей воды около 12С, выходящей — 20С. Синяя трубка предназначена для стока конденсата.
Затем через двухконтурный теплообменник излишки тепловой энергии выводятся по трубам наружу.
Где тепло рассеивается в атмосферу окончательно.
Заглянем внутрь стойки с вычислительным оборудованием, на тему устройства которого на фото Брюс Ален даёт нам подробные пояснения.
Поскольку задача была сделать сервер максимально мощным при минимальной стоимости, вычислительные элементы выбирались стандартными и простыми: одноюнитовыми (высотой 45 мм, что равно одному вершку) с воздушным охлаждением. Из них собиралась такая стойка.
Однако, дальше горячий воздух уходит не в открытое пространство, а направляется в решётки сбоку, где стоят уже водяные радиаторы, по которым циркулирует холодная жидкость. Охлаждённый этими радиаторами воздух снова направляется на переднюю часть стойки. Таким образом, из шкафа воздух никуда не выходит, а циркулирует исключительно внутри него. Это очень удобно: уменьшает количество пыли на оборудовании и позволяет поставить сплошные дверцы, что снижает уровень шума в помещении настолько, что можно разговаривать, совершенно не напрягаясь. Обслуживающему персоналу в таких условиях работать комфортнее.
На каждой стойке находится индикатор с параметрами системы охлаждения для визуального контроля.
Система рециркуляции и частичного обновления воздуха работает так: воздух из серверной смешивается с воздухом, забираемом с улицы, очищается, охлаждается, доводится до нужной влажности и подаётся обратно в серверную.
Конечно, вычислительное оборудование это не всё, из чего состоит суперкомпьютер. Вот система хранения на жёстких дисках данных, к которым нужно часто обращаться.
А это архив данных, к которым обращаться часто нужды нет, поэтому запись идёт на магнитную ленту — да, до сих пор стриммеры это, пожалуй, самый дешёвый и надёжный способ сохранить большое количество архивной информации. Робот вытаскивает кассету из ячейки, перемещает в считывающе-записывающее устройство и потом возвращает кассету обратно в стойку. Объём этого весьма компактного хранилища — два петабайта.
Когда к серверу обращается пользователь, индикатор мигает. Видно, что работа кипит вовсю — лампочки горят почти постоянно.
Всего в сервере в 2011 году находилось 1680 вычислительных узлов, каждый из которых содержал один 4-ядерный процессор Xeon-3220.
Всё это соединено сетью Ethernet. Её скорости достаточно, так как несколько десятков мегабайт данных анализируются одним ядром в течение нескольких часов, при этом вычисления происходят изолированно, то есть нет нужды обращаться к соседнему узлу за какой-либо информацией.
На момент создания в 2008 году это был самый мощный суперкомпьютер на основе сети Ethernet.
Часть вычислений проводится на GPU — "графических" картах общего назначения.
В задачах того типа, которые требуются решать проекту, GPU показали себя очень хорошо, поэтому, возможно, дальнейшее наращивание вычислительной мощности этого комплекса будет происходить за счёт именно GPU, так как послендние несколько лет вычислительные мощности CPU растут слишком медленно.
Несмотря на всю масштабность этого детища высоких технологий, результирующая вычислительная мощность, которую жертвуют добровольцы по всему миру этому проекту, во много раз больше. Прикинем: пусть в институте находятся 2000 процессоров, каждое о 4 ядрах. Всего это 8000 ядер средней на нынешний момент производительности, которые работают круглосуточно. Допустим, вы жертвуете всего час-два работы одного своего пусть не очень быстрого ядра в день. Таким образом, 80 000 добровольцев посчитают за день столько же, сколько и этот монстр.Активных пользователей же в этом проекте — около 200 000. Причём, многие из них не скупятся отдать при простое компьютера куда больше, чем один ядро-час, а то и GPU не жалеют загрузить. Вот и получается: с миру по нитке(треду) — учёным открытия. Очень хочется написать какую-нибудь банальность в стиле "вместе — мы сила!", но вы и без этого, уверен, осознаёте мощь интернационального вычислительного социума. Интернет действительно преображает мир.
Последней будет фото вечернего вида из окна гостиницы в трёх минутах ходьбы от института Эйнштейна, чтобы подчеркнуть, что великие дела совершаются не только в центре мегаполисов, но и на вполлне спокойных малоэтажных окраинах.
P.S. всё снято с рук без штатива на Nikon D200
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png){kind=small}
no subject
Date: 2014-11-20 08:59 am (UTC)По стоимости: обычная кассета типа LTO-5 хранит 1.5Тб без сжатия и стоит около 1500р. Удельная стоимость 1000р/ТБ. HDD далековато до таких цифр.
По масштабируемости: когда двухпетабайтное хранилище на фото исчерпает свою емкость, то можно будет ее удвоить-утроить-учетверить за счет ручной установки кассет. То есть хранить старые кассеты в обычных ящиках на складе, а в случае необходимости приносить их и вставлять в библиотеку вручную. Я думаю, поменять все кассеты в одном шкафу займет минут 15-30. С HDD такой трюк тоже можно проделывать, но он не будет столь быстрым и безопасным.
no subject
Date: 2014-11-20 09:31 am (UTC)Вы, кажется, для HDD не ту цифру указали, одинаково получилось :)
Ну в моём случае думали примерно так же, на практике вышло, что простые стримеры ломались + были проблемы с кассетами, как рассказывали технари.
no subject
Date: 2014-11-20 09:39 am (UTC)Переход от лент к дисковым хранилищам с дедупликацией.
Особенно при большом объёме данных и большом количестве пользователей.
Увеличение ёмкости тоже производится весьма просто - добавляется дисковая полка и все довольны.
no subject
Date: 2014-11-20 12:02 pm (UTC)Давайте прикинем, HP в 2013 году говорила, что "можно получить до 42 приводов на стойку с общим объемом картриджей до 3,5 ПБ" habrahabr.ru/company/hp/blog/200518/
Для HDD у меня получилась следующее: в 1 юнит шкафа можно вставить 8 HDD объемом 4 ТБ (я не нашел таких HDD), тогда в 42 юнитовый шкаф мы поместим 42*8*4=1.344 ПБ
Датацентр на фото был снят пару лет назад, а спроектирован и построен, скорее всего, еще раньше. На 2006-2007 год в 6 юнитов можно было поместить 4х6=24 HDD общей емкостью 24ТБ или 50-80 кассет общей емкостью 40-120ТБ.
А еще есть энергопотребление 5-8 Вт на один жесткий диск или 1.5кВт на стойку...
no subject
Date: 2014-11-20 12:22 pm (UTC)Но если перед тем, как помещать данные на диски проводить их дедупликацию, вычисления становятся радикально другими.
И чем больше данных лежит, тем выше уровень дедупликации.
И в 24 ТБ полезной дисковой ёмкости сеодня можно уместить уже гораздо больше чем 120 ТБ.
Другое дело, что этот ЦОД, действительно, был спроектирован ещё до массового появления данной технологии, а посему для него лента действительно была лучше.
Поэтому мы её там и видим.
Но если проектировать ЦОД сегодня, скорее всего дешевле и надёжней будут как раз СХД с дедупликацией, чем ленты.
А по поводу 42-юнитового шкафа, так в него можно установить, например, DataDomain DD7200 с около 500ТБ полезной физической ёмкости, вот только данных на него влезет гораздо больше.
В идеале до 21 ПБ, а реальности цифра может быть пониже и скорее всего будет около 5-6 ПБ.
И восстанавливать (или копировать) одновременно можно будет больше чем 42 сервера, в отличии от ленты.
no subject
Date: 2014-11-20 01:11 pm (UTC)no subject
Date: 2014-11-20 01:17 pm (UTC)Естественно не на файловом уровне данные обрабатываются перед хранением, а на блочном.
И повторов там будет достаточно много, если конечно данные не шифрованные и не сжатые.
И БД, и файловые системы весьма неплохо "усыхают" после такой обработки.
Особенно если объём хранимых данных велик.
no subject
Date: 2014-11-20 01:23 pm (UTC)no subject
Date: 2014-11-20 01:27 pm (UTC)В любом случае для этого ЦОД это уже не актуально :)
no subject
Date: 2014-11-20 03:06 pm (UTC)no subject
Date: 2014-12-10 08:59 am (UTC)no subject
Date: 2014-12-10 06:36 pm (UTC)no subject
Date: 2014-12-10 06:53 pm (UTC)Со сроками для дисков дело тонкое. Я встречал утверждение, что кривая вероятности потери данных начинает расти после 2 лет. Личного опыта нет (я свой фото-архив, так уж выходило, пока переписывал на диски бОльшей ёмкости чаще, чем раз в 2 года -- кроме того, две копии хранятся на CD/BD).