Фото-экскурсия по серверной комнате проекта «HSDN»

Непопадающие в другие разделы и прочие философские темы

Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение HSDN » 21 апр 2010, 06:01

HSDN – быстроразвивающийся проект, основанный с целью создания технологической платформы для внедрения и реализации различных решений в области программирования и информационных технологий.

Для выполнения этих идей потребовалось спроектировать специальное помещение – центр хранения и обработки данных (ЦОД), в котором бы размещалось различное технологическое оборудование, обеспечивающее работу служб проекта.

В этой фото-экскурсии я расскажу о том, как устроен наш ЦОД, какие задачи он решает и какими характеристиками обладает.

Центр мониторинга и управления

Для управления сетью, контроля работы оборудованию, а также для ведения разработки различных приложений было установлено несколько рабочих станций, решающих эти задачи.

office_01.jpg
Так выглядит зона мониторинга и управления.

office_02.jpg
Одна из рабочих станций имеет мультиэкранную систему из трех мониторов, что позволяет упростить процесс управления сетью и разработки решений.

office_03.jpg
Эта рабочая станция в основном применяется для работы в Интернете, тестировании сайтов и прочих второстепенных задач.

Серверные стойки для серверов и оборудования 19”

Серверные стойки представляют собой металлические рамы, в которых монтируется стандартизированное модульное оборудование шириной 19 дюймов. Именно здесь размещена большая часть систем, обеспечивающих функционирование служб проекта.

rackfront_01.jpg
Как видно, установлено три стойки, скрепленных вместе. Каждая стойка отвечает за размещение определенного класса оборудования.
Стойки имеют наименования: «Б3», «Б2» и «Б1». Стойка «Б1» предназначена для размещения серверного оборудования; стойка «Б2» служит для размещения систем управления, таких как консоль, однако здесь же размещены и веб-серверы; стойка «Б3» предназначена для установки коммутационно-сетевого оборудования, а также маршрутизаторов.

rackfront_02.jpg
Так выглядит узел коммутации в стойке «Б3», именно здесь происходит связь всех элементов системы в единую цифровую сеть. Сверху видно коммутационные панели, позволяющие быстро получить доступ к портам других стоек, чтобы связать размещенные в них серверы. Ниже видно несколько коммутаторов, объединяющих подключенные узлы в сеть.

rackfront_03.jpg
Ниже в этой же стойке можно видеть различные сетевые устройства, такие как маршрутизаторы доступа, обеспечивающие связь с операторами.

rackfront_04.jpg
Еще ниже установлены основные программные маршрутизаторы, которые организуют связь всех сегментов сети HSDN. Это оборудование работает под управлением Unix-систем, что позволяет производить его гибкую настройку.

rackfront_05.jpg
Внизу стойки установлен также сервер службы имен, работающий на базе компьютера производства IBM. Именно этот сервер является основным DNS сервером, отвечающим за работу всех доменных имен, которыми управляет проект.

rackfront_06.jpg
Так выглядит оборудование, установленное в верхней части стойки «Б2». Свехру можно видеть коммутационную панель, связывающую стойку с узлом коммутации, а ниже установлен коммутатор системы резервного копирования. Еще ниже размещается три переключателя KVM, предназначенных для переключения консоли между подключенными серверами. Это позволяет администратору легко получить доступ к физическим консолям любого сервера, размещенного в стойке.

rackfront_07.jpg
Ниже в этой же стойке размещается два веб-сервера, обеспечивающих работу большей части Интернет сайтов проекта HSDN. Здесь размещен и официальный сайт http://www.hsdn.org

rackfront_08.jpg
В самом низу каждой стойки размещены источники бесперебойного питания производства фирмы APC, обеспечивающие непрерывное питание оборудования в случаях возникновения перебоев в электросети.

rackfront_09.jpg
Так выглядят ИБП в стойке «Б1»

rackfront_10.jpg
В стойке «Б1» также размещено несколько серверов, отвечающих за работу различных служб, таких как: электронная почта, jabber, веб-камеры, ICQ-роботы, и ряд других.

rackfront_11.jpg
rackfront_12.jpg
Каждый сервер имеет корпус, монтируемый в стойку на рельсах, что позволяет производить его обслуживание и ремонт без отключения. Достаточно просто выдвинуть сервер из стойки и открыть крышку.

rackback_01.jpg
Так выглядят серверные стойки сзади. Электропитание некоторого оборудование производится от специальных блоков розеток, каждый из которых подключен к ИБП.

rackback_02.jpg
Здесь видно заднюю часть коммутационных панелей, а также коммутаторов, установленных в стойке «Б3». Многочисленные кабели организуют соединение с другими стойками.

rackback_03.jpg
Маршрутизаторы доступа, установленные в этой же стойке. Маршрутизаторы подключены к внешнему миру при помощи телефонных кабелей и радиоканалов.

rackback_04.jpg
Так выглядят программные маршрутизаторы сзади. Длина кабелей определена с запасом, что позволяет выдвигать компьютеры для их обслуживания.

rackback_05.jpg
Маршрутизатор и DNS сервер, вид сзади.

rackback_06.jpg
Для связи беспроводных устройств с сетью HSDN применяется точка доступа Wi-Fi, установленная в этой стойке. Позади нее можно видеть множество кабелей, отходящих от KVM переключателей. Каждый такой кабель подключается к какому-то серверу.

rackback_07.jpg
Стойки размещены так, чтобы доступ был к ним, как спереди, так и сзади. Это позволяет легко производить обслуживание оборудования и его замену.

rackback_08.jpg
Так выглядит стоечный сервер сзади. Как видно, к каждому такому серверу подведено несколько кабелей, обеспечивающих его питание, управление, а также связь с сетью. К этому серверу подведено два сетевых кабеля, организующих доступ к нему через независимые каналы связи. Это распространенное решение, используемое в HSDN.

rackback_09.jpg
В той же стойке внизу можно видеть, как кабели питания серверов подключаются к ИБП.

rackback_10.jpg
Все стойки в HSDN связаны между собой и с внешними коммуникациями только при помощи специальных кабельных трасс, установленных на потолке. Через такие же трассы подается и электропитание. Все трассы и стойки имеют независимую систему заземления.

Серверная стойка для Tower-серверов

К сожалению, не все коммуникационное и серверное оборудование можно и нужно устанавливать в 19” стойки, поэтому в HSDN был предусмотрен специальный стеллаж (стойка), где без особых трудностей все это нестандартное оборудование можно разместить. Эта стойка имеет название «А1».

shelving_01.jpg
При входе в помещение ЦОД можно видеть примерно такую картину. Справа видно стойки для 19” оборудования, слева шкафы для хранения комплектующих, а впереди – стойку для размещения нестандартного оборудования и Tower-серверов.

shelving_02.jpg
Так выглядит стока «А1» вблизи. Здесь размещены серверы для работы различных служб, таких как: NTP и I-Bot. Также в этой стойке размещен сервер, отвечающий за работу всеми известного проекта вФОСе.ру (черный блок, второй справа).

shelving_03.jpg
На стене можно видеть коммутационную раму, которая обеспечивает связность серверов с основным узлом коммутации. Здесь же размещен коммутатор рабочих станций и веб-камер. Ниже расположен пост управления оборудованием стойки.

shelving_04.jpg
Коммутационная рама крупным планом.

shelving_05.jpg
Так выглядят файловые серверы, размещенные в стойке «А1». Эти компьютеры используются для хранения больших объемов информация, а также резервных копий других серверов. Общий объем дисковых накопителей составляет около 10 Тб.

shelving_06.jpg
В стойке «А1» установлены независимые источники бесперебойного питания, обеспечивающие стабильную работу установленного оборудования. Суммарная мощность этих ИБП равна 2 кВА.

Электроснабжение и коммуникации

Как уже говорил ранее, все коммуникации связи и силовые кабели размещаются в специальных трассах, закрепленных под потолком. Это позволяет обеспечить легкость доступа к кабелям для их замены или обслуживания.

electro_01.jpg
Так выглядит подвод коммуникационной трассы к стойке «Б3».

electro_02.jpg
Питание оборудования каждой стойки обеспечивается через выделенные силовые розетки, каждая из которых питается через независимый автоматический выключатель. Маркировка на розетках позволяет быстро понять, к какому именно автомату она подключена.

electro_03.jpg
electro_04.jpg
electro_05.jpg
Помимо силовых и коммуникационных кабелей, на потолочных трассах также размещаются камеры наблюдения и веб-камеры, позволяющие в реальном времени следить за внешним состоянием оборудования.

electro_06.jpg
Электроснабжение всего оборудование HSDN производится через выделенный распределительный щит, подключенный к фазе при помощи отдельного силового кабеля. От электрощита отходят кабели питания всех силовых розеток стоек.

electro_07.jpg
electro_08.jpg
В целях безопасности в HSDN предусмотрена система аварийного обесточивания (EPO). Для этого в доступном месте была установлена специальная кнопка, по нажатию которой срабатывает расцепитель, разъединяющий все линии паитания силовых розеток. Для возврата электроснабжения, следует произвести определенные действия, описанные в инструкции.

entrance_01.jpg
Так выглядит дверь выхода из комнаты. Сбоку на двери можно видеть вентилятор, помогающий при слабой циркуляции воздуха в задней части стоек.

entrance_02.jpg
Множество кабелей всегда готовы для соединения различных узлов системы.

Технические характеристики ЦОД

Общее число компьютерных узлов: 22
Суммарная частота процессоров: более 40 ГГц
Общий объем оперативной памяти: более 20 Гб
Суммарная емкость накопителей: более 12 Тб
Электрическая мощность: более 7 кВт
Суммарная емкость внешних каналов связи: 42 Мбит/сек

На этом наша экскурсия окончена. Надеюсь, вам было интересно.
До новых встреч!

Более подробную информацию о проекте HSDN вы можете найти на нашем сайте: http://www.hsdn.org
Некоммерческий проект «HSDN»
Аватара пользователя
HSDN
Администратор
 
Сообщения: 75
Зарегистрирован: 26 дек 2009, 07:08
Домен: www.hsdn.org

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение SaRaToV64 » 21 апр 2010, 08:02

Вот это да и сколько это добро же стоит
SaRaToV64

 
Сообщения: 3
Зарегистрирован: 06 янв 2010, 10:34
Домен: torrrentes.vfose.ru

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение ds-jan » 21 апр 2010, 11:15

SaRaToV64 Оно явно не сразу преобреталось.Если бы не ХСДН то небыло бы шас нашего развитого фоса
ИзображениеИзображение
Изображение
Изображение
Аватара пользователя
ds-jan
Активный участник
 
Сообщения: 1206
Зарегистрирован: 27 апр 2009, 06:57
Откуда: Балаково. Пром.зона
Домен: http://empower-servers.ru

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение Dimanok » 21 апр 2010, 13:12

Боюсь спрашивать сколько в месяц за электричество уходит ).
www.strike64.ru - Крупнейшая конференция о играх корпорации Valve, Поволжья
Dimanok
Автор
 
Сообщения: 3506
Зарегистрирован: 05 июл 2008, 11:02
Откуда: Саратов
Домен: http://www.strike64.ru

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение Zver » 21 апр 2010, 13:30

Такой вопрос - какая вам от этого прибыль?... Или это как хобби?
Zver
Активный участник
 
Сообщения: 1333
Зарегистрирован: 18 дек 2008, 18:51
Откуда: Саратов, Заводской

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение HSDN » 21 апр 2010, 13:37

Zver писал(а):Такой вопрос - какая вам от этого прибыль?... Или это как хобби?

Ну скажем так, и то и другое :)
Некоммерческий проект «HSDN»
Аватара пользователя
HSDN
Администратор
 
Сообщения: 75
Зарегистрирован: 26 дек 2009, 07:08
Домен: www.hsdn.org

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение AVX » 21 апр 2010, 14:26

круто!
почти как у меня на работе, только более упорядочено, больше оборудования (у меня на работе только шкаф ЛВС побольше - там кабелей идет около 60-80 штук), и вообще все заранее продумано, начиная от помещения и электропитанием, и заканчивая организацией мониторинга и рабочих мест.

А выгода от этого очевидно есть - например, при разработке сложных сетевых проектов, настройке и тестировании серверов, и много чего еще можно придумать...

Стоимость оборудования конечно высокая, но все же дешевле, чем использование маршрутизаторов Cisco (на фото я их не увидел).
AVX
Активный участник
 
Сообщения: 227
Зарегистрирован: 07 ноя 2008, 23:36
Откуда: Пугачев
Домен: http://pug-cs.ru/

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение HSDN » 21 апр 2010, 14:34

AVX писал(а):Стоимость оборудования конечно высокая, но все же дешевле, чем использование маршрутизаторов Cisco (на фото я их не увидел).

В нашем случае использование роутеров Cisco экономически не обоснованно. Нагрузки не такие большие. Маршрутизаторы на базе FreeBSD вполне справляются с поставленными задачами. Дешево и сердито, в общем.
Некоммерческий проект «HSDN»
Аватара пользователя
HSDN
Администратор
 
Сообщения: 75
Зарегистрирован: 26 дек 2009, 07:08
Домен: www.hsdn.org

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение DPX-Infinity » 21 апр 2010, 22:33

1259337759615.jpg
Изображение
Переходите на Jabber! За ним будущее!
Желаю вам опенсорса!
Аватара пользователя
DPX-Infinity
Активный участник
 
Сообщения: 723
Зарегистрирован: 02 сен 2007, 20:45
Откуда: Саратов

Re: Фото-экскурсия по серверной комнате проекта «HSDN»

Сообщение G1G » 22 апр 2010, 08:19

Суммарная емкость внешних каналов связи: 42 Мбит/сек

Как я понимаю это входящая скорость ?
Последний раз редактировалось Rostov114 22 апр 2010, 19:02, всего редактировалось 1 раз.
Причина: Еще одно сообщение такого типа, сам знаешь что будет.
G1G
Участник
 
Сообщения: 32
Зарегистрирован: 01 апр 2010, 20:48

След.

Вернуться в Разное

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 5

cron