HSDN – быстроразвивающийся проект, основанный с целью создания технологической платформы для внедрения и реализации различных решений в области программирования и информационных технологий.
Для выполнения этих идей потребовалось спроектировать специальное помещение – центр хранения и обработки данных (ЦОД), в котором бы размещалось различное технологическое оборудование, обеспечивающее работу служб проекта.
В этой фото-экскурсии я расскажу о том, как устроен наш ЦОД, какие задачи он решает и какими характеристиками обладает.
Центр мониторинга и управленияДля управления сетью, контроля работы оборудованию, а также для ведения разработки различных приложений было установлено несколько рабочих станций, решающих эти задачи.
Так выглядит зона мониторинга и управления.
Одна из рабочих станций имеет мультиэкранную систему из трех мониторов, что позволяет упростить процесс управления сетью и разработки решений.
Эта рабочая станция в основном применяется для работы в Интернете, тестировании сайтов и прочих второстепенных задач.
Серверные стойки для серверов и оборудования 19”Серверные стойки представляют собой металлические рамы, в которых монтируется стандартизированное модульное оборудование шириной 19 дюймов. Именно здесь размещена большая часть систем, обеспечивающих функционирование служб проекта.
Как видно, установлено три стойки, скрепленных вместе. Каждая стойка отвечает за размещение определенного класса оборудования.
Стойки имеют наименования: «Б3», «Б2» и «Б1». Стойка «Б1» предназначена для размещения серверного оборудования; стойка «Б2» служит для размещения систем управления, таких как консоль, однако здесь же размещены и веб-серверы; стойка «Б3» предназначена для установки коммутационно-сетевого оборудования, а также маршрутизаторов.
Так выглядит узел коммутации в стойке «Б3», именно здесь происходит связь всех элементов системы в единую цифровую сеть. Сверху видно коммутационные панели, позволяющие быстро получить доступ к портам других стоек, чтобы связать размещенные в них серверы. Ниже видно несколько коммутаторов, объединяющих подключенные узлы в сеть.
Ниже в этой же стойке можно видеть различные сетевые устройства, такие как маршрутизаторы доступа, обеспечивающие связь с операторами.
Еще ниже установлены основные программные маршрутизаторы, которые организуют связь всех сегментов сети HSDN. Это оборудование работает под управлением Unix-систем, что позволяет производить его гибкую настройку.
Внизу стойки установлен также сервер службы имен, работающий на базе компьютера производства IBM. Именно этот сервер является основным DNS сервером, отвечающим за работу всех доменных имен, которыми управляет проект.
Так выглядит оборудование, установленное в верхней части стойки «Б2». Свехру можно видеть коммутационную панель, связывающую стойку с узлом коммутации, а ниже установлен коммутатор системы резервного копирования. Еще ниже размещается три переключателя KVM, предназначенных для переключения консоли между подключенными серверами. Это позволяет администратору легко получить доступ к физическим консолям любого сервера, размещенного в стойке.
Ниже в этой же стойке размещается два веб-сервера, обеспечивающих работу большей части Интернет сайтов проекта HSDN. Здесь размещен и официальный сайт
http://www.hsdn.orgВ самом низу каждой стойки размещены источники бесперебойного питания производства фирмы APC, обеспечивающие непрерывное питание оборудования в случаях возникновения перебоев в электросети.
Так выглядят ИБП в стойке «Б1»
В стойке «Б1» также размещено несколько серверов, отвечающих за работу различных служб, таких как: электронная почта, jabber, веб-камеры, ICQ-роботы, и ряд других.
Каждый сервер имеет корпус, монтируемый в стойку на рельсах, что позволяет производить его обслуживание и ремонт без отключения. Достаточно просто выдвинуть сервер из стойки и открыть крышку.
Так выглядят серверные стойки сзади. Электропитание некоторого оборудование производится от специальных блоков розеток, каждый из которых подключен к ИБП.
Здесь видно заднюю часть коммутационных панелей, а также коммутаторов, установленных в стойке «Б3». Многочисленные кабели организуют соединение с другими стойками.
Маршрутизаторы доступа, установленные в этой же стойке. Маршрутизаторы подключены к внешнему миру при помощи телефонных кабелей и радиоканалов.
Так выглядят программные маршрутизаторы сзади. Длина кабелей определена с запасом, что позволяет выдвигать компьютеры для их обслуживания.
Маршрутизатор и DNS сервер, вид сзади.
Для связи беспроводных устройств с сетью HSDN применяется точка доступа Wi-Fi, установленная в этой стойке. Позади нее можно видеть множество кабелей, отходящих от KVM переключателей. Каждый такой кабель подключается к какому-то серверу.
Стойки размещены так, чтобы доступ был к ним, как спереди, так и сзади. Это позволяет легко производить обслуживание оборудования и его замену.
Так выглядит стоечный сервер сзади. Как видно, к каждому такому серверу подведено несколько кабелей, обеспечивающих его питание, управление, а также связь с сетью. К этому серверу подведено два сетевых кабеля, организующих доступ к нему через независимые каналы связи. Это распространенное решение, используемое в HSDN.
В той же стойке внизу можно видеть, как кабели питания серверов подключаются к ИБП.
Все стойки в HSDN связаны между собой и с внешними коммуникациями только при помощи специальных кабельных трасс, установленных на потолке. Через такие же трассы подается и электропитание. Все трассы и стойки имеют независимую систему заземления.
Серверная стойка для Tower-серверовК сожалению, не все коммуникационное и серверное оборудование можно и нужно устанавливать в 19” стойки, поэтому в HSDN был предусмотрен специальный стеллаж (стойка), где без особых трудностей все это нестандартное оборудование можно разместить. Эта стойка имеет название «А1».
При входе в помещение ЦОД можно видеть примерно такую картину. Справа видно стойки для 19” оборудования, слева шкафы для хранения комплектующих, а впереди – стойку для размещения нестандартного оборудования и Tower-серверов.
Так выглядит стока «А1» вблизи. Здесь размещены серверы для работы различных служб, таких как: NTP и I-Bot. Также в этой стойке размещен сервер, отвечающий за работу всеми известного проекта
вФОСе.ру (черный блок, второй справа).
На стене можно видеть коммутационную раму, которая обеспечивает связность серверов с основным узлом коммутации. Здесь же размещен коммутатор рабочих станций и веб-камер. Ниже расположен пост управления оборудованием стойки.
Коммутационная рама крупным планом.
Так выглядят файловые серверы, размещенные в стойке «А1». Эти компьютеры используются для хранения больших объемов информация, а также резервных копий других серверов. Общий объем дисковых накопителей составляет около 10 Тб.
В стойке «А1» установлены независимые источники бесперебойного питания, обеспечивающие стабильную работу установленного оборудования. Суммарная мощность этих ИБП равна 2 кВА.
Электроснабжение и коммуникацииКак уже говорил ранее, все коммуникации связи и силовые кабели размещаются в специальных трассах, закрепленных под потолком. Это позволяет обеспечить легкость доступа к кабелям для их замены или обслуживания.
Так выглядит подвод коммуникационной трассы к стойке «Б3».
Питание оборудования каждой стойки обеспечивается через выделенные силовые розетки, каждая из которых питается через независимый автоматический выключатель. Маркировка на розетках позволяет быстро понять, к какому именно автомату она подключена.
Помимо силовых и коммуникационных кабелей, на потолочных трассах также размещаются камеры наблюдения и веб-камеры, позволяющие в реальном времени следить за внешним состоянием оборудования.
Электроснабжение всего оборудование HSDN производится через выделенный распределительный щит, подключенный к фазе при помощи отдельного силового кабеля. От электрощита отходят кабели питания всех силовых розеток стоек.
В целях безопасности в HSDN предусмотрена система аварийного обесточивания (EPO). Для этого в доступном месте была установлена специальная кнопка, по нажатию которой срабатывает расцепитель, разъединяющий все линии паитания силовых розеток. Для возврата электроснабжения, следует произвести определенные действия, описанные в инструкции.
Так выглядит дверь выхода из комнаты. Сбоку на двери можно видеть вентилятор, помогающий при слабой циркуляции воздуха в задней части стоек.
Множество кабелей всегда готовы для соединения различных узлов системы.
Технические характеристики ЦОДОбщее число компьютерных узлов: 22
Суммарная частота процессоров: более 40 ГГц
Общий объем оперативной памяти: более 20 Гб
Суммарная емкость накопителей: более 12 Тб
Электрическая мощность: более 7 кВт
Суммарная емкость внешних каналов связи: 42 Мбит/сек
На этом наша экскурсия окончена. Надеюсь, вам было интересно.
До новых встреч!
Более подробную информацию о проекте HSDN вы можете найти на нашем сайте:
http://www.hsdn.org
