Строительство серверных помещений для начинающих. Руководство!

Из этой большой публикации вы узнаете о первом опыте строительства небольшого узла связи с последующей регистрацией в Роскомнадзоре. В статье подробно освещены практически все аспекты, с которыми новичкам придется столкнуться при строительстве, и даны советы, что и как потребуется реализовать в аппаратной комнате.

Начитавшись публикаций на тему строительства ЦОД небольшого хостинг провайдера, а так же «как сделать серверную комнату своими руками», от людей, которые, видимо, не знали как сказать, зачем надо заказывать их услуги, я решил изложить свой опыт строительства небольшого узла связи в течение этого года, для размещения, с последующей регистрацией в Роскомнадзоре, таких объектов, как ОТМУС, ТЗУС, СПД.

В этом году приходилось настолько много информации искать и применять, что я почувствовал свой предел в запоминания полезной информации. Поэтому мне сложно сразу вспомнить откуда я брал информацию (я говорю о приказах Минкомсвязи, Мининформсвязи, Роскомнадзора, СНИП, ВСН… ).

Под катом я постараюсь поверхностно пройтись по всем аспектам, по которым надо принять решение и реализовать в вашей аппаратной.

Инфраструктура помещения

Если начинать с выбора помещения, то надо учесть, что инфраструктура этого помещения должна иметь хотя бы такой набор элементов и конструкций: 

• Расчётная нагрузка на пол — необходимо смотреть проект здания. Помните, что на 1м2 может быть размещено и 700кг в виде шкафа с АКБ. Если площадь позволяет — лучше конечно стеллаж
• Кабельные трассы: лотки под потолком и/или в полу (как вырезанный жёлоб в бетонном полу, так и под фальшполом.
• Система энергоснабжения и энергораспределения
• Шкаф/стеллаж для размещения сборок цепей АКБ.
• Система газового пожаротушения.
• СКД.
• Видеонаблюдение.
• Отдельно стоящий конструктив с трубчатыми профилями для крепление 10-ти парных плинтов, если у вас есть потребность организации множества медных СЛ (PRI например) между оборудованием или от близко расположенных партнёров/заказчиков.
• Межстоечные медные и оптические кроссы.
• Разумеется шкафы/стойки.
• Система кондиционирования (климата) с резервом
• Огнестойкость здания (II или III степени).
• Над помещением автозала (будем называть так нашу серверную) не должно находиться санузлов и других коммуникаций связанных с использованием воды.
• Полы в автозале должны быть несгораемыми, на которые настилают чистые полы в виде антистатического негорючего линолеума или плитка фальшпола.
• Если в помещение есть окна, то как минимум их необходимо тонировать плёнкой или закрыть фанерой, так как на трансформаторы и аккумуляторы не допускается попадания солнечных лучей. В прочем солнечные лучи ничего хорошего не сделают и для другого оборудования. В идеале окон быть вообще не должно, но вряд ли это станет решающим фактором, если все остальные условия можно выполнить.
• Стены автозала не должны быть выполненные из сгораемых материалов. Это не только противопожарная причина, но и необходимость соорудить изолированную камеру на случай отрабатывали системы пожаротушения.
• Система газо-дымоудаления, на случай срабатывания системы пожаротушения.
• Освещение должно быть хорошим. В каком то ВСН по освещению я видел цифру в 200лк. Но в принципе я думаю такой проблемы нет, поэтому просто позаботьтесь о хорошем освещение, желательно с пылезащитой.
• Огнестойкая дверь с уплотнителем по периметру (для герметичности).
• Все металлические конструкции (шкафы, лотки, стеллажи, дверь) должны быть заземлены.
• Все пространство в стенах автозала вокруг кабельных и вентиляционных вводов должны быть заделаны асбестом или специальной противопожарной пеной (оранжевая или красная такая).
• Батареи и другие металлические конструкции, которые могут служить устройством заземления, необходимо отгородить не токопроводящими материалами, что бы исключить возможность замыкание стоек или корпусов оборудования на эти конструкции через тело человека (при одновременном прикосновении).
• И немного по охране труда и электробезопасности: таблички категории помещение и степени опасности, с фамилией ответственного; обозначения на розетках и заземляющих устройствах, плакаты по электробезопасности, пожаротушению и первой помощи (обычно темы плакатов выбирают приближая описанные ситуации к своей отрасли); углекислотные огнетушители и аптечка; резиновые диэлектрические коврики перед и позади шкафов и стоек

Электроснабжение

В зависимости от того, какие у вас планы на ваш автозал, вы можете выбрать определенный уровень защищённости от отключений электроэнергии.

Вы можете открыть любую из частей «Правил применение оборудования транзитных, оконечно-транзитных и оконечных узлов связи» (там 14 частей под разные типы узлов связи) и во всех будет отсылка на 

приказ №59 от 16 мая 2006 г:
А также на:

приказ №32 от 13.03.2007
… который в свою очередь утратил силу в связи с кучей изменений… и в общем теперь надо руководствоваться

приказом №97 от 8 августа 2005 г.
Но при этом ссылка на 32 приказ есть, а в 97 не расписано, какой узел связи к какой категории электроприёмников относится. В связи с этим не понятно, какую категорию требуется обеспечить. Если вдруг кто в теме — поделитесь, пожалуйста, информацией.

Но допустим вы определились с тем, какая категория электроприёмника у вас и вы принимаетесь её обеспечивать. Для безопасности вашего бизнеса у вас в любом случае должен быть ввод с городской подстанции, ИБП и генератор на 2-5кВт (примерно столько вам потребуется для небольшой аппаратной с двумя стойками, забитыми различным оборудованием). А значит необходимо в вводно-распределительном устройстве (ВРУ) организовать АВР (автоматический ввод резерва) с функциями запуска генератора (можно вручную, если есть дежурная смена на объекте).

Возможно у кого то встанет вопрос, как всё это реализовывать, в каком виде, как разместить? 

• Во-первых, это вопрос к электрикам. Если у вас в штате таких нет – обратитесь в организацию, которая произведёт монтаж ВРУ с АВР. К изделию должен прилагаться паспорт.
• Во-вторых, – вы можете сами попробовать собрать, используя пару силовых контакторов с механической и электрической взаимно блокировкой, реле контроля напряжения с НЗ/НО контактами. Мне такое пришлось собрать для целей обеспечения определённой инфраструктуры объекта в целом (видеонаблюдение, система пожаротушения, СКД, вентиляция, аварийный свет). А автозал запитан от ввода, где отдельно организована система АВР с двух фидеров от разных подстанций и запуском дизель-генератора.

Простой АВР для работы с двумя вводами:



Итак, вы имеете электроустановку внутри вашего будущего автозала. Дальше вам нужно будет отводить оттуда линии на нагрузку. Ввиду того, что по периметру помещение обычно располагаются стеллажи для оборудования, шкафы для АКБ и прочие металлические конструкции (включая дверь), то хорошо бы сделать по периметру ленту заземления, к которой можно цеплять всё, что вам захочется поставить вдоль стен и будет необходимо заземлить. 

Ввиду того, что у ваше оборудование должно быть подключено через ИБП, то первая очевидная линия от вашего ВРУ пойдёт именно к ИБП. В моём случае это 3-х фазный APC Symmetra, которую я бы не советовал покупать, ввиду её текущей стоимости. Можно найти ИБП более скромных производителей. Основными я бы выделил следующие критерии для себя: 

• 3-х фазные, если всё питание через один ИБП или 1 фазные, если ставить ИБП в каждую стойку для обеспечения индивидуального (в масштабах автозала) резерва.
• качество выходного сигнала
• наличие байпаса
• горячая замена аккумуляторного модуля (возможно и силового модуля)
• мониторинг
• выдача питания на нагрузку через розетки С19 или клеммные контакты
• подключение внешней сборки АКБ

И уже от ИБП отводить линии на блоки розеток в стойке(ах), в зависимости от места установки вашего ИБП (общий или индивидуально в каждый шкаф). 

Здесь в схеме электропитания есть узкое место — ИБП. Поэтому конструкция ИБП должна быть либо такая, в которой ломаться нечему (APC Symmetra например, без силовых и батарейных модулей представляет из себя просто медные шины (практически)). 

Если вы используете ИБП индивидуально на шкаф, то позаботьтесь о том, что бы в шкафы были линии от разных ИБП, а блоки питания оборудования были подключены к разным ИБП. 

Или же есть третий вариант: у вас ИБП позволяет забрать от него силовую линию, затащить обратно в ваш АВР, а дальше собрать схему, при которой можно подавать питания на линию либо через ИБП, либо напрямую от городского ввода или генератора. Такая схема позволит снимать ИБП с линии для регламентного обслуживания и ремонта. 

С инвертором тока схемы аналогичны схемам с ИБП, если он у вас достаточно серьёзный, что бы на нагрузку линии уходили с более или менее серьёзных клемм. А если у вас небольшие инверторы, то, как правило они и не заточены под то, что бы с ним забирать большим сечением питание на нагрузку. Такие ставятся внутри стойки, где они будут использоваться. А если есть потребность подключить много оборудование (а не одну-две железки), то с клеммной колодки инвертора отводится линия в РЩ в самом шкафу и там через шины или АВ 2P (или через АВ для минуса и шину для плюса) уже отводятся линии на нагрузку.

У меня для целей размещения ИБП и инверторов установленная отдельная каркасная стойка с большой цифрой в значение несущей массы, в которую приходят линии питания от ВРУ с АВР. А затем из которой уходят линии питания на шкафы с оборудованием.

Здесь я бы хотел отметить пару моментов, связанных с выбором материалов и комплектующих:

• Автоматические выключатели в ВРУ выбирайте с учётом селективности, не только по номиналу, но и по времени срабатывания (для этого надо выбирать линейку продуктов от производителей, и, желательно, использовать продукцию одного бренда).
• Старайтесь использовать максимально пожаробезопасные материалы внутри вашего автозала, поэтому я выбрал кабель ВВГнг-RFLS + гофрированная ПНД труба (чёрная и оранжевая).
• По тем же соображениям выбрали блоки розеток — не горючий пластик, испытания на пожаробезопасность, без выключателя и обязательно с клеммной колодкой, для подключения к нему кабеля от ИБП. Может у меня одного такие проблемы, но я потратил несколько дней на поиски нужных мне блоков розеток. Все что предлагается в поиске — это откровенно не качественный «китай» со встроенным кабелем как правило маленького сечения, либо с разъёмом С13, из которого рано или поздно шнур выпадет, не говоря уже о том, что готовый кабель с жилами 2,5мм2 не найти, к тому же хотелось использовать ввгнг-rfls, а заделать его в вилку C14 хорошо не получится. В итоге я нашёл блоки розеток из пожаробезопасного пластика с клеммной колодкой внутри. К слову производят их в Екатеринбурге и продукт в целом отличный, но пришлось дорабатывать — рассверлить отверстие для ввода, искать фиксирующие скобы кабеля… купил 8 штук — использовал пока 4 и ни одного одинакового изделия не попалось :). Сейчас бы я рекомендовал либо такой же способ, либо блоки розеток со встроенным кабелем с промышленным разъёмом. Причём если у вас большой автозал, и стойки вы будете ставить по мере необходимости, то вариант с блоками розеток с промышленными разъёмами выглядит удобнее, так как вы просто подключаете новый шкаф к подведённой линии. И это будет надёжное соединение.
• Питающие линии для ЩРЗ постоянного тока в каждый шкаф я сделал из ПУВГ кабеля (синий и красный) в гофре. Если вы погуглите ЩРЗ, то увидите что это такое и что там бывает даже функционал мониторинга состояния линии от АВ до оборудования.

Расчёт автономности вашей электроустановки и выбор АКБ

Для того, что бы понять, сколько вам нужно купить аккумуляторов (а именно в этом вопрос, потому как это требует много денег), то нет ничего сложно если вы знаете, на какую нагрузку на вашу энергосистему вы рассчитываете в ЧНН (час наибольшей нагрузки). Для встроенных внутрь батарейных блоков информацию по автономности вы найдёте в материалах для ИБП, а для подсчёта необходимой ёмкости внешней сборки нужно перемножить вольтаж сборки на ёмкость и поделить на нагрузку (t=V*Ah/Wt). Но так как разряд аккумулятора это не линейный процесс, то надо в мануалах к аккумуляторам посмотреть графики разряда и в зависимости от времени, которое у вас получилось, применить коэффициент найденный в паспорте. Тогда вы получите более или менее реальное время автономии от вашей системы АКБ. Исходя из этого вы поймёте, какую ёмкость вашей сборки АКБ надо обеспечить.

В статье про строительство собственного маленького ЦОД для маленького хостинг провайдера использовались автомобильные аккумуляторы, ввиду их дешевизны относительно не обслуживаемых АКБ разработанных для применения на сетях связи (особые режимы эксплуатации — постоянный заряд, редкий разряд, длительная отдача). Если хотите через 1-2 года их менять (в зависимости от разрядки и глубины этой разрядки), то конечно можете пользовать таким вариантом. Только надо учесть, что эти АКБ являются обслуживаемые, а значит в случае чего (перегрев например), они могу потечь или испаряться через крышечки — а значит их нужно в отдельное вентилируемое помещение ставить и всё такое… В случае же использования герметичных не обслуживаемых АКБ вы можете размещать их хоть в стойках с оборудованием (на дне шкафа или на консольных полках), эксплуатировать от 3 до 8 лет (смотря какая гарантия от производителя на жизненный цикл) и проводить тестирование вашей системы питания по регламенту.

Альтернативное мнение

Я выше писал про блоки розеток… но на самом деле я считаю, что правильнее подключать оборудование от АВ в РЩ внутри стойки. Так соединение получается надёжным и защищённым. Но тут есть некоторые неудобства. В основном они связаны с тем, что оборудование имеет совершенно конкретную розетку С14, вилку для которого (С13) не всегда можно найти надлежащего качества. В итоге она может там шататься и слабое место уже будет там. К тому же надо учесть, что не все инженеры хотя бы знают что такое ПУЭ, а им надо иметь возможность безопасно включить оборудование (опустим тот момент, что по технике безопасности любой инженер должен быть как минимум с 3-ей группой в корочке по электробезопасности + сопровождение ответственного с 4-ой группой — все мы понимаем реальность бытия).

Инфраструктура кабельных трасс

Для того, что бы прокладывать кабель из разных уголков вашего автозала (от вводов в саму аппаратную или от шкафа с аккумуляторами) вам потребуются кабельные лотки. Это может быть система кабельных лотков под фальшполом, или лотки под потолком, проходящие по периметру помещения и над стойками… В моём случае было принято оптимальное решение: под потолком идут кабельные локти, а в полу был вырезан жёлоб проходящий под телекоммуникационными шкафами, шкафа с АКБ и ответвление к ВРУ на стене. Жёлоб оббит железом (и заземлён), а сверху накрыт 4мм стальными листами, которые так же как и весь остальной пол, покрыты антистатическим не горючим линолеумом. Нужно поставить новые стойки – убрать с нужных мест лючки, поставили стойки, подтащили по жёлобу линии питания постоянного и переменного тока и всё. При этом жёлоб в полу используется только для силовой проводки, а сетчатые локти под потолком используются для медных СЛ и оптического кабеля.

Несмотря на то, что оборудование ещё не инсталлировалось в этот автозал, кабельные локти уже занимаются жгутами медных линий и оптическими кабелями. А именно были сдельны перекидные кроссы между стойками. У меня есть две кроссовые конструкции: стойка однорамная и конструктив с трубчатыми монтажными профилями для 10-ти парных плинтов. Из телекоммуникационных стоек в однорамную стойку приходят жгуты UTP из каждой стойки, которые с обеих сторон расшиты на патч панели. Аналогично организован оптический перекидной кросс.Таким образом любые кроссировки между оборудование в разных стойках выполняется короткими патч-кордами внутри своей стойки. А входящие единичные медные линии в автозал (СКС из офиса на 8 линий и медные соединения с партнёрами тоже приходят на раму с кроссами, после чего перекидываются уже на нужное оборудование.

А здоровенная рама для плинтов мне нужна ввиду необходимости организовать большой объём соединений PRI портов между станционной и транспортной стороной. Плата транспорта SDH или медиа шлюза расшивается сразу на нужную сторону конструктива, затем кроссируется при необходимости обычным кроссировочным шнуром.

Благодаря тому, что силовые кабели у меня идут по жёлобу в полу, а слаботочка заходит в шкафы сверху, они практически не пересекаются друг с другом (у меня есть оборудование, питание которого включается спереди), даже с учётом того, что кроссы расположены на задних монтажных профилях.

Телекоммуникационные шкафы и стойки

По моему мнению, если вы строите узел связи или серверную, где будет ваше основное, или одно из основных мест дислокации, то минимальные размеры шкафа должны быть 800х1000 (ШхГ), стандартной высотой 42U, с цоколем или на 10см приподнятые над полом, а так же отверстиями для ввода кабельной инфраструктуры, как через цоколь, так и через потолок. Хотя я предпочитаю 47U, потому что когда в шкаф всякого набивается, юниты становятся дефицитом и сделать с этим ничего нельзя будет.

И я не просто так написал «размеры шкафа». Я считаю, что стойки (просто двойная каркасная рама) использовать можно только для стендов тестирования и кроссов. Спустя некоторое время эксплуатации ряда стоек, вы обнаружите, что патч-корды были прокинуты лианами между стойками со всех сторон, даже если вы сами любите порядок, то кто-то другой обязательно для ускорения процесса кинет такую соплю, а потом забудет переделать до того, как там пустят клиентский сервис. Именно поэтому должны быть шкафы и у них обязательно должны быть закрытые боковые панели и закрывающиеся двери.

Для того, что бы двери закрывались всегда, необходимо монтажные профили устанавливать хотя бы на 10см вглубь, как спереди, так и сзади. Если их ставить близко к двери — могут возникнуть неудобства с оборудованием, которое выступает вперёд своей передней панелью за монтажные профили, + SFP модуль торчит + оптический патч-корд в нём. Как результат — дверь будет гнуть патч-корды, если вообще сможет закрыться. Буквально недавно из-за такой не продуманности пришлось несколько раз ездить на узел, где у нас был установлен cwdm в арендуемой стойке (к слову сам он даже не выпирал за пределы плоскости монтажных профилей). Дверь могли закрыть по-разному и она по-разному прижимала патч-корды, роняя линки. Хорошо, что поняли в чём дело ещё на этапе тестирования и наколхозили по-быстрому решение. А для того, что бы иметь возможность утопить монтажные профили, и нужна глубина шкафа от 1000мм — в случае приобретения довольного сервера (на 800 например), вы не сможете закрепить салазки на профилях расставленных ближе чем 800мм, а сам сервер не сможет до конца заехать в стойку. (по крайней мере у платформ Intel такая конструкция салазок).

Сами двери бывают стеклянные или перфорированные (кто-то покупает целиком стальные без перфорации). Здесь выбор под задачи и способы обеспечивания климата. Если холодный воздух у вас подаётся в коридор, то смысла брать стеклянную дверь (или дверь без перфорации) никакого нет. Берите перфорированные двери и всё ваше оборудование будет охлаждаться забирая воздух с фронтальной части (сервера особенно), выгоняя нагретый назад. Если же вы подводите рукава с холодом под стойку, то нужно брать стойки с глухими дверями.

В шкафу обязательно должны быть вертикальные органайзеры на переднем монтажном профиле и, по необходимости, на задних. У меня вертикальные органайзеры с обеих сторон, потому как спереди организуется подъём и спуск меди и оптики, а сзади подвод питания к оборудованию и UTP от серверов (опять же медь с данными идёт по одной стороне, а силовые шнуры по другой). Причём при подводе питающих кабелей в стойку, прикиньте, с какой стороны у вас будут блоки питания — с той и подводите линию. Тогда другая у вас будет для укладки меди от серверов и каталистов (для примера) с платами в задних слотах…

Климат

Считается вроде бы не сложно. Если вы сейчас не знаете, какие у вас будут потребности потом, то можно быстро прикинуть и выйти на 2 варианта:

• сразу промышленные или полупромышленные кондиционеры мощностью, достаточной для покрытия максимального тепловыделения (считается на основе максимально возможного потребления электроэнергии на стойку, с коэффициентом 0,9 для уверенности; а для точности — надо смотреть паспорт на оборудование).
• поставить бытовой сплит… потом ещё один… потом ещё… Только позаботьтесь о том, что бы к этим сплитам можно было в будущем подключить какой-нибудь модуль управления с датчиками, что бы всё это было немного умным.

В любом случае должен быть резерв системы поддержания температуру от 18 до 24°С и влажность в районе 50-60% у вас в автозале. У нас например большой кондиционер питается от другой электросети, нежели автозал. И вот если кто-то сможет его погасить, то автоматически запустится сплит система, которые так же без проблем справятся с этой задачей, но питание они возьмут из электросети с дизелем, но без драгоценного автономного ресурса ИБП.

Ещё можно заниматься автоматизацией и мониторингом, в зависимости от того, на что способны кондиционеры… У нас например есть блок управления сплит системой, который мониторит температуры в нескольких точках автозала и задаёт режим работы нескольких кондиционеров.

Но в общем для меня эта тема довольно далека и всё, что нам необходимо было делать по этому вопросу — делала подрядная организация. В планах только прикрутить к этой системе сигнализацию от систем типа netping или чего-то подобного, что бы запускались дополнительные кондиционеры не только, когда большой отключится.

Системы безопасности

• Система пожаротушения. Для тушения пожара должен применять газ. Это опасно для людей, но безопасно для вашей инфраструктуры. Разумеется при срабатывании система будет орать заданное количество секунд и только после этого вскроет баллон с газом. Поэтому персонал должен быть проинструктирован, не глухим и не слепым, что бы видеть светосигнальную информацию о состояние пожарной системы. Как правило, у систем пожаротушения есть панели индикации и управления — персонал заранее должен быть научен понимать и пользоваться этими устройствами.
• Охранная сигнализация. Здесь лучше пользоваться регламентом эксплуатации системы, который выдаст охранная организация. Здесь сказать нечего. Если у вас на объекте постоянно кто-то присутствует, а помещение находится на территории охраняемой службой безопасности владельцев здания, то возможно она вам и не нужна.
• СКД. Согласно нормативно-правовой документации от Мининформсвязи (Приказ от 9 января 2008г №1), в помещение узлов связи должны иметь доступ только лица производящие монтаж, эксплуатацию и техническое обслуживание оборудования. Здесь вопрос не только безопасности доступа к оборудованию (а ведь электронные метки или пароли могут украсть у менее подготовленных лиц — например бухгалтерии или менеджера), но и по технике безопасности. Вряд ли у того же менеджера есть удостоверение по электробезопасности и он проходил инструктаж. А с того момента, как вы растащили электропитание по шкафам — всё ваше помещение — это одна электроустановка.
• Видеонаблюдение. Как и любая другая система безопасности, её питание должно быть зарезервировано и доступ к её элементам управления должен быть ограничен. Камеры следует выбирать с PoE питанием, что б ни от какой розетки на стене не было зависимости. В автозале камеры следует размещать не только для фиксации инцидентов безопасности, но и для разбора полётов с техническим персоналом. Дело в том, что инженер может сделать что-то случайно, а потом не сознаваться, опасаясь расправы. Например, если всё-таки использовать блоки розеток с подключаемым кабелем в разъём С14, то рано или поздно оттуда выпадет вилка С13, особенно если там кто-то решит полазить и расшатает кабель. Аналогично и со стороны оборудования — если шнур плохо сидит в разъёме блока питания оборудования — найдите способ, как улучшить его посадку. Иногда это бывает просто плохой дешёвый провод — я таки сразу выбрасываю. А иногда разъём в оборудование уже деформировался (высох пластик со временем, например). Или же инженер может случайно не тот патч-корд вынуть. У меня самого был случай на первом году работы в телекоме, когда SFP модуль застрял в плате, а очень нужно было срочно его заменить. Как я только не пытался его оттуда вынуть. А это был Juniper MX5-T… именно тогда я узнал, что интерфейсные платы у него не прикручиваются к корпусу — вылетела вся 20х1Gb плата забитая рабочими линками… Камер у нас правда не было, но я и не стал скрывать обстоятельства произошедшего.

Готовясь к вводу в эксплуатацию

В связи с тем, что небольшие операторы связи имеют право регистрировать узлы по упрощённой схеме, с недавних пор отпала необходимость готовить проекты на все инженерные системы узла (электропитание, кондиционирование, освещение, пожаротушение, и кажется был раньше проект кабельных трасс). Это значит, что при подаче документов в Роскомнадзор на регистрацию узла связи, вы имеете право не предоставлять этот пакет документов. Но сделано у вас всё должно быть, потому как проверочные комиссии технадзора никто не отменял и они вполне себе могут прийти и провести инспекцию вашего опасного (или особо опасного) объекта. Поэтому не стоит отступать от реализации всего этого только потому, что ваше руководство выяснило, что ничего этого не надо для регистрации узла. Рано или поздно эти системы отработают и спасут от убытков или смерти.

После того, как вы решили, что закончили с обустройством своей аппаратной и теперь дело только за инсталляцией и включением оборудования, убедитесь, что у вас есть некий набор документации и регламентов, который хранится в непосредственной близости к обслуживаемому оборудованию:

• схемы распределения электропитания
• схемы освещения
• схемы прокладки трасс кондиционирования
• регламенты и даты ввода в эксплуатацию АКБ, кондиционеров, генератора, АВР, устройств заземления.
• схемы на перекидные кроссы
• регламент и пылесос для уборки помещения: т.к. у вас должно получиться довольно герметичное помещение, то пыли там со временем браться практически не от куда, а мусор оставленный инженерами будет регулярно появляться — колпачки от патч-кордов оптики и SFP модулей, обрубки жил витой пары, укатившиеся гайки и болты — со всем этим прекрасно справляется строительный недорогой пылесос (kercher например)
• схемы на приходящую на объект ВОЛС с рефлектограммами
• подписано и обозначено должно быть буквально всё — любой элемент дистрибуции электроптитания, шкафы и двери с табличками по назначению и классу опасности, ответственные, схемы эвакуации на светящейся в темноте основе; если у вас по периметру идёт шина заземления, то она не должна быть закрашена и отмечена как заземляющее устройство. На одном предприятие у знакомого технадзор потребовал раскрасить кромку шины в красно-зелёные полосы.

Почему я ничего не написал борьбе с шумом?

Бессмысленно бороться с шумом невиданными стойками с шумоизолирующими панелями… Тишуну можно сделать только тремя способами:

• выключить из розетки всё, что шумит
• придерживаться правил выбора помещения для автозала описанной в этой статье и проблема шума отпадёт, при условии, что рабочие места находят за пределами этого помещения
• в какой-то мере поможет включить тихий режим в BIOS серверов.

Конечно же этот материал сложно назвать полезным на 146%. Я не проектировщик, а поэтому не могу вам дать исчерпывающие ссылки на материалы, по которым надо себя готовить к исполнению задач, описанных в статье. Подозреваю, что даже проектировщики не держат в голове все СНИП, ВСН, НТП на здание и помещение, ПУЭ, и нормативно-правовую документацию от Минком/информсвязи, Роскомнадзора, Рос/технадзора. Практически ничего не знаю про охрану труда — это вообще отдельная тема. Но я старался рассказать о том, на чём надо останавливаться и начинать вчитываться, что бы не ошибиться.

Можно начать с этим документов и постараться понять чего нужно придерживаться. НТП 112-2000 РД 45.120-2000 — документы с кучей ссылок на всё то, на что надо опираться при строительстве узла связи. Из него правда пригодится всем, наверное, только несколько пунктов:

• ВСН 45.122-77 — проектирование искуственного освещения предприятия связи
• ВСН 116-93 — может быть пригодится, но довольно старая инструкция по проектирования линейно-кабельных сооружений связи
• ВСН 332-93 — Инструкция по проектированию электроустановок предприятий и сооружений электросвязи

И посыл, который я просто не нашёл куда воткнуть: 

• Покупая любой кабель, электротехническое изделие, шкафы, кроссовое оборудование – выбирайте с сертификатами серии ССС или декларация соответствия в области связи — чем ближе к связи, тем лучше. На многое конечно сертификатов/деклараций в области связи нет и не требуется, но тогда хотя бы соответствие ГОСТ. На электрический кабель, например, есть ГОСТ, есть ТУ и продукт экономии на производстве… Ничего кроме ГОСТ брать не стоит — вы попадёте на заниженные характеристики и составы материала.
• Просто качественные материалы. Например на плинты не требуется сертификация или соответствие в области связи. Но взять плинт от krone и другой «китай», через пару лет вы увидите, что krone всё так же держится на монтажных трубках, а «китай» подсох и трения не достаточно, что бы он оставался висеть там, где его воткнули. Немного небрежного отношения, и вы познаете разницу в прочности и эластичности пластика. Сам я на всё это натолкнулся только в этом году, когда пришлось разбирать старый кросс и с noname производителем и с krone.

Наверное многие скажут, что не нужно им это всё в серверных, тем более в малом бизнесе. Вы правы, но стремиться к чему-то ведь надо? Выбирайте пределы, которые вы готовы достичь и достигайте. В любом случае норматива из области связи мне кажется самой адекватной и обоснованной. 

В данной части я попробую изложить принципы выбора и размещения оборудования, чтобы вы могли меньше тратить время на поиски вариантов, по моему мнение правильных. А я пишу на эту тему для того, что бы прочитать альтернативное мнение в комментариях.

Напомню, что статьи для тех, кому приходится по работе сталкиваться с необходимость решить совершенно различные задачи в строительстве и обслуживание небольших серверных/залов.

Итак, необходимо подвести итоги первой части. У вас есть помещение, которое удовлетворит следующим пунктам:

• выдержит точечные нагрузки на пол и перекрытия, а так же построено из огнестойких строительных материалов (это к проекту здания).
• организованы пути подвода кабеля (различного) к стойкам. (это к ПУЭ, ВСН 116-93)
• уровень пола поднят над уровнем полов смежных помещений и подняты стойки над полом на рамах или с использованием общей системы фальшпола.
• есть система энергоснабжения с таким типом резерва, который вас устроит или вам предписан нормативной документацией минкомсвязи. (это к пачке цитат из прошлой статьи)
• кондиционирование с резервом.
• отсутствие сантехнических коммуникаций в опасной близости.

Это минимальный набор для старта. Если у вас узел связи – вам необходимо довольно чётко следовать нормативной документации. Пусть сейчас небольшие операторы связи могут сдать свой узел по упрощенной системе, без проектов на всё и вся (за исключением проекта на нужный тип узла связи, в котором всё равно упоминает электропитание, пожаротушение, освещение и другая инфраструктура автозала, но проекты по многим отдельным инженерным системам уже не нужны).

Немного про шкафы

В прошлой статье, я упоминал, зачем нужны именно шкафы, т.е. стойки с внешними стенками и дверями, которые закрываются.
Я сам не имею большого опыта с разными брендами. На выставке связьэкспо раньше было представлено много брендов и у всех всё красивое и набор аксессуаров обычно удовлетворяет любые потребности… Но всё это стоит очень дорого! Когда мы искали для себя подходящие шкафы – всё было против нас: начиная от курса валюты, заканчивая тем, что все магазины продающие Hyperline (которые просто по цене были дешевле остальных и есть ощущение, что эти китайцы хотят поддерживать свой бренд на нужном уровне) похоже закупаются на одном и том же складе, где, как нам говорили, было 10 стоек на тот момент и все они зарезервированы каким-то из магазинов под проект. В итоге мы купили нечто «по лицензии компании из США сделанное в Китае». Немного допилив (а именно сварив цоколь взамен согнувшихся ножек и жёстко сцепив шкафы друг с другом за крыши металлической пластиной), мы получили шкафы, которые нас устраивают по физическим параметрам.
По параметрам я предлагал в прошлой части рассматривать минимальные размеры 42U, 800x1000. Это поможет удовлетворить типичные потребности:

• Разместить вертикальная органайзеры, или просто иметь место для отвода не только одиночных кабелей, но и целого пучка от оборудования. Ведь если у вас ширина 800, то с левого и правого бока останется примерно по 10см пространства, которое обычно и закрывают вертикальные органайзеры.
• Углубить монтажные профили на 10см, для того, что бы не воздействовать на патч-корды и прочие кабели, включаемые в оборудование как спереди, так и сзади. При этом должны помещаться длинные серверы (до 800мм).
• Такие шкафы должны выдерживать большой вес.
• В них есть место установит шину заземления.
• Обязательная нумерация юнитов на монтажных панелях, как спереди, так и сзади. Это существенно облегчит жизнь и процесс монтажа и эксплуатации.
• Съёмные боковые панели. Да, я говорил, что они всегда должны быть закрыты и ни в коем случае через них не протягивать что-либо. Но на крайних стойках в ряду это может быть полезно и даже разок мне помогло создать многоуровневую конструкцию из сетчатых лотков внутри шкафа, что бы красиво и аккуратно разместить «колбасы» от телефонной станции и транспорта, с выводом на кроссовые рамы 19"
• Обычно производители выпускаются вместе со шкафами и минимальный набор аксессуаров к ним. Скорее всего вам понадобятся только вертикальные органайзеры и вентиляционные модули, если холодный воздух подводится снизу стойки. Всё остальное можно сделать с помощью сетчатых лотков и стандартного крепежа.

Я бы всем рекомендовал высоту брать максимальную, так как юниты — это драгоценный ресурс, который не нарастить. Но необходимо учесть и расстояние до сетчатых лотков, что бы они не стали препятствием встать шкафам «в полный рост».
Естественно есть потребности, для которых можно применить стойки, как однорамные, так и двухрамные. Если вам хочется вынести перекидные кроссы, разместить стенд оборудования, сделать стойку электропитания (если у вас несколько, относительно маленьких, элементов его обеспечения, но уже больших, что бы тратить место в шкафу с оборудованием).

Немного про оборудование электропитания

В прошлый раз я упоминал, что ввод необходимо делать с возможностью аварийного ввода резерва — ДГУ необходимого вам мощности/размера. Если вы не хотите платить за готовое электротехническое изделие с паспортом, то можете собрать его самостоятельно, на ваш страх и риск. В Сети полно инструкций со схемами и правилами сборки. Но нужно помнить один важный момент — если вы реализовываете механическую и электрическую блокировки — время переключения будет заметно для оборудования. То есть надо помнить об оперативном резерве – ИБП и инверторы с АКБ. 

Телекоммуникационное оборудование очень чувствительно к качеству подаваемого электропитания, поэтому выбирать ИБП необходимо не ниже online варианта их реализации. Такие ИБП работаю в два этапа преобразования типа тока — сначала в постоянный, на этом этапе подключается цепь с внутренними и внешними (через специальный разъём) АКБ, затем внутренний инвертор преобразует обратно в переменный. Такой ИБП даёт ряд плюшек: 

• правильная синусоида (в прочем её правильность всё равно на совести производителя)
• бесшовное переключение на резерв
• возможность настроить частоту и вольтаж выходного сигнала

Такие ИБП дорого стоят. Но ввиду своего уровня, они обычно позволяют многое: 

• мониторить состояние электропитания
• подключать внешние сборки АКБ, как хэнд мейд, так и варианты аксессуаров от производителя
• защищать линии на распределение электропитания (порой даже отключать и включать удалённо)

Достоинств может показаться мало, но что вам ещё нужно от системы резервирования питания? Для меня самого большая загадка, почему, например APC серии Symmetra, стоит так дорого, по сравнению с APC smart-ups (сейчас бы я выбирал другую марку ИБП, но если сравнивать, то две линейки продукции одного производителя). Если вдруг кто-то понимает, почему за ИБП надо заплатить несколько сотен тысяч рублей, что бы прокормить 1-2кВт потребителей в течение всего 15 минут, расскажите, пожалуйста.

Принцип выбора любых участков кабеля и распределительных устройств. Силовые

1. На силовой кабель должен быть сертификат ГОСТ. Как я уже упоминал в прошлой части, никакие ТУ брать нельзя — вы попадает на заниженные эксплуатационные показатели.
2. На стационарные объекты укладывается моножильный кабель необходимый для обеспечения передачи всех фаз (1 или 3), N и PE проводников в отдельности, подходящий по сечению на максимальной нагрузки, которую необходимо обеспечить на этой линии. Конечно, при необходимости маневрировать в местах, где тяжело уложить жёсткий кабель, можно использовать кабель с многожильными проводниками. Но учтите, что жилы такого кабеля, прежде чем зажать в клемму, необходимо обжать наконечником (НШВИ, ТМЛ и пр.) специальными (подходящими для наконечника) клещами. Я видел, как НШВИ наконечник просто одевали и зажимали винтом в шине или АВ (автоматическом выключателе) — это бесовщина полнейшая и является не разборным соединением, которого и требуется достичь согласно требованиям ПУЭ.
3. Я бы рекомендовал выбирать максимально пожаробезопасный кабель — ВВГнг-RFLS (с моножильными проводниками) и ПВС LS (с многожильными)
4. Линии замурованные в стену или находящие в лёгкой доступности в проходимом месте (где их могут поверить тележками, другим оборудованием по неосторожности или просто воздействуя на них случайно) прокладывать в гофре (ПУЭ-7-Электропроводки и кабельные линии — 7.1.37). Гофра бывает разная — выбирайте под свои потребности. Я всегда беру либо с защитой от ультрафиолета (не разрушается от него, как обычная серая гофра) или оранжевую, которая обычно является очень прочной (100кг веса человека в кроссовке выдерживает, если не прыгать, но это само собой от диаметра зависит).
5. Блоки розеток, как правило, все покупают китайские, с вариациями «вшитого» кабеля или с разъёмом С13, с выключателем и без. Во-первых, выключатель никому никогда не понадобится на потребителях, которые никогда не должны выключаться. А ведь их чаще всего (из моей практики) просто задевают и гасят пол стойки (да, бывают крышечки на них, но тогда уж сразу заклейте их поксиполом и не создавайте вероятности нештатных ситуаций на этой почве. Во-вторых, вряд ли вы купите такие блоки и специальные кабели нужной длины (а какая она, если вы заранее не знаете?), где будет специальная рамка на розетке, которая будет держать кабель. Соответственно берите розетки с клеммной колодкой, что бы туда можно было подключить ваш кабель, который вы проложите от вашего источника питания, расположенного в любом удобно месте вашего автозала. Я такие искал очень долго и напокупал всякой ерунды, которую сейчас просто складирую, потому как не хочу её использовать у себя на узлах. В-третьих, есть проблема с большинством блоков розеток, в которые кабель заделан. Как правило, эти блоки на 10А, чего в принципе маловато (2.2кВт). И даже если вы найдёте розетки, на которых написано 16А — где документ подтверждающий это (касается как самого блока, так и кабеля, который его питает)?
6. Старайтесь покупать силовое оборудование с широким диапазоном значений вольтажа на входе. Дело в том, что стандарт на качество электропитания в Европе гораздо жёстче и допускается работу устройство при напряжении от 190-200 до 240-250В. В то же время для рынка в США некоторые модели той же APC выпускаются с входными диапазонами от 140 до 260В. Такие широкие диапазоны делают штатными ситуации, когда для более «нежных» устройств под европейский рынок они вызовут срабатывание защитных механизмов.
7. Выбивая кабель и АВ для подключения ИБП или инвертора к электросети — ознакомьтесь с рекомендациями в инструкции. Дело в том, что кабель надо выбирать не по току, который будут брать трансформаторы (силовые модули) в штатном режиме. Допустим вы подключили ИБП на 5,5кВт кабелем 4мм2, через 25А АВ, а напряжение упадёт до 140? Вы получите 40А по току. АВ сработает, хоть и не сразу (у расцепителя есть временной лаг, зависящий от категории АВ), линия обесточится. На долго хватит аккумуляторов? А если ночью и нет у вас дежурной смены на узле? А что дежурная смена сделает? Подозреваю, что ничего, кроме как обратно включить АВ. Вообще по части выбора сечения надо опираться на ПУЭ-7 п.1.3.10-1.3.11, но надо так же учесть ряд других причин и условий, как мне кажется вполне доходчиво были объяснены на одном форме электриков/энергетиков, где я сам начинал въезжать в тему из-за желания/необходимости сделать правильно и самостоятельно.

Принцип выбора любых участков кабеля и распределительных устройств. Слаботочные

1. На слаботочный кабель (UTP/FTP и т.д.) обязательно декларацию соответствия в области связи.
2. Патч-панели лучше всего выбирать с рамкой поддержки отходящих кабелей для индивидуальной фиксации, что повысит качество и надёжность монтажа. Это особенно заметно, когда панель на 24 или 48 портов — жгут получается довольно массивный и может ослабить контакты некоторых жил с зажимом в разъёме.
3. Для транспорта большого количества потоков Е1 (PRI) не следует использовать 4-х парный UTP, если этого не позволяет разъём в оборудование. Например, у меня есть оборудование, где в одном разъёме RJ-48 (45, 8p8c, и иже с ними) совмещено два потока PRI. Там очень удобно задействовать красную и синюю пары для одного, зелёную и коричневую — для другого. Но если у вас в одном разъёме один PRI, то используйте 2-х парный UTP. Это существенно снизит объём жгута и позволит красиво расшивать потоки на плинты.
4. Плинты, разумеется, использовать как можно более качественные, от проверенных производителей. Я стараюсь использовать плинты типа LSA Plus от krone. В прошлой части я писал, что плохой сплав металлов и пластиков со временем даст о себе знать в виде оксидной плёнки (с последствиями в ухудшение качества соединения) и высыхание пластика (будут плохо держаться на монтажном профиле и ломаться мелкие элементы, особенно если находятся в активной эксплуатации). Хотя у меня есть несколько демонтированных со старого кросса плинтов фирмы rexant, у которые хорошо отработали порядка 6-7 лет (конечно сами клеммы я никак проверить не могу, тем более при свежем монтаже).
5. И пункт по аналогии с гофрой для силовых линий — нейлоновые стяжки. Они тоже бывают разного качества. Проявляется это как в изначальной прочности застёжки (проверить можно стянув что-нибудь и попытаться разорвать), так и со временем от высыхания пластика. Само собой жгуты слаботочки должны жить без нагрузок собственного веса и прокладывать по специальным трассам, что бы на них ничего не влияло. Другими словами их нужно всегда притягивать к лоткам как на горизонтальной трассе, так и при спуске на стойки и кроссы. Как альтернативу могу посоветовать стяжки-липучки. Первыми они кажется появились у Hyperline, а сейчас вроде бы полно всяких разных по цене и цвету — очень удобно компоновать пучок отходящий от фронтальных портов многопортового оборудования, когда периодически вкл/выкл патч-корды.

Инструмент

Для того, что бы ваш монтаж был выполнен качественно, не достаточно только лишь хороших материалов, знания кейсов по организации и укладки кабельной системы. Необходимо иметь подходящие и не подводящие вас инструменты.
Не буду утверждать, что я привёл ниже весь необходимый набор инструментов, так как сам пользуюсь довольно ограниченным набором в повседневной жизни. Пожалуй я просто перечислю его и объясню в чём нюансы выбора. 

• Кримпер для обжима «RJ-45». Помимо того, что он должен быть лёгкий, необходимо учесть его механизм. Я использую НТ-L2182R, потому что «голова» у него выполнена с минимальным необходимым объёмом лёгкого металла, а пластина с прорезями для вжатия клемм в жилы связана с двумя ручками, что обеспечивает безотказно строго вертикальный подъём этой пластины, что в свою очередь обеспечивает равномерное вжатие со всех сторон коннектора. При этом вам не нужно два, или даже три отверстия под разный тип коннекторов, так как все типы джеков нормально вставляются и обжимаются в отверстии под 8-ми пиновый коннектор. А в идеале вам вообще не понадобится использовать конвекторы типа RJ-12 (или как там они правильно называются), потому как дешевле и проще использовать везде 8p8c (RJ-45 в народе). В хороших клещах так же качественные ножи, хорошо подогнанные под параллельное сведение при сжатии, как для отрезки кабеля, так и для снятия внешней изоляции.
• Прищепка для снятия изоляции. Я пользуюсь самой простой, так что ничего тут посоветовать не могу. Возможно мне просто попался хороший экземпляр и он отлично справляется со своей работой. Периодически при монтаже проверяю целостность изоляции жил на линии среза внешней изоляции. В принципе у меня всегда получается так, что прищепка только царапает изоляцию, а снимаю я её уже изломом в месте «надреза», что 100% уберегает от повреждения изоляции жил.
• Бокорезы. Откусывать периодически всё равно что-то надо. Самое частое, что мне приходится делать — снимать стяжки или обрезать им хвостики после затяжки. Суть выбора бокорезов для таких целей — они должны быть маленькие, с острыми концами и самое важное — плоская площадка при смыкание губок. Это нужно для того, что бы срезать хвостик стяжки и не оставить от него «пенёк», о который потом все будут царапать руки. Когда вижу в своём хозяйстве стяжку с обрубком после замка, меня прям немного корёжит :)
• Кроссировочный нож. Здесь я могу сказать, что покупать надо только оригинальный krone, что бы получать стабильно качественный результат забивки кроссировки в плинт и они не развалились бы со временем. Мне за последние 3 месяца пришлось пробить порядка 5000 жил в плинты или патч-панели и ни разу они меня не подвели (1 порт на патч-панели по каким то причинам не работает, но пока руки до него не дошли по причине пролюбленного Lan тестера). За всю мою практику мне попадались дешёвые реплики кроновского ножа и каждый раз я их просто выбрасывал после работы с ними, что бы они мне больше не попадались на глаза.

По всему остальному, что может пригождаться инженеру в области связи ничего важного сказать не могу, да и не надо — всё таки тут не обзор инструментов. 

Оборудование.

Конечно я не собираюсь советовать то или иное оборудование для организации связи — это дело каждого, да и кто я такой, что бы создавать эти холивары. Конечно выбирать вы в первую очередь будете по их ТХ, ради которых и осуществляется покупка. Но всё же кое-каких принципов можно придерживаться при любом нормальном оборудовании, просто заплатив побольше денег.

1. Самый важный момент, на мой взгляд — наличие возможность подключить 2 источника питания. Это может быть как два блока питания, так и выход на цепь АКБ. Что касательно первого — все, наверняка, знают, что в оборудование бывает два блока питания. Зачастую можно даже вставить блоки разного типа — AC или DC. Я использую везде, где только можно, два разных типа БП. И на оба блока подаётся питание. Не понимаю, почему коллеги с Украины, которые ЦОД для нужд хостинг-провадера строили и переносили, использовали только один блок питания. Ведь второй находится в ждущем режиме и не потребляет электроэнергию, зато работает в горячем подхвате и без перебоев включается в работу, если обесточить первый БП. Профит от этого довольно ощутимый:

• спасение от не аккуратного инженера или некачественного присоединение к электросети и прочие локальные катаклизмы.
• всегда возникает необходимость в кабельном менеджменте, а при подключении к двум линиям питания переорганизовать шнуры питания никогда не будет проблемой. Это даже поможет переставить железку в другую стойку каким нибудь поздним вечером хоть в другую стойку (если это сервер, например), если очень надо и не желательно его выключить. В этом случае, для сохранения аптайма и полного переноса (вместе с патч-кордами передачи данных), вам потребуется иметь бондинг.
• используя разный тип сети питания вы резервируетесь не только по отказу БП, но и всей электросети того или иного типа питания (например ИБП загнутся, или его надо обслужишь, или наоборот всё то же самое с инвертором сети постоянного тока).

У меня на узлах связи практически нет устройств с одним блоком питания. Только один TDM коммутатор, в котором нечему ломаться, так как работает он от постоянного тока и его шасси является просто шиной для питания независимых процессоров обработки сигнализации. А так же пара коммутаторов от cisco и juniper, которые в свою очередь используются только для нужд офиса или они резервируются за счёт бондинга на серверах или медиа шлюзах другим коммутатором. Кроме того, могу даже привести пример, когда ряд продукции вендора (российского между прочим) работает на одних и тех же блоках питания — и транковые шлюзы (sip-to-PRI) и коммутаторы различных уровней. Благодаря этого не нужно держать ЗИП БП на каждый тип оборудования в отдельности, а можно взять некий процент от общей массы (у меня например это 10% запас того, что может вылететь).

Но если приходиться смириться с необходимостью использования оборудования с одним БП — установите для него небольшой АВР прям внутри стойки. Эту мысль я почерпнул из этой статьи. Вообще если бы я её увидел раньше, я бы ничего не писал про электропитание вообще, а посоветовал прочитать тот труд. В прочем я всё это пишу с позиции инженера малого бизнеса, где многое приходится делать не по своей специализации. Может кому-то захочется немного глубже в нюансы вникнуть. 

2. Понимаю, что инженеров, занимающихся TDM или классической телефонией тут может быть не очень много (или они пока не получили возможность оставлять комментарии), но я считаю нужным оставить своё мнение на эту тему: если у вы планируете покупать оборудование, где есть выбор PRI/BRI или аналоговых интерфейсов в физическом исполнении амфемольным разъёмом или RJ-* — выбирайте амфемол) Кто то скажет, что я старпёр, но даже если вам не нужно периодически перекидывать абонентскую/станционную линию с одного порта на другой — амфемол расшитый на кросс, будет куда надёжнее по качеству соединения и непревзойдён по плотности портов на кроссе. А перекидывать линейный тракт от абонентского кросса на станционный или транспортный гораздо правильнее кроссировкой, которая ни на что, кроме обслуживаемого ей порта, не влияет.
Правда с такой возможностью я столкнулся лишь однажды — это была станция LG-Ericsson IPECs… тогда по настоянию инженера заказчика мы заказали платы с 8p8c разъёмами — сам он с ней и мучился (а потом и другие после них мучаются).

Извините, что картинка такая получилось, но пришлось много пометок инженеров этого объекта заблюрить
3. Абсолютно всё оборудование должно позволять смонтировать его в стойку на 19" (или тот размер, который используете вы) монтажный профиль. На крайний случай под это оборудование необходимо выделить консольную полку, на которой его и разместить, с фиксацией (стяжками например). Из этой же серии — нужно избегать оборудование с внешними блоками питания. Помимо того, что это головная боль для организации включения в блоки розеток (редкий блок питания может похвастаться скромными габаритами и не мешать соседям), так они ещё и выпадают без проблем. Я их приматываю стяжкой к блоку розеток. 
В моей практике я встречал запрет на размещение оборудования в арендуемых стойках, если оно не может быть смонтировано на профиль. Что-то в этом есть.

4. Серверы. Перечислю, на мой взгляд, самые важные моменты: 

• должен управлять удалённо в выключенном состояние — IPMI, iKVM, IDRAC, ...
• само собой два блока питания
• должен быть аппаратный рейд (все ведь понимают разницу между рейдом в матплате и отдельным контроллером?)
• неплохо было бы иметь возможность вставлять полноразмерные карты расширения (но тут думайте уже о задачах сервера)
• так же от задач сервера зависит и количество eth портов — для отказоустойчивости вам может понадобится бондинг, что займёт 2 порта. А ещё может потребоваться подключить сервер к другим сетям, сделать LAG, vrrp с другими серверами… в общем 2 порта хорошо, а 4 скорее всего покроет все ваши задачи. Так зачем себя ограничивать?
• мы у себя используем серверы с деклараций соответствия в области связи, что в общем то далеко не всем нужно. Но серверы, где происходит работа АСР (автоматизированная система расчётов, в простонародье — биллинг), должны иметь такую декларацию для приложения в пакет документов на регистрация узла связи.

Диски, уровень рейдов, объёмы памяти и тп — здесь я бы сам с кем нибудь при случае пообщался. В какой-то из тем про ЦОД и серверные были комментарии на тему Tower или Rack исполнение. Оба варианта справедливы в тех или иных случаях. Посмотрел цены на шкафы — почему-то даже отечественного производства стали стоить в два раза дороже (35к в среднем за 24U шкафчик). Эти деньги лучше вложить в ТХ сервера. 

Немного размышлений по кабельному менеджменту внутри шкафов

Наверное мы все любим смотреть на картинки красивого отвода проводов от серверов и патч-панелей. Но если с патч-панелями всё понятно – вы сразу делаете стационарное размещение кабельного жгута и портов, когда можно уж заморочиться, придумать как у вам будут отводиться витые пары в жгут и уже сам жгут как пойдёт по стойке. А что делать, если у вас не сферические сервера в вакууме, где в них нужно воткнуть только шнур питания и ethernet сеть? И допустим у вас нет KVM в стойке, т.е. вы по мере необходимости подключаете монитор и клавиатуру то туда, то сюда. А ещё они могут быть от разного производителя и те или иные порты окажутся с разных сторон. А в какие-то серверы вы захотите воткнуть USB-to-COM адаптеры для аварийного управления консолями оборудования через сервера. Как итог — на тыльной стороне у вас переплетение кабелей, как силовых, так и для передачи данных, в том или ином виде. Т.е. по факту у вас пропадает единообразие, подобное этому:

По моему мнение, совершенно не зачем стремиться к единообразной красоте. Для вас самое важно — надёжность соединения и практичность эксплуатации. Отводя кабели с данными на одну сторону, а силовые шнуры от блоков питания на другу, в вертикальный органайзер, вы вполне себе обеспечите аккуратность укладки. А если получится обвязать группы шнуров стяжкой-липучкой, то будет совсем хорошо. 

Заключение

Уверен, что по некоторым пунктам со мной многие не согласятся. Так же уверен, что у многих будут вопросы экономического характера — ведь я предлагаю потратить довольно много денег на то, что можно было бы сделать гораздо проще и забыть до первого падения сервисов. А один раз в год для кого-то не страшно (уверен, что для кого то и больше не страшно), а значит и нет смысла тратиться на: 

• качественные кабели, ведь на чердаках годами лежит дешёвая «витуха», а алюминий в советских стенах замурованный десятилетиями не разлагается
• дорогой, крепкий и точный инструмент, ведь профессионал отличается способностью разделать любой кабель зубами
• кроссы, на которые потратится кабель и довольно много часов на расшивку/разварку
• шкафы, которые можно заменить более дешёвыми стойками
• все эти заморочки с электропитание и его монтажом — на ваш век в этой компании может хватить монтажа с нарушениями… (а может и не хватить)

Конечно каждый должен учитывать возможности своего бюджета. Но иногда надо себя спрашивать, стоит ли 10-15к рублей то, ради чего вы будете ночью или рано утром бежать на работу, что бы побыстрее понять, что случалось, если на одном из БП пропадёт питание или он умрёт по какой-либо причине? А если из-за плохих материалов вы получите плохою линию связи и потратите много времени на поиски (например битовые ошибки в PRI потоке приведут к убийству сервиса факсов и диалап у ваших заказчиков). Качественный кабель, плинты, инструмент не так дорого стоят, что бы экономить на них 10-15к рублей на весь объём потребностей у вас в аппаратной. А возможности нормально устанавливать и подключать оборудование? На одном из объектов Россвязи видел стойки какого то оператора (арендовали место, наверное), где на дверце шкафа было написано «Дверь не закрывать — падает PON». Фотографии к сожалению не осталось, но дверь была примотана на жилу из витой пары, что бы не прижимать ворох спагетти, свисающий с ВРМ оптических кроссов. А ведь шкаф на 800 ширину стоит дороже обычно на 5-10% от стоимости (монтажные профили близко к двери — это уже косяк монтажников). Это всё траты времени инженера, которому и без этого есть чем заняться по ночам и в рабочее время. А убытки от потери сервиса для заказчика каждый сам для себя может прикинуть. В наших договорах на предоставление услуг связи чётко регламентированы таймеры по перерывам связи и их объём в течение месяца. За превышение допустимого простоя (не фиксируемого в журналах заказчика — 10 секунд обычно) взимаются штрафы и происходят всякие разговоры с заказчиками, которые быстро прилетает к инженерам. И получается, что нам не нужно (не хочется) строить костыли и сопли, которые и без нашей помощи могут отказать. А в реальности надо ещё и от человеческого фактора защититься.

Кроме того, остались не раскрыты ещё некоторые и очень важные темы:

1. Система и способ маркировки. Хоть об этом не раз писали на хабре, но большинство грамотных предложений были в комментариях. Поэтому просто советую поискать на эту тему статьи и уделить внимание и комментаторам тоже.
2. Документация. Здесь анархия. Тема требуется отдельного труда и философии подхода. Кто-то рисует всё подряд на схемах, включая фасад стойки, схему разварки оптики и других типов кроссов. Кто-то только то, что нужно для описания конкретной услуги (соответственно как только заводится какая то услуга — на неё рисуется отдельная схема или набор схем). Кто-то разделяет физику и логику, что не всегда возможно, а порой и бессмысленно.
3. Составление графиков регламентов по периодическому обслуживанию как инженерных, так и бытовых систем, как автозала, так и комнат для персонала. Я для этого использую календарь. Например, включили АКБ в работу — создал периодическое событие на проверку и на срок утилизации. Здесь встаёт проблема с журналами. Но в дальнейшем я планирую календарь перенести в систему внутреннего хелпдеска.

Просто не забудьте подумать над этим, так как это предотвратить очень много проблем.

Источник: habrahabr.ru

См. также:

• Как быстро построить WiFi-сеть для большого дома или квартиры? 

• Волоконно-оптические датчики для жестких условий эксплуатации: уже скоро!

• Почему техподдержка крупных сетей – работа не для слабонервных