Оперативный ЦОД — «мобильный» или «модульный».

реди российских интеграторов одной из первых типовой мобильный центр обработки данных разработала компания «Черус». Решение рассчитано на 25 кВт потребляемой/выделяемой мощности и предусматривает воздушное охлаждение. Оборудование ИТ размещается в пяти стоках 19” высотой 1800 мм с тепловыделением по 5 кВт каждая (или четырех, если не требуется устанавливать дополнительный ИБП). Все системы помещаются в стандартный транспортный 20-футовый контейнер. Компания ведет проектную проработку второго типового мобильного ЦОД, рассчитанного на 120 кВт потребляемой/выделяемой мощности. Он будет размещаться в стандартном 40-футовом контейнере. «Типовое решение» не исключает широкие возможности его адаптации в соответствии с требованиями заказчиков.

Решением предусматривается воздушное прецизионное кондиционирование с возможностью естественного охлаждения в холодное время года (Free Cooling). Проанализировав несколько вариантов системы прецизионного кондиционирования, специалисты компании пришли к выводу, что система с воздушным охлаждением наиболее эффективна для ЦОД мощностью 25 кВт. Ее работу обеспечивают три прецизионных кондиционера Liebert HPW WM15MD - моноблочные, наружной установки. При этом реализована схема резервирования 2+1. Для повышения надежности системы охлаждения один из кондиционеров постоянно подключен к ИБП. Это сделано на случай потери основного электропитания от сети в жару, когда с учетом ограниченного пространства контейнера температура в помещении быстро достигает и даже превышает предельно допустимую, поскольку запуск системы гарантированного энергоснабжения от ДГУ потребует некоторого времени.

Как утверждается, полное оснащение контейнера с момента размещения заказа занимает четыре месяца. На монтаж и тестирование отводится две недели без учета времени доставки.

Прежде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот — и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания — нарушение дизайна…

Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку — перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться — то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит — все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться — нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?

Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.

Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, — быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД

Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.

Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

• основной ЦОД — возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;
• резервный ЦОД (РЦОД) — экономичное решение для создания дата-центра в сжатые сроки;
• расширение основного или резервного ЦОД — возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;
• start-UP ЦОД — возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;
• временный ЦОД — возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.

Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).

Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).

В технологическом плане все решения условно можно разде лить на две полярные группы — высокой удельной мощности и высокой мобильности.

Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД — быстрота развертывания.

Решения второго класса сосредоточены именно на увеличении показателя мобильности — при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.

Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM-200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений — предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.

Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).

Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC — мобильная InfraStruXure Express

Именно компании APC в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure, которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Рис.1. Первый дата-центр на колёсах - InfraStruXure Express

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N+1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.

Впоследствии модернизацией этого решения начал заниматься партнер APC — компания Pacific Voice & Data. В обновленной версии, получившей название PVD Mobile Data Center, в 53-футовом контейнере размещалось уже 16 шкафов 42U, удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.

Интересно, что в 2009 году компания APC вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

Рис.2. APC DataPod

В конце 2006 года компания Sun Microsystem представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

Рис.3. Проект BlackBox компании Sun Microsystem

В этом решении для охлаждения стоек использовалась водяная система, поэтому предполагалось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот конструктив шкафов достаточно оригинален — 40U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при помощи специальной тележки, которая подсовывается под основание шкафа, а ручка тележки играет роль домкрата. Основное новшество — организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая — между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера — этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.

Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время — особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности — скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров — как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD. На сегодняшний день доступно две модификации — с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.

Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение — Integrated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Рис.4. «Ледяной куб» ICE Cube в походном состоянии.

Проект ICE Cube был реализован в двух форм-факторах — стандартном 20-ти и в большом — 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55U, то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения — этому способствовало как жидкостное охлаждение так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и по сути представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE-совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.

Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения — общий холодный коридор. Как и в решении Sun, чиллер не входил в комплект подставки и устанавливался рядом.

А вот самым маленьким МЦОД можно назвать детище компании NAAT. Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно — обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Рис.5. SunGard Mobile Data Center (MDC) компании SunGard.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

Portable Modular Data Center (PMDC) — 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure. Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек — от 8 (для 20-футового) и 17 высотой 47U (для 40-футового).

Рис.6. Portable Modular Data Center компании IBM в 20-футовом контейнере.

Enterprise Modular Data Center (EMDC) — модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.

High Density Zone (HDZ) — модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения — Smart Shelter Container (SSC) — представлен компанией AST. Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братомблизнецом J. Емкость — 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейнфреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO-контейнеров как в моноблочном исполнении, так и в виде мультиконтейнерных сборок. Проектный уровень эксплуатационной надежности — TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник — такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга — вплоть до 4 этажей — и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).

Еще одна компоновка 40-футового контейнера — от компании Altron. Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения —полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы — Tier III.

Компания Verari презентовала систему FOREST (Flexible, Open, Reliable, Energy efficient, Scalable and Transportable — гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД — не ниже TIER III. Единственное, что почему-то не приводится в явном виде, — количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения — в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM-200), фанкойлы и мониторинг

Рис.7. В решении Verari FOREST всячески подчёркивается экологичность дата-центра.

Не осталась в стороне и компания Hewlett Packard, представившая свое видение МЦОД — Performance Optimized Datacenter (POD) — рис. 8.

Рис.8. HP POD готов к началу установки оборудования

Система исполнена в контейнере 20 или 40 футов, емкость — до 22 стоек 50U при удельной мощности на стойку в 27 кВт. Компоновка стоек — длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей — четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.

Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor. Как и в случае с решением AST, это два контейнера — сервисный и серверный. Серверный находится снизу, сервисный — сверху (видимо, это сделано исходя из количества посещений каждого из них — в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует — Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует — возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.

Компания Lampertz, известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room, было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный — для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rital в качестве внутреннего наполнения предполагается инженерный комплекс на базе Rimatrix5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.

Компания Bull, видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42U может достигать до 40 кВт. Выпускаются две версии — в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая — 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.

Упомянем также и компанию ActivePower, которая предлагает систему PowerHouse. Хотя это и не полностью законченное решение МЦОД, однако его можно использовать в качестве сервисного контейнера, например, с продуктами Sun, HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные — в 40-футовых. Самая интересная деталь такого решения — применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).

Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Рис.9. МЦОД «СИТРОНИКС Датериум» в полной готовности - рама со стойками сдвинута влево для обеспечения удобства установки ИТ-оборудования

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум»(рис. 9). Главной его отличительной чертой является компактность и завершенность — дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42U, при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность — 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N+1). Одна из главных особенностей данного МЦОД — стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.

В контейнере организовано два входа: один для заноса оборудования, второй — для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.

Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N+1 или 2N (в зависимости от модели).

Существуют две модификации решения — базовая MDC-20-T2 (уровень эксплуатационной надежности — TIER II, мощность устанавливаемого оборудования — до 32 кВт, компоновка в стандартном контейнере) и MDC-20-T3 (уровень эксплуатационной надежности — TIER III, мощность ИТ-оборудования — до 40 кВт, контейнер собственного изготовления).

Компания «Черус» предложила свое решение для МЦОД — CHERUS-MDC-24-1. В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N+1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров — установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III.

МЦОД: концептуальные решения

Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).

Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн — для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.

Тем не менее основные дата центры Google, как и Microsoft, построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint) и конструктивно схожи с решениями HP и Sun. При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.

А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий — комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД — перспективы и тенденции

Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации — если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO-контейнеры, ИБП, стойки и пр.).

Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример — ICE Cube).

Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа — мобильность, компактности и оперативность — всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,

главный инженер проектов,

отдел инженерных систем компании

«СИТРОНИКС»

«СЕТИ И БИЗНЕС» . №2 (51) 2010

Контейнерные, или мобильные, дата-центры (МЦОД) появились на рынке в ответ на растущие потребности бизнеса в быстром развертывании, перемещении или наращивании ИТ-мощностей. Благодаря тому что МЦОД позволяет в максимально сжатые сроки обеспечить готовую к использованию инфраструктуру, он стал применяться для расширения стационарных дата-центров и ускорения ввода их в эксплуатацию.

Что в ящике?

МЦОД представляет собой комплекс аппаратных и программных средств для приема, хранения, обработки и передачи информации и включает в себя полную инфраструктуру для обеспечения бесперебойной автономной работы и защиты от неблагоприятных факторов окружающеей среды. Основой МЦОДа является многофункциональная конструкция на базе стандартного фрахтового контейнера 20 или 40 футов длиной стандарта ISO 668:1995, содержащего системы жинеобеспечения и ИТ-оборудование. МЦОДы могут быть собраны из нескольких таких контейнеров в различных конфигурациях.

Основные характеристики МЦОДов почти не отличаются от стационарных дата-центров:

Количество серверных стоек (представленные на рынке решения вмещают до 22 серверных стоек);

Уровень резервирования системы бесперебойного питания и кондиционирования (обычно — N+1);

Уровень энергопотребления и тепловыделения оборудования с одной серверной стойки (в среднем от 8 кВт до 20 кВт);

Габаритные размеры и вес;

Уровень доступности согласно классификации Uptime Institute (Tier I — Tier IV);

Устойчивость контейнера к взлому согласно европейскому стандарту ENV 1627 (WK1 — WK6).

Также при выборе МЦОДа необходимо учитывать температурные режимы его эксплуатации (возможны исполнения для жестких условий, что особенно актуально для северных регионов России), наличие колесной платформы для транспортировки контейнера, тип системы охлаждения (вода, фреон, охлаждение наружным воздухом) и коэффициент энергоэффективности всего решения (Power Usage Efficiency, PUE).

Инженерная инфраструктура МЦОДа представляет собой специализированный аналог решений для стационарного ЦОДа. В ее состав может входить блок-контейнер, автономное средство энергоснабжения, системы бесперебойного питания, кондиционирования и вентиляции, водоотвода, увлажнения воздуха, мониторинга параметров микроклимата, внутреннего обогрева, комплекс систем безопасности, автоматизированная система мониторинга и управления, CКС, а также монтажные конструктивы для установки вычислительного оборудования.

Экономика мобильного ЦОДа

Производители ИТ-оборудования стремятся наделить его такими качествами и функциями, которые позволили бы решать максимум задач при минимизации количества компонентов и взаимосвязей между ними. В отношении мобильных дата-центров прослеживается та же тенденция.

По объективным причинам эти решения не могут стоить дешевле, чем комплекс оборудования для создания стационарного ЦОДа эквивалентной мощности. Но благодаря тому что МЦОД поставляется готовым к эксплуатации, сроки реализации проекта по развертыванию дата-центра с его помощью могут быть сокращены минимум с полугода до максимум трех месяцев. Для ряда отраслей даже такая, казалось бы, небольшая экономия времени может компенсировать более высокую стоимость проекта.

Андрей Синяченко, технический директор департамента инфраструктурных решений ЗАО «Фирма „АйТи“ считает, что кроме сокращения времени на развертывание решения заказчик МЦОДа получает еще одно важное преимущество: он не привязан к каким-либо зданиям и помещениям в них. Ответственному лицу компании не нужно согласовывать выделение помещения под ЦОД, делать ремонт и приспосабливать эти помещения для ИТ-инфраструктуры, нет необходимости тянуть коммуникации через действующие офисы. Можно не тратить значительные средства на прокладку кабельных линий электропитания от подстанции, а просто разместить МЦОД в непосредственной близости к ней. И хотя в каждом случае экономическую эффективность внедрения и эксплуатации МЦОДа необходимо просчитывать индивидуально, выгода его использования — налицо.

По статистике в большинстве случаев решающим фактором в пользу применения МЦОДа является отсутствие помещения необходимых размеров для размещения серверов и прочих инфраструктурных решений. В этой ситуации заказчик чаще всего встает перед выбором: или переезжать, или строить новое здание, или приобрести мобильный дата-центр. Вторая по уровню распространения на рынке модель использования МЦОДа возникает тогда, когда заказчику требуется во всех смыслах мобильный дата-центр, то есть решение, которое может при необходимости перемещаться с объекта на объект. В этом случае предпочтение отдается МЦОДам, в поставку которых входит колесная платформа. Третий вариант использования МЦОДа — оперативное развертывание временной инфраструктуры, например на период строительства основного дата-центра.

Миниатюризация и мобильность - новый качественный этап развития ИТ-решений.
Не стали исключения и дата-центры, которые теперь обрели возможность передвижения и сверхбыстрого развертывания.
О мобильных центрах обработки данных (МЦОД) и пойдет речь в данной статье

Прежде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот - и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания - нарушение дизайна…
Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку - перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться - то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит - все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться - нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?
Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.
Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, - быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД
Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.
Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

• основной ЦОД - возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;
• резервный ЦОД (РЦОД) - экономичное решение для создания дата-центра в сжатые сроки;
• расширение основного или резервного ЦОД - возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;
• start-UP ЦОД - возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;
• временный ЦОД - возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.
Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).
Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).
В технологическом плане все решения условно можно разделить на две полярные группы - высокой удельной мощности и высокой мобильности.
Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощ¬ного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД - быстрота развертывания.
Решения второго класса сосредоточены именно на увеличении показателя мобильности - при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.
Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа (FM-200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений - предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.
Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).
Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC - мобильная InfraStruXure Express
Именно компании АРС в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure, которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N+1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.
Впоследствии модернизацией этого решения начал заниматься партнер АРС - компания Pacific Voice & Data . В обновленной версии, получившей название PVD Mobile Data Center, в 53-футовом контейнере размещалось уже 16 шкафов 42U, удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.
Интересно, что в 2009 году компания АРС вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

В конце 2006 года компания Sun Microsystems представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

В этом решении для охлажде¬ния стоек использовалась водя¬ная система, поэтому предполага¬лось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот кон¬структив шкафов достаточно ори¬гинален - 40U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при помощи специальной тележки, которая подсовывается под осно¬вание шкафа, а ручка тележки играет роль домкрата. Основное новшество - организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая - между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера - этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.
Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время - особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности - скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров - как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD . На сегодняшний день доступно две модификации - с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.
Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение - Integrated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Проект ICE Cube был реализован в двух форм-факторах - стандартном 20-ти и в большом - 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55U, то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения - этому способствовало как жидкостное охлаждение, так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и, по сути, представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE-совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.
Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения - общий холодный коридор. Как и в решении Sun, чиллер не входил в комплект подставки и устанавливался рядом.
А вот самым маленьким МЦО Д можно назвать детище компании NAAT . Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно - обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

• Portable Modular Data Center (PMDC) - 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure. Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек - от 8 (для 20-футового) и 17 высотой 47U (для 40-футового).
• Enterprise Modular Data Center (EMDC) - модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.
• High Density Zone (HDZ) - модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения - Smart Shelter Container (SSC) - представлен компанией AST. Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братом¬близнецом. Емкость - 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейн-фреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO-контейнеров как в моноблочном исполнении, так и в виде мульти-контейнерных сборок. Проектный уровень эксплуатационной надежности - TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник - такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга - вплоть до 4 этажей - и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).
Еще одна компоновка 40-футового контейнера - от компании Altron . Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения - полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы - Tier III.

Компания Verari презентовала систему FOREST (Flexible, Open, Reliable, Energy efficient, Scalable and Transportable - гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД - не ниже TIER III. Единственное, что почему-то не приводится в явном виде, - количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения - в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM-200), фанкойлы и мониторинг.
Не осталась в стороне и компания Hewlett Packard , представившая свое видение МЦОД - Performance Optimized Datacenter (POD) - рис. 8.

Система исполнена в контейнере 20 или 40 футов, емкость - до 22 стоек 50U при удельной мощности на стойку в 27 кВт. Компоновка стоек - длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей - четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.
Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor . Как и в случае с решением AST, это два контейнера - сервисный и серверный. Серверный находится снизу, сервисный сверху (видимо, это сделано исходя из количества посещений каждого их них - в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует - Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует - возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.
Компания Lampertz , известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room, было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный - для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rittal в качестве внутреннего наполнения предпо¬лагается инженерный комплекс на базе Rimatrix5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.
Компания Bull , видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42U может достигать до 40 кВт. Выпускаются две версии - в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая - 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.
Упомянем также и компанию ActivePower , которая предлагает систему PowerHouse . Хотя это и не полностью законченное решение МЦОД, однако, его можно использовать в качестве сервисного контейнера, например, с продуктами Sun, HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные - в 40-футовых. Самая интересная деталь такого решения - применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).
Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум» (рис. 9). Главной его отличительной чертой является компактность и завершенность - дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42U, при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность - 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N+1). Одна из главных особенностей данного МЦОД - стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.
В контейнере организовано два входа: один для заноса оборудования, второй - для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура, благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.
Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N+1 или 2N (в зависимости от модели).
Существуют две модификации решения - базовая MDC-20-T2 (уровень эксплуатационной надежности - TIER II, мощность устанавливаемого оборудования - до 32 кВт, компоновка в стандартном контейнере) и MDC-20-T3 (уровень эксплуатационной надежности - TIER III, мощность ИТ-оборудования - до 40 кВт, контейнер собственного изготовления).
Компания «Черус» предложила свое решение для МЦОД - CHERUS-MDC-24-1. В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N+1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров - установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III.

МЦОД: концептуальные решения
Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).
Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн - для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.
Тем не менее, основные дата-центры Google, как и Microsoft, построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint) и конструктивно схожи с решениями HP и Sun. При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.
А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий - комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД - перспективы и тенденции
Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации - если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO-контейнеры, ИБП, стойки и пр.).
Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример - ICE Cube).
Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа - мобильность, компактность и оперативность - всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,
главный инженер проектов,
отдел инженерных систем компании
«СИТРОНИКС Информационные
Технологии Украина»
[email protected]…

Константин КОВАЛЕНКО

Мобильный ЦОД

ИТ-инфраструктура на колесах

Миниатюризация и мобильность - новый качественный этап

развития ИТ-решений.

Не стали исключения и дата-центры, которые теперь обрели возможность передвижения и сверхбыстрого развертывания.

О мобильных центрах обработки данных (МЦОД) и пойдет

речь в данной статье

П режде чем начать строительство ЦОД, давайте попробуем рассмотреть этот процесс со стороны клиента. Первоначально потребуется решить вопрос с помещением. Необходимо, чтобы оно имело достаточную мощность электроснабжения, нагрузочную способность и было приемлемой высоты. Далее придется определить место, где можно разместить систему охлаждения, проверить, достаточны ли проемы дверей для заноса оборудования, есть ли грузовые лифты, предусмотрены ли заезды крупного транспорта. Возможно, даже придется выбирать систему охлаждения как раз исходя из возможностей архитектуры. Вот один из примеров: длина фреоновых магистралей обычно ограничена, и проложить более 50-70 метров не получится, а если учесть еще и перепады высот - и того меньше, в то время как водно-гликолевые системы таких ограничений не имеют. Да и внешние блоки не всегда позволят размещать на фасадах здания - нарушение дизайна...

Далее клиент находит интегратора, который готов решить все эти вопросы. Успешно проходит фаза проектирования. Возможно, перед внедрением интегратору придется еще взяться и за саму стройку - перед началом строительства может оказаться, что здание придется усиливать, выполнять гидро-, шумо- и виброизоляцию. Потом следует фаза согласований как с клиентом, так и арендодателем, контролирующими органами. Затем идет реализация проекта. Она также может затянуться - то поставка оборудования задерживается, то организационные проблемы возникают. Но все проявляют оптимизм, а значит - все получится. И вот дата-центр готов. Дружеские рукопожатия, все довольны. Через полгода-год клиент вновь обращается к интегратору с просьбой расшириться - нет проблем, опытный интегратор и это предусмотрел. Все хорошо, но тут клиент говорит: «Наша компания надумала переезжать, у нас строится собственное здание. Офисное помещение уже готово, и нам потребуется быстро мигрировать на новую площадку». Что делать?

Если оборудование в стойках демонтируется за день, то системы жизнеобеспечения так просто не заберешь. Значит, нужно либо очень быстро строить новый ЦОД под текущие потребности, либо реализовывать временную площадку, запустить ее, а затем начинать строить полноценный ЦОД, предусмотрев его развитие в будущем.

Тут и кроется основная проблема: для динамично развивающихся компаний должно быть разработано техническое решение по ЦОД, которое должно быстро развертываться (всего несколько недель на поставку и несколько дней на установку), иметь малые сроки поставки и, самое важное, - быть мобильным, позволяя в случае переезда компании водрузить ЦОД на грузовик и перевезти на новое место. Спрос рождает предложение, и рынок быстро наполнился решениями от множества компаний.

Фотопортрет современного МЦОД

Прежде чем описывать мобильный ЦОД (МЦОД), обозначим, для каких задач он будет применяться.

Немного поразмыслив, можно сформулировать пять различных вариантов назначения мобильных дата-центров:

основной ЦОД - возможность реализации проекта в кратчайшие сроки на неподготовленной площадке без использования специалистов со стороны заказчика;

резервный ЦОД (РЦОД) - экономичное решение для создания дата-центра в сжатые сроки;

расширение основного или резервного ЦОД - возможность расширения инфраструктуры в кратчайшие сроки, защита инвестиций;

start - UP ЦОД - возможность старта бизнеса уже на этапе начала проекта строительства основной хостинговой площадки;

временный ЦОД - возможность создания временной инфраструктуры для размещения ИТ-оборудования.

В техническом плане обобщенный портрет должен выглядеть так.

Стандартный морской контейнер ISO типоразмером 20 (для перевозки на грузовике) или 40 футов (для перевозки на полуприцепе), который имеет защиту от внешних воздействий. Внутри на раме размещается некоторое количество стоек с высокой плотностью. Охлаждение реализовано с помощью водяной системы, при этом чиллер выносится за пределы контейнера, а внутри размещаются лишь вентиляторные доводчики (фанкойлы).

Если МЦОД небольшой мощности, для удешевления можно использовать фреоновые кондиционеры (и тогда в дополнительных контейнерах нет смысла). ИБП также должен размещаться внутри контейнера для поддержания работы ИТ-оборудования на время запуска внешней дизель-генераторной электростанции (соответственно, в контейнере должен быть предусмотрен также автомат ввода резерва (АВР) для подключения питания от двух вводов или от дизель-генератора).

В технологическом плане все решения условно можно разделить на две полярные группы - высокой удельной мощности и высокой мобильности.

Первые позволяют эффективно использовать имеющуюся площадь контейнера для размещения мощ­ного оборудования, однако, как правило, требуют использования внешних контейнеров для размещения чиллеров и ИБП. Главное достоинство таких МЦОД - быстрота развертывания.

Решения второго класса сосредоточены именно на увеличении показателя мобильности - при более низкой удельной мощности на единицу площади они целиком размещаются в одном контейнере и при необходимости позволяют быстро перевезти МЦОД в другое место.

Дополнительные требования к удобству монтажа и обслуживания оборудования в контейнере предусматривают либо подвижные рамы-направляющие для шкафов, либо дополнительные двери. Заботясь о безопасности людей и сохранности оборудования, необходимо предусмотреть автоматическую систему объемного газового пожаротушения (обычно это газ Хладон-227еа ( FM -200) либо Novec 1230 (так называемая «сухая вода») и систему управления контролем доступа, ограничивающую проникновение в контейнер и в его отсеки и обеспечивающую видеосъемку происходящего в помещении. Поскольку мониторинг дата-центра планируется производить удаленно, потребуется внедрить централизованную систему мониторинга, позволяющую одновременно контролировать все инженерные системы в ЦОД. А вот структурированная кабельная система не предусмотрена ни в одном из существующих решений - предполагается, что интегратор, инсталлирующий дата-центр, выполнит ее монтаж, исходя из ситуационной необходимости.

Учитывая особенности продаж (точечные, для задач конкретных заказчиков), производитель должен обеспечивать оперативную модернизацию решений под конкретные нужды клиента. Мобильные ЦОД, в принципе, могут быть использованы в самых различных областях. Однако, исходя из общемировой практики, потребителями подобных решений в первую очередь являются телекоммуникационные и промышленные компании (особенно добывающей отрасли), государственные организации, крупные корпорации (в т.ч. в качестве резервной площадки).

Что касается стоимости решения, то, естественно, она значительно колеблется в зависимости от наполнения форм-фактора, конфигурации и фирмы-производителя комплекса. Например, в России ориентировочная стоимость МЦОД местного производства на пять 40-юнитовых стоек (и теплоотводом до 25 кВт) в стандартном 20-футовом контейнере, включая пусконаладочные работы, обойдется в $330-350 тыс. Нетрудно подсчитать, что это составляет примерно $66-70 в расчете на одну стойку, что в два-три раза выше, чем в стационарных ЦОД.

APC - мобильная InfraStruXure Express

Именно компании АРС в 2005 году пришла идея поставить на колеса свою интегрированную среду InfraStruXure , которая бы включала шкафы, кабельные каналы, блоки распределения питания, ИБП, фанкойлы и систему мониторинга. Белый трейлер (рис. 1) длиной 15 метров (53 фута), внутри которого находилось 12 стоек для размещения оборудования, позиционировался компанией как мобильное решение уровня TIER IV (правда, уровень эксплуатационной готовности касался лишь двойного резервирования по питанию и охлаждению).

Первоначально прототип позволял установить оборудование мощностью до 40 кВт, впоследствии возможности выросли до 130 кВт (при этом уровень резервирования системы электропитания составлял N +1). Также на прицепе можно было установить дизельный генератор мощностью 135 или 200 кВт, чиллер и спутниковую антенну для организации беспроводного канала связи.

Впоследствии модернизацией этого решения начал заниматься партнер АРС - компания Pacific Voice & Data . В обновленной версии, получившей название PVD Mobile Data Center , в 53-футовом контейнере размещалось уже 16 шкафов 42 U , удельное тепловыделение на каждый шкаф могло составлять до 30 кВт, а общая мощность размещенного в контейнере оборудования доходила до 225 кВт.

Интересно, что в 2009 году компания АРС вернулась к идее контейнерного МЦОД, на этот раз сделав ставку на модульную конструкцию Datapod (рис. 2). По сути, это ЦОД, упрятанный в контейнеры, компонуя которые, можно развернуть систему требуемой мощности и конфигурации.

В конце 2006 года компания Sun Microsystems представила решение BlackBox (рис. 3) на базе 20-футового морского контейнера, в котором разместились восемь стоек, куда планировалась установка серверного оборудования. Именно с выходом Sun BlackBox началось активное продвижение МЦОД на рынке.

В этом решении для охлажде­ния стоек использовалась водя­ная система, поэтому предполага­лось, что МЦОД будет подключен к чиллеру. ИБП также не входил в комплект поставки. А вот кон­структив шкафов достаточно ори­гинален - 40 U шкафы в рабочем состоянии спрятаны в боковых частях контейнера. Для монтажа оборудования и перекоммутации шкаф нужно выдвинуть при по­мощи специальной тележки, ко­торая подсовывается под осно­вание шкафа, а ручка тележки играет роль домкрата. Основное новшество - организация потока воздуха по кругу. Система охлаждения внутри контейнера замкнутая - между стойками стоят плоские вентиляторные доводчики (фанкойлы) с 12 вентиляторами, которые охлаждают воздух с тыльных частей стойки. Таким образом, нагретый воздух с первой стойки охлаждается фанкойлом и поступает на воздухозаборники следующей в ряду стойки. Штатное исполнение BlackBox позволяет отводить по 12,5 кВт с каждой стойки, однако опционально возможна модификация контейнера с отводом тепла до 25 кВт на стойку. Дополнительно производитель гарантирует, что конструкция может выдержать землетрясение до 6 магнитуд по шкале Рихтера - этому способствуют специальные демпферы в виде пружин, на которые устанавливаются стойки.

Решение Sun Microsystems выглядело достаточно смело и необычно. С одной стороны, высокая скорость ввода в эксплуатацию (решение поставляется в собранном виде), высокая удельная мощность на стойку. В то же время - особенность обслуживания стоек, которые не заменялись, а значит, не было возможности установить нестандартное оборудование увеличенной глубины или требующее дополнительного бокового поля в шкафах для коммутаций. Да и сама концепция «ЦОД в контейнере» не совсем соответствовала действительности - скорее это серверное помещение в контейнере, ведь рядом необходимо было установить еще несколько контейнеров - как минимум два: для ИБП и чиллера. В процессе постановки в серию проект BlackBox был переименован в SunMD. На сегодняшний день доступно две модификации - с четырьмя и восьмью стойками глубиной 780 мм (MD D20 и MD S20 соответственно). Кроме того, есть модификация для более габаритного оборудования, в которой устанавливаются три стойки глубиной 1150 мм. МЦОД сертифицирован по уровню эксплуатационной надежности TIER II.

Возросший интерес к мобильным решениям сразу породил на рынке появление МЦОД от других производителей. Так, в марте 2007 года компания Rackable Systems представила свое решение - Integ ­ rated Concentro Environment, или же просто ICE Cube (рис. 4). Напомним, что RS недавно приобрела компанию Silicon Graphics и теперь эксплуатирует торговую марку SGI.

Проект ICE Cube был реализован в двух форм-факторах - стандартном 20-ти и в большом - 40-футовом контейнерах. Если 20-футовый вмещал 8 стоек 55 U , то 40-футовая версия уже 28! Производитель заявлял высокий уровень энергоэффективности такого решения - этому способствовало как жидкостное охлаждение, так и система питания постоянного тока для серверного оборудования. ИБП устанавливался в каждой стойке и, по сути, представлял собой батарейный комплект с системой мониторинга. Обслуживать стойки можно было только с фронтальной стороны. Цена оригинального дизайна также оказалась высокой, ведь туда устанавливались лишь ICE -совместимые серверы либо серверы собственной разработки, имеющие небольшую глубину. В каждой стойке располагалось 56 розеток питания, обеспечивавших возможность мониторинга потребления тока.

Для системы кондиционирования стоек использовалась специальная конструкция фанкойлов, которые размещались между стойками с оборудованием. Чиллер подключался снаружи. Фанкойлы забирали горячий воздух с тыла стоек, охлаждали его и выдували на фронтальную сторону. Схема охлаждения - общий холодный коридор. Как и в решении Sun , чиллер не входил в комплект подставки и устанавливался рядом.

А вот самым маленьким МЦОД можно назвать детище компании NAAT . Компания умудрилась втиснуть стойки с ИТ-оборудованием внутрь фургона, смонтированного на базе легкого грузовика. Mobile Emergency Datacenter (MED ) был предназначен специально для новостных компаний, которым требуется разместить коммуникационное оборудование в месте проведения крупных мероприятий либо спасательных операций. Этим объясняется и наличие спутникового канала связи. Внутри присутствуют 4 стойки для размещения оборудования, ИБП, система кондиционирования, предусмотрена подача питания от генератора.

Mobile Data Center (MDC ) компании SunGard (рис. 5) базируется внутри длинного грузового полуприцепа. В базовом варианте располагаются мини-серверная для установки 25 серверов и рабочие места операторов. Также имеется возможность объединять контейнеры между собой. По сути, такой подход к МЦОД продиктован бизнес-стратегией компании, а именно - обеспечить клиенту сверхбыстрое развертывание сервисов и мобильного офиса.

Компания IBM в рамках большого проекта Project Big Green представила целый конструктор:

Portable Modular Data Center (PMDC ) - 20-ти или 40-футовые контейнеры (рис. 6), в которых размещались инженерные системы, реализованные на основе APC InfraStruXure . Стойки допускают установку стандартного оборудования. В состав входят системы кондиционирования, электропитания, ИБП. Количество стоек - от 8 (для 20-футового) и 17 высотой 47 U (для 40-футового).

Enterprise Modular Data Center (EMDC ) - модульный дата-центр, который может развертываться из стандартных модулей для построения систем площадью от 500 до 2000 кв. м. Для дальнейшего наращивания и модернизации инженерной инфраструктуры предусмотрен модуль модернизации.

High Density Zone (HDZ ) - модуль, обеспечивающий дополнительное питание и охлаждение; предназначен для модернизации существующих дата-центров; его внедрение происходит без перерыва в работе оборудования.

Брат-близнец предыдущего решения - Smart Shelter Container (SSC ) - представлен компанией AST . Хотя учитывая, что решение от AST все-таки появилось чуть раньше, возможно, что именно продукт IBM можно считать братом­близнецом. Емкость - 19 стоек, удельная мощность на каждую из них может составлять от 5 кВт (в стандартном исполнении) до 30 кВт (специальный вариант для мейн-фреймов). Производитель заявляет возможность поставок вариантов 10-, 20-, 30-, 40- и 53-футовых ISO -контейнеров как в моноблочном исполнении, так и в виде мульти-контейнерных сборок. Проектный уровень эксплуатационной надежности - TIER III или TIER IV. Базовое решение поставляется в двух 40-футовых контейнерах: серверном (для размещения ИТ-оборудования) и сервисном (где размещаются чиллер, щиты, ИБП). Контейнеры поставляются в собранном виде, каждая из стоек располагается на подвижной платформе, которая позволяет перемещать шкафы с оборудованием во время работы для обеспечения доступа к ним как с тыла, так и с фронта. Кабели к шкафам подведены в гибких коробах, над шкафами расположены подпотолочные доводчики, позволяющие отводить тепло от них. Конструкция контейнера позволяет обеспечить уровень огнестойкости два часа. Все оборудование размещается на демпферных подставках. Для погрузочно-разгрузочных работ в серверном контейнере есть кран-балка. В каждом шкафу с тыльной стороны могут устанавливаться специальные двери, имеющие водяной теплообменник - такое решение позволяет увеличить отводимую мощность с каждой стойки. Контейнеры допускают установку друг на друга - вплоть до 4 этажей - и объединение их в модульное строение с внутренними и внешними коридорами (при этом это уже будет скорее легковозводимый модульный ЦОД).

Еще одна компоновка 40-футового контейнера - от компании Altron . Производитель предлагает полностью сконфигурированный дата-центр в составе 5 стоек, между которыми размещены рядные фанкойлы, позволяющие отвести до 50 кВт мощности (10 кВт на стойку). В контейнере присутствуют также чиллеры и ИБП. Основное достоинство такого решения - полнота, ведь весь комплекс размещается внутри контейнера. Уровень эксплуатационной готовности такой системы - Tier III .

Компания Verari презентовала систему FOREST (Flexible , Open , Reliable , Energy efficient , Scalable and Transportable - гибкое, отрытое, надежное, энергоэффективное, масштабируемое, передвижное решение). Все тот же контейнер в 40 футов (рис. 7), мощность ИТ-оборудования до 350 кВт. Возможны поставки с опциональным резервируемым ИБП, кондиционированием и возможностью подключения электропитания от двух энерговводов. Используется водяная система охлаждения с вертикальным расположением фанкойлов (они находятся на крыше) с организацией продувки стоек снизу вверх. При этом холодный воздух подается не к фронту оборудования, а проходит сквозь саму стойку. Для охлаждения воды требуется внешний чиллер. Производитель заявляет уровень надежности МЦОД - не ниже TIER III . Единственное, что почему-то не приводится в явном виде, - количество стоек и их габариты (лишь сказано, что можно разместить до 2880 блейд-серверов, используя платформу BladeRack 2). Возможна также поставка контейнера с интегрированным ИБП, который не входит в комплект стандартного решения - в контейнере реализовано лишь распределение питания, кондиционирование (система пожаротушения с использованием газа FM -200), фанкойлы и мониторинг.

Не осталась в стороне и компания Hewlett Packard , представившая свое видение МЦОД - Performance Optimized Datacenter (POD ) - рис. 8.

Система исполнена в контейнере 20 или 40 футов, емкость - до 22 стоек 50 U при удельной мощности на стойку в 27 кВт. Компоновка стоек - длинный ряд. А вот чтобы перейти из холодного коридора в горячий, придется выйти из контейнера и зайти в другую дверь с тыльной стороны. Если быть точным, в контейнере присутствуют шесть дверей - четыре двойных для заноса оборудования и две одинарных для обслуживания. Воздушные доводчики в виде турбинных центробежных вентиляторов расположены напротив стоек (по два на каждую из них) и создают прямоточный вентиляционный канал, при этом выдувая воздух перед стойками. За потолком расположены теплообменники, которые подключаются к внешнему чиллеру и позволяют отводить тепло из контейнера.

Если у рассмотренных производителей вертикальное расположение контейнеров друг на друге только опция, то компания Dell сделала это штатным решением и назвала свой МЦОД Humidor . Как и в случае с решением AST , это два контейнера - сервисный и серверный. Серверный находится снизу, сервисный сверху (видимо, это сделано исходя из количества посещений каждого их них - в серверный ИТ-специалисты будут заходить чаще). Серверный контейнер содержит 24 шкафа для размещения любого 19-дюймового оборудования, идеология унификации также присутствует - Dell решила пожертвовать компактностью решения взамен стандартизации узлов (используются только универсальные устройства и узлы, что позволит ускорить время замены и снизить стоимость сервисного обслуживания). К сожалению, более детальная информация о данном дата-центре отсутствует - возможно, это связано с позиционированием решения: Dell предлагает выпускать МЦОД поштучно под конкретных заказчиков, а не как массовый продукт.

Компания Lampertz , известная в первую очередь своими катастрофоустойчивыми решениями для помещений, также решила сделать шаг для завоевания рынка МЦОД. Логично предположить, что все наработки в области защиты от внешних воздействий (огня, воды, пыли, взлома) также были воплощены в данном решении. Таким образом, собранное катастрофоустойчивое помещение, названное Outdoor Room , было вписано в габариты стандартного 20-футового контейнера. Инженерный комплекс традиционный - для охлаждения предполагается установка рядных кондиционеров с выдувом из-под фальшпола. Емкость контейнера составляет 7 шкафов 47 U с удельной средней мощностью 4,3 кВт на шкаф. Сами же кондиционеры, ИБП и шкафы в комплект поставки не входят. Также заявлена и возможность размещения такого решения и в 40-футовом контейнере, и возможность стыковки контейнеров между собой. Однако в свете недавнего слияния компаний Lampertz и Rittal в качестве внутреннего наполнения предпо­лагается инженерный комплекс на базе Rimatrix 5, позволяющий отводить уже 30 кВт со стойки, используя внешний чиллер и водяную систему охлаждения.

Компания Bull , видимо чувствуя насыщение рынка привычными системами, решила сделать шаг в сторону оригинальности технического решения. В своем продукте Mobull она использует для охлаждения шкафов с ИТ-оборудованием двери с теплообменниками, при этом удельная мощность на шкаф 42 U может достигать до 40 кВт. Выпускаются две версии - в 20-ти и в 40-футовом контейнере. В 20-футовой версии максимальная мощность составляет 240 кВт, позволяя разместить 6 стоек с оборудованием, в то время как 40-футовая - 15 шкафов при общей мощности до 550 кВт. Пока это наиболее высокий показатель по мощности ИТ-оборудования МЦОД в стандартном контейнере.

Упомянем также и компанию ActivePower , которая предлагает систему PowerHouse . Хотя это и не полностью законченное решение МЦОД, однако, его можно использовать в качестве сервисного контейнера, например, с продуктами Sun , HP либо аналогичными. Компания выпускает линейку продуктов мощностью от 200 кВт до 800 кВт (рассчитанных на питающее напряжение 400 В) или же от 240 кВт до 960 (для напряжения питания 480 В). Младшие модели в линейке выпускаются в 20-футовых контейнерах, остальные - в 40-футовых. Самая интересная деталь такого решения - применение исключительно динамических ИБП (инерционный маховик, совмещенный с дизельной электростанцией).

Однако не «зарубежом» единым жив рынок МЦОД. В странах СНГ также есть производители таких решений.

Компания «СИТРОНИКС Информационные Технологии» предлагает решение «СИТРОНИКС Датериум» (рис. 9). Главной его отличительной чертой является компактность и завершенность - дата-центр помещается в 20-футовый контейнер и включает в себя все необходимые инженерные системы. Внутри располагается 7 стоек высотой 42 U , при этом общая мощность ИТ-оборудования составляет до 32 кВт, а удельная мощность - 2,5 кВт на единицу площади контейнера. Внутри контейнера находятся ИБП и фреоново-воздушные подпотолочные кондиционеры-доводчики (резервируемые по схеме N +1). Одна из главных особенностей данного МЦОД - стойки располагаются на подвижной платформе (приводимой в движение как вручную, так и электрическим приводом). Сверху над стойками находится тепловой экран, позволяющий изолировать потоки холодного и горячего воздуха в коридорах для увеличения эффективности работы кондиционеров. Стойки заменяемы и стандартны, как и все узлы в МЦОД (за исключением подвижной рамы и теплового экрана), что упрощает ремонт и обслуживание.

В контейнере организовано два входа: один для заноса оборудования, второй - для обслуживающего ИТ-персонала (выполняется непосредственно в холодный коридор). После загрузки серверное помещение может изолироваться от тамбура, благодаря металлическим ролетам, позволяя разграничить доступ к инженерным системам (для обслуживающего персонала) и серверному помещению (для ИТ-персонала). Предусмотрен также центральный мониторинг всех установленных инженерных систем.

Совсем недавно стали доступны и модели повышенной мощности, позволяющие разместить в 40-футовом контейнере до 80 кВт ИТ-оборудования с сохранением резервирования N +1 или 2 N (в зависимости от модели).

Существуют две модификации решения - базовая MDC -20- T 2 (уровень эксплуатационной надежности - TIER II, мощность устанавливаемого оборудования - до 32 кВт, компоновка в стандартном контейнере) и MDC -20- T 3 (уровень эксплуатационной надежности - TIER III , мощность ИТ-оборудования - до 40 кВт, контейнер собственного изготовления).

Компания «Черус» предложила свое решение для МЦОД - CHERUS - MDC -24-1 . В нем используется 20-футовый контейнер, в котором размещены 4 стойки для оборудования (допустима установка ИТ-оборудования мощностью до 30 кВт). Для охлаждения используются три моноблочных кондиционера (с резервированием N +1), размещенных на боковой стенке контейнера. А вот ИБП предусмотрены как для ИТ-оборудования, так и для кондиционеров - установлены два независимых модульных источника бесперебойного питания мощностью 30 кВт. Предусмотрены также две конфигурации решения с уровнями эксплуатационной готовности TIER II и TIER III .

МЦОД: концептуальные решения

Интересно, что далеко не всегда МЦОД появляются как заранее очерченное решение. Иногда мобильное решение появляется в рамках работы над конкретным проектом. Например, совсем недавно компания «Техносерв» также ступила на тропу инновационного течения, построив для корпорации «Иркут» резервный дата-центр в виде перемещаемого 40-футового контейнера, где размещаются стойки с оборудованием и инженерные системы. К сожалению, информации об этом проекте достаточно мало (возможно, в связи с тем, что МЦОД был создан во время работы над проектом нового пассажирского самолета МС-21).

Также невозможно не упомянуть и о концептах мировых брендов. Так, компания Google в 2008 году запатентовала «дата-центр водного базирования». Он содержит контейнеры с ИТ-оборудованием, которые размещаются на плавучей платформе в море, а вот энергию МЦОД получает от волн - для этого вокруг платформы дрейфуют генераторы цилиндрической формы, которые располагаются в воде. Охлаждение МЦОД организовано забортной водой.

Тем не менее, основные дата-центры Google , как и Microsoft , построены на базе более привычных контейнеров с высокой удельной мощностью на единицу площади (такое понятие еще называется footprint ) и конструктивно схожи с решениями HP и Sun . При этом они располагаются внутри ангаров в несколько этажей и подключаются к общей системе энергообеспечения и охлаждения.

А вот для действительно сложных условий компания Smartronix выпускает систему Smart VMD (Virtual Mobile Datacenter ). Изначально она задумывалась как высоконадежный передвижной вычислительный центр на время боевых действий - комплекс состоит из трех МЦОД, два из которых последовательно разворачиваются на передовом фронте сражений, а третий осуществляет поддержку всей системы, располагаясь в тылу. Один из этих МЦОД состоит из шести боксов класса 7 U производства Hardigg и еще одного бокса, предназначенного для резервного копирования данных на магнитную ленту.

Взгляд в будущее МЦОД - перспективы и тенденции

Решений МЦОД, представленных сегодня на рынке, как видим, вполне достаточно, чтобы решить практически любую задачу клиента. Прослеживается и тенденция к стандартизации - если в ранних решениях все компоненты, включая контейнеры, выполнялись в виде заказных позиций, то в более поздних разработках все чаще используются стандартные элементы (например, большинство производителей используют именно стандартные ISO -контейнеры, ИБП, стойки и пр.).

Кроме того, наблюдается сегментация решений, которую инициируют сами производители: МЦОД может использоваться в качестве самостоятельного комплекса либо как специализированное дополнение к фирменному серверному и коммутационному оборудованию (пример - ICE Cube ).

Несмотря на обилие игроков, рынок МЦОД относительно невелик, а высокая стоимость пока еще сдерживает потенциальных клиентов. Но как только деловая сфера начнет приходить в себя после затянувшейся экономической депрессии, реальный спрос на МЦОД значительно возрастет, ведь главные преимущества решений такого типа - мобильность, компактность и оперативность - всегда востребованы в условиях активного развития бизнеса.

Константин КОВАЛЕНКО,

главный инженер проектов,

отдел инженерных систем компании

«СИТРОНИКС Информационные

Технологии Украина»

Тематические материалы:

Стало известно, где скрывается экс-владелец «Черкизона» Тельман Исмаилов Где сейчас хозяин черкизона исмаилов

Новый закон: исключать из СРО за долги по членским взносам нельзя

Беренис эббот фотографии

Сценарий сказки для детей средней группы Сценарии сказок для 4 лет

Права и обязанности водителя автомобиля скорой медицинской помощи

Татуировка феникс: значение и фото

Русское деревянное зодчество Гладков С

Как происходит определение массы нефтепродукта?