Housing del CPD principal Experiencia de traslado y

Housing del CPD principal: Experiencia de traslado y puesta en marcha jorge. moreno@catastro. meh. es

Antecedentes • Introducción. Motivación del Housing • Traslado – – FASE 1: Implantación CPD FASE 2: Implantación infraestructura de LAN/WAN/SP FASE 3: Traslado FASE 4: Modelo gestión del servicio • Principios de diseño

Introducción Motivación del Housing

Antecedentes • Sistemas de información del catastro: – Distribuidos en 52 Gerencias – Se consolidan en SSCC (BDN) – Se explotan y difunden al exterior por la OVC • Cada uno de estos entornos estaba en un CPD dedicado: – 52 gerencias (BBDD Provinciales) – Castellana, 272 Madrid (BDN) – Alcalá 5 y 7 Madrid (OVC - Internet) • Entorno complicado de mantener: – Refrigeración y alimentación eléctrica – > 60 máquinas UNIX/Oracle que mantener (Copia de seguridad, etc) – Necesario replicar datos para asegurar coherencia

Primeros intentos de consolidación • Consolidación de servidores en Castellana, 272 – Para liberar espacio, se consolidan servidores utilizando blades (servidores en tarjeta) • Alimentación eléctrica dice ¡BASTA! • Problemas de Aire Acondicionado • Implantación de acceso Internet y Seguridad Perimetral en Castellana • Movimiento de Web Catastro desde Alcalá • Centralización de datos • Centralización de acceso Citrix • Centralización de correo electrónico

Alternativas… • Primera opción: Nuevo CPD en Castellana, 272 – Imposible por edificio histórico, etc. • Segunda opción: Alojamiento en otro CPD de la AGE • Tercera opción: CPD en Housing.

Primer CPD principal de la AGE externalizado • Ventajas: – Escalable: espacio reservado para posible crecimiento – Servicios e infraestructuras 24 x 7. Monitorización de servicios, control de accesos – Independiente de los servicios de infraestructura del edificios AGE – Facilidad para añadir servicios a la plataforma HW • Inconvenientes: – Desplazamientos – Alquiler mensual jaula – Administración remota

Evaluación de alternativas – Redacción de pliego. Factores Críticos de Éxito: • • Cercanía Flexibilidad Disponibilidad Servicios de valor añadido – Solicitud de ofertas: • • • COLT Interxion Global Switch Telvent Otras (10)

Elección de ubicación • La elección: COLT Telecom, Avenida de Manoteras, 42 – Mejor ubicación física – Mejor acceso por trasporte público – Mejores servicios: • Cableado cobre y fibra • Manos remotas • Etc.

¿Qué contratamos? • Alta e implantación del espacio físico (“jaula”) • Traslado de equipos • Servicios de alojamiento en Housing. – Suministro eléctrico, seguridad, temperatura, humedad… • Servicios de control y monitorización remota 24 x 7 • Servicios de operación remota. • Perfiles técnicos añadidos • Plazo 15 meses 1 junio 2008 -31 agosto 2009 • Alta e implantación – 35. 000 € + 300. 000 € • Alojamiento housing – 61, 500 €/mes 738. 000€ anual

Un proyecto y una oportunidad de mejora • Un Proyecto: Gestión de: • • Alcance Integración Tiempos RRHH Riegos Configuraciones Suministros Calidad • Oportunidad de mejora: – – Consolidación de servidores. Redimensionamiento comunicaciones Incremento de la seguridad. Nuevo modelo de explotación.

Plan de traslado • Se creó una oficina de proyecto para centralizar las operaciones • Se recogieron datos de los CPD existentes • Se tomaron decisiones: – Traslado en un solo fin de semana – Traslado de equipos de preproducción con anterioridad (un día) – Un solo camión por CPD • Se realizó un plan de proyecto, teniendo en cuenta: – – Plazos de entrega e instalación de nuevos equipos Plazos de provisión del servicio de operadores Cortes de servicio por parte de Catastro hacia agentes externos Disponibilidad de recursos humanos

Plan de traslado • Se coordinó la logística y las actuaciones de las diferentes empresas: – – – – Telefónica y sus filiales T-Systems Equipo de Redes de HP Equipo de traslados de HP Almacenamiento de datos EMC GMV-SGI (Seguridad Perimetral) COLT • Se coordinó la interconexión con distintos organismos – – SGTIC- MEH Agencia Tributaria Segipsa Punto Neutro Judicial • Plan de comunicación interno y externo

FASE 1 IMPLANTACIÓN CPD

IMPLANTACIÓN CPD • • Recopilación de datos de equipos y racks Diseño de espacio en CPD COLT Diseño de sistema de cableado y etiquetado Nuevas normas de uso Reconfiguración equipos existentes Implantación y acondicionamiento de la jaula (COLT) Pedidos de materiales COLT y adicionales

Recopilación de datos • Recogidos datos de 19 Racks: – 16 Racks de equipos – Symmetrix (2 racks) – Clariion (1) • Se añaden nuevos racks de infraestructura: – Comunicaciones + Seguridad (4) – SAN (1) • Faltan Racks de nuevos Superdome (3) • Total Estimado=27 Racks • Recogida de datos en hoja Excel: – – Dimensiones Distribución de Us Requisitos eléctricos Conectividad de red (puertos y VLANs)

Diseño del espacio Espacio asignado: 60 m 2

Diseño del espacio • • Tres filas de Racks 31 Racks alojados 0 Racks disponibles Estructura Pasillo Frío/Caliente – Pasillo frío: • Las máquinas tienen los frentes orientados a él • Cuenta con rejillas/baldosas perforadas – Pasillo Caliente: • Las máquinas expulsan el aire caliente a él

Diseño de sistema de cableado y etiquetado • Reutilizable • Busca la mínima intervención para un mantenimiento óptimo • Código de colores basado en “capuchones” para los cables • Si un servidor ya está parcheado a un switch, el cambio de VLAN no implica reparcheado. – Siempre que esa VLAN esté en ese switch • Sistema de etiquetado. Opciones: – Ubicación físicas (Us) – Nombres de máquinas (origen y destino)

Nuevos Armarios, Switches y Firewalls • Un armario para cada switch, y el firewall de su zona. – Proporciona redundancia – Permite hacer intervenciones en un rack/switch/firewall sin afectar a los demás – Parcheo sobredimensionado aporta flexibilidad – Altura (48 u) y anchura extra (750 mm) permiten ¡Cerrar la puerta! • Asignación – Zona externa: Armarios A y B – Zona interna: Armarios C y D – SAN: Armario E

Nuevos Armarios, Switches y Firewalls A B C D

Nuevas normas de uso • Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución • Documento con normas para cableado y racks (pendiente)

Reconfiguración equipos existentes • A nivel de red – Uso de códigos de colores • A nivel físico (cambio de rack) – Necesario liberar 4 últimas u de cada rack • Recableado de corriente – Cables cruzados entre armarios – Distribución ineficiente de PDUs • Todo en hoja de tareas previas pendientes (se actualiza) • Conexión de tarjetas de control remoto – Creación de VLAN dedicada • Recableado de KVM – Unión de máquinas hacia KVMs IP

FASE 2 IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD

IMPLANTACIÓN INFRAESTRUCTURA DE RED y SEGURIDAD • Diseño e implantación de nueva LAN • Diseño e implantación de nueva infraestructura base de SP • Migración de circuitos de Telefónica (WAN) • Migración de circuitos de T-Systems (LAN) • Migración de DWDM de Telefónica • Preparado para “Plug & Play”

Diseño e implantación de nueva LAN • Nueva LAN de producción – Los antiguos equipos no se trasladan – Tecnología CISCO – Fisicamente separada en dos • Redes Externas (Internet) • Redes Internas – Busca redundancia y alto rendimiento – Preconfigurada para plug & play • Nueva LAN de gestión – Tecnología HP Procurve – Fisicamente separada en dos • Redes Externas (Internet) • Redes Internas – Complementa a la red de producción para tareas de gestión, backup, etc. – Preconfigurada para plug & play

Diseño e implantación de nueva LAN • Nueva LAN en Castellana – El CPD está en otro edificio. ¿es necesario retrasmitir todo el tráfico a el? Configuración routing en Castellana – Configuración interconexión Castellana Manoteras

Nueva infraestructura de Seguridad Perimetral • Nuevos Firewall Internos, Externos y de Gestión – Permiten traslado plug & play, con una infraestructura probada • Cambio de CPD implicaba cambio de Ips y reglas de firewall – Alta disponibilidad

Implantación LAN/WAN/SP

Implantación LAN/WAN/SP

Comunicaciones • Traslado de línea DWDM (Telefónica) Camino crítico • Traslado / Alta /Baja de líneas WAN (Telefónica) – – Accesos Macrolan Punto a Punto Frame Relay ¡¡¡Cuidado con el enrutamiento!!! • Acceso IP de la centralita – Nuevo circuito MPLS • Traslado de líneas de Internet (T-systems) – Traslado de 2 de los 4 circuitos previamente – Traslado de una clase C al Nuevo CPD – Los dos restantes (Orange) se instalaron 15 días después del traslado – ¿Dónde se ubican los equipos?

Reconfiguración de VLANs • VLANs de usuarios de Castellana se enrutarán en el propio edificio. – Es necesario partir VLAN de servidores OVC de los usuarios para no transmitir el nivel 2 • Las VLANs del CPD no saldrán de el == Todo el tráfico con el CPD es a nivel 3 • Se renumeran VLANs

FASE 3 TRASLADO

Planificación del traslado • Participantes: – – HP realiza el traslado COLT apoyo en CPD EMC y Oracle apoyo para sistemas específicos Disponibilidad de RRHH • Elección de fechas. 2 posibilidades: – Finales julio – Principios septiembre • Estrategia de migración • Plan de traslado – Consolida y coordina procedimientos para cada Área o suministrador • Plan de contingencia • Plan de continuidad de servicio

Plan de traslado • Previo: – Ensayo de apagado – Ensayo de backup TOTAL

Plan de traslado: Prerequisitos • Electrónica de red CISCO implantada • Electrónica de red CISCO configurada de acuerdo con los servidores • Electrónica de red de Seguridad implantada • Cableado estructurado implantado • Cableado de alimentación implantado • Problemas en racks solucionados antes – – Etiquetado máquinas e interfaces Máquinas bien colocadas (4 ultimas u libres) Eliminadas dependencias cruzadas (red, corriente, etc. ) Conectores CETACT OK • Línea DWDM trasladada o Conversores FC-IP disponibles y probados • Procedimiento de backup total

Plan de traslado: Continuidad de servicio • Para mantener el servicio, puede ser interesante montar ciertos equipos con carácter temporal – DNS – SMTP de cara a Internet y el MEH, con cola de correo – Servidor Web, con página de “Ahora no podemos atenderles”

Plan de traslado: Fases • • Backup total Desconexión y embalado de equipos y accesorios. Traslado Montaje en la nueva ubicación, con reconfiguración en su caso • Cableado • Puesta en producción • Se inicia un día antes para preproducción

Plan de traslado: Estado Inicial

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Pretraslado

Plan de traslado: Traslado

Plan de traslado: Traslado

Traslado (18 de julio de 2008) • Fases: – Embalado equipos en origen – Traslado equipos – Desembalado en destino – Integración en el sistema de cableado estructurado – Conexión de equipos según base de datos – Encendido

FASE 4 MODELO DE GESTIÓN DEL SERVICIO

Gestión del servicio • • A definir conjuntamente con COLT Figura del Service Manager de COLT Responsabilidad en la DGC Documento de gestión del servicio: – – – Uso de e-points Acceso al CPD Listado de personas autorizadas Documentación de configuración de sistemas Autoridad • RRHH adicionales (Cronos) – Perfil Exchange 2007 + Entorno Microsoft – Perfil Storage - Backup

Principios de diseño

Principios de diseño • Disposición de Armarios: – Pasillo frío, pasillo caliente – Pasillos con un ancho que permita dar servicio en caliente a las máquinas • Cableado: – Sobredimensionado, para no tener que abrir el suelo – Redundante, todo armario de equipos va al menos a dos de conmutación • Comunicaciones: – Electrónica de alta capacidad – Red diferenciada de gestión (fabricante distinto) • Seguridad: – Física – Lógica • Explotación: – Diseñado para uso 100% remoto

Disposición de Armarios • Antes: – Segunda fila recibe calor de la primera – Aire acondicionado realiza sobreesfuerzo Mayor consumo Picos de corriente Apagones Indisponibilidad de Servicios – Servidores sufren mas desgaste: Necesitan complementar al A/C

Disposición de Armarios • Ahora: – Pasillo Frío/Caliente – Menor consumo de A/C – Servidores tienen menor desgaste. – Mayor disponibilidad – Mayor rendimiento

Cableado: Nuevas normas de uso • Cualquier cable entre armarios de equipos debe pasar por los armarios de distribución • Los armarios de distribución tienen conexiones flexibles con los armarios de equipos. – Un cambio se hace en minutos – No hay que abrir el suelo NUNCA

Cableado: Ejemplo - Nueva Conexión • Antes – Solicitar conexión desde armario a armario de distribución – Tendido de cables por falso suelo – Conexión • Ahora – Los cables ya están instalados – Se asignan siguiendo base de datos de configuración – Conexión • La diferencia es que se han asignado grupos de enlaces entre los armarios de e quipos y distribución, aunque a priori no se necesiten.

Cableado: Ejemplo - Nueva Conexión (Antes) • Solicitar conexión desde: Armario de equipos Armario de distribución

Cableado: Ejemplo - Nueva Conexión (Antes) • Tendido de cables por falso suelo

Cableado: Ejemplo - Nueva Conexión (Antes) • Conexión equipo - enlace

Cableado: Ejemplo - Nueva Conexión (Ahora) • Los cables ya están preinstalados – Mínimo de 24 cables preinstalados – Asignados a dos núcleos de conmutación diferentes (como mínimo) – Coloreados según destino del enlace

Cableado: Ejemplo - Nueva Conexión (Ahora) • Se asignan siguiendo base de datos de configuración – Ayuda a conseguir diseño redundante

Cableado: Ejemplo - Nueva Conexión (Ahora) • Se etiquetan cables en origen y destino, coloreando los extremos según función

Comunicaciones • Mejora de la infraestructura básica de red: – Rediseñada para soportar mayor tráfico y seguridad – Centralización e integración de la OVC • Tres zonas de seguridad formadas por 2 conmutadores cada una, independientes, ubicados en armarios diferentes y suficientemente alejados – Externa – Interna – Gestión

Comunicaciones • Accesos a redes de comunicaciones ( SSCC, Gerencias y MEH y acceso a Internet) redundantes y diversificados

Seguridad física • Cumplimos con el RD 1720/2007 Reglamento de Desarrollo de la LOPD – Control de Acceso físico al CPD • Vigilancia 24 x 7 • Cámaras de circuito cerrado con grabación • Puertas control y registro de accesos • Jaula dedicada • Edificio de apariencia “inofensiva”

Seguridad Lógica • Mejora de infraestructura de Seguridad Perimetral: ampliación de su capacidad y robustez • Producción/Gestión: equipos redundantes de diferente fabricante • Monitorización de intrusiones con tolerancia a fallos en segmentos accesible desde Internet

Explotación • Diseñado para uso 100% remoto – IMPORTANCIA de la Gestión remota – Los distintos equipos permiten trabajar en remoto a través de la red de gestión: apagarlas/encenderlas/ instalarlas en remoto / reconfiguraciones – La copia de seguridad (próximamente) será automática y remota – En el peor de los casos, disponemos de soporte remoto en COLT a través personal de“manos remotas”

¡Muchas gracias!