GESTIN AUDITORA INTERNA 2008 Comit de Auditora 08

GESTIÓN AUDITORÍA INTERNA 2008 Comité de Auditoría 08 5 de junio de 2008 Todos los derechos reservados para XM S. A E. S. P.

2 OBJETIVO Ø Presentar al Comité el seguimiento del plan de auditoría interna del año 2008 y el avance de las auditorías externas.

3 SEGUIMIENTO AL PLAN DE AUDITORÍA INTERNA ? Ejecutada En proceso Con retraso

Calle 12 Sur N° 18 – 168, PBX: 57(4) 317 2929 FAX: 57(4) 317 0833, Medellín – Colombia www. xm. co Todos los derechos reservados para XM S. A E. S. P.

5 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Objetivo de la auditoría: Verificar si el proceso de planeamiento energético brinda señales adecuadas para el desarrollo del sistema energético colombiano de acuerdo con el marco regulatorio vigente. Conclusión De acuerdo con los resultados consolidados de la auditoría realizada, se puede concluir que el proceso cumple con los objetivos planteados para brindar señales confiables y oportunas para el desarrollo del sistema energético colombiano bajo los criterios de calidad, confiabilidad y seguridad en la atención de la demanda de acuerdo con el marco regulatorio vigente. Sin embargo, se observaron algunos aspectos susceptibles de mejora relacionados principalmente con la dependencia del proveedor del modelo MPODE, la generación sintética de hidrología, el análisis expost de los resultados de la planeación, la convergencia del modelo en el mediano plazo, la transferencia de conocimiento de las personas y el almacenamiento de información del modelo AS.

6 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Aspectos Positivos • Se modelan diferentes escenarios de las variables que impactan la planeación energética, no exigidos en la regulación, con el objetivo de dar señales adecuadas de confiabilidad. • Durante la auditoría se realizó un análisis expost complementario con los datos disponibles, donde se pudo evidenciar la razonabilidad de los resultados del modelo presentados para los años 2006 y 2007. • La Dirección de Planeación elabora mensualmente un documento de supuestos donde se acuerdan y unifican los criterios con los cuales se efectuarán las simulaciones. • Disponibilidad de amplia información relacionada con el proceso (hidrología, demanda, mantenimientos, situación operativa, entre otros) y herramientas tecnológicas para llevarlo a cabo. • Se lleva una bitácora de las corridas del mediano plazo, que evidencia las dificultades encontradas y formas de solución. • De la revisión de las actas del CNO; de los comités y de los subcomités, se observa un cumplimiento de los compromisos adquiridos por XM.

7 PLANEACIÓN ENERGÉTICA Insumos • • • Demanda Hidrología Índices de Indisponibilidad Mantenimientos Disponibilidad y costo del combustible. Marco regulatorio. Disponibilidad de la red Clima Planes de expansión. • Confiabilidad • Calidad • Seguridad Planeación Energética Cumplimiento Regulatorio Modelo AS Largo Plazo 5 años Complementario Modelo MPODE u Otros modelos Mediano Plazo 2 años

8 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo AS Riesgos • Modificaciones inadecuadas al código fuente • Falla o indisponibilidad de software • Insuficiente personal calificado Resultados Se requieren fortalecer los controles relacionados con: 1. La definición y puesta en marcha de un protocolo para la documentación de todas las modificaciones que se realicen al programa. 2. La adecuada realización de los respaldos de información y mejora en los tiempos de respuesta del área tecnológica. 3. La competencia técnica de varias personas para manejar este modelo.

9 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo MPODE Largo Plazo Riesgos • Modelamiento inadecuado de la hidrología Resultados El módulo de hidrología del MPODE tiene algunas limitaciones en la representación de la variable hidrológica para efectos de las simulaciones. La Dirección de Planeación, ha sido consciente de esta limitación y ha venido gestionando con el proveedor las soluciones pertinentes. Sobre este aspecto se recomienda: 1. Hacer una vez al año una simulación de un evento Niño histórico, profundo o largo para cada año del horizonte. 2. En el nuevo proyecto sobre despacho hidrotérmico se debe considerar la posibilidad de incluir como módulo hidrológico el GESS u otro modelo que brinde el insumo requerido.

10 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo MPODE Largo Plazo Riesgos • Errores en los datos y su proceso de cargue Resultados Las series hidrológicas históricas mensuales de los años 2005 y 2006 no estaban conforme las aprobadas por el Consejo Nacional de Operación. Aunque esto tiene un efecto bajo en los resultados finales de la planeación, podría tener un alto impacto en la imagen de XM, por lo tanto, es importante corregir los datos indicados y establecer controles de revisión preventivos que permitan actualizarlos en forma oportuna.

11 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo MPODE Largo Plazo Riesgos • Señales inadecuadas de confiabilidad energética Resultados Análisis Expost Como se mencionó, durante la auditoría se realizó un análisis expost complementario con los datos disponibles, donde se pudo evidenciar la razonabilidad de los resultados del modelo presentados para los años 2006 y 2007. Si bien el modelo no da precios, sino costos, se muestra que la ruta de la realidad de los precios se encuentra dentro del rango de costos dado por el mismo. Sin embargo, al verificar los informes oficiales del Análisis Ex-post de la Dirección de Planeación, se observó que se podrían complementar con una mayor evaluación de los resultados generados y un documento soporte, que refleje los detalles del trabajo realizado y los mejoramientos a partir de dicho análisis. Al respecto, se recomienda: i. complementar los análisis expost con otro tipo de gráficas, donde se especifiquen los percentiles escogidos, las conclusiones y recomendaciones generadas, ii. Identificar y documentar las causas de las diferencias entre lo modelado y la realidad y iii. Presentar anualmente el informe expost a la Junta Directiva de XM

12 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo MPODE Largo Plazo Riesgos • Señales inadecuadas de confiabilidad energética Resultados Modelación de escenarios críticos y/o probables incluyendo la disponibilidad de combustibles. Durante la auditoría se revisaron los diferentes informes generados con escenarios alternos, donde se incluyen variaciones a la disponibilidad y precio del gas, en los cuales se observó que la fuente de información para el caso base, son los contratos de suministro y transporte de gas suministrados a través de la declaración de la ENFICC. Aunque estas simulaciones son un avance muy importante para los resultados de la planeación energética de largo plazo con respecto a este energético, existe el supuesto fundamental de que la red de gas es capaz de transportar dichas cantidades y dada la limitación actual de la regulación vigente entre el sector eléctrico y el sector gas, se generan el riesgo de no considerar adecuadamente los siguientes elementos: i. mantenimiento de la red de gas, ii. Limitaciones de suministro que induzcan fallas en el suministro de gas a algunas plantas generadoras por atención prioritaria a otros sectores, iii. Fallas de suministro. Al respecto, es importante, que XM continúe con el trabajo que viene realizando respecto a la coordinación de los sectores gas y electricidad y búsqueda de información oficial para incluir en las simulaciones.

13 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Modelo MPODE Mediano Plazo Riesgos • Inconsistencias en el proceso de simulación. Resultados La corrida de mediano plazo, tanto la estocástica como las determinísticas, en algunos meses, han presentado problemas de convergencia. Este problema ha disminuido a partir de la aplicación de la versión 9. 1. 2 b del MPODE desde febrero de 2008 para los casos determinísticos, y en el caso de las simulaciones estocásticas, se estaban presentando problemas en la del mes de mayo. Al respecto, se recomienda tratar con PSR, la solución al tema de la no convergencia del Mediano Plazo, sin ampliar la tolerancia del rango a tres desviaciones, consejos, criterios y recomendaciones para el caso de simulaciones semanales y modificaciones al programa que ayuden a buscar la causa de la no convergencia

14 AUDITORÍA A LA PLANEACIÓN ENERGÉTICA Gestionar el Talento Humano Riesgos • Falta de idoneidad del personal • Inadecuada gestión del conocimiento del personal Resultados Algunas de las competencias técnicas actualmente descritas en los cargos de la Dirección de Planeación no reflejan completamente la realidad de los requerimientos necesarios para llevar a cabo los procesos, y las evaluaciones de dichas competencias presentan brechas superiores al nivel mínimo establecido. Dada la importancia del conocimiento y experiencia para el desarrollo del proceso de planeación energética, es importante continuar con la revisión del catálogo de competencias técnicas para los cargos de la Dirección Planeación de la Operación y definir un plan de mejoramiento específico con el fin de reducir las brechas actuales en las competencias que lo ameriten. Además, se sugiere estructurar un plan formalizado de entrenamiento de personal, que incluya la rotación, la actualización periódica y la aplicación practica de los conocimientos y promover la gestión del conocimiento del personal próximo a jubilarse.

Resultados Cumplimiento Protocolo de Comunicaciones Operativo Comparativo Resultados Pruebas 2007 -2008 CARACTERIZACIÓN POBLACIÓN 2008 • Z 1: • Z 2: • Z 3: • Z 4: • Z 5: 03: 30 08: 30 14: 30 18: 00 22: 30 a a a 04: 00 09: 00 15: 00 18: 30 23: 00 Muestra del 07/02/2008 al 25/02/2008 OBJETIVO Cumplimiento: Parámetros resolución CREG 083/99 Desviaciones: Atributos negativos en las comunicaciones y Prohibiciones expresas Muestra del 07/02/2008 al 25/02/2008 15 hrs.

16 Resultados Comparativo Resultados prueba Protocolo XM 2007 -2008 46% 43, 2% 29, 7% 2007 2008 246; 94, 6% 14; 5, 4% 225 minutos; 88, 1% 30 minutos; 11, 9% Base de cálculo 2007: 108 incumplimientos Base de cálculo 2008: 118 incumplimientos

17 Resultados Incumplimiento al Protocolo – Llamadas Operativas Incumplimiento frente al Sistema

18 Resultados INCUMPLIMIENTO POR TIPO DE MANIOBRA OPERATIVA Maniobra Operativa Control Frecuencia Control Tensión Programa Generación Incumplimiento por Parámetro de Conex-Desconex Circuitos

19 Conclusiones y Recomendaciones*: EN P IMP ROCESO LEM DE ENT ACIÓ N Construir un Plan de Mejoramiento que considere: • Incluir en la gestión del desempeño del personal el cumplimiento del protocolo de comunicaciones. · Disponer de líneas de comunicación para las llamadas personales. · Iniciar la revisión del protocolo de comunicaciones y promover cambios regulatorios si se considera necesario. · Emprender campañas masivas de sensibilización sobre el cumplimiento del protocolo. · Entrenar formalmente a las personas que han ingresado a la sala de control durante el año 2008 en el cumplimiento del protocolo de comunicaciones. • Monitoreo aleatorio directamente por el Director del proceso. • Análisis jurídico de responsabilidades en el cumplimiento del protocolo de comunicaciones de XM hacia los agentes del mercado. *Emitidas el 30 de abril de 2008.

CUMPLIMIENTO EN EL ENVÍO DE INFORMACIÓN A LOS ENTES EXTERNOS DE CONTROL Y VIGILANCIA Se realizaron revisiones sobre la información enviada a la Cámara de Comercio, a la Superintendencia de Servicios Públicos, a la Contaduría General de la Nación, al Ministerio de Hacienda y Crédito Público, a la Contraloría General de la República, a la Dirección de Impuestos y Aduanas Nacionales y a la Cámara de representantes. Conclusiones • La información fue enviada oportunamente. • No se tiene conocimiento de incumplimientos durante el 2008. • Las excepciones identificadas por Auditoría Interna en el proceso de revisión, fueron ajustadas satisfactoriamente previo a su envío. 20

21 Liquidación de Órdenes de Inversión en Proyectos La tendencia a la baja de los saldos, muestra la normalización paulatina del proceso. Durante el 2008, se han activado $3. 601 y se han cargado $1. 830. De los $4, 911, ya se tienen identificados $1. 852 como activos terminados pendientes por individualizar y liquidar, los $3. 059 restantes, efectivamente se encuentran en montaje.

22 AUDITORÍA EJECUCIÓN CONTRATO 4000000880 – MVM Objetivo: Verificar el Cumplimiento del contrato. Características: Niveles de Soporte Servicio a Prestar NIVEL 3: Soporte técnico y funcional - Mantenimiento correctivo, preventivo y adaptativo. - Implementación de requerimientos por cambios regulatorios de urgencia y menores. - Implementación de mantenimientos menores. - Modificación de código del aplicativo. Factores Críticos de Éxito - Conocimiento de los componentes de cada aplicativo. - Conocimiento de las relaciones entre los aplicativos. - Conocimiento de los lenguajes de programación requeridos. Presupuesto: $5, 537 millones. Aprobado en la Junta Directiva de Mayo de 2007. Plazo: Tres años. Agosto 2007 – Agosto 2010 Facturación: El contrato es de cuantía indeterminada. Por número de horas ($25, 101/hora) mas una disponibilidad (18% por tarifa/hora por número de días mes). Transición: Período de empalme de 2 meses con el anterior proveedor. Anexos del contrato: Tarifas, alcance detallado, inventario de aplicaciones, grupo de aplicaciones, plataforma básica e información requerida para la gestión de requerimientos.

23 AUDITORÍA EJECUCIÓN CONTRATO 4000000880 – MVM Factores de Riesgo • Idoneidad del personal asignado por el proveedor. • Definición del número de horas para la atención de los requerimientos (costos del contrato). • Oportunidad y calidad en la gestión de los requerimientos. Controles Clave • Roles y requisitos mínimos de experiencia. • La DGT aprueba los cambios en el personal del contratista. • El contratista realiza un plan de trabajo que es concertado con el líder de aplicativo de la DGT. • Reunión de CABS. • Existen valores mínimos y máximos del contrato y seguimiento continuo por parte de XM. • Indicadores de desempeño. • Adopción de mejores prácticas de TI. • Garantía de cumplimiento y calidad del servicio. Resultados Auditoría • Se evidenció cumplimiento de lo pactado. • Se recomienda llevar un registro documentado de los cambios del personal. • Existe debidamente documentado el plan de trabajo aprobado por las partes. • Se sugirieron algunos mejoramientos para las actas de las reuniones (evidencia). • El contrato se ha ejecutado dentro de los rangos presupuestados. • Se recomienda fortalecer la verificación de la información aportada por el contratista para el cálculo de los indicadores de desempeño y ampliar el detalle en las actas, sobre el monitoreo de los mismos. • Se han venido introduciendo las mejores prácticas de TI. • Se recomienda ampliar la vigencia de la póliza en el amparo de cumplimiento.

24 Auditoría Contratación Primer Trimestre 2008 1. Se auditó selectivamente la contratación de los meses comprendidos entre enero y abril de 2008, encontrándose principalmente las siguientes observaciones: • Debilidades en la actualización de la vigencia de las pólizas para las cláusulas adicionales suscritas. • Algunas inconsistencias menores en la causación y pago del impuesto de timbre. • Falta de control sobre la documentación de los contratos que debe reposar en el centro documental. E N P R O C E S O 2. Se observaron fortalezas en el registro de contratos en el SICE (Sistema de Información de la Contratación Estatal). No se han generado alarmas aplicables a XM. Contratación Empresas de Servicios Temporales - Año 2007 1. No se realizó una verificación sistemática del cumplimiento del pago de aportes a la seguridad social por parte de las empresas temporales contratadas. 2. No se evidenció una verificación del cumplimiento de los requisitos establecidos en el Código Sustantivo del Trabajo en cuanto a la contratación de personal temporal. 3. Para los 18 contratos celebrados, se solicitaron diferentes pólizas de seguros. Es decir, no existió un procedimiento unificado al respecto Las acciones correctivas ya fueron tomadas.

Calle 12 Sur N° 18 – 168, PBX: 57(4) 317 2929 FAX: 57(4) 317 0833, Medellín – Colombia www. xm. co Todos los derechos reservados para XM S. A E. S. P.

26 ANÁLISIS EX-POST - Aportes

27 ANÁLISIS EX-POST - Generación Hidráulica

28 ANÁLISIS EX-POST - Costo Marginal y Precio

29 COMPORTAMIENTO PRESUPUESTAL

30 INDICADORES DE DESEMPEÑO Las desviaciones se han presentado por causas atribuibles a XM, principalmente por: ajustes en los primeros meses de inicio del contrato, inconvenientes en la plataforma tecnológica y en la preparación de los ambientes de pruebas. Severidad: Indica la prioridad que se le debe dar al requerimiento según como afecte el proceso o las actividades de los clientes. Severidad 3 no graficada.