UNIVERSIDAD DE LAS FUERZAS ARMADAS ESPE MAESTRA EN

  • Slides: 27
Download presentation
UNIVERSIDAD DE LAS FUERZAS ARMADAS “ESPE” MAESTRÍA EN GESTIÓN DE SISTEMAS DE LA INFORMACIÓN

UNIVERSIDAD DE LAS FUERZAS ARMADAS “ESPE” MAESTRÍA EN GESTIÓN DE SISTEMAS DE LA INFORMACIÓN E INTELIGENCIA DE NEGOCIOS AUTORES: ING. AYALA ROSERO, EDISON JAVIER ING. LOGACHO FERNANDÉZ, ANA ISABEL DIRECTORA: MSC. DUQUE CRUZ, LORENA GUESELLE SANGOLQUÍ 2018

TEMA: IDENTIFICAR UN MODELO DE DATA MINING PARA DESARROLLAR UN ANÁLISIS PREDICTIVO EN LA

TEMA: IDENTIFICAR UN MODELO DE DATA MINING PARA DESARROLLAR UN ANÁLISIS PREDICTIVO EN LA ADMINISTRACIÓN INTEGRAL DEL TRABAJO Y EMPLEO DE LAS EMPRESAS ECUATORIANAS

AGENDA Introducción Metodologías Propuesta de investigación Desarrollo de la propuesta Resultados Conclusiones Recomendaciones Trabajos

AGENDA Introducción Metodologías Propuesta de investigación Desarrollo de la propuesta Resultados Conclusiones Recomendaciones Trabajos futuros

INTRODUCCIÓN SAITE EMPRESA MDT garantizar Estabilidad y armonía SISTEMAS Transaccionales SINACOI Ente rector SGI

INTRODUCCIÓN SAITE EMPRESA MDT garantizar Estabilidad y armonía SISTEMAS Transaccionales SINACOI Ente rector SGI TRABAJADOR

MOTIVACIÓN El presente trabajo: Automatización de servicios ahorro SISTEMAS DE INFORMACIÓN TIEMPO MDT Registro

MOTIVACIÓN El presente trabajo: Automatización de servicios ahorro SISTEMAS DE INFORMACIÓN TIEMPO MDT Registro de contratos Cumplimiento - Normativa legal EMPRESA Actas de finiquito AUTORIDADES decisiones enfoque NORMATIVA LEGAL

METODOLOGÍA - DATAWAREHOUSE METODOLOGÍA HEFESTO INMON KIMBALL Autor Bernabeu Ricardo Darío Bill Inmon Ralph

METODOLOGÍA - DATAWAREHOUSE METODOLOGÍA HEFESTO INMON KIMBALL Autor Bernabeu Ricardo Darío Bill Inmon Ralph Kimball Año 2010 1997 Tipo de Empresa Pequeño y mediano Pequeño, mediano y grande Arquitectura Ascendente (Bottom - up) Descendente (Top –down) Ascendente ( Bottom - up) Análisis corporativo Análisis por departamento Data Warehouse Data Mart Enfoque empresarial Énfasis Análisis de objetivos y establecimiento de indicadores. Data Warehouse y Data Mart Todos los sistemas Integración de Datos transaccionales de la organización Áreas del negocio en forma individual Perspectiva Estrella / Copo de nieve Relacional Estrella Flexibilidad Si No Si Costo de Implementación Bajo Alto Bajo

METODOLOGÍA– MINERÍA DE DATOS METODOLOGÍA CRISP-DM SEMMA Comprensión del negocio Si No Selección y

METODOLOGÍA– MINERÍA DE DATOS METODOLOGÍA CRISP-DM SEMMA Comprensión del negocio Si No Selección y preparación Si Si Modelado Si Si Evaluación Si Si Implementación Si No Número de fases 6 5 Elección libre de Si No Fases relacionadas Si No Detalle en pasos a seguir Si No Metodología Estructurada Si Si Estabilidad de la Si Si Si No de datos herramientas para cada fase Metodología Uso Amplio

PROPUESTA DE INVESTIGACIÓN ¿Es posible predecir haciendo uso de las técnicas de minería de

PROPUESTA DE INVESTIGACIÓN ¿Es posible predecir haciendo uso de las técnicas de minería de datos el comportamiento de las empresas privadas en el Ecuador en el cumplimiento de la Normativa Legal Vigente? ¿Cómo mejorar el tratamiento de los datos para convertirlos en información y proporcionar un recurso para la toma de decisiones en el ámbito laboral? ¿Cuáles son las tendencias y patrones que se presentan en los datos analizados? ¿Cuáles son las técnicas de minería de datos más apropiadas para la administración integral del trabajo y empleo de las empresas ecuatorianas?

ESTADO DEL ARTE • Se realizó la búsqueda en diferentes repositorios virtuales de trabajos

ESTADO DEL ARTE • Se realizó la búsqueda en diferentes repositorios virtuales de trabajos relacionados con el ámbito laboral • Se encontraron 104 artículos que hacen referencia a la cadena de búsqueda planteada. Áreas Número de Artículos Educación 14 Salud 15 Financiero 5 Tecnología 10 Otras categorías 53 Agricultura Total de Artículos 7 104

METODOLOGÍA KIMBALL - DATAWAREHOUSE Planificación del proyecto Definición de requerimientos Modelado dimensional 1 6

METODOLOGÍA KIMBALL - DATAWAREHOUSE Planificación del proyecto Definición de requerimientos Modelado dimensional 1 6 2 Especificación de aplicaciones BI 7 8 3 Diseño de la arquitectura técnica Diseño Físico 4 Selección e instalac. de herramientas 9 5 10 Diseño e implementación del ETL Exploración de herramientas BI Mant. y crecimiento del datawarehouse

SELECCIÓN DE HERRAMIENTAS D I S E Ñ O D E L A A

SELECCIÓN DE HERRAMIENTAS D I S E Ñ O D E L A A R Q U I T E C T U R A T É C N I C A

EXPLORACIÓN D E H E R R A M I E N T A

EXPLORACIÓN D E H E R R A M I E N T A S B I

METODOLOGÍA – CRISP-DM PLAN DEL PROYECTO Nro. Compresión del negocio Compresión de los datos

METODOLOGÍA – CRISP-DM PLAN DEL PROYECTO Nro. Compresión del negocio Compresión de los datos Preparación de los datos Despliegue Fase Días 1 Comprensión del Negocio 10 2 Comprensión de los datos 15 3 Preparación de los datos 30 4 Modelado 20 5 Evaluación 20 6 Implementación o Despliegue 10 BBDD Modelado Total, en Días Evaluación 105

COMPRENSIÓN DEL NEGOCIO Objetivo del negocio Criterios de éxito del negocio • Predecir si

COMPRENSIÓN DEL NEGOCIO Objetivo del negocio Criterios de éxito del negocio • Predecir si nuevas empresas que registran información en los sistemas del Ministerio del Trabajo deben ser inspeccionadas o no, teniendo una alta fiabilidad. • Detectar patrones de comportamiento en la contratación y salida de personal en las empresas inspeccionadas, con el fin de apoyar la toma de decisiones por parte de las autoridades del Ministerio. 01 02 • Realizar predicciones sobre nuevas empresas con un porcentaje alto de fiabilidad, se definió el porcentaje en un 75%. La fiabilidad la determinará los algoritmos que se empleen para determinar el modelo de la minería de datos. • Obtener reglas de asociación relevantes para las autoridades del Ministerio de Trabajo. 04 Determinar un modelo predictivo que ayude a establecer si una empresa debe ser inspeccionada o no inspeccionada. • Determinar los patrones que siguen las empresas inspeccionadas en lo referente a contratación y salida de personal. Objetivos de la minería de datos 03 Criterios de éxito de la minería de datos • • Clasificar las empresas que deben ser inspeccionadas y no inspeccionadas, esto es determinado por el incumplimiento en el registro de contratos y actas de finiquito, y de las denuncias que los empleados registran en contra de las empresas. • Buscar la relación que existe entre las variables asociadas con la contratación y salida de personal en las empresas inspeccionadas.

COMPRENSIÓN DEL NEGOCIO • Selección de herramientas • Selección de técnica Criterio Fácil comprensión

COMPRENSIÓN DEL NEGOCIO • Selección de herramientas • Selección de técnica Criterio Fácil comprensión Uso de la técnica Preparación de datos Tipos de Variables de entrada Limite en el número de variables de entrada Manejo del ruido y datos faltates Manejo de grandes volúmenes de datos Coste y Tiempo de Procesamiento Precisión del clasificador Facilidad de Interpretación Árboles de Decisión Regresión Logística Redes Neuronales Si Si Si Amplio Poca Numéricos y Categóricos Dummy Numéricos No No No Si Si Si Depende de los datos Si Alto Alta Si Alto Si

COMPRESIÓN D E L O S D A T O S El Data Warehouse

COMPRESIÓN D E L O S D A T O S El Data Warehouse construido con las bases de datos de los sistemas transaccionales SAITE, SINACOI y SGI propiedad del Ministerio del Trabajo, es la única fuente de extracción de datos.

PREPARACIÓN DE LOS DATOS 1 Selección de los datos 2 Limpieza de los datos

PREPARACIÓN DE LOS DATOS 1 Selección de los datos 2 Limpieza de los datos 3 Construcción de los datos 4 Integración de los datos 5 Formateo de datos

MODELADO Selección de técnicas de modelado Generación del diseño de pruebas Arboles de decisión

MODELADO Selección de técnicas de modelado Generación del diseño de pruebas Arboles de decisión Regresión Logística Redes Neuronales Reglas de asociación Construcción del modelo Modelos construidos

EVALUACIÓN DEL MODELO • Cumplimiento de los objetivos del negocio. Objetivos del Negocio •

EVALUACIÓN DEL MODELO • Cumplimiento de los objetivos del negocio. Objetivos del Negocio • Cumplimiento de los objetivos de la minería de datos. Arboles de Regresión Redes Reglas de Objetivos de la Minería de Datos Decisión Logística Neuronales Asociación Clasificar las empresas que Arboles de Regresión Redes Reglas de Decisión Logística Neuronales Asociación deben ser inspeccionadas y no inspeccionadas, esto es Determinar un modelo determinado por el predictivo que ayude a establecer si una empresa Si Si Si No debe ser inspeccionada o no Si No No Si contratos y actas de finiquito, y de las empresas Buscar la relación que existe siguen las empresas salida de personal. Si empleados registran en contra Determinar los patrones que referente a contratación y Si de las denuncias que los inspeccionadas en lo incumplimiento en el registro de Si No No Si entre las variables relacionadas con la contratación y salida de personal en las empresas inspeccionadas.

RESULTADOS – EMPRESAS INSPECCIONADAS O NO INSPECCIONADAS • Generación de 3 modelos. • Último

RESULTADOS – EMPRESAS INSPECCIONADAS O NO INSPECCIONADAS • Generación de 3 modelos. • Último modelo aceptado. Técnica Accuracy Error Indicador Kappa ROC Árboles de Decisión 76. 119% 23. 881% 0. 488 0. 7962 Regresión Logística 75. 531% 24. 469% 0. 472 0. 7928 Redes Neuronales 76. 784% 23. 216% 0. 5 0. 8075

MODELO SELECCIONADO – RED NEURONAL 162755 registros han sido clasificados como inspeccionadas de forma

MODELO SELECCIONADO – RED NEURONAL 162755 registros han sido clasificados como inspeccionadas de forma correcta por el modelo. 102101 registros han sido clasificados como no inspeccionadas de forma incorrecta por el modelo. 51889 registros han sido clasificados como inspeccionadas de forma incorrecta por el modelo. 346552 registros han sido clasificados como no inspeccionadas de forma correcta por el modelo.

MODELO SELECCIONADO – RED NEURONAL Exactitud 76. 784%, representa el porcentaje de valores clasificados

MODELO SELECCIONADO – RED NEURONAL Exactitud 76. 784%, representa el porcentaje de valores clasificados de forma correcta 23. 216%, representa el porcentaje de valores clasificados de forma incorrecta Indicador Kappa Curva ROC Tasa de error 50%, indica que la mayoría de predicciones son correctas Sensibilidad del 61. 5 % de los valores inspeccionados clasificados correctamente Precisión Positiva Negativa Tasa de verdaderos positivos 75. 8% de los valores positivos inspeccionados clasificados correctamente. 77. 2% de los valores negativos no inspeccionados clasificados correctamente. La probabilidad que una empresa sea inspeccionada es del 80. 75%.

RESULTADOS – REGLAS DE ASOCIACIÓN ACTAS FINIQUITO CONTRATOS RANGO DE EDADES ACTIVIDAD ECONÓMICA •

RESULTADOS – REGLAS DE ASOCIACIÓN ACTAS FINIQUITO CONTRATOS RANGO DE EDADES ACTIVIDAD ECONÓMICA • {FEMENINO, POR ACUERDO DE LAS PARTES} S. 40. 4% C. 65. 7% (123871) • {MASCULINO, POR ACUERDO DE LAS PARTES} S. 40. 2% C. 64. 5% (123044) • {26>x<=35, POR ACUERDO DE LAS PARTES} S. 35. 7% C. 67. 8% (10484) • {18>x<=26, POR ACUERDO DE LAS PARTES} S. 35. 2% C. 67. 9% (107970) • {CONTRATO INDEFINIDO, MASCULINO} S. 23. 4% C. 63. 7% (69320) • {CONTRATO INDEFINIDO, FEMENINO} S. 21. 4% C. 67. 2% (63495) • {CONTRATO A PLAZO FIJO, MASCULINO} S. 20. 7% C. 68. 5% (61540) • {18>x<=26, POR ACUERDO DE LAS PARTES} S. 18. 3% C. 73. 7% (54401 ) • {26>x<=35, MASCULINO} S. 28. 2% C. 65. 3% (83633) • {26>x<=35, FEMENINO} S. 27. 4% C 67. 4% (81295) • {18>x<=26, MASCULINO} S. 26. 6% C. 66. 7% (78846) • {18>x<=26, FEMENINO} S. 26. 1% C. 69% (77608) • {COMERCIO AL POR MAYOR Y AL POR MENOR; REPARACIÓN DE VEHÍCULOS AUTOMOTORES Y MOTOCICLETAS, MASCULINO} S. 7. 1% C. 58. 9% (21077) • {>=46 AÑOS, ACTIVIDADES PROFESIONALES CIENTÍFICAS Y TÉCNICAS, FEMENINO} S. 3. 1% C. 69. 5% (9142) • {26 AÑOS >x<=35 AÑOS, ACTIVIDADES PROFESIONALES CIENTÍFICAS Y TÉCNICAS, MASCULINO} S. 7. 3% C. 73% (10899)

CONCLUSIONES La construcción de un Data Warehouse ayuda a mejorar el tratamiento de los

CONCLUSIONES La construcción de un Data Warehouse ayuda a mejorar el tratamiento de los datos para convertirlos en información, ya que los datos que se encuentran limpios e integrados, son utilizados para realizar explotación de datos con cualquier herramienta BI que sirven como apoyo a las autoridades del Ministerio de Trabajo en la toma de decisiones, adicional estos datos son utilizados para realizar el proyecto de minería de datos y de esta forma se evitan que los datos vayan al proyecto con ruido. La aplicación de reglas de asociación nos permitió encontrar patrones y tendencias en los datos analizados, las reglas encontradas permitirán a las autoridades del Ministerio identificar a que parte de la población económicamente activa es la que necesita mayor atención, entre las reglas se evidenció que el tipo de contratación predominante en el Ecuador son los contratos indefinidos para el género masculino y femenino, adicional se encontró que el rango de edad predominante en todos los análisis es de 26 a 35 años. El caso de estudio propuesto demuestra que es posible la aplicación de técnicas de minería de datos en la administración integral del trabajo y empleo de las empresas ecuatorianas, ya que la mayoría de estudios que existen han sido orientados a otros sectores como salud y financiero, para el sector laboral existen muy pocas investigaciones.

CONCLUSIONES De acuerdo a los resultados de los indicadores, se tiene que la técnica

CONCLUSIONES De acuerdo a los resultados de los indicadores, se tiene que la técnica de minería que mejor clasifica los datos para nuestro caso de estudio es la técnica de Redes Neuronales, pese a que el tiempo de ejecución es mayor que las otras técnicas. Las Redes Neuronales son comúnmente utilizadas para el reconocimiento de patrones y clasificación, son de gran de utilidad en la predicción de datos económicos y financieros. La estructura más utilizada es el Perceptrón Multicapa.

RECOMENDACIONES Se recomienda al Ministerio de Trabajo utilizar el repositorio que existe para realizar

RECOMENDACIONES Se recomienda al Ministerio de Trabajo utilizar el repositorio que existe para realizar reportería, esto ayudara a generar reportes de una forma rápida y confiables. Para realizar proyectos de minería de datos se recomienda desarrollar y construir un data warehouse, ya que los datos pasan por una fase de limpieza de datos, y estos datos limpios pueden ser utilizados como datos de entrada para el proyecto de minería de datos.

TRABAJOS FUTUROS Agregar al modelo nuevas fuentes de información externas. Agregar a las instituciones

TRABAJOS FUTUROS Agregar al modelo nuevas fuentes de información externas. Agregar a las instituciones que manejan bajo otra normativa legal (LOSEP).