Un Modelo para la Evaluacin de Intervenciones Sociales

Un Modelo para la Evaluación de Intervenciones Sociales en Convivencia Facultad de Ciencias Sociales y Económicas

PROGRAMA DE CONVIVENCIA Y SEGURIDAD CIUDADANA DE SANTIAGO DE CALI Evaluación de Impactos Tempranos Maria Isabel Gutiérrez M. MD, MSc, Ph. D. Profesora Titular Directora Instituto Cisalva Universidad del Valle Con el apoyo del Banco Interamericano de Desarrollo

Objetivo de la Evaluación Establecer el impacto temprano y la relación costo- beneficio de la intervención en términos de su contribución a la disminución de los niveles de violencia e inseguridad en el municipio de Santiago de Cali.

El Modelo de Evaluación

Modelo de Evaluación de Impactos Tempranos Evaluación de Fidelidad LA INTERVENCIÒN Cumplimiento entre lo programado vs lo realizado Elegibles para el programa (I 0 ) PLANEADO desviación EJECUTADO PROPÓSITO M (e)= M (o) PROPÓSITO MODELO (e) COMPONENTE 1 COMPONENTE 2 COMPONENTE 3 COMPONENTE 4 1. 2. EVALUACIÓN DE COHERENCIA INTERNA Grupo Control Interno ( C 1) )MODELO (o) COMPONENTE 1 COMPONENTE 2 COMPONENTE 3 COMPONENTE 4 Reconocimiento del modelo de Intervención Valoración de pertinencia, relevancia, coherencia de la intervención Grupo Intervenido ( I 1 ) Grupo Control Externo ( Resto de la Ciudad Situación Previa C 2) Situación Actual Evaluación costo-beneficio

La Intervención a Evaluar Desaprendizaje de la Violencia Juvenil “Travesia”

Población. Beneficiaria n. Jóvenes entre los 12 y 17 años de edad, hombres y mujeres que viven en contextos de alto riesgo y jóvenes que se encuentren en medida de libertad asistida. n. Referentes familiares. (miembro de la familia referido como significativo para el o la joven). n. Referentes comunitarios. (educadores, líderes naturales o integrantes de organizaciones comunitarias que trabajen alrededor del tema del joven y/o la convivencia). n. Referentes institucionales. (integrantes de las instituciones que atienden la medida de libertad asistida en la ciudad).

Total de Intervenidos n. Primer ciclo n 212 jóvenes – – – 94 en contexto de alto riesgo 28 en medida de libertad asistida 98 referentes familiares (73 de jóvenes en contexto de alto riesgo y 25 de jóvenes en medida de libertad asistida) Segundo ciclo n 226 jóvenes n – – – 97 en contexto de alto riesgo 29 en medida de libertad asistida 66 referentes familiares (58 de jóvenes en contexto de alto riesgo y 11 de jóvenes en medida de libertad asistida); – 45 agentes comunitarios.

Sectores Intervenidos Distrito de Paz No 3 - Aguablanca Sectores de intervención focalizados: n n Charco Azul El Retiro Mojica Los jóvenes de libertad asistida provenían de cualquier sector del distrito 3

Distrito de Paz 1 Ladera Distrito de Paz 3 Aguablanca CHARCO AZUL MOJICA RETIRO

Ficha Técnica Estrategias 1. Modelo pedagógico “educar en la Periodo ejecución Abril del 2003 - junio 2004 (jóvenes-familia) Se interrumpe dos meses y continua hasta mayo 2005 (comunitario) Valor del Contrato $ 497. 000. oo Operador Unión Temporal: FUNOF - Corporación Juan Bosco calle” 2. Coordinación interinstitucional 3. Comunicación 4. Sistematización

Modelo de Evaluación Pasado Presente Y=1 X=1 Intervenidos Y=0 Z X=0 No Intervenidos Y=0 X Pre-intervención Abr-2003 Intervención Y=1 Y Post-intervención Ago-2004 Modelo de Evaluación Y = f(X, Z) Medición de Impacto Feb-2004 Y: Indicador de impacto X: Intervención Z: Covariables

Diseño Jóvenes en Libertad Asistida n n n Diseño de “Antes y Después”* Marco muestral: Lista de jóvenes en Libertad Asistida en el Distrito de Paz 3 (N=45) (operador) Línea de base (operador) Encuesta post-intervención a jóvenes – similar a la encuesta de línea de base Comparación “pareada” – Línea de base vs. encuesta post-intervención (n=21) – Excluídos: no localizados por cambio de residencia, rechazo a la encuesta *Cook & Campbell, 1979

Diseño de Evaluación de Jóvenes en Medida de Impactos Libertad Asistida Línea de base Encuesta 2005 Intervenidos Jóvenes en medida de libertad asistida X=1 Y 10 Z Y 11

Diseño Jóvenes en Contexto de Alto Riesgo n n n Diseño “post-test” con grupos no-equivalentes* Grupos*** – Intervenidos ( muestreo sistematico n=102) – Controles internos: No-Intervenidos del mismo barrio (muestreo probailistico por conglomerados, n=107) – Controles externos: No-Intervenidos de la misma comuna (muestreo probabilistico por conglomerados, n=91) Selección de Intervenidos Muestreo sistemático (lista del operador) Selección de Controles Muestreo por conglomerados – Selección de segmentos de manzanas (conglomerados) – “Barrido” de viviendas en el segmento elegido – Selección de un jóven al azar en la vivienda (Método de Kish) entre los que cumplen los criterios de inclusión Ajuste por “Propensity Scoring”** – probabilidad previa de ser intervenido – manejo del sesgo de selección *Cook & Campbell, 1979 **Rosenbaum & Rubin, Biometrika, 1983; 70: 41 -55 ***Los tamaños de muestra no necesariamente son iguales ya que el diseño no es pareado

Diseño de Evaluación Jóvenes en Contexto de de Impactos Alto Riesgo Línea de base Encuesta 2005 Intervenidos Jóvenes en contextos de alto riesgo X=1 Y 10 Z Y 11 Propensity Score Matching NO-Intervenidos X=0 Jóvenes en contextos de alto riesgo Y 01

Evaluación de Implementación de la Intervención RESULTADOS A menudo la razón por la cuál algunas evaluaciones de impacto revelan mínimos o ningún tipo de impactos, no es por que la intervención no sea efectiva; en ocasiones se debe al hecho de que su implementación no fue adecuada o fue incompleta[1]. [1] Rossi P. And Freman H. Evaluation. A Systematic Approach. London. Sage Publications, 4 edition. 1990

Modelo pedagógico Evaluación de la Implementación þ Los familiares evidencian beneficios del proyecto þ Se capacitaron funcionarios con enfoque de trabajo a jóvenes. þ Se elaboró protocolo de atención orientado al manejo de libertad asistida þ Se consolidó una red de instituciones que atienden manejo de libertad asistida þ Se implementaron 7 iniciativas juveniles de convivencia

Modelo pedagógico Evaluación de la Implementación þ El proyecto es reconocido en los sectores de intervención. þ Se consolidaron mesas de concertación entre diferentes actores sociales þ Se realizaron tres pre foros: socialización de experiencias

Evaluación de Impactos Tempranos

Características socio-demográficas de los jóvenes en libertad asistida Hombre Mujer Valle Departamento de Nacimiento Chocó Huila Nariño Soltero ¿Cuál es su estado civil actual? Unión libre Si ¿Tiene hijos? No Primaria incompleta ¿Cuál es el ultimo nivel educativo que Primaria Completa usted alcanzó? Secundaria incompleta Secundaria Completa Técnico Sexo n=21 % 18 3 17 2 1 1 20 1 3 18 1 2 ( 86 ) ( 14 ) ( 81 ) (9) (5) (95) (14) (86) (5) (10) 16 (76) 1 (5)

Características socio-demográficas de jóvenes en contexto de alto riesgo Intervenidos Media n=102 % Sexo del joven Edad Grupo Control Interno Control Externo Media n=107 % Medi N=91 % a Hombre 53 (52) 53 (50) 48 (53) Mujer 49 (48) 54 (50) 43 (47) 11 -14 19 (19)* 39 (38) 24 (27) 15 -16 40 (40) 30 (29) 27 (30) 17+ 42 (42) 33 (32) 39 (43) Edad 16. 0 Nivel educativo Estado civil ¿Tiene hijos? 15. 6 16. 0 Ninguno/Primaria 20 (20) 22 (21) 10 (11) Secundaria/Técnica /Superior 82 (80) 85 (79) 81 (89) Soltero 99 (97) 104 (97) 90 (99) Unión libre 3 (3) 1 (1) Si 6 (6) 8 (8) 6 (7) No 95 (94) 95 (92) 83 (93) * p<0. 05 basado en la prueba Chi-cuadrado

Características socio-demográficas de jóvenes en contexto de alto riesgo (II) Intervenidos n % Estrato socioeconómico 1 102 ( 100 ) 107 ( 100 ) 30 38 34 ( 29 ) ( 37 ) ( 33 ) 33 39 35 ( 31 ) ( 36 ) ( 33 ) 2 3 Charco Azul Barrio Grupo Control Interno n % El Retiro Mojica Resto DP 3 ¿Hace cuantos años que vive en este Barrio? 2 -9 10 -14 15 -20 26 27 48 ¿Hace cuantos años que vive en este Barrio? ( promedio ) Nariño Departamento Valle de origen Otros * p<0. 05 basado en la prueba Chi-cuadrado ( 26 ) ( 27 )* ( 48 ) 24 45 36 12. 5 12 81 9 ( 12 ) ( 79 )* (9) ( 23 ) ( 43 ) ( 34 ) Control Externo n % 26 54 11 ( 29 ) ( 59 ) ( 12 ) 91 33 26 32 ( 100 ) ( 36 ) ( 29 ) ( 35 ) 12. 3 4 98 5 ( 4 )* ( 92 ) (5) 10. 8 5 72 14 (5) ( 79 ) ( 15 )

Curva ROC* Sensibilidad = Prob ( POSITIVO | Participante ) Especificidad = Prob ( NEGATIVO | no Participante ) Área bajo la curva Error standard Controles Externos . 666 Controles Internos . 706 Curva *Receiver Operating Characteristic Curve Intervalo de confianza 95% Límite Inferior Límite Superior . 034 . 599 . 734 . 033 . 642 . 770

Línea de Base Historia de vida n Comportamientos Actitudes y Practicas frente al uso de violencia n Proyecto de vida n

Historia de vida Situaciones que se han presentado en su familia Discusiones continuas entre padres o pareja 49 48 38 63 Discusiones continuas entre padres e hijos 58 51 20 Amenaza a algún miembro de la familia por parte de otro 23 12 43 Prohibiciones para relacionarse con alguien* 57 40 35 Tratos físicos que impliquen puñetazos bofetadas, patadas, pellizcos, etc. * 26 18 Intervenidos Controles Internos 7 6 Heridas con objetos corto punzantes o armas de fuego 3 Controles Externos 2 Agresiones sexuales 6 0 25 50 Situaciones que se han presentado en la familia de los jóvenes (%) 75

Continuación 37 Muerte violenta de algún familiar* 38 18 23 Desaparición de un familiar* 12 12 Familiares juzgados por haber cometido delitos 25 Intervenidos Controles Internos 23 16 Consumo de drogas marihuana, bazuco, roche, coca por algún miembro del hogar Controles Externos 19 10 18 Consumo excesivo de alcohol por algún miembro del hogar 33 35 36 0 10 20 30 40 Situaciones que se han presentado en la familia de los jóvenes (%)

Indicador 1 Cambios en la valoración de los vínculos familiares

Valoración de los vínculos familiares Diseño: antes y después Indicador 1 Contexto de alto riesgo Item Relación con el padre Relación con la madre Relación con los hermanos Puede contar con la familia cuando la necesita Cambio + No hubo + + Sig. Exacta (Unilateral) 0. 000 0. 377 0. 008 0. 052 Libertad Asistida Item Cambio Sig. Exacta (Unilateral) Relación con el padre No hubo 0. 063 Relación con la madre No hubo 0. 500 Relación con los hermanos No hubo 0. 391 Puede contar con la familia cuando la necesita No hubo 0. 125

Indicador 2 Cambio en sus creencias en cuanto a la validación del uso de la violencia

Diseño: antes y después Indicador 2 Bajar validación de la violencia Item En las relaciones con el otro Tendencia a la agresividad Autocontrol del enojo Reconocimiento de estados de ánimo. Conciencia de si mismo Bajo nivel de tolerancia : personas que no comparten mi punto de vista Disposición a la escucha Sueños futuros Contexto de alto riesgo No hubo + + No hubo + Sig. Exacta (Unilateral) 0. 131 0. 003 0. 007 0. 388 0. 000 No hubo 0. 466 + + 0. 009 0. 000 Cambio Libertad Asistida Cambio + No hubo + + No hubo Sig. Exacta (Unilateral) 0. 000 0. 254 0. 014 0. 022 0. 060 + 0. 007 No hubo + 0. 109 0. 000

Violencia Social 0 Intervenidos En ocasiones hay que gritar a las personas para que entiendan Controles Internos Controles Externos Intervenidos Hay problemas que sólo se solucionan con golpes* 40 34 60 80 100 4 31 5 25 4 50 Controles Internos 25 57 Controles Externos Intervenidos Si alguien comete un robo, merece ser golpeado** 20 11 53 18 49 Controles Internos 41 Controles Externos 41 * Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: Totalmente en desacuerdo ** Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: Totalmente en desacuerdo 18 3 En desacuerdo 11 Totalmente en desacuerdo

Continuación 0 20 Intervenidos Portar un arma hace que una persona esté más segura Pertenecer a un grupo o pandilla es bueno porque así todos te respetan* 54 Intervenidos 54 Controles Internos 14 32 20 59 37 39 Controles Internos 23 54 33 100 14 70 Controles Externos 80 24 57 Controles Externos 60 49 Controles Internos Intervenidos Una persona tiene derecho a matar para defender su familia** 40 10 23 * Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: En desacuerdo y en Totalmente en desacuerdo ** Diferencias porcentuales en entre Intervenidos y controles internos en la categoría: En desacuerdo y en Totalmente en desacuerdo En desacuerdo Totalmente en desacuerdo

Resultados Valoración Costo- beneficio

Razones por las que no aportaría Razones por las que no Haría Ningún Aporte n % No cuenta con el dinero suficiente para hacer aportes 61 20, 27 La inversión es obligación del gobierno municipal 20 6, 64 No le preocupa el tema 1 0, 33 Preferiría dar dinero para la solución de otros problemas 1 0, 33 El proyecto no es la mejor vía para solucionar el problema de violencia juvenil 1 0, 33 13 4, 32 7 2, 33 197 65, 45 La plata se pierde Otra. ¿Cuál? 9. No aplica

Variables Significativas en el Modelo de DAP VARIABLE COEFICIENTE ERROR STND. P-VALOR Constante 2. 42940822 . 35646699 . 0000 Precio de Oferta -. 44121455 . 03228878 . 0000 Edad -. 01828710 . 00665422 . 0060 Empleo . 91617090 . 29495227 . 0019

Costos Totales COSTOS TOTALES Precio Mercado % Precio Sombra TOTAL $ 945. 235. 469 100% $748. 565. 463 Ajuste por Inflación $1. 215. 966. 585 $ 987. 259. 035 Nº DE BENEFICIARIOS DIRECTOS 438 COSTO POR BENEFICIARIO $ 2. 254. 016

Beneficios Totales BT = DAP * No. Hogares * Meses BT = $4. 003 * 634. 423 * 12 BT = $30. 475. 143. 228, 00 Beneficios Netos VPN = B T- CT (Del periodo 1 al n) VPN = $30. 475. 143. 228, 00 - $987. 259. 035, 00 VPN = $ 29. 487. 884. 192, 00

Conclusiones Lecciones aprendidas en cuanto a la valoración costo-beneficio Para futuras intervenciones se recomienda la existencia y disponibilidad de información completa para la evaluación- líneas de base- sistematización de las intervenciones ? Los educadores se convirtieron en un referente positivo para los jóvenes y la comunidad. n

Conclusiones Lecciones aprendidas en cuanto a la valoración costo-beneficio n Esta metodología permite conocer la valoración que hace la comunidad de unos beneficios obtenidos para una población particular n La técnica de Valoración contingente ha permitido estimar unos altos beneficios de implementar un proyecto que interviene jóvenes en situación de riesgo por violencia Una de las garantías de éxito de este tipo de proyectos es la continuidad en la intervención, la posibilidad de que nuevos jóvenes se involucren en el proceso n n Se pudo verificar que el nivel de ingreso y variables correlacionadas como el nivel de educación, estrato y pago de servicios públicos están relacionados directamente con la DAP