Estadstica inferencial Anlisis de regresin Matemticas para Computacin
- Slides: 168
Estadística inferencial; Análisis de regresión Matemáticas para Computación Dr. Felipe Orihuela-Espina
Contenidos 1. La gráfica de dispersión 2. Regresiones y correlaciones 3. Modelo General Lineal 4. Transformaciones de variables © 2012 -6. Dr. Felipe Orihuela-Espina 2
Lecturas recomendadas § Dean, A and Voss, D. Design and Analysis of Experiments. Springer (1999) § De. Groot, M- H. y Schervish, M. -J. Probability and Statistics. 4 a Ed. 2012 § Martin Bland “An introduction to Medical Statistics” Oxford Medical Publications, 3 rd Edition (2000) 405 pgs § Análisis de regresión § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied Regression Analysis: A research tool” 2 nd Ed. Springer (1998) § http: //link. springer. com/content/pdf/bfm%3 A 978 -0 -387 -22753 -5%2 F 1. pdf § Enlace vigente a 9 -Nov-2015. § Faraway, J-J “Practical regression and ANOVA using R” (2002) § Chatterjee, S y Simonoff, J-S (2013) “Handbook of regression analysis” John Wiley and Sons § http: //people. stern. nyu. edu/jsimonof/Regression. Handbook/ § Enlace vigente a 9 -Nov-2015. § ☞ Viendo la tabla de contenidos, este sería mi estándar…desafortunadamente no tengo acceso al libro. © 2012 -6. Dr. Felipe Orihuela-Espina 3
Lecturas recomendadas § Transformación de variables: § Rawlings (1998) “Applied Regression Analysis: A research tool” 2 nd Ed. Cap 12. § Bland y Altman (1996) “Transformations, means, and confidence intervals” BMJ 312: 1079 § Osborne, Jason (2002). “Notes on the use of data transformations”. Practical Assessment, Research & Evaluation, 8(6): 11 pp © 2012 -6. Dr. Felipe Orihuela-Espina 4
ALGUNAS DEFINICIONES PRELIMINARES © 2012 -6. Dr. Felipe Orihuela-Espina 5
Variables dependientes e independientes § En general, la ciencia busca explicar fenómenos de la naturaleza y/o la sociedad. § Esta explicación se ofrece en términos de relaciones entre un fenómeno observado (efecto) como consecuencia de su posible origen (causas)*. § En estas relaciones: § Las causas son independientes del efecto § Los efectos dependen de las causas * Sin implicar necesariamente causalidad… © 2012 -6. Dr. Felipe Orihuela-Espina 6
Variables dependientes e independientes § Al diseñar un experimento o estudio observacional lo hacemos de forma que variamos de forma controlada alguna causa para provocar un cambio hasta cierto punto predecible en el efecto. § Las relaciones entre causas y efectos no tienen por que ser deterministas. § Tanto las causas como el efecto las “codificamos” en forma de variables (deterministas o aleatorias) © 2012 -6. Dr. Felipe Orihuela-Espina 7
Variables dependientes e independientes § Variable independiente es cualquier variable (factor, o condición) cuyo valor se puede elegir y/o manipular de forma arbitraria. § a. k. a: indicador, pronosticador, variable explicativa, § exógena, regresor En ciertos experimentos, o en estudios observacionales quizás no podamos interferir para manipular la variable a voluntad, pero la definición sigue siendo válida ya que si estamos en posibilidades de “elegir” las condiciones (tiempo, lugar, etc) en que se lleva a cabo el experimento. § A menudo es aquello que pensamos como causas del fenómeno § Más adelante veremos en detalle que es un factor y una condición. Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml Puedes encontrar otra buena definición alternativa y algo más formal en: http: //www. mathwords. com/i/independent_variable. htm © 2012 -6. Dr. Felipe Orihuela-Espina 8
Variables dependientes e independientes § Variable independiente § Observa que la definición anterior no tiene nada que ver con la definición de independencia probabilística/estadística (P(A⋂B)=Pr(A)Pr(B)) § Es factible y válido diseñar un experimento donde las variables independientes desde el punto de vista factorial, no sean independientes entre si en el sentido probabilístico. © 2012 -6. Dr. Felipe Orihuela-Espina 9
Variables dependientes e independientes § Variable dependiente a cualquier variable (observación o desenlace) cuyo valor es resultado de nuestro experimento o estudio § a. k. a. : variable respuesta, variable explicada, § endógena A menudo es aquello que pensamos como efectos del fenómeno § Puede o no ser consecuencia de la variable independiente § …pero esa relación es la que buscas demostrar o refutar en tu experimento o estudio Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml Puedes encontrar otra buena definición alternativa y algo más formal en: http: //www. mathwords. com/d/dependent_variable. htm © 2012 -6. Dr. Felipe Orihuela-Espina 10
Variables dependientes e independientes § Variable controladas es cualquier variable independiente cuyo valor se fija a una constante y al que no se le permite variar de cara al experimento. § A menudo es aquello que pensamos como posibles causas adicionales del fenómeno pero en la que no estamos directamente interesados en el experimento, y por tanto debemos controlar. Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml © 2012 -6. Dr. Felipe Orihuela-Espina 11
Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Apertura del grifo Variable dependiente – Caudal de agua Variable controlada – Presión del agua © 2012 -6. Dr. Felipe Orihuela-Espina 12
Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – x Variable dependiente – y Variable controlada – b © 2012 -6. Dr. Felipe Orihuela-Espina 13
Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Intensidad del laser Variable dependiente – Temperatura del café Variables controlada – Tiempo de irradiación y longitud de onda © 2012 -6. Dr. Felipe Orihuela-Espina 14
Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Nivel educativo Variable dependiente – Riqueza económica Variables controlada – Riqueza heredada, clase social, sector laboral (construcción, banca, etc) © 2012 -6. Dr. Felipe Orihuela-Espina 15
Variables dependientes e independientes § Un caso (a. k. a. unidad observacional) es el conjunto de valores específicos que toman las variables (independientes, dependientes y controladas) en una determinada ejecución de un experimento o estudio. § …o sea, una observación junto con las condiciones que la generaron § Un experimento o estudio puede estar conformado por muchos casos. § A menudo la notación matemática es un subíndice, e. g. yi § Los casos pueden incluso ser idénticos entre si en términos de las variables independientes y controladas § …y si el experimento o estudio es aleatorio, dos casos idénticos pueden resultar en observaciones diferentes. Definición propia © 2012 -6. Dr. Felipe Orihuela-Espina 16
Variables dependientes e independientes § Casos: Cada fila es un caso. § Ejemplo: Apertura del grifo Presión del agua Caudal de agua 13 mm 500 KPascales 5 l/s 15 mm 500 KPascales 6 l/s 17 mm 500 Kpascales 7 l/s Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 17
Variables dependientes e independientes § Casos: § Ejemplo: x b y 3 5 3 m+5 5 5 5 m+5 7 5 7 m+5 © 2012 -6. Dr. Felipe Orihuela-Espina 18
Variables dependientes e independientes § Casos: § Ejemplo: Intensidad del laser Tiempo de irradiación Temperatura del café 6 Watt/m 2 15 seg 25°C 8 Watt/m 2 15 seg 32°C 12 Watt/m 2 15 Seg 37°C Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 19
Variables dependientes e independientes § Casos: § Ejemplo: Nivel educativo Riqueza heredada Riqueza económica Bachiller Entre el 40% de 5000 USD los ingresos más bajos del país Licenciatura Entre el 40% de 10000 USD los ingresos más bajos del país Maestría Entre el 40% de 47000 USD los ingresos más bajos del país Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 20
Parámetros § El término parámetro en estadística es polisémico: § En general: Parámetro son las variables controladas § A menudo: Parámetros son todas las variables independientes § En regresión: Parámetros son los coeficientes de variación de cambio entre las variables dependientes y las independientes § …como veremos, los βi © 2012 -6. Dr. Felipe Orihuela-Espina 21
LA GRÁFICA DE DISPERSIÓN © 2012 -6. Dr. Felipe Orihuela-Espina 22
Espacio § Ya sabemos: § Un espacio es un conjunto con una estructura añadida. § Un espacio Euclídeo (a. k. a. espacio Cartesiano) es el espacio de todas las ntuplas de valores reales. § Normalmente se denota ℝn. * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 23
Dimensión § Topología es el estudio de las propiedades de los objetos, y la preservación de estas propiedades a través de la deformación del objeto. § La dimensión o dimensionalidad de un objeto es una medida topológica del tamaño (¿número? ) de sus propiedades. § Un punto es un objeto 0 -dimensional, léase sin propiedades (por ejemplo carece de área, volumen, longitud, etc) © 2012 -6. Dr. Felipe Orihuela-Espina 24
Geometría § La geometría es el estudio de figuras (puntos, rectas, planos, curvas, superficies, etc) en un espacio con un determinado número de dimensiones. § La geometría Euclídea o Cartesiana es el estudio de las propiedades geométricas en espacios Euclídeos. * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 25
Coordenada § Una coordenada es una variable que fija (total o) parcialmente la localización de un objeto geométrico en el espacio. § Un sistema de coordenadas es un conjunto de variables (funciones) que permiten fijar totalmente la localización de objetos geométricos en el espacio. § Al número mínimo de coordenadas necesarias para especificar un punto del espacio se le denomina dimensión. § Observa que esta definición es análoga a la anterior definida a § partir de la topología. ¡El punto es 0 -dimensional, no el espacio! En otras palabras es el espacio el que a través de su estructura provee de soporte para un número de propiedades. © 2012 -6. Dr. Felipe Orihuela-Espina 26
Sistema de coordenadas Cartesiano § El sistema de coordenadas Cartesiano es un sistema de coordenadas que especifica la localización de objetos en espacios Euclídeos o Cartesianos en forma de conjunto de coordenadas numéricas donde las coordenadas son reflejo de los atributos que representan al objeto y perpendiculares entre si. § Observa que este no se llama sistema de coordenadas Euclídeo. § Los objetos en el espacio Euclídeo pueden escribirse de muchas formas; una de ellas es el sistema Cartesiano (otro por ejemplo es el sistema de coordenadas polar) * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 27
Sistema de coordenadas Cartesiano § Anécdota: § ¿Por qué la doble nomenclatura Euclidiana y § § Cartesiana excepto para el sistema de coordenadas? La geometría Euclídea fue descrito por primera vez (al completo) por Euclides mediante la suposición de un pequeño conjunto de axiomas. Euclides (325 -265 a. C. ) El sistema de coordenadas Cartesiano fue la El “Padre de la Geometría” primera relación sistemática entre la geometría Griego de Alejandría Euclídea y el álgebra. Usando el sistema de coordenadas Cartesianos, los objetos geométricos se pudieron describir por primera vez usando ecuaciones algebraicas. § La importancia del sistema de coordenadas Cartesianos en la historia de las matemáticas, y por ende en las ciencias, es simplemente inmensurable. © 2012 -6. Dr. Felipe Orihuela-Espina René Descartes (1596 -1650) Filósofo, matemático y físico 28 Francés
La gráfica de dispersión § La gráfica de dispersión es simplemente la representación en un sistema de coordenadas Cartesiano de la nube de puntos de un conjunto de datos n-dimensional § …aunque para fines prácticos eso significa 2 D o 3 D Figuras: elaboración propia © 2012 -6. Dr. Felipe Orihuela-Espina 29
La gráfica de dispersión § Por convención; la/s variable/s independiente/s se representan en los primeros ejes, y la dependiente se representan a lo largo del último eje. § 2 D: Variable independiente § § sobre abscisa; variable dependiente en ordenada 3 D: Variables independientes sobre X e Y; variable dependiente sobre Z Rara vez, por no decir nunca, se representa más de una variable dependiente a la vez. © 2012 -6. Dr. Felipe Orihuela-Espina Figuras: elaboración propia 30
La gráfica de dispersión § A veces se añade una o más línea/s de ajuste conocida como línea/s de tendencia § La línea de tendencia § normalmente representa el modelo asumido entre las variables. La presencia de una línea de tendencia no implica: § Ni que exista una relación entre § § las variables, Ni que de existir esa relación, esa sea la mejor tendencia Ni que de existir esa relación, y ser esa la mejor tendencia el ajuste sea bueno. © 2012 -6. Dr. Felipe Orihuela-Espina Figuras: fuentes varias 31
La gráfica de dispersión § A veces se añade alguna representación de la dispersión de los datos sobre la tendencia (desviación estándar, intervalos de confianza, etc…) Figura: [Olariu A 2003, Eur. J. Echocardiography, 4: 162 -168] © 2012 -6. Dr. Felipe Orihuela-Espina 32
Y más definiciones… REGRESIONES (Y CORRELACIONES) © 2012 -6. Dr. Felipe Orihuela-Espina 33
Modelado § El modelado es el desarrollo de expresiones matemáticas que describen de alguna forma el comportamiento de una variable de interés [Rawlings. JO 1998]. § El modelo puede ser determinista o estocástico. § La simulación es la generación de observaciones sintéticas a partir de un modelo matemático [Definición propia]. Modelado Modelo matemático (variables independientes) Variables de interés (dependientes) Simulación © 2012 -6. Dr. Felipe Orihuela-Espina 34
Modelado § En un modelo determinista, a partir de los valores de las variables independientes y/o los parámetros se puede calcular el valor de las variables dependientes § Y=f(X) § Dependencia funcional (sin error) § En un modelo estocástico o aleatorio, a partir de los valores de las variables independientes y/o los parámetros se puede estimar el valor esperado (esperanza) de las variables dependientes § Y=f(X)+ § Dependencia estocástica (con error) © 2012 -6. Dr. Felipe Orihuela-Espina 35
Modelado Figura de: [http: //biplot. usal. es/ALUMNOS/BIOLOGIA/5 BIOLOGIA/Regresionsimple. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 36
Modelado Valores de variables independientes y/o controladas ia c n de n e l p De ciona fun De es pen to de cá sti ncia ca Modelo determinista Modelo estocástico © 2012 -6. Dr. Felipe Orihuela-Espina Valores de variables dependientes Esperanza de variables dependientes 37
Regresión lineal univariable § En dependencia estocástica podemos llevar a cabo 2 tipos de análisis estrechamente relacionados: § Análisis de regresión § Permite definir el “tipo” (lineal, exponencial/logarítmica, § hiperbólica, etc) de relación entre las variables Produce una ecuación que describe la relación entre variables § Análisis de correlación § Permite definir el grado y consistencia de in/dependencia, o § grado de asociación, entre las variables Produce un valor que resume la fuerza de la relación entre las variables © 2012 -6. Dr. Felipe Orihuela-Espina 38
Análisis de Regresión § El análisis de regresión es un conjunto de técnicas estadísticas para estimar relaciones entre variables. § El análisis de regresión es ampliamente usado para: A. Inferencia de relaciones entre variables (modelado) y B. Predicción de nuevos desenlaces/observaciones (simulación) § El aprendizaje máquina está fuertemente relacionado con el análisis de regresión. § Ejemplo: Los clasificadores son modelos regresivos (discretos o continuos). © 2012 -6. Dr. Felipe Orihuela-Espina 39
Regresión lineal univariable § El término modelo lineal en estadística podría parecer “polisémico”*, significando cosas aparentemente distintas en distintas áreas de la estadística (ejemplo; regresión, series temporales, etc). § Sin ser demasiado estricto/formal en la definición, los modelos lineales son: § aquellos para los que existe una relación de ecuaciones lineales (aquellas en que cada término es o bien una constante o bien el producto de una constante por una única variable) entre las variables dependientes y las independientes. § … o bien, aquellos en que una reducción de la complejidad mediante transformaciones es viable. § Los modelos lineales cumplen con las propiedades de escalado (y=ax) y superposición (y=x 1+x 2) * Estrictamente, estas aparentemente diferentes definiciones son análogas, y no diferentes como pudiese parecer. Estrictamente, lineal en matemáticas significa que la aproximación de la función sólo utiliza hasta la primera derivada (Jacobina). Observa, por ejemplo, si los términos del modelo son ecuaciones © 2012 -6. Dr. Felipeque Orihuela-Espina 40 lineales como se definen aquí; sólo son derivables 1 vez.
Regresión lineal univariable (determinista) Variable dependiente Pendiente Variable independiente Intersección (Corte en el eje de ordenada) Una notación un poco más general Parámetros © 2012 -6. Dr. Felipe Orihuela-Espina 41
Regresión lineal univariable (estocástica) Modelo determinista En presencia de incertidumbre Modelo estocástico © 2012 -6. Dr. Felipe Orihuela-Espina 42
Regresión lineal univariable (estocástica) Modelo estocástico Expresando la incertidumbre (error) de forma explícita para cada observación El error es la diferencia de la observación i-ésima de su esperanza. En otras palabras, la diferencia entre la medición y el valor real (Yi-E[X]); el sesgo de la observación (independientemente del estimador). © 2012 -6. Dr. Felipe Orihuela-Espina 43
Regresión lineal multivariable (estocástica) § Para j variables independientes/ controladas: § A este se le conoce como el modelo lineal aditivo que relaciona una variable dependiente con j variables independientes. Observa que lo que no se conocen son los coeficientes βi. El modelado consiste en calcular o estimar estos coeficientes (a menudo llamados parámetros) © 2012 -6. Dr. Felipe Orihuela-Espina 44
Regresión lineal multivariable (estocástica) § En general, para n casos, se forma un sistema de ecuaciones: © 2012 -6. Dr. Felipe Orihuela-Espina 45
Regresión lineal multivariable (estocástica) § El valor estimado a partir del modelo para el i-ésimo caso sería: Básicamente; desaparece el término del error © 2012 -6. Dr. Felipe Orihuela-Espina 46
Regresión lineal multivariable (estocástica) § Cuando el modelo de regresión tiene en cuenta una única variable independiente se denomina modelo de regresión simple. § Y=β 1 x+β 0+ε § Cuando el modelo de regresión tiene en cuenta más de una única variable independiente se denomina modelo de regresión múltiple. § Y=βjxj+ …+β 1 x 1+ β 0+ε © 2012 -6. Dr. Felipe Orihuela-Espina 47
Regresión lineal multivariable (estocástica) § En una regresión múltiple el modelo relaciona varias variables independientes con una única variable dependiente. § Ejemplo: Un agente inmobiliario puede tomar datos de: § § § el tamaño de las casas, de su localización, del número de dormitorios, del ingreso promedio del vecindario, de la apariencia subjetiva del mantenimiento, etc § para saber § como cada uno de estos elementos influye en el precio de la § vivienda. que casas tienen un precio muy diferente al esperado (outliers) © 2012 -6. Dr. Felipe Orihuela-Espina 48
Regresión lineal multivariable (estocástica) § ☞¡Cuidado! La regresión múltiple es atractiva; pon cuantas variables independientes se te ocurran y posiblemente algo salga significativo § El uso indiscriminado del modelo múltiple es un abuso ya que estás “basándote” en la suerte § Por ejemplo; si pones 20 variables independientes y un nivel de significancia del 5%; casi seguro 1 te sale positiva sólo por azar! § Este efecto es aún más drástico si tienes pocas observaciones § De forma intuitiva: es difícil sacar conclusiones de un conjunto de 10 respuestas a un cuestionario de 100 preguntas. (insuficientes grados de libertad) © 2012 -6. Dr. Felipe Orihuela-Espina 49
Suposiciones § El modelo de regresión clásico impone las siguientes suposiciones: § Las observaciones de las variables independientes Xi son medidas sin error. § Las observaciones Xji e Yi están pareadas, y ambas se miden en los mismos casos. § Los errores de cada caso tienen media 0, varianza común σ2 y son independientes por pares. § …como lo único aleatorio del modelo son los errores, esto además implica que; los Yi también tiene varianza común σ2 y son independientes por pares § Para ciertas pruebas de inferencia, además; los errores se asumen que siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 50
Regresión multivariable (estocástica) § Los modelos no tienen por que ser lineales: § Lineal múltiple; normalmente con residuos Gaussianos § Polinomiales simple: § De respuesta de Poisson múltiple: § De respuesta de Bernouilli © 2012 -6. Dr. Felipe Orihuela-Espina 51
Covarianza § Quizás, las medida más sencilla para medir la asociación entre dos variables sea la covarianza. § La covarianza indica como varía una variable cuando lo hace la otra, o en otras palabras el grado de variación conjunta entre las dos variables. © 2012 -6. Dr. Felipe Orihuela-Espina 52
Covarianza § El estimador no sesgado de la covarianza para una muestra es: © 2012 -6. Dr. Felipe Orihuela-Espina 53
Covarianza § La covarianza expresa la tendencia en la relación (lineal) entre las variables § Si s. XY>0 ⇒ cuando X crece, Y crece § Si s. XY<0 ⇒ cuando X crece, Y decrece Figura de: [http: //biplot. usal. es/ALUMNOS/BIOLOGIA/5 BIOLOGIA/Regresionsimple. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 54
Covarianza § ¡La covarianza NO mide la magnitud de la relación! § …ya que es dependiente de la escala de medida § Para eso necesitamos normalizar § El coeficiente de correlación (de Pearson) es la versión normalizada de la covarianza e indica la magnitud de la asociación entre las variables. © 2012 -6. Dr. Felipe Orihuela-Espina 55
Covarianza § Ejercicio: Demostrar que la covarianza de dos variables X e Y es igual a E[XY]-E[X]E[Y] Solución: σXY = E[(X-E[X])(Y-E[Y])] =E[XY – XE[Y] – YE[X] + E[X]E[Y]] =E[XY] – E[XE[Y]] – E[YE[X]] + E[X]E[Y] =E[XY] – E[X]E[Y] – E[Y]E[X] + E[X]E[Y] =E[XY] – 2 E[X]E[Y] + E[X]E[Y] =E[XY] - E[X]E[Y] © 2012 -6. Dr. Felipe Orihuela-Espina 56
Coeficiente de correlación § El coeficiente de correlación de Pearson es un índice que mide la magnitud de la asociación lineal entre dos variables aleatorias cuantitativas, y corresponde con la normalización de la covarianza: Covarianza Desviaciónes estándar © 2012 -6. Dr. Felipe Orihuela-Espina 57
Coeficiente de correlación § Interpretación: § Si = 1 ⇒ existe una correlación positiva perfecta. § Si 0 < < 1 ⇒ existe una relación directamente § proporcional (correlación positiva). Si = 0 ⇒ no existe relación lineal. Esto no implica necesariamente que las variables son independientes; pueden existir relaciones no lineales entre las dos variables. § …realmente no tiene por que ser exactamente 0; basta con ≈0 § Si -1 < < 0 ⇒ existe una relación inversamente § proporcional (correlación negativa). Si = -1 ⇒ existe una correlación negativa perfecta. El índice indica una dependencia total entre las dos variables llamada relación inversa: cuando una de ellas aumenta, la otra disminuye en proporción constante. Fuente: [http: //es. wikipedia. org/wiki/Coeficiente_de_correlación_de_Pearson] © 2012 -6. Dr. Felipe Orihuela-Espina 58
Coeficiente de correlación Figura de: [en. wikipedia. org] © 2012 -6. Dr. Felipe Orihuela-Espina 59
Coeficiente de correlación § El coeficiente de correlación (de Pearson) es para variables cuantitativas, y por supuesto no es el único existente: § Ejemplo: Coeficiente de correlación de Spearman § El coeficiente de correlación (cualquiera): § es independiente de la escala de medida § …y por ende, permite estimar la magnitud de la asociación. § sin importar el valor, ¡no implica causalidad! § su signo es igual al de la covarianza, por lo que también permite estimar la tendencia de la relación § Si =1 o =-1 entonces la dependencia es funcional. © 2012 -6. Dr. Felipe Orihuela-Espina 60
Coeficiente de correlación § El de Pearson no es el único coeficiente de correlación que existe (sólo el más común). Aquí van algunos otros: § Spearman: para relaciones monótonas sean o no § § § lineales § Pearson sólo prueba la linearidad de la relación τ de Kendall: Correlación de rangos (orden similar de las cantidades) Goodman o Kruskall gamma: para variables ordinales Biserial puntual o simplemente biserial: Cuando la variable independiente es categórica y dicótoma § No entraremos en más detalle. © 2012 -6. Dr. Felipe Orihuela-Espina 61
Coeficiente de correlación ¡Cuidado! Esta tabla está obsoleta; por ejemplo no aparece el Tau de Kendall, o el biserial puntual. Pero no he tenido tiempo de actualizarla Tabla obtenida de: [http: //pendientedemigracion. ucm. es/info/mide/docs/Otrocorrel. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 62
Coeficiente de correlación § Ejercicio: Sean las estaturas y pesos de 10 jugadores de baloncesto: Estatura (X) 186 189 190 192 193 198 201 203 205 Peso (Y) 85 85 86 90 87 91 93 100 101 § Calcular el coeficiente de correlación de Pearson. Este ejercicio es largo, pero no es difícil. Se aconseja el uso de una calculadora. Problema obtenido de: [http: //www. ditutor. com/estadistica_2/correlacion_estadistica. html] © 2012 -6. Dr. Felipe Orihuela-Espina 63
Coeficiente de correlación § Solución: § Algunos cálculos preliminares xi yi xi 2 yi 2 xiyi 186 85 34596 7225 15810 189 85 35721 7225 16065 190 86 36100 7396 16340 192 90 36864 8100 17280 193 87 37249 7569 16791 193 91 37249 8281 17563 198 93 39204 8649 18414 201 103 40401 10609 20703 203 100 41209 10000 20300 205 101 42025 10201 20705 Total: 1950 921 380618 85255 179971 © 2012 -6. Dr. Felipe Orihuela-Espina 64
Coeficiente de correlación § Solución: § 1) Hallamos las medias muestrales: © 2012 -6. Dr. Felipe Orihuela-Espina 65
Coeficiente de correlación § Solución: § 2) Hallamos las varianzas muestrales © 2012 -6. Dr. Felipe Orihuela-Espina 66
Coeficiente de correlación § Solución: § 3) Hallamos las desviaciones estándares muestrales: © 2012 -6. Dr. Felipe Orihuela-Espina 67
Coeficiente de correlación § Solución: § 4) Hallamos la covarianza muestral: © 2012 -6. Dr. Felipe Orihuela-Espina 68
Coeficiente de correlación § Solución: § 5) Finalmente hallamos el coeficiente de correlación de la muestra Existe una correlación positiva muy fuerte entre la altura y el peso de los jugadores de baloncesto. © 2012 -6. Dr. Felipe Orihuela-Espina 69
Ajuste § El modelado consiste en estimar los parámetros βi. § En ausencia de incertidumbre o error (modelos deterministas) sería posible calcular el valor de los βi de forma exacta y explícita para cada caso, resolviendo el sistema de ecuaciones § Por supuesto necesitaríamos al menos tantas observaciones como parámetros/coeficientes. § …y además, estas observaciones (por no tener error) debieran ajustarse al modelo § Ejemplo: las observaciones caerían exactamente en una línea recta. © 2012 -6. Dr. Felipe Orihuela-Espina 70
Ajuste § El modelado consiste en estimar los parámetros βi. § En presencia de incertidumbre o error (modelos estocásticos) necesitamos una forma de combinar toda la información (léase todos los casos), para estimar los βi de forma que la solución sea óptima bajo algún criterio. § A esto se le llama ajuste del modelo § Quizás el más popular es el ajuste de mínimos cuadrados cuyo criterio de optimización consiste en reducir los residuos. § Otros ajustes posibles son: mínimas desviaciones absolutas, estimación M o de (M)áxima probabilidad, regresión robusta, least trimmed squares (LTS), etc… © 2012 -6. Dr. Felipe Orihuela-Espina 71
Residuos § El residuo del i-ésimo caso es la diferencia entre el valor observado Yi y el valor estimado : © 2012 -6. Dr. Felipe Orihuela-Espina 72
Ajuste § Ajuste por mínimos cuadrados § Denotemos a los estimados numéricos de los parámetros βi. § Sea una regresión multivariable Donde es la observación estimada a partir de los estimados © 2012 -6. Dr. Felipe Orihuela-Espina 73
Ajuste § Ajuste por mínimos cuadrados § El ajuste por mínimos cuadrados busca minimizar la suma de los cuadrados de los residuos SS(Res): Por aquello del inglés (S)um of (S)quares of (Res)iduals © 2012 -6. Dr. Felipe Orihuela-Espina 74
Ajuste § Ajuste por mínimos cuadrados § Los se calculan utilizando cálculo; se construye un sistema de j+1 ecuaciones con j+1 incógnitas simplemente derivando SS(Res) con respecto a cada (ecuaciones normales) § ☞ No entraremos en detalles, por ahora, pero volveremos a las ecuaciones normales cuando veamos el modelo general lineal. § Para saber más: § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied Regression § Analysis: A research tool” 2 nd Ed. Springer (1998) http: //scholar. lib. vt. edu/theses/available/etd-122299184429/unrestricted/S 7994 Ch 2 a. PDF § Enlace vigente a 11 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 75
Ajuste § Ajuste por mínimos cuadrados § Suposiciones: § Exogeneidad estricta (en otras palabras los residuos deben tener media 0). § Las variables independientes Xi deben ser linealmente independientes entre sí § Errores esféricos, lo que implica: § Homocedasticidad; varianza constante de los residuos § (lo veremos en más detalle un poco más adelante) No autocorrelación entre los errores (E[eiej | X ]=0 para i≠j) § Normalidad en los residuos: Los residuos siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 76
Ajuste § El ajuste por mínimos cuadrados minimiza SS(Res). § SS(Res) representa los residuos; es decir la parte de los datos no explicada por el modelo. § Por tanto, la pregunta es ¿qué tan bien representa el modelo a los datos? § A esto se le llama el coeficiente de determinación R 2. © 2012 -6. Dr. Felipe Orihuela-Espina 77
Ajuste § Coeficiente de determinación R 2: § Intuitivo: Un modelo representa mejor a los datos mientras menor sea la fracción de varianza no explicada; § …es decir la relación entre la varianza de los errores del modelo (residuos) y la varianza total © 2012 -6. Dr. Felipe Orihuela-Espina 78
Ajuste § Antes de definir el coeficiente de determinación, veamos cuánto de los datos explica el modelo: § Suma de cuadrados de los residuos (parte no explicada por el modelo) § Suma de cuadrados de la regresión (parte explicada por el modelo o en otras palabras atribuible a las variables independientes) § Suma de cuadrados totales proporcional a la varianza de la muestra (variabilidad de los datos) © 2012 -6. Dr. Felipe Orihuela-Espina 79
Ajuste § Coeficiente de determinación R 2: § Formal: § Si la varianza residual es cero, el modelo explica completamente el valor de la variable dependiente (R 2=1); si la varianza residual coincide con la varianza de la variable dependiente, el modelo no explica nada (R 2=0). § Lectura recomendada: § Martínez-Rodriguez E (2005) “Errores frecuentes en la interpretación del coeficiente de determinación lineal” Anuario Jurídico y Económico Escurialense 38: 315 -332 © 2012 -6. Dr. Felipe Orihuela-Espina 80
Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación no es el coeficiente de correlación lineal muestral r (o coeficiente de correlación de Pearson), pero está estrechamente relacionado § ☞ De hecho, como puedes imaginar; uno es el cuadrado del otro… § Lectura recomendada: § http: //dm. udc. es/asignaturas/estadistica 2/sec 6_8. h tml § Enlace vigente a 9 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 81
Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación (y por extensión el de correlación de Pearson) a menudo se usan como indicadores de la bondad o calidad del ajuste. § La bondad del ajuste describe qué tan bien un modelo se ajusta al conjunto de observaciones. En otras palabras resume la discrepancia entre los valores observados y los valores predichos por el modelo § Existen muchos indicadores o medidas de bondad de ajuste § Para saber más: § Bentler, PM and Bonnet DG (1980) “Significance Tests and Goodness of Fit in the Analysis of Covariance Structure” Psychological Bulletin 88(3): 588606 § Citado más de 12 k veces! § ☞ Yo no me lo he leído completo aún. © 2012 -6. Dr. Felipe Orihuela-Espina 82
Ajuste Figura de: [Wolfram Math. World] © 2012 -6. Dr. Felipe Orihuela-Espina 83
Poder explicativo vs poder predictivo § El poder explicativo es la habilidad de un modelo de explicar de forma efectiva (causal) el constructo que representa. § Una medida común es el coeficiente de determinación. § El poder predictivo es la habilidad de un modelo de producir nuevas observaciones (predicciones). § Una medida común es el error cuadrático medio. § Existe también el llamado poder descriptivo, referente a la habilidad de un modelo de representar de forma compacta (aproximada) un constructo § Por ejemplo en electricidad el modelo V=RI tiene un alto poder descriptivo pero no explicativo. Fuente: [Shmueli G (2010) “To explain or to predict? ” Statistical Science, 25(3): 289 -310] © 2012 -6. Dr. Felipe Orihuela-Espina 84
Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder explicativo no tiene por que tener un buen poder predictivo § …puede tener las variables correctas (que “realmente” causan a la dependiente), e incluso quizás con la forma correcta, e. g. lineal, y tener un mal ajuste (los betas encontrados no ser buenos quizás por tener pocos datos). © 2012 -6. Dr. Felipe Orihuela-Espina 85
Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder predictivo (R 2≈1) no tiene por que tener un buen poder explicativo § …puede haber un sobre ajuste local § …es decir, los valores que predice el modelo pueden estar cercanos al valor real, pero no necesariamente por que el modelo recoja la relación causal entre variables. § Una forma de evaluar el poder predictivo del modelo es mediante la observación de la gráfica de residuos. © 2012 -6. Dr. Felipe Orihuela-Espina 86
La gráfica de residuos § La gráfica de residuos presenta los valores residuales ei en función del valor predicho § Idealmente se prefieren modelos: § No sesgados, en los que § los residuos no siguen un patrón claro, y Homocedasticos, donde la varianza no varía Figura: [Elaboración propia] © 2012 -6. Dr. Felipe Orihuela-Espina 87
Homocedasticidad § Homocedasticidad: § Intuitivo: Se dice que un modelo presenta homocedasticidad si la varianza del error, léase del residuo, se mantiene constante a lo largo de las observaciones/muestras. § …en otras palabras; los residuos son aproximadamente constantes § …en caso contrario se habla de heterocedasticidad § La homocedasticidad permite simplificar cálculos/análisis © 2012 -6. Dr. Felipe Orihuela-Espina 88
Homocedasticidad § Homocedasticidad: § Formal: Sea una variable aleatoria X de la que se extraen i muestras/observaciones. Existe homocedasticidad si: No me gusta mucho esta formalización no es demasiado clara… pero es lo mejorcito que he encontrado. © 2012 -6. Dr. Felipe Orihuela-Espina 89
La gráfica de residuos Figura de: [www. r-bloggers. com] © 2012 -6. Dr. Felipe Orihuela-Espina 90
La gráfica de residuos § Ejercicio: Discutir el ajuste así como el poder predictivo y explicativo de los siguientes modelos: § a) [twu. seanho. com] § b) [http: //www. dartmouth. edu/~matc/math 30/plasma. html] a) b) © 2012 -6. Dr. Felipe Orihuela-Espina 91
La gráfica de residuos § Solución: § a) Modelo no sesgado pero heterocedástico. Su varianza es aproximadamente (a ojímetro) en torno a 230 (=(((90+20)90)^2+((80+15)-80)^2+((70+8)-70)^2)/3), lo que es aproximadamente 3 veces su media (~80). Bajo poder predictivo y explicativo. § b) Modelo insesgado (los residuos no tienen un patrón claro) y homocedástico (la varianza de los residuos es aproximadamente constante). El modelo tiene un alto poder explicativo, pero su ajuste es limitado, por lo que su poder predictivo es bajo. © 2012 -6. Dr. Felipe Orihuela-Espina 92
Análisis de regresión y causalidad § IMPORTANTE: § Los análisis de regresión y correlación NO puede ser usado como un medio para inferir causalidad*, únicamente como asociación § …esto es especialmente cierto en el caso de correlaciones § …veremos esto más a detalle en la unidad de diseño de experimentos * El análisis de regresión puede permitir inferir causalidad débil (nivel 2) en casos muy particulares/específicos y bajo circunstancias extremadamente limitadas; e. g. suposición de mundo-cerrado, etc. © 2012 -6. Dr. Felipe Orihuela-Espina 93
MODELO GENERAL LINEAL © 2012 -6. Dr. Felipe Orihuela-Espina 94
Modelo general lineal § Lecturas recomendadas: § Friston KJ et al (1995) “Statistical parametric maps in functional imaging: A general linear approach” Human Brain Mapping 2: 189 -210 § http: //www. statsoft. com/textbook/generallinear-models/ § Brien CJ (1992) “Factorial linear model analysis” Ph. D Thesis. University of Adelaide (Australia) © 2012 -6. Dr. Felipe Orihuela-Espina 95
Modelo general lineal § Ya sabemos: § El modelo linear aditivo múltiple que relaciona 1 variable dependiente con j variables independientes es: © 2012 -6. Dr. Felipe Orihuela-Espina 96
Modelo general lineal § Y también sabemos: § Para n casos, se forma un sistema de ecuaciones: © 2012 -6. Dr. Felipe Orihuela-Espina 97
Modelo general lineal § Podemos expresar el modelo de regresión múltiple anterior con matrices de una forma más compacta: § donde: Estos 1 son necesarios para la intersección con el eje de ordenadas β 0. Hay veces que el modelo se presenta sin término constante, y en consecuencia esta columna © 2012 -6. Dr. Felipe Orihuela-Espina desaparece 98
Modelo general lineal nx 1 nx(j+1) x 1 © 2012 -6. Dr. Felipe Orihuela-Espina nx 1 99
Modelo general lineal § Suposiciones: § Los errores i son: § independientes e idénticamente distribuidos § tienen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 100
Modelo general lineal § Las ecuaciones normales (aquellas que sirven para resolver mínimo cuadrados) ahora son “sencillas” de expresar: § Donde XT es la traspuesta de X § Si quieres saber exactamente como se derivan estas ecuaciones normales a partir de la fórmula anterior Y=Xβ+ puedes consultarlo en: § http: //en. wikipedia. org/wiki/Linear_least_squares_(mathematics) § #Derivation_of_the_normal_equations § Enlace vigente a 16 -Nov-2015. http: //theclevermachine. wordpress. com/2012/09/01/derivation-ofols-normal-equations/ § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 101
Modelo general lineal § Cuando las variables X son linealmente independientes (no redundantes), entonces: § la matriz XTX tiene un rango* completo, . . . § y por ende XTX es invertible. . . § y por ende existe una solución única a las ecuaciones normales. * Recordamos: El rango de una matriz es el número máximo de columnas (filas respectivamente) que son linealmente independientes (= grados de libertad efectivos; aunque normalmente los grados de libertad = rango – 1 por los términos constantes) © 2012 -6. Dr. Felipe Orihuela-Espina 102
Modelo general lineal § Resolvemos despejando las β: § Esta es una solución genérica al problema de ajuste por mínimos cuadrados © 2012 -6. Dr. Felipe Orihuela-Espina 103
Modelo general lineal § Pero regresemos un segundo a la fórmula original del modelo lineal multiregresivo: Observaciones Matriz de diseño Parámetros Error El nombre de matriz de diseño no es casual. Se refiere al diseño experimental. © 2012 -6. Dr. Felipe Orihuela-Espina 104
Modelo general lineal § El vector de observaciones Y son la mediciones de nuestra variable dependiente § La matriz de diseño X incorpora a todas aquellas variables independientes que pensamos pueden tener una relación de asociación con la variable explicada § Los parámetros β son los coeficientes de asociación entre las variables independientes y la variable explicada © 2012 -6. Dr. Felipe Orihuela-Espina 105
Modelo general lineal § Este modelo permite implementar un vasto rango de análisis estadístico § Ya que la solución es conocida mediante las ecuaciones normales, … § la clave está en la formulación correcta de la matriz de diseño X § …¡pero aún no es el modelo general lineal! © 2012 -6. Dr. Felipe Orihuela-Espina 106
Modelo general lineal § El modelo general lineal (GLM por siglas en inglés) es una generalización de los modelos regresivos lineales tales que los efectos pueden probarse para: § (1) variables independientes de tipo categórica § así como continuas, y (2) en diseños de una sola o múltiples variables dependientes § El GLM es una extensión de la regresión múltiple lineal de una única variable dependiente a múltiples variables dependientes. © 2012 -6. Dr. Felipe Orihuela-Espina 107
Modelo general lineal § En el GLM el vector de n observaciones Y se sustituye por una matriz de n observaciones y m variables dependientes © 2012 -6. Dr. Felipe Orihuela-Espina 108
Modelo general lineal § Análogamente el vector de parámetros β se reemplaza por una matriz de coeficientes de regresión con un vector β para cada una de las m variables dependientes © 2012 -6. Dr. Felipe Orihuela-Espina 109
Modelo general lineal § Finalmente, también el vector de errores hay que transformarlo a una matriz © 2012 -6. Dr. Felipe Orihuela-Espina 110
Modelo general lineal § El modelo general lineal queda: nxm nx(j+1) xm nxm § Observa que en la expresión matricial no hay diferencias con el modelo linear múltiple © 2012 -6. Dr. Felipe Orihuela-Espina 111
Modelo general lineal § “The general linear model goes a step beyond the multivariate regression model by allowing for linear transformations or linear combinations of multiple dependent variables. This extension gives the general linear model important advantages over the multiple and the so-called multivariate regression models, both of which are inherently univariate (single dependent variable) methods. One advantage is that multivariate tests of significance can be employed when responses on multiple dependent variables are correlated. Separate univariate tests of significance for correlated dependent variables are not independent and may not be appropriate. Multivariate tests of significance of independent linear combinations of multiple dependent variables also can give insight into which dimensions of the response variables are, and are not, related to the predictor variables. Another advantage is the ability to analyze effects of repeated measure factors. Repeated measure designs, or within-subject designs, have traditionally been analyzed using ANOVA techniques. Linear combinations of responses reflecting a repeated measure effect (for example, the difference of responses on a measure under differing conditions) can be constructed and tested for significance using either the univariate or multivariate approach to analyzing repeated measures in the general linear model. ” § [http: //www. statsoft. com/textbook/general-linear-models/#reg_extension] © 2012 -6. Dr. Felipe Orihuela-Espina 112
Modelo General Lineal § Ejercicio: Suponga que el coste de rentar una camioneta por un día es de 500 pesos más 4 pesos por km realizado. § ¿Cuál es el coste final de la renta si el conductor hace un total de 32 km? Solución: Siendo d el kilometraje realizado, el coste de la renta C se puede expresar como: C=4 d+500 Por lo que si se realizaron d=32 km, entonces; C=4· 32+500=628 MXN Ejercicio adaptado de: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 113
Modelo General Lineal § Ejercicio: El censo de población de una ciudad en 1990 era de 415184 habitantes. Esta ciudad creció hasta los 447441 habitantes en el censo del año 2000, y hasta los 501169 habitantes en 2010. § a) ¿Qué tasa de crecimiento lineal tiene? § b) Si mantiene esa tasa de crecimiento lineal ¿Cuál sería la población estimada en 2020? Recuerda: la inversa de una matriz es X-1= (adj(X)/det(X) donde adj(X)=cof(X)T* *Se supone que en la parte previa de álgebra debisteis haber visto el cálculo de la inversa. Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 114
Modelo General Lineal § Ejercicio: Solución: § Empecemos observando la gráfica de dispersión: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 115
Modelo General Lineal § Ejercicio: Solución: § Primero planteamos el problema: § La variable independiente es el año; § La variable dependiente es la población: § El modelo lineal queda como: y=β 1 x 1+β 0+ § … de forma concisa: Y=βX+ § Donde: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 116
Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 117
Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 118
Modelo General Lineal § Ejercicio: Solución: § Calculamos la matriz de cofactores: § Donde Mij son los menores de cada elemento, i. e. el determinante de la submatriz resultante de eliminar la fila i-esima y la columna j-esima. § Y a partir de esta, la adjunta: § Que en este caso en particular queda igual que la de cofactores. Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 119
Modelo General Lineal § Ejercicio: Solución: § Ahora podemos calcular la inversa de XTX: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 120
Modelo General Lineal § Ejercicio: Solución: § Finalmente, calculamos los β: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 121
Modelo General Lineal § Ejercicio: Solución: § Así se ve nuestro modelo: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 122
Modelo General Lineal § Ejercicio: Solución: § b) Aquí se trata de una simple inferencia; § y = 4, 299. 249·x 1 - 8, 143, 901, 99 § y = 4, 299. 249· 2020 - 8, 143, 901, 99 § y = 540, 580, 99 540, 581 habitantes en 2020 Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 123
Modelos de efecto fijo, aleatorio y mixto § Los modelos clásicos contienen un único elemento de error; el error aleatorio. Todas los demás efectos se consideran fijo. § En estos modelos, la suposición de independencia de los errores εi implica la independencia de las observaciones Yi. § A estos modelos se les llama modelos fijos o modelos de efectos fijos. © 2012 -6. Dr. Felipe Orihuela-Espina 124
Modelos de efecto fijo, aleatorio y mixto § Los modelos en los que todos los efectos se suponen que son aleatorios se conocen como modelos de efecto aleatorio o modelos aleatorios. § Los modelos que contienen efectos tanto fijos como aleatorios se conocen como modelos de efecto mixto o modelos mixtos. § No entraremos en más detalles. Para saber más: § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied § Regression Analysis: A research tool” 2 nd Ed. Springer (1998) Cap 18. Brien CJ (1992) “Factorial linear model analysis” Ph. D Thesis. University of Adelaide (Australia) © 2012 -6. Dr. Felipe Orihuela-Espina 125
TRANSFORMACIONES DE VARIABLES © 2012 -6. Dr. Felipe Orihuela-Espina 126
Transformación de variables © 2012 -6. Dr. Felipe Orihuela-Espina 127
Transformación de variables § “It is not an overstatement to say that statistics is based on various transformations of data. Basic statistical summaries such as the sample mean, variance, z-scores, histograms, etc. , are all transformed data. Some more advanced summaries, such as principal components, periodograms, empirical characteristic functions, etc. , are also examples of transformed data. ” [Vidakovic, B, 2012] § Vidakovic, B (2012) “Transforms in Statistics” Springer Handbooks of Computational Statistics, pp 203 -242 (Cap. 8) § ☞ Esta lectura se desvía un poco del tema y trata con otras transformadas (Fourier, wavelets, coseno, Hilbert, etc), pero es bastante interesante © 2012 -6. Dr. Felipe Orihuela-Espina 128
Transformación de variables § “Most statistics textbooks say little about transformation. Most scientific papers do not mention it. I first encountered the idea that transformation was very important in John Tukey’s Exploratory Data Analysis [2] , which devoted an early chapter to it and returned to the topic several times in later chapters. Tukey believed that a set of data rarely comes to us in the best form (scale) for analyzing it—for discovering the regularities it contains. We can usually find a better form. I decided that Tukey was right, and 1000 textbooks wrong, when I found, again and again, that transforming my data made it much easier to work with. It was like sharpening a knife. Choosing a good transformation really was as important as Tukey said. ” [Roberts S 2008] § Roberts S (2008) “Transform your data” Nutrition 24: 492 -494 § El libro mencionado es: § Tukey JW. (1977) Exploratory data analysis. Ed. Pearson. 1 st Ed. 688 pgs. § ☞ No he tenido acceso al libro , pero es frecuentemente citado por otros autores © 2012 -6. Dr. Felipe Orihuela-Espina 129
Transformación de variables § Las transformaciones de variables permiten: § Simplificar relaciones § Estabilizar varianzas § …y en consecuencia eliminar la heterocedasticidad § Mejorar la normalidad § Reducir problemas de falta de independencia § …y en general, para ajustarse más fielmente a las suposiciones de una prueba inferencial. © 2012 -6. Dr. Felipe Orihuela-Espina 130
Transformación de variables Umbra pygmaea Histograms of number of of the fish species Umbra pygmaea (Eastern mudminnow) in Maryland streams per 75 m section of stream (samples with 0 mudminnows excluded). Untransformed data on left, log-transformed data on right. Fuente: [http: //udel. edu/~mcdonald/stattransform. html] © 2012 -6. Dr. Felipe Orihuela-Espina 131
Transformación de variables § Las transformaciones de variables pueden ser: § Lineales § Involucran únicamente sumas, restas multiplicaciones y divisiones. § No afectan al tamaño del efecto § Los valores r, t y F se mantienen tras la transformación § No lineales § Involucran operaciones exponenciales (raíces, logaritmos, etc) § Incrementan la simetría de los datos (reducen la asimetría) § Pueden afectar al tamaño del efecto § Los valores r, t y F pueden cambiar como resultado de la transformación © 2012 -6. Dr. Felipe Orihuela-Espina 132
Transformación de variables § Una transformación apropiada puede extender la aplicabilidad de procedimientos inferenciales, por ejemplo el ajuste por mínimos cuadrados, como consecuencia de la mejor conformidad con las suposiciones. § ¡Cuidado! § Al igual que una transformación apropiada puede § aliviar situaciones o escenarios no deseables, …aplicar una transformación donde está situaciones no estaban presentes puede resultar en la aparición de situaciones o escenarios no deseables. © 2012 -6. Dr. Felipe Orihuela-Espina 133
Transformación de variables § Guías al llevar a cabo transformaciones de variables [Hair 1998 en Munro. BH 2005, pg 50] 1. 2. 3. 4. § Para que una transformación tenga un efecto “visible” el ratio entre la media de la variable y su desviación estándar debe ser menos de 4. 0 Si una transformación se puede aplicar a más de una variable, aplicalá en aquella con el menor ratio de la guía #1. Las transformaciones deben aplicarse preferentemente en la variable independiente 1. …excepto en caso de heterocedasticidad 2. La heterocedasticidad únicamente puede corregirse modificando la variable dependiente Las transformaciones pueden modificar como se interpretan los valores 1. Las variables transformadas pueden ser más difíciles de interpretar 2. …esto es especialmente cierto si las escala original es ampliamente conocida Munro BH (2005) “Statistical methods for health care research” Volume 1, Lippincott Williams & Wilkins © 2012 -6. Dr. Felipe Orihuela-Espina 134
Transformación de variables § Una transformación de variable es una función: Esta de finición es tan c como g orrecta e n e r a l realme nte no por lo que Veamoi añade much s algun o… transfo a s d e las rmacio nes má s comu nes § …donde cada observación Y se reemplaza por su valor transformado. © 2012 -6. Dr. Felipe Orihuela-Espina 135
Transformación de variables § No es una buena práctica reportar las estadísticas (media, varianza, etc) en las unidades transformadas § Por tanto, a menudo las transformaciones son invertibles y continuas. § Abuso: Las transformaciones NO son una forma de salirte con la tuya y aplicar el proceso inferencial que más te gusta © 2012 -6. Dr. Felipe Orihuela-Espina 136
Transformación de variables § Entre modelos estadísticos, se considera más sencillo aquel con menos parámetros i. e. modelos más compactos. § Modelos lineales se consideran más sencillos que modelos curvilíneos § Muchos modelos no lineales en los parámetros se pueden linearizar, léase reexpresar como una función lineal de los parámetros, mediante una transformación apropiada. © 2012 -6. Dr. Felipe Orihuela-Espina 137
Transformación de variables § Transformada del valor z (o estandarización): § Tiene 2 estimadores comunes: § Re-expresa los valores en términos de desviaciones estándar a la media. § Ejemplo: Un valor con un z-valor igual a 1 es que se encontraba a 1 desviación estándar de la media. © 2012 -6. Dr. Felipe Orihuela-Espina 138
Transformación de variables § Transformada del valor z: § Estrictamente, el valor z sólo está definida sobre los parámetros poblacionales. § Usar la “versión” muestral tiene ciertas implicaciones § El valor z muestral es equivalente/igual al valor t de Student § La media de los z-valores muestrales puede ser mayor o menor a 0 dependiendo de la muestra, y análogamente la desviación estándar puede ser mayor o menor a 1 © 2012 -6. Dr. Felipe Orihuela-Espina 139
Transformación de variables § Transformada del valor z: § Al valor z se le conoce también como: § Valor estándar § Valor normal* § Variable estandarizada § A la transformada también se la conoce como: § Tipificación § Normalización § Estándarización *A la distribución normal también se la conoce como la distribución Z © 2012 -6. Dr. Felipe Orihuela-Espina 140
Transformación de variables § Transformada del valor z: Figura de: [www. animatedsoftware. com] © 2012 -6. Dr. Felipe Orihuela-Espina 141
Transformación de variables § Transformada del valor z: Figura de: [whatilearned. wikia. com] © 2012 -6. Dr. Felipe Orihuela-Espina 142
Transformación de variables § Ejercicio: La cosecha de los manzanos de una finca presentan una distribución normal con media 42. 4 kilos y desviación estándar 6. 1 kilos. § a) Un manzano de esta finca dio 35 kilos de § manzanas. ¿Qué tan buena es su producción con respecto al resto? b) Si un árbol está 1. 85 desviaciones estándar por encima de la media, ¿cuál es su producción? § Tabla de valores z en línea: § http: //www. regentsprep. org/Regents/math/algtrig/ATS 7/ ZChart. htm § Enlace vigente a 06 -Nov-2016. Problema modificado de: [http: //www. oswego. edu/~srp/158/Normal%20 Models/Z-Scores. pdf] Enlace vigente a 6 -Nov-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 143
Transformación de variables § Solución: § a) Z=(35 – 42. 4)/6. 1 =-7. 4/6. 1 = -1. 21. § El árbol está por debajo de la media. En particular (y consultando las tablas z) se encuentra en el 0. 50. 1131= 38. 69% § b) El árbol está por encima de la media; en particular: § X= 42. 4 + 1. 85(6. 1) = 53. 685 kilos Problema modificado de: [http: //www. oswego. edu/~srp/158/Normal%20 Models/Z-Scores. pdf] Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 144
Transformación de variables § Transformación logarítmica: § Sea un modelo exponencial § Este modelo se puede linearizar tomando logaritmos en ambos lados: © 2012 -6. Dr. Felipe Orihuela-Espina 145
Transformación de variables § Transformación logarítmica: § El logaritmo puede ser natural o en otra base. § La transformación logarítmica es quizás la más ampliamente utilizada, después de la transformada z. § Es especialmente útil cuando la media está relacionada con la varianza (medias mayores acompañadas de mayores varianzas) § …normalmente, la transformación logarítmica remedia esta situación y hace que la varianza sea independiente de la media § La transformación logarítmica a menudo corrige problemas de heterocedasticidad y falta de normalidad. § …en este sentido, se dice que una variable tiene una distribución lognormal si sus valores tras una transformación logarítmica siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 146
Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Miles JCH 2012, Journal of radiological protection, 32(3): 275] © 2012 -6. Dr. Felipe Orihuela-Espina 147
Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Bland y Altman 1996, BMJ 312: 1079] © 2012 -6. Dr. Felipe Orihuela-Espina 148
Transformación de variables § Transformación logarítmica: § ¿Qué hago cuando tengo valores negativos? § Tienes al menos 2 opciones comunes: § Desplazar y luego transformar § Usa valores faltantes como la transformada de los valores negativos § Para saber más: § http: //blogs. sas. com/content/iml/2011/04/27/logtransformations-how-to-handle-negative-data-values/ § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 149
Transformación de variables § Transformación de raíz cuadrada: § Esta transformación consiste en tomar la raíz cuadrada de cada observación: Asimetría positiva Asimetría negativa § Si los valores de la distribución original incluyen el 0 a menudo se “desplaza” cada observación añadiendo ½. © 2012 -6. Dr. Felipe Orihuela-Espina 150
Transformación de variables § Transformación de raíz cuadrada: § Permite estabilizar la varianza, reducir la asimetría y a menudo también reducir la curtosis § Es muy útil como transformación de escala. § Si hay observaciones negativas se debe añadir una constante (la raíz de un valor negativo es un número complejo) § Es útil cuando la distribución original es de Poisson (cuando los datos son conteos). § …la media y la varianza no son independientes sino que varían de forma idéntica § Lectura recomendada: § Bartlett MS (1936) “The square root transformation in analysis of § variance” Supplement to the Journal of the Royal Statistical Society 3(1): 68 -78 Osborne, Jason (2002). “Notes on the use of data transformations”. Practical Assessment, Research & Evaluation, 8(6): 11 pp © 2012 -6. Dr. Felipe Orihuela-Espina 151
Transformación de variables § Efecto en la distribución © 2012 -6. Dr. Felipe Orihuela-Espina Figura de: [http: //www. geos. ed. ac. uk/homes/thompson/splus/] § Transformación de raíz cuadrada: 152
Transformación de variables § Transformación inversa: § Esta transformación consiste en tomar el valor inverso de cada observación: § Esta transformación revierte el orden de los z valores por lo que es necesario tomar el reflejo (multiplicar la variable por -1) antes de aplicar la transformación. § …a veces se le llama la reflejada inversa. § Normalmente además es necesario añadir una constante para llevar el valor mínimo por encima de 1. 0 © 2012 -6. Dr. Felipe Orihuela-Espina 153
Transformación de variables § Transformación inversa: § Permite convertir números pequeños en números grandes y viceversa § Permite corregir asimetrías severas © 2012 -6. Dr. Felipe Orihuela-Espina 154
Transformación de variables § Transformación inversa: § Efecto en la distribución Figura de: [http: //pulchrifex. wordpress. com/2010/04/23/statistics-of-first-novel-publication/] © 2012 -6. Dr. Felipe Orihuela-Espina 155
Transformación de variables § Transformaciones Box-Cox: § Las transformaciones Box-Cox son una familia de transformaciones para respuestas no negativas. Donde: • K 2 es la media geométrica de los Yi, y • K 1 es igual a: © 2012 -6. Dr. Felipe Orihuela-Espina 156
Transformación de variables § Transformaciones Box-Cox: § Permiten reducir anomalías tales como no aditividad, no normalidad (en general) y heterocedasticidad § Incluye como casos especiales a las transformación recíprocas, logarítmicas y de raíces cuadradas © 2012 -6. Dr. Felipe Orihuela-Espina 157
Transformación de variables § Transformaciones Box-Cox: Ejemplo de uso para corrección de asimetría derecha Gráficas de normalidad de Box-Cox: • Eje Abscisa: Value for λ • Eje Ordenada: Coeficiente de correlation del grafo de probabilidad normal (el QQ plot cuando la distribución asumida es la normal) tras aplicar la transformación Box-Cox. La correlación se calcula entre los ejes de abscisa y ordenada del grafo de probabilidad. Esta correlación representa una medida conveniente de la linearidad de la probabilidad Figura de: [http: //www. itl. nist. gov/div 898/handbook/eda/section 3/boxcoxno. htm] © 2012 -6. Dr. Felipe Orihuela-Espina 158
Transformación de variables § Transformaciones Box-Cox: Normal Probability (QQ-)Plot © 2012 -6. Dr. Felipe Orihuela-Espina Figura de: [onlinestatbook. com] Este es el valor de λ 159
Transformación de variables § Transformaciones Box-Cox: Figura de: [http: //www-stat. stanford. edu/~olshen/manuscripts/selenite/node 6. html] © 2012 -6. Dr. Felipe Orihuela-Espina 160
Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para corrección de asimetría derecha con regiones “no muestreadas” (¡ojo! podrían ser realmente no existentes) Figura de: [http: //gildrops. com/box-cox-transformation-for-normalizing-data/] © 2012 -6. Dr. Felipe Orihuela-Espina 161
Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para corrección de doble cola Figura de: [http: //documentation. statsoft. com/STATISTICAHelp. aspx? path=Spreadsheets/Spreadsheet /Using. Spreadsheets/Box. Cox. Transformation. Overviewand. Technical © 2012 -6. Dr. Felipe Orihuela-Espina Notes] 162
Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para “hombro” Figura de: [http: //www. sisef. it/iforest/contents/? id=ifor 0597 -004] © 2012 -6. Dr. Felipe Orihuela-Espina 163
Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para “no se ni como llamar a esta cosa horrible” Figura de: [http: //www. ivtnetwork. com/article/methodology-assessing-productinactivation-during-cleaning-part-ii-setting-acceptance-limits] © 2012 -6. Dr. Felipe Orihuela-Espina 164
Transformación de variables § Transformaciones Box-Cox: § Para saber más: § Rawlings (1998) “Applied Regression Analysis: A research tool” 2 nd Ed. Cap 12 § Spitzer JJ (1982) “A primer on Box-Cox estimation” The review of Economics and Statistics, 64(2): 307 -313 § Sakia, RM (1992) “The Box-Cox transformation technique: a review” The Statistician 41: 169 -178 § Gurka, MJ (2006) “Extending the Box-Cox transformation to the linear mixed model” Journal of the Royal Statistical Society. Series A (Statistics in Society) 169(2): 273 -288 § http: //data. princeton. edu/wws 509/notes/c 2 s 10. html § Enlace vigente a 6 -Nov-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 165
Transformación de variables § Otras transformaciones (que no veremos aquí) § Transformada de Fisher z sobre el coeficiente de § § correlación Transformada del arcoseno Método de Box-Tidwell § Es una transformación general aplicable a cualquier modelo y cualquier clase de transformación. § Para saber más: § http: //polisci. msu. edu/jacoby/icpsr/regress 3/lectures/week 4/ § 14. Nonlinearity. pdf Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 166
Transformación de variables § Algunos ejercicios resueltos sobre transformaciones: § http: //www. est. uc 3 m. es/esp/nueva_docencia/l eganes/ing_tec_teleco_todas/estadistica/doc_ telem/archivos/Elisa/clase 5_problemas_2011 _12_sol. pdf § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 167
GRACIAS, ¿PREGUNTAS? © 2012 -6. Dr. Felipe Orihuela-Espina 168
- Un investigador considera atipico un dato si su distancia
- Matemticas
- Discreta y continua
- Estadstica
- Estadistica descriptiva
- Computacin
- Computacin
- Computacin
- Computacin
- Fo maxi maxi
- Mini maxi foda
- Anlisis financiero
- Anlisis foda
- Anlisis de riesgos
- Amenazas de una empresa ejemplos
- Tipos de lectura interpretativa
- Estadistica descriptiva e inferencial
- Que es la moda
- Estadistica inferencial tipos de muestreo
- Nivel inferencial
- Salto inferencial
- Cuasivarianza
- Regresion multiple en spss
- Regresin
- Regresin
- Regresin
- Regresin
- Regresin
- Regresin
- Regresin
- Regresion lineal
- Regresin
- Regresin
- Ecuacion normal de la recta
- Correlada
- Regresin
- Relaciones lineales y curvilíneas
- Ecuacion de regresion
- Regresin
- Regresion logistica
- Regresin
- Regresin
- Regresin
- Regresin
- Regresión espuria
- Regresin
- Metodologia de box jenkins
- Regresin
- Carnet de cientifico para niños para imprimir
- Nacimos para ser felices no perfectos
- Em uma obra para permitir o transporte de objetos para cima
- Consumir para viver ou viver para consumir
- Subtrair para si ou para outrem coisa alheia móvel
- Trabaja para vivir no vivas para trabajar
- Reglas para clases virtuales para niños camara encendida
- Reglas para clases virtuales para niños camara encendida
- Todo para todos nada para nosotros
- Modelo bidimensional para evaluar el riesgo para la salud
- Yo soy de mi amado y mi amado es mio hebreo
- Seringa
- Leyenda de los temblores
- Frases para cuidar el agua para niños
- Forma del sistema respiratorio
- Imagenes del 13 de abril día del maestro ecuatoriano
- Imágenes de sonidos graves y agudos
- Elementos naturales y culturales de chile
- Youtube
- Para cuando dios hizo a la mujer ya estaba en su sexto
- Prdigo
- Transformação da voz ativa para passiva
- Kako vodena para dospijeva u atmosferu
- La laboriosidad
- Fetichismo da subjetividade
- Vialusis
- Uniforme manipulador de alimentos
- Vendajes cabeza
- Ecuaciones parametricas
- Vascularisation du tube digestif
- Variables para investigacion
- Valores para crecer como persona
- Signos de deshidratacion
- Lodo de palma
- El valor de la responsabilidad para niños
- Validacion carnet
- La mayor felicidad
- Textos argumentativos para ler
- Vendaje en 8 o tortuga
- Es la longitud
- Esquema dart displasia broncopulmonar
- Que le sugeririas a paloma para mejorar su investigación
- Diagrama p-t de una sustancia pura
- Cual es el objetivo del mito
- Lista de cotejo para evaluar desempeño del alumno
- Dios provee
- Fortalecidos para vencer
- Temas de sonetos
- Fortalecidos para vencer
- Mensagem de um grande homem
- Velocidade linear formula
- Metodo de cribado para localizacion
- Signo de homans
- Doa syahadat para rasul
- Tudo pelo estado nada fora do estado
- Suportes de tubulação
- Tubos de laboratorio
- Imagem de agradecimento para slide
- Tratamiento para tromboembolismo pulmonar
- Como hacer una buena confecion
- Escala de glasgow modificada para niños
- Carbamazepina para que sirve
- Causa de hipokalemia
- Transformata fourier
- Trabalenguas para hombres
- Compadre compreme un coco trabalenguas
- Dialogamos en familia sobre el cuidado de la salud
- Palabras compuestas para niños
- Todas las cosas cooperan para bien
- Preguntas mixtas
- Limas tipo kerr
- Santu santu santua letra
- Qué son los textos persuasivos
- Textos para leer
- Que es un texto informativo para niños
- Funcionales laborales
- Personagens texto narrativo
- Trmtb
- Personalidade para dr
- Raven creado por
- Metodo william t fine
- Para que sirven las toberas
- Ejemplo de santificar las fiestas
- Teori atribusi menurut para ahli
- Teorema del limite central para proporciones
- Divisiones para septimo grado
- Compuestos carbonilicos
- Diagrama de flujo del area de un trapecio
- Suma y resta de polinomios
- Con el paso del tiempo aprendieron a producir fuego por
- Numero de reynolds unidades
- Concepto del medio ambiente para niños
- Protocolo de venopuncion
- Objetivo del teatro del absurdo
- Katapusang hibik ng pilipinas analysis
- Características de la copla
- Taller de esi para padres
- Marco para la buena enseñanza
- Ejemplos de guion largo para niños
- Las respuestas
- Humahagibis
- Funcion de el tacto
- Syair panduan untuk remaja
- Tipos de suturas quirúrgicas
- Sustantivo propio de mesa
- Ejemplo de sustantivo comunes y propios
- Pagsulat ng liham halimbawa
- Guion de comercial de radio
- Sonda sengstaken
- Cuando va entre comillas
- Es la una y cuarto.
- Son compuestos heterogéneos imprescindibles para la vida
- Frecuencia respiratoria en niños
- Consolas para radio fm usadas
- Espírito criador com o pai fazeis fecundo
- Escudo de puerto rico
- Sistema de información para directivos
- Sistemas eis
- Sistema de ecuaciones de suma y resta
- Digestril
- Indoemtacina