Estadstica inferencial Anlisis de regresin Matemticas para Computacin

  • Slides: 168
Download presentation
Estadística inferencial; Análisis de regresión Matemáticas para Computación Dr. Felipe Orihuela-Espina

Estadística inferencial; Análisis de regresión Matemáticas para Computación Dr. Felipe Orihuela-Espina

Contenidos 1. La gráfica de dispersión 2. Regresiones y correlaciones 3. Modelo General Lineal

Contenidos 1. La gráfica de dispersión 2. Regresiones y correlaciones 3. Modelo General Lineal 4. Transformaciones de variables © 2012 -6. Dr. Felipe Orihuela-Espina 2

Lecturas recomendadas § Dean, A and Voss, D. Design and Analysis of Experiments. Springer

Lecturas recomendadas § Dean, A and Voss, D. Design and Analysis of Experiments. Springer (1999) § De. Groot, M- H. y Schervish, M. -J. Probability and Statistics. 4 a Ed. 2012 § Martin Bland “An introduction to Medical Statistics” Oxford Medical Publications, 3 rd Edition (2000) 405 pgs § Análisis de regresión § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied Regression Analysis: A research tool” 2 nd Ed. Springer (1998) § http: //link. springer. com/content/pdf/bfm%3 A 978 -0 -387 -22753 -5%2 F 1. pdf § Enlace vigente a 9 -Nov-2015. § Faraway, J-J “Practical regression and ANOVA using R” (2002) § Chatterjee, S y Simonoff, J-S (2013) “Handbook of regression analysis” John Wiley and Sons § http: //people. stern. nyu. edu/jsimonof/Regression. Handbook/ § Enlace vigente a 9 -Nov-2015. § ☞ Viendo la tabla de contenidos, este sería mi estándar…desafortunadamente no tengo acceso al libro. © 2012 -6. Dr. Felipe Orihuela-Espina 3

Lecturas recomendadas § Transformación de variables: § Rawlings (1998) “Applied Regression Analysis: A research

Lecturas recomendadas § Transformación de variables: § Rawlings (1998) “Applied Regression Analysis: A research tool” 2 nd Ed. Cap 12. § Bland y Altman (1996) “Transformations, means, and confidence intervals” BMJ 312: 1079 § Osborne, Jason (2002). “Notes on the use of data transformations”. Practical Assessment, Research & Evaluation, 8(6): 11 pp © 2012 -6. Dr. Felipe Orihuela-Espina 4

ALGUNAS DEFINICIONES PRELIMINARES © 2012 -6. Dr. Felipe Orihuela-Espina 5

ALGUNAS DEFINICIONES PRELIMINARES © 2012 -6. Dr. Felipe Orihuela-Espina 5

Variables dependientes e independientes § En general, la ciencia busca explicar fenómenos de la

Variables dependientes e independientes § En general, la ciencia busca explicar fenómenos de la naturaleza y/o la sociedad. § Esta explicación se ofrece en términos de relaciones entre un fenómeno observado (efecto) como consecuencia de su posible origen (causas)*. § En estas relaciones: § Las causas son independientes del efecto § Los efectos dependen de las causas * Sin implicar necesariamente causalidad… © 2012 -6. Dr. Felipe Orihuela-Espina 6

Variables dependientes e independientes § Al diseñar un experimento o estudio observacional lo hacemos

Variables dependientes e independientes § Al diseñar un experimento o estudio observacional lo hacemos de forma que variamos de forma controlada alguna causa para provocar un cambio hasta cierto punto predecible en el efecto. § Las relaciones entre causas y efectos no tienen por que ser deterministas. § Tanto las causas como el efecto las “codificamos” en forma de variables (deterministas o aleatorias) © 2012 -6. Dr. Felipe Orihuela-Espina 7

Variables dependientes e independientes § Variable independiente es cualquier variable (factor, o condición) cuyo

Variables dependientes e independientes § Variable independiente es cualquier variable (factor, o condición) cuyo valor se puede elegir y/o manipular de forma arbitraria. § a. k. a: indicador, pronosticador, variable explicativa, § exógena, regresor En ciertos experimentos, o en estudios observacionales quizás no podamos interferir para manipular la variable a voluntad, pero la definición sigue siendo válida ya que si estamos en posibilidades de “elegir” las condiciones (tiempo, lugar, etc) en que se lleva a cabo el experimento. § A menudo es aquello que pensamos como causas del fenómeno § Más adelante veremos en detalle que es un factor y una condición. Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml Puedes encontrar otra buena definición alternativa y algo más formal en: http: //www. mathwords. com/i/independent_variable. htm © 2012 -6. Dr. Felipe Orihuela-Espina 8

Variables dependientes e independientes § Variable independiente § Observa que la definición anterior no

Variables dependientes e independientes § Variable independiente § Observa que la definición anterior no tiene nada que ver con la definición de independencia probabilística/estadística (P(A⋂B)=Pr(A)Pr(B)) § Es factible y válido diseñar un experimento donde las variables independientes desde el punto de vista factorial, no sean independientes entre si en el sentido probabilístico. © 2012 -6. Dr. Felipe Orihuela-Espina 9

Variables dependientes e independientes § Variable dependiente a cualquier variable (observación o desenlace) cuyo

Variables dependientes e independientes § Variable dependiente a cualquier variable (observación o desenlace) cuyo valor es resultado de nuestro experimento o estudio § a. k. a. : variable respuesta, variable explicada, § endógena A menudo es aquello que pensamos como efectos del fenómeno § Puede o no ser consecuencia de la variable independiente § …pero esa relación es la que buscas demostrar o refutar en tu experimento o estudio Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml Puedes encontrar otra buena definición alternativa y algo más formal en: http: //www. mathwords. com/d/dependent_variable. htm © 2012 -6. Dr. Felipe Orihuela-Espina 10

Variables dependientes e independientes § Variable controladas es cualquier variable independiente cuyo valor se

Variables dependientes e independientes § Variable controladas es cualquier variable independiente cuyo valor se fija a una constante y al que no se le permite variar de cara al experimento. § A menudo es aquello que pensamos como posibles causas adicionales del fenómeno pero en la que no estamos directamente interesados en el experimento, y por tanto debemos controlar. Definición propia, pero inspirada en http: //www. sciencebuddies. org/science-fair-projects/project_variables. shtml © 2012 -6. Dr. Felipe Orihuela-Espina 11

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente –

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Apertura del grifo Variable dependiente – Caudal de agua Variable controlada – Presión del agua © 2012 -6. Dr. Felipe Orihuela-Espina 12

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente –

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – x Variable dependiente – y Variable controlada – b © 2012 -6. Dr. Felipe Orihuela-Espina 13

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente –

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Intensidad del laser Variable dependiente – Temperatura del café Variables controlada – Tiempo de irradiación y longitud de onda © 2012 -6. Dr. Felipe Orihuela-Espina 14

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente –

Variables dependientes e independientes § Variables dependientes e independientes: § Ejemplo: Variable independiente – Nivel educativo Variable dependiente – Riqueza económica Variables controlada – Riqueza heredada, clase social, sector laboral (construcción, banca, etc) © 2012 -6. Dr. Felipe Orihuela-Espina 15

Variables dependientes e independientes § Un caso (a. k. a. unidad observacional) es el

Variables dependientes e independientes § Un caso (a. k. a. unidad observacional) es el conjunto de valores específicos que toman las variables (independientes, dependientes y controladas) en una determinada ejecución de un experimento o estudio. § …o sea, una observación junto con las condiciones que la generaron § Un experimento o estudio puede estar conformado por muchos casos. § A menudo la notación matemática es un subíndice, e. g. yi § Los casos pueden incluso ser idénticos entre si en términos de las variables independientes y controladas § …y si el experimento o estudio es aleatorio, dos casos idénticos pueden resultar en observaciones diferentes. Definición propia © 2012 -6. Dr. Felipe Orihuela-Espina 16

Variables dependientes e independientes § Casos: Cada fila es un caso. § Ejemplo: Apertura

Variables dependientes e independientes § Casos: Cada fila es un caso. § Ejemplo: Apertura del grifo Presión del agua Caudal de agua 13 mm 500 KPascales 5 l/s 15 mm 500 KPascales 6 l/s 17 mm 500 Kpascales 7 l/s Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 17

Variables dependientes e independientes § Casos: § Ejemplo: x b y 3 5 3

Variables dependientes e independientes § Casos: § Ejemplo: x b y 3 5 3 m+5 5 5 5 m+5 7 5 7 m+5 © 2012 -6. Dr. Felipe Orihuela-Espina 18

Variables dependientes e independientes § Casos: § Ejemplo: Intensidad del laser Tiempo de irradiación

Variables dependientes e independientes § Casos: § Ejemplo: Intensidad del laser Tiempo de irradiación Temperatura del café 6 Watt/m 2 15 seg 25°C 8 Watt/m 2 15 seg 32°C 12 Watt/m 2 15 Seg 37°C Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 19

Variables dependientes e independientes § Casos: § Ejemplo: Nivel educativo Riqueza heredada Riqueza económica

Variables dependientes e independientes § Casos: § Ejemplo: Nivel educativo Riqueza heredada Riqueza económica Bachiller Entre el 40% de 5000 USD los ingresos más bajos del país Licenciatura Entre el 40% de 10000 USD los ingresos más bajos del país Maestría Entre el 40% de 47000 USD los ingresos más bajos del país Valores inventados; ni idea de si se corresponden con la realidad © 2012 -6. Dr. Felipe Orihuela-Espina 20

Parámetros § El término parámetro en estadística es polisémico: § En general: Parámetro son

Parámetros § El término parámetro en estadística es polisémico: § En general: Parámetro son las variables controladas § A menudo: Parámetros son todas las variables independientes § En regresión: Parámetros son los coeficientes de variación de cambio entre las variables dependientes y las independientes § …como veremos, los βi © 2012 -6. Dr. Felipe Orihuela-Espina 21

LA GRÁFICA DE DISPERSIÓN © 2012 -6. Dr. Felipe Orihuela-Espina 22

LA GRÁFICA DE DISPERSIÓN © 2012 -6. Dr. Felipe Orihuela-Espina 22

Espacio § Ya sabemos: § Un espacio es un conjunto con una estructura añadida.

Espacio § Ya sabemos: § Un espacio es un conjunto con una estructura añadida. § Un espacio Euclídeo (a. k. a. espacio Cartesiano) es el espacio de todas las ntuplas de valores reales. § Normalmente se denota ℝn. * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 23

Dimensión § Topología es el estudio de las propiedades de los objetos, y la

Dimensión § Topología es el estudio de las propiedades de los objetos, y la preservación de estas propiedades a través de la deformación del objeto. § La dimensión o dimensionalidad de un objeto es una medida topológica del tamaño (¿número? ) de sus propiedades. § Un punto es un objeto 0 -dimensional, léase sin propiedades (por ejemplo carece de área, volumen, longitud, etc) © 2012 -6. Dr. Felipe Orihuela-Espina 24

Geometría § La geometría es el estudio de figuras (puntos, rectas, planos, curvas, superficies,

Geometría § La geometría es el estudio de figuras (puntos, rectas, planos, curvas, superficies, etc) en un espacio con un determinado número de dimensiones. § La geometría Euclídea o Cartesiana es el estudio de las propiedades geométricas en espacios Euclídeos. * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 25

Coordenada § Una coordenada es una variable que fija (total o) parcialmente la localización

Coordenada § Una coordenada es una variable que fija (total o) parcialmente la localización de un objeto geométrico en el espacio. § Un sistema de coordenadas es un conjunto de variables (funciones) que permiten fijar totalmente la localización de objetos geométricos en el espacio. § Al número mínimo de coordenadas necesarias para especificar un punto del espacio se le denomina dimensión. § Observa que esta definición es análoga a la anterior definida a § partir de la topología. ¡El punto es 0 -dimensional, no el espacio! En otras palabras es el espacio el que a través de su estructura provee de soporte para un número de propiedades. © 2012 -6. Dr. Felipe Orihuela-Espina 26

Sistema de coordenadas Cartesiano § El sistema de coordenadas Cartesiano es un sistema de

Sistema de coordenadas Cartesiano § El sistema de coordenadas Cartesiano es un sistema de coordenadas que especifica la localización de objetos en espacios Euclídeos o Cartesianos en forma de conjunto de coordenadas numéricas donde las coordenadas son reflejo de los atributos que representan al objeto y perpendiculares entre si. § Observa que este no se llama sistema de coordenadas Euclídeo. § Los objetos en el espacio Euclídeo pueden escribirse de muchas formas; una de ellas es el sistema Cartesiano (otro por ejemplo es el sistema de coordenadas polar) * Las definiciones formales las podéis encontrar en libros, o en Wolfram World of Maths [http: //mathworld. wolfram. com/] © 2012 -6. Dr. Felipe Orihuela-Espina 27

Sistema de coordenadas Cartesiano § Anécdota: § ¿Por qué la doble nomenclatura Euclidiana y

Sistema de coordenadas Cartesiano § Anécdota: § ¿Por qué la doble nomenclatura Euclidiana y § § Cartesiana excepto para el sistema de coordenadas? La geometría Euclídea fue descrito por primera vez (al completo) por Euclides mediante la suposición de un pequeño conjunto de axiomas. Euclides (325 -265 a. C. ) El sistema de coordenadas Cartesiano fue la El “Padre de la Geometría” primera relación sistemática entre la geometría Griego de Alejandría Euclídea y el álgebra. Usando el sistema de coordenadas Cartesianos, los objetos geométricos se pudieron describir por primera vez usando ecuaciones algebraicas. § La importancia del sistema de coordenadas Cartesianos en la historia de las matemáticas, y por ende en las ciencias, es simplemente inmensurable. © 2012 -6. Dr. Felipe Orihuela-Espina René Descartes (1596 -1650) Filósofo, matemático y físico 28 Francés

La gráfica de dispersión § La gráfica de dispersión es simplemente la representación en

La gráfica de dispersión § La gráfica de dispersión es simplemente la representación en un sistema de coordenadas Cartesiano de la nube de puntos de un conjunto de datos n-dimensional § …aunque para fines prácticos eso significa 2 D o 3 D Figuras: elaboración propia © 2012 -6. Dr. Felipe Orihuela-Espina 29

La gráfica de dispersión § Por convención; la/s variable/s independiente/s se representan en los

La gráfica de dispersión § Por convención; la/s variable/s independiente/s se representan en los primeros ejes, y la dependiente se representan a lo largo del último eje. § 2 D: Variable independiente § § sobre abscisa; variable dependiente en ordenada 3 D: Variables independientes sobre X e Y; variable dependiente sobre Z Rara vez, por no decir nunca, se representa más de una variable dependiente a la vez. © 2012 -6. Dr. Felipe Orihuela-Espina Figuras: elaboración propia 30

La gráfica de dispersión § A veces se añade una o más línea/s de

La gráfica de dispersión § A veces se añade una o más línea/s de ajuste conocida como línea/s de tendencia § La línea de tendencia § normalmente representa el modelo asumido entre las variables. La presencia de una línea de tendencia no implica: § Ni que exista una relación entre § § las variables, Ni que de existir esa relación, esa sea la mejor tendencia Ni que de existir esa relación, y ser esa la mejor tendencia el ajuste sea bueno. © 2012 -6. Dr. Felipe Orihuela-Espina Figuras: fuentes varias 31

La gráfica de dispersión § A veces se añade alguna representación de la dispersión

La gráfica de dispersión § A veces se añade alguna representación de la dispersión de los datos sobre la tendencia (desviación estándar, intervalos de confianza, etc…) Figura: [Olariu A 2003, Eur. J. Echocardiography, 4: 162 -168] © 2012 -6. Dr. Felipe Orihuela-Espina 32

Y más definiciones… REGRESIONES (Y CORRELACIONES) © 2012 -6. Dr. Felipe Orihuela-Espina 33

Y más definiciones… REGRESIONES (Y CORRELACIONES) © 2012 -6. Dr. Felipe Orihuela-Espina 33

Modelado § El modelado es el desarrollo de expresiones matemáticas que describen de alguna

Modelado § El modelado es el desarrollo de expresiones matemáticas que describen de alguna forma el comportamiento de una variable de interés [Rawlings. JO 1998]. § El modelo puede ser determinista o estocástico. § La simulación es la generación de observaciones sintéticas a partir de un modelo matemático [Definición propia]. Modelado Modelo matemático (variables independientes) Variables de interés (dependientes) Simulación © 2012 -6. Dr. Felipe Orihuela-Espina 34

Modelado § En un modelo determinista, a partir de los valores de las variables

Modelado § En un modelo determinista, a partir de los valores de las variables independientes y/o los parámetros se puede calcular el valor de las variables dependientes § Y=f(X) § Dependencia funcional (sin error) § En un modelo estocástico o aleatorio, a partir de los valores de las variables independientes y/o los parámetros se puede estimar el valor esperado (esperanza) de las variables dependientes § Y=f(X)+ § Dependencia estocástica (con error) © 2012 -6. Dr. Felipe Orihuela-Espina 35

Modelado Figura de: [http: //biplot. usal. es/ALUMNOS/BIOLOGIA/5 BIOLOGIA/Regresionsimple. pdf] © 2012 -6. Dr. Felipe

Modelado Figura de: [http: //biplot. usal. es/ALUMNOS/BIOLOGIA/5 BIOLOGIA/Regresionsimple. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 36

Modelado Valores de variables independientes y/o controladas ia c n de n e l

Modelado Valores de variables independientes y/o controladas ia c n de n e l p De ciona fun De es pen to de cá sti ncia ca Modelo determinista Modelo estocástico © 2012 -6. Dr. Felipe Orihuela-Espina Valores de variables dependientes Esperanza de variables dependientes 37

Regresión lineal univariable § En dependencia estocástica podemos llevar a cabo 2 tipos de

Regresión lineal univariable § En dependencia estocástica podemos llevar a cabo 2 tipos de análisis estrechamente relacionados: § Análisis de regresión § Permite definir el “tipo” (lineal, exponencial/logarítmica, § hiperbólica, etc) de relación entre las variables Produce una ecuación que describe la relación entre variables § Análisis de correlación § Permite definir el grado y consistencia de in/dependencia, o § grado de asociación, entre las variables Produce un valor que resume la fuerza de la relación entre las variables © 2012 -6. Dr. Felipe Orihuela-Espina 38

Análisis de Regresión § El análisis de regresión es un conjunto de técnicas estadísticas

Análisis de Regresión § El análisis de regresión es un conjunto de técnicas estadísticas para estimar relaciones entre variables. § El análisis de regresión es ampliamente usado para: A. Inferencia de relaciones entre variables (modelado) y B. Predicción de nuevos desenlaces/observaciones (simulación) § El aprendizaje máquina está fuertemente relacionado con el análisis de regresión. § Ejemplo: Los clasificadores son modelos regresivos (discretos o continuos). © 2012 -6. Dr. Felipe Orihuela-Espina 39

Regresión lineal univariable § El término modelo lineal en estadística podría parecer “polisémico”*, significando

Regresión lineal univariable § El término modelo lineal en estadística podría parecer “polisémico”*, significando cosas aparentemente distintas en distintas áreas de la estadística (ejemplo; regresión, series temporales, etc). § Sin ser demasiado estricto/formal en la definición, los modelos lineales son: § aquellos para los que existe una relación de ecuaciones lineales (aquellas en que cada término es o bien una constante o bien el producto de una constante por una única variable) entre las variables dependientes y las independientes. § … o bien, aquellos en que una reducción de la complejidad mediante transformaciones es viable. § Los modelos lineales cumplen con las propiedades de escalado (y=ax) y superposición (y=x 1+x 2) * Estrictamente, estas aparentemente diferentes definiciones son análogas, y no diferentes como pudiese parecer. Estrictamente, lineal en matemáticas significa que la aproximación de la función sólo utiliza hasta la primera derivada (Jacobina). Observa, por ejemplo, si los términos del modelo son ecuaciones © 2012 -6. Dr. Felipeque Orihuela-Espina 40 lineales como se definen aquí; sólo son derivables 1 vez.

Regresión lineal univariable (determinista) Variable dependiente Pendiente Variable independiente Intersección (Corte en el eje

Regresión lineal univariable (determinista) Variable dependiente Pendiente Variable independiente Intersección (Corte en el eje de ordenada) Una notación un poco más general Parámetros © 2012 -6. Dr. Felipe Orihuela-Espina 41

Regresión lineal univariable (estocástica) Modelo determinista En presencia de incertidumbre Modelo estocástico © 2012

Regresión lineal univariable (estocástica) Modelo determinista En presencia de incertidumbre Modelo estocástico © 2012 -6. Dr. Felipe Orihuela-Espina 42

Regresión lineal univariable (estocástica) Modelo estocástico Expresando la incertidumbre (error) de forma explícita para

Regresión lineal univariable (estocástica) Modelo estocástico Expresando la incertidumbre (error) de forma explícita para cada observación El error es la diferencia de la observación i-ésima de su esperanza. En otras palabras, la diferencia entre la medición y el valor real (Yi-E[X]); el sesgo de la observación (independientemente del estimador). © 2012 -6. Dr. Felipe Orihuela-Espina 43

Regresión lineal multivariable (estocástica) § Para j variables independientes/ controladas: § A este se

Regresión lineal multivariable (estocástica) § Para j variables independientes/ controladas: § A este se le conoce como el modelo lineal aditivo que relaciona una variable dependiente con j variables independientes. Observa que lo que no se conocen son los coeficientes βi. El modelado consiste en calcular o estimar estos coeficientes (a menudo llamados parámetros) © 2012 -6. Dr. Felipe Orihuela-Espina 44

Regresión lineal multivariable (estocástica) § En general, para n casos, se forma un sistema

Regresión lineal multivariable (estocástica) § En general, para n casos, se forma un sistema de ecuaciones: © 2012 -6. Dr. Felipe Orihuela-Espina 45

Regresión lineal multivariable (estocástica) § El valor estimado a partir del modelo para el

Regresión lineal multivariable (estocástica) § El valor estimado a partir del modelo para el i-ésimo caso sería: Básicamente; desaparece el término del error © 2012 -6. Dr. Felipe Orihuela-Espina 46

Regresión lineal multivariable (estocástica) § Cuando el modelo de regresión tiene en cuenta una

Regresión lineal multivariable (estocástica) § Cuando el modelo de regresión tiene en cuenta una única variable independiente se denomina modelo de regresión simple. § Y=β 1 x+β 0+ε § Cuando el modelo de regresión tiene en cuenta más de una única variable independiente se denomina modelo de regresión múltiple. § Y=βjxj+ …+β 1 x 1+ β 0+ε © 2012 -6. Dr. Felipe Orihuela-Espina 47

Regresión lineal multivariable (estocástica) § En una regresión múltiple el modelo relaciona varias variables

Regresión lineal multivariable (estocástica) § En una regresión múltiple el modelo relaciona varias variables independientes con una única variable dependiente. § Ejemplo: Un agente inmobiliario puede tomar datos de: § § § el tamaño de las casas, de su localización, del número de dormitorios, del ingreso promedio del vecindario, de la apariencia subjetiva del mantenimiento, etc § para saber § como cada uno de estos elementos influye en el precio de la § vivienda. que casas tienen un precio muy diferente al esperado (outliers) © 2012 -6. Dr. Felipe Orihuela-Espina 48

Regresión lineal multivariable (estocástica) § ☞¡Cuidado! La regresión múltiple es atractiva; pon cuantas variables

Regresión lineal multivariable (estocástica) § ☞¡Cuidado! La regresión múltiple es atractiva; pon cuantas variables independientes se te ocurran y posiblemente algo salga significativo § El uso indiscriminado del modelo múltiple es un abuso ya que estás “basándote” en la suerte § Por ejemplo; si pones 20 variables independientes y un nivel de significancia del 5%; casi seguro 1 te sale positiva sólo por azar! § Este efecto es aún más drástico si tienes pocas observaciones § De forma intuitiva: es difícil sacar conclusiones de un conjunto de 10 respuestas a un cuestionario de 100 preguntas. (insuficientes grados de libertad) © 2012 -6. Dr. Felipe Orihuela-Espina 49

Suposiciones § El modelo de regresión clásico impone las siguientes suposiciones: § Las observaciones

Suposiciones § El modelo de regresión clásico impone las siguientes suposiciones: § Las observaciones de las variables independientes Xi son medidas sin error. § Las observaciones Xji e Yi están pareadas, y ambas se miden en los mismos casos. § Los errores de cada caso tienen media 0, varianza común σ2 y son independientes por pares. § …como lo único aleatorio del modelo son los errores, esto además implica que; los Yi también tiene varianza común σ2 y son independientes por pares § Para ciertas pruebas de inferencia, además; los errores se asumen que siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 50

Regresión multivariable (estocástica) § Los modelos no tienen por que ser lineales: § Lineal

Regresión multivariable (estocástica) § Los modelos no tienen por que ser lineales: § Lineal múltiple; normalmente con residuos Gaussianos § Polinomiales simple: § De respuesta de Poisson múltiple: § De respuesta de Bernouilli © 2012 -6. Dr. Felipe Orihuela-Espina 51

Covarianza § Quizás, las medida más sencilla para medir la asociación entre dos variables

Covarianza § Quizás, las medida más sencilla para medir la asociación entre dos variables sea la covarianza. § La covarianza indica como varía una variable cuando lo hace la otra, o en otras palabras el grado de variación conjunta entre las dos variables. © 2012 -6. Dr. Felipe Orihuela-Espina 52

Covarianza § El estimador no sesgado de la covarianza para una muestra es: ©

Covarianza § El estimador no sesgado de la covarianza para una muestra es: © 2012 -6. Dr. Felipe Orihuela-Espina 53

Covarianza § La covarianza expresa la tendencia en la relación (lineal) entre las variables

Covarianza § La covarianza expresa la tendencia en la relación (lineal) entre las variables § Si s. XY>0 ⇒ cuando X crece, Y crece § Si s. XY<0 ⇒ cuando X crece, Y decrece Figura de: [http: //biplot. usal. es/ALUMNOS/BIOLOGIA/5 BIOLOGIA/Regresionsimple. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 54

Covarianza § ¡La covarianza NO mide la magnitud de la relación! § …ya que

Covarianza § ¡La covarianza NO mide la magnitud de la relación! § …ya que es dependiente de la escala de medida § Para eso necesitamos normalizar § El coeficiente de correlación (de Pearson) es la versión normalizada de la covarianza e indica la magnitud de la asociación entre las variables. © 2012 -6. Dr. Felipe Orihuela-Espina 55

Covarianza § Ejercicio: Demostrar que la covarianza de dos variables X e Y es

Covarianza § Ejercicio: Demostrar que la covarianza de dos variables X e Y es igual a E[XY]-E[X]E[Y] Solución: σXY = E[(X-E[X])(Y-E[Y])] =E[XY – XE[Y] – YE[X] + E[X]E[Y]] =E[XY] – E[XE[Y]] – E[YE[X]] + E[X]E[Y] =E[XY] – E[X]E[Y] – E[Y]E[X] + E[X]E[Y] =E[XY] – 2 E[X]E[Y] + E[X]E[Y] =E[XY] - E[X]E[Y] © 2012 -6. Dr. Felipe Orihuela-Espina 56

Coeficiente de correlación § El coeficiente de correlación de Pearson es un índice que

Coeficiente de correlación § El coeficiente de correlación de Pearson es un índice que mide la magnitud de la asociación lineal entre dos variables aleatorias cuantitativas, y corresponde con la normalización de la covarianza: Covarianza Desviaciónes estándar © 2012 -6. Dr. Felipe Orihuela-Espina 57

Coeficiente de correlación § Interpretación: § Si = 1 ⇒ existe una correlación positiva

Coeficiente de correlación § Interpretación: § Si = 1 ⇒ existe una correlación positiva perfecta. § Si 0 < < 1 ⇒ existe una relación directamente § proporcional (correlación positiva). Si = 0 ⇒ no existe relación lineal. Esto no implica necesariamente que las variables son independientes; pueden existir relaciones no lineales entre las dos variables. § …realmente no tiene por que ser exactamente 0; basta con ≈0 § Si -1 < < 0 ⇒ existe una relación inversamente § proporcional (correlación negativa). Si = -1 ⇒ existe una correlación negativa perfecta. El índice indica una dependencia total entre las dos variables llamada relación inversa: cuando una de ellas aumenta, la otra disminuye en proporción constante. Fuente: [http: //es. wikipedia. org/wiki/Coeficiente_de_correlación_de_Pearson] © 2012 -6. Dr. Felipe Orihuela-Espina 58

Coeficiente de correlación Figura de: [en. wikipedia. org] © 2012 -6. Dr. Felipe Orihuela-Espina

Coeficiente de correlación Figura de: [en. wikipedia. org] © 2012 -6. Dr. Felipe Orihuela-Espina 59

Coeficiente de correlación § El coeficiente de correlación (de Pearson) es para variables cuantitativas,

Coeficiente de correlación § El coeficiente de correlación (de Pearson) es para variables cuantitativas, y por supuesto no es el único existente: § Ejemplo: Coeficiente de correlación de Spearman § El coeficiente de correlación (cualquiera): § es independiente de la escala de medida § …y por ende, permite estimar la magnitud de la asociación. § sin importar el valor, ¡no implica causalidad! § su signo es igual al de la covarianza, por lo que también permite estimar la tendencia de la relación § Si =1 o =-1 entonces la dependencia es funcional. © 2012 -6. Dr. Felipe Orihuela-Espina 60

Coeficiente de correlación § El de Pearson no es el único coeficiente de correlación

Coeficiente de correlación § El de Pearson no es el único coeficiente de correlación que existe (sólo el más común). Aquí van algunos otros: § Spearman: para relaciones monótonas sean o no § § § lineales § Pearson sólo prueba la linearidad de la relación τ de Kendall: Correlación de rangos (orden similar de las cantidades) Goodman o Kruskall gamma: para variables ordinales Biserial puntual o simplemente biserial: Cuando la variable independiente es categórica y dicótoma § No entraremos en más detalle. © 2012 -6. Dr. Felipe Orihuela-Espina 61

Coeficiente de correlación ¡Cuidado! Esta tabla está obsoleta; por ejemplo no aparece el Tau

Coeficiente de correlación ¡Cuidado! Esta tabla está obsoleta; por ejemplo no aparece el Tau de Kendall, o el biserial puntual. Pero no he tenido tiempo de actualizarla Tabla obtenida de: [http: //pendientedemigracion. ucm. es/info/mide/docs/Otrocorrel. pdf] © 2012 -6. Dr. Felipe Orihuela-Espina 62

Coeficiente de correlación § Ejercicio: Sean las estaturas y pesos de 10 jugadores de

Coeficiente de correlación § Ejercicio: Sean las estaturas y pesos de 10 jugadores de baloncesto: Estatura (X) 186 189 190 192 193 198 201 203 205 Peso (Y) 85 85 86 90 87 91 93 100 101 § Calcular el coeficiente de correlación de Pearson. Este ejercicio es largo, pero no es difícil. Se aconseja el uso de una calculadora. Problema obtenido de: [http: //www. ditutor. com/estadistica_2/correlacion_estadistica. html] © 2012 -6. Dr. Felipe Orihuela-Espina 63

Coeficiente de correlación § Solución: § Algunos cálculos preliminares xi yi xi 2 yi

Coeficiente de correlación § Solución: § Algunos cálculos preliminares xi yi xi 2 yi 2 xiyi 186 85 34596 7225 15810 189 85 35721 7225 16065 190 86 36100 7396 16340 192 90 36864 8100 17280 193 87 37249 7569 16791 193 91 37249 8281 17563 198 93 39204 8649 18414 201 103 40401 10609 20703 203 100 41209 10000 20300 205 101 42025 10201 20705 Total: 1950 921 380618 85255 179971 © 2012 -6. Dr. Felipe Orihuela-Espina 64

Coeficiente de correlación § Solución: § 1) Hallamos las medias muestrales: © 2012 -6.

Coeficiente de correlación § Solución: § 1) Hallamos las medias muestrales: © 2012 -6. Dr. Felipe Orihuela-Espina 65

Coeficiente de correlación § Solución: § 2) Hallamos las varianzas muestrales © 2012 -6.

Coeficiente de correlación § Solución: § 2) Hallamos las varianzas muestrales © 2012 -6. Dr. Felipe Orihuela-Espina 66

Coeficiente de correlación § Solución: § 3) Hallamos las desviaciones estándares muestrales: © 2012

Coeficiente de correlación § Solución: § 3) Hallamos las desviaciones estándares muestrales: © 2012 -6. Dr. Felipe Orihuela-Espina 67

Coeficiente de correlación § Solución: § 4) Hallamos la covarianza muestral: © 2012 -6.

Coeficiente de correlación § Solución: § 4) Hallamos la covarianza muestral: © 2012 -6. Dr. Felipe Orihuela-Espina 68

Coeficiente de correlación § Solución: § 5) Finalmente hallamos el coeficiente de correlación de

Coeficiente de correlación § Solución: § 5) Finalmente hallamos el coeficiente de correlación de la muestra Existe una correlación positiva muy fuerte entre la altura y el peso de los jugadores de baloncesto. © 2012 -6. Dr. Felipe Orihuela-Espina 69

Ajuste § El modelado consiste en estimar los parámetros βi. § En ausencia de

Ajuste § El modelado consiste en estimar los parámetros βi. § En ausencia de incertidumbre o error (modelos deterministas) sería posible calcular el valor de los βi de forma exacta y explícita para cada caso, resolviendo el sistema de ecuaciones § Por supuesto necesitaríamos al menos tantas observaciones como parámetros/coeficientes. § …y además, estas observaciones (por no tener error) debieran ajustarse al modelo § Ejemplo: las observaciones caerían exactamente en una línea recta. © 2012 -6. Dr. Felipe Orihuela-Espina 70

Ajuste § El modelado consiste en estimar los parámetros βi. § En presencia de

Ajuste § El modelado consiste en estimar los parámetros βi. § En presencia de incertidumbre o error (modelos estocásticos) necesitamos una forma de combinar toda la información (léase todos los casos), para estimar los βi de forma que la solución sea óptima bajo algún criterio. § A esto se le llama ajuste del modelo § Quizás el más popular es el ajuste de mínimos cuadrados cuyo criterio de optimización consiste en reducir los residuos. § Otros ajustes posibles son: mínimas desviaciones absolutas, estimación M o de (M)áxima probabilidad, regresión robusta, least trimmed squares (LTS), etc… © 2012 -6. Dr. Felipe Orihuela-Espina 71

Residuos § El residuo del i-ésimo caso es la diferencia entre el valor observado

Residuos § El residuo del i-ésimo caso es la diferencia entre el valor observado Yi y el valor estimado : © 2012 -6. Dr. Felipe Orihuela-Espina 72

Ajuste § Ajuste por mínimos cuadrados § Denotemos a los estimados numéricos de los

Ajuste § Ajuste por mínimos cuadrados § Denotemos a los estimados numéricos de los parámetros βi. § Sea una regresión multivariable Donde es la observación estimada a partir de los estimados © 2012 -6. Dr. Felipe Orihuela-Espina 73

Ajuste § Ajuste por mínimos cuadrados § El ajuste por mínimos cuadrados busca minimizar

Ajuste § Ajuste por mínimos cuadrados § El ajuste por mínimos cuadrados busca minimizar la suma de los cuadrados de los residuos SS(Res): Por aquello del inglés (S)um of (S)quares of (Res)iduals © 2012 -6. Dr. Felipe Orihuela-Espina 74

Ajuste § Ajuste por mínimos cuadrados § Los se calculan utilizando cálculo; se construye

Ajuste § Ajuste por mínimos cuadrados § Los se calculan utilizando cálculo; se construye un sistema de j+1 ecuaciones con j+1 incógnitas simplemente derivando SS(Res) con respecto a cada (ecuaciones normales) § ☞ No entraremos en detalles, por ahora, pero volveremos a las ecuaciones normales cuando veamos el modelo general lineal. § Para saber más: § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied Regression § Analysis: A research tool” 2 nd Ed. Springer (1998) http: //scholar. lib. vt. edu/theses/available/etd-122299184429/unrestricted/S 7994 Ch 2 a. PDF § Enlace vigente a 11 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 75

Ajuste § Ajuste por mínimos cuadrados § Suposiciones: § Exogeneidad estricta (en otras palabras

Ajuste § Ajuste por mínimos cuadrados § Suposiciones: § Exogeneidad estricta (en otras palabras los residuos deben tener media 0). § Las variables independientes Xi deben ser linealmente independientes entre sí § Errores esféricos, lo que implica: § Homocedasticidad; varianza constante de los residuos § (lo veremos en más detalle un poco más adelante) No autocorrelación entre los errores (E[eiej | X ]=0 para i≠j) § Normalidad en los residuos: Los residuos siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 76

Ajuste § El ajuste por mínimos cuadrados minimiza SS(Res). § SS(Res) representa los residuos;

Ajuste § El ajuste por mínimos cuadrados minimiza SS(Res). § SS(Res) representa los residuos; es decir la parte de los datos no explicada por el modelo. § Por tanto, la pregunta es ¿qué tan bien representa el modelo a los datos? § A esto se le llama el coeficiente de determinación R 2. © 2012 -6. Dr. Felipe Orihuela-Espina 77

Ajuste § Coeficiente de determinación R 2: § Intuitivo: Un modelo representa mejor a

Ajuste § Coeficiente de determinación R 2: § Intuitivo: Un modelo representa mejor a los datos mientras menor sea la fracción de varianza no explicada; § …es decir la relación entre la varianza de los errores del modelo (residuos) y la varianza total © 2012 -6. Dr. Felipe Orihuela-Espina 78

Ajuste § Antes de definir el coeficiente de determinación, veamos cuánto de los datos

Ajuste § Antes de definir el coeficiente de determinación, veamos cuánto de los datos explica el modelo: § Suma de cuadrados de los residuos (parte no explicada por el modelo) § Suma de cuadrados de la regresión (parte explicada por el modelo o en otras palabras atribuible a las variables independientes) § Suma de cuadrados totales proporcional a la varianza de la muestra (variabilidad de los datos) © 2012 -6. Dr. Felipe Orihuela-Espina 79

Ajuste § Coeficiente de determinación R 2: § Formal: § Si la varianza residual

Ajuste § Coeficiente de determinación R 2: § Formal: § Si la varianza residual es cero, el modelo explica completamente el valor de la variable dependiente (R 2=1); si la varianza residual coincide con la varianza de la variable dependiente, el modelo no explica nada (R 2=0). § Lectura recomendada: § Martínez-Rodriguez E (2005) “Errores frecuentes en la interpretación del coeficiente de determinación lineal” Anuario Jurídico y Económico Escurialense 38: 315 -332 © 2012 -6. Dr. Felipe Orihuela-Espina 80

Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación no es

Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación no es el coeficiente de correlación lineal muestral r (o coeficiente de correlación de Pearson), pero está estrechamente relacionado § ☞ De hecho, como puedes imaginar; uno es el cuadrado del otro… § Lectura recomendada: § http: //dm. udc. es/asignaturas/estadistica 2/sec 6_8. h tml § Enlace vigente a 9 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 81

Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación (y por

Ajuste § Coeficiente de determinación R 2: § El coeficiente de determinación (y por extensión el de correlación de Pearson) a menudo se usan como indicadores de la bondad o calidad del ajuste. § La bondad del ajuste describe qué tan bien un modelo se ajusta al conjunto de observaciones. En otras palabras resume la discrepancia entre los valores observados y los valores predichos por el modelo § Existen muchos indicadores o medidas de bondad de ajuste § Para saber más: § Bentler, PM and Bonnet DG (1980) “Significance Tests and Goodness of Fit in the Analysis of Covariance Structure” Psychological Bulletin 88(3): 588606 § Citado más de 12 k veces! § ☞ Yo no me lo he leído completo aún. © 2012 -6. Dr. Felipe Orihuela-Espina 82

Ajuste Figura de: [Wolfram Math. World] © 2012 -6. Dr. Felipe Orihuela-Espina 83

Ajuste Figura de: [Wolfram Math. World] © 2012 -6. Dr. Felipe Orihuela-Espina 83

Poder explicativo vs poder predictivo § El poder explicativo es la habilidad de un

Poder explicativo vs poder predictivo § El poder explicativo es la habilidad de un modelo de explicar de forma efectiva (causal) el constructo que representa. § Una medida común es el coeficiente de determinación. § El poder predictivo es la habilidad de un modelo de producir nuevas observaciones (predicciones). § Una medida común es el error cuadrático medio. § Existe también el llamado poder descriptivo, referente a la habilidad de un modelo de representar de forma compacta (aproximada) un constructo § Por ejemplo en electricidad el modelo V=RI tiene un alto poder descriptivo pero no explicativo. Fuente: [Shmueli G (2010) “To explain or to predict? ” Statistical Science, 25(3): 289 -310] © 2012 -6. Dr. Felipe Orihuela-Espina 84

Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder

Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder explicativo no tiene por que tener un buen poder predictivo § …puede tener las variables correctas (que “realmente” causan a la dependiente), e incluso quizás con la forma correcta, e. g. lineal, y tener un mal ajuste (los betas encontrados no ser buenos quizás por tener pocos datos). © 2012 -6. Dr. Felipe Orihuela-Espina 85

Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder

Poder explicativo vs poder predictivo § Un modelo de regresión con un alto poder predictivo (R 2≈1) no tiene por que tener un buen poder explicativo § …puede haber un sobre ajuste local § …es decir, los valores que predice el modelo pueden estar cercanos al valor real, pero no necesariamente por que el modelo recoja la relación causal entre variables. § Una forma de evaluar el poder predictivo del modelo es mediante la observación de la gráfica de residuos. © 2012 -6. Dr. Felipe Orihuela-Espina 86

La gráfica de residuos § La gráfica de residuos presenta los valores residuales ei

La gráfica de residuos § La gráfica de residuos presenta los valores residuales ei en función del valor predicho § Idealmente se prefieren modelos: § No sesgados, en los que § los residuos no siguen un patrón claro, y Homocedasticos, donde la varianza no varía Figura: [Elaboración propia] © 2012 -6. Dr. Felipe Orihuela-Espina 87

Homocedasticidad § Homocedasticidad: § Intuitivo: Se dice que un modelo presenta homocedasticidad si la

Homocedasticidad § Homocedasticidad: § Intuitivo: Se dice que un modelo presenta homocedasticidad si la varianza del error, léase del residuo, se mantiene constante a lo largo de las observaciones/muestras. § …en otras palabras; los residuos son aproximadamente constantes § …en caso contrario se habla de heterocedasticidad § La homocedasticidad permite simplificar cálculos/análisis © 2012 -6. Dr. Felipe Orihuela-Espina 88

Homocedasticidad § Homocedasticidad: § Formal: Sea una variable aleatoria X de la que se

Homocedasticidad § Homocedasticidad: § Formal: Sea una variable aleatoria X de la que se extraen i muestras/observaciones. Existe homocedasticidad si: No me gusta mucho esta formalización no es demasiado clara… pero es lo mejorcito que he encontrado. © 2012 -6. Dr. Felipe Orihuela-Espina 89

La gráfica de residuos Figura de: [www. r-bloggers. com] © 2012 -6. Dr. Felipe

La gráfica de residuos Figura de: [www. r-bloggers. com] © 2012 -6. Dr. Felipe Orihuela-Espina 90

La gráfica de residuos § Ejercicio: Discutir el ajuste así como el poder predictivo

La gráfica de residuos § Ejercicio: Discutir el ajuste así como el poder predictivo y explicativo de los siguientes modelos: § a) [twu. seanho. com] § b) [http: //www. dartmouth. edu/~matc/math 30/plasma. html] a) b) © 2012 -6. Dr. Felipe Orihuela-Espina 91

La gráfica de residuos § Solución: § a) Modelo no sesgado pero heterocedástico. Su

La gráfica de residuos § Solución: § a) Modelo no sesgado pero heterocedástico. Su varianza es aproximadamente (a ojímetro) en torno a 230 (=(((90+20)90)^2+((80+15)-80)^2+((70+8)-70)^2)/3), lo que es aproximadamente 3 veces su media (~80). Bajo poder predictivo y explicativo. § b) Modelo insesgado (los residuos no tienen un patrón claro) y homocedástico (la varianza de los residuos es aproximadamente constante). El modelo tiene un alto poder explicativo, pero su ajuste es limitado, por lo que su poder predictivo es bajo. © 2012 -6. Dr. Felipe Orihuela-Espina 92

Análisis de regresión y causalidad § IMPORTANTE: § Los análisis de regresión y correlación

Análisis de regresión y causalidad § IMPORTANTE: § Los análisis de regresión y correlación NO puede ser usado como un medio para inferir causalidad*, únicamente como asociación § …esto es especialmente cierto en el caso de correlaciones § …veremos esto más a detalle en la unidad de diseño de experimentos * El análisis de regresión puede permitir inferir causalidad débil (nivel 2) en casos muy particulares/específicos y bajo circunstancias extremadamente limitadas; e. g. suposición de mundo-cerrado, etc. © 2012 -6. Dr. Felipe Orihuela-Espina 93

MODELO GENERAL LINEAL © 2012 -6. Dr. Felipe Orihuela-Espina 94

MODELO GENERAL LINEAL © 2012 -6. Dr. Felipe Orihuela-Espina 94

Modelo general lineal § Lecturas recomendadas: § Friston KJ et al (1995) “Statistical parametric

Modelo general lineal § Lecturas recomendadas: § Friston KJ et al (1995) “Statistical parametric maps in functional imaging: A general linear approach” Human Brain Mapping 2: 189 -210 § http: //www. statsoft. com/textbook/generallinear-models/ § Brien CJ (1992) “Factorial linear model analysis” Ph. D Thesis. University of Adelaide (Australia) © 2012 -6. Dr. Felipe Orihuela-Espina 95

Modelo general lineal § Ya sabemos: § El modelo linear aditivo múltiple que relaciona

Modelo general lineal § Ya sabemos: § El modelo linear aditivo múltiple que relaciona 1 variable dependiente con j variables independientes es: © 2012 -6. Dr. Felipe Orihuela-Espina 96

Modelo general lineal § Y también sabemos: § Para n casos, se forma un

Modelo general lineal § Y también sabemos: § Para n casos, se forma un sistema de ecuaciones: © 2012 -6. Dr. Felipe Orihuela-Espina 97

Modelo general lineal § Podemos expresar el modelo de regresión múltiple anterior con matrices

Modelo general lineal § Podemos expresar el modelo de regresión múltiple anterior con matrices de una forma más compacta: § donde: Estos 1 son necesarios para la intersección con el eje de ordenadas β 0. Hay veces que el modelo se presenta sin término constante, y en consecuencia esta columna © 2012 -6. Dr. Felipe Orihuela-Espina desaparece 98

Modelo general lineal nx 1 nx(j+1) x 1 © 2012 -6. Dr. Felipe Orihuela-Espina

Modelo general lineal nx 1 nx(j+1) x 1 © 2012 -6. Dr. Felipe Orihuela-Espina nx 1 99

Modelo general lineal § Suposiciones: § Los errores i son: § independientes e idénticamente

Modelo general lineal § Suposiciones: § Los errores i son: § independientes e idénticamente distribuidos § tienen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 100

Modelo general lineal § Las ecuaciones normales (aquellas que sirven para resolver mínimo cuadrados)

Modelo general lineal § Las ecuaciones normales (aquellas que sirven para resolver mínimo cuadrados) ahora son “sencillas” de expresar: § Donde XT es la traspuesta de X § Si quieres saber exactamente como se derivan estas ecuaciones normales a partir de la fórmula anterior Y=Xβ+ puedes consultarlo en: § http: //en. wikipedia. org/wiki/Linear_least_squares_(mathematics) § #Derivation_of_the_normal_equations § Enlace vigente a 16 -Nov-2015. http: //theclevermachine. wordpress. com/2012/09/01/derivation-ofols-normal-equations/ § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 101

Modelo general lineal § Cuando las variables X son linealmente independientes (no redundantes), entonces:

Modelo general lineal § Cuando las variables X son linealmente independientes (no redundantes), entonces: § la matriz XTX tiene un rango* completo, . . . § y por ende XTX es invertible. . . § y por ende existe una solución única a las ecuaciones normales. * Recordamos: El rango de una matriz es el número máximo de columnas (filas respectivamente) que son linealmente independientes (= grados de libertad efectivos; aunque normalmente los grados de libertad = rango – 1 por los términos constantes) © 2012 -6. Dr. Felipe Orihuela-Espina 102

Modelo general lineal § Resolvemos despejando las β: § Esta es una solución genérica

Modelo general lineal § Resolvemos despejando las β: § Esta es una solución genérica al problema de ajuste por mínimos cuadrados © 2012 -6. Dr. Felipe Orihuela-Espina 103

Modelo general lineal § Pero regresemos un segundo a la fórmula original del modelo

Modelo general lineal § Pero regresemos un segundo a la fórmula original del modelo lineal multiregresivo: Observaciones Matriz de diseño Parámetros Error El nombre de matriz de diseño no es casual. Se refiere al diseño experimental. © 2012 -6. Dr. Felipe Orihuela-Espina 104

Modelo general lineal § El vector de observaciones Y son la mediciones de nuestra

Modelo general lineal § El vector de observaciones Y son la mediciones de nuestra variable dependiente § La matriz de diseño X incorpora a todas aquellas variables independientes que pensamos pueden tener una relación de asociación con la variable explicada § Los parámetros β son los coeficientes de asociación entre las variables independientes y la variable explicada © 2012 -6. Dr. Felipe Orihuela-Espina 105

Modelo general lineal § Este modelo permite implementar un vasto rango de análisis estadístico

Modelo general lineal § Este modelo permite implementar un vasto rango de análisis estadístico § Ya que la solución es conocida mediante las ecuaciones normales, … § la clave está en la formulación correcta de la matriz de diseño X § …¡pero aún no es el modelo general lineal! © 2012 -6. Dr. Felipe Orihuela-Espina 106

Modelo general lineal § El modelo general lineal (GLM por siglas en inglés) es

Modelo general lineal § El modelo general lineal (GLM por siglas en inglés) es una generalización de los modelos regresivos lineales tales que los efectos pueden probarse para: § (1) variables independientes de tipo categórica § así como continuas, y (2) en diseños de una sola o múltiples variables dependientes § El GLM es una extensión de la regresión múltiple lineal de una única variable dependiente a múltiples variables dependientes. © 2012 -6. Dr. Felipe Orihuela-Espina 107

Modelo general lineal § En el GLM el vector de n observaciones Y se

Modelo general lineal § En el GLM el vector de n observaciones Y se sustituye por una matriz de n observaciones y m variables dependientes © 2012 -6. Dr. Felipe Orihuela-Espina 108

Modelo general lineal § Análogamente el vector de parámetros β se reemplaza por una

Modelo general lineal § Análogamente el vector de parámetros β se reemplaza por una matriz de coeficientes de regresión con un vector β para cada una de las m variables dependientes © 2012 -6. Dr. Felipe Orihuela-Espina 109

Modelo general lineal § Finalmente, también el vector de errores hay que transformarlo a

Modelo general lineal § Finalmente, también el vector de errores hay que transformarlo a una matriz © 2012 -6. Dr. Felipe Orihuela-Espina 110

Modelo general lineal § El modelo general lineal queda: nxm nx(j+1) xm nxm §

Modelo general lineal § El modelo general lineal queda: nxm nx(j+1) xm nxm § Observa que en la expresión matricial no hay diferencias con el modelo linear múltiple © 2012 -6. Dr. Felipe Orihuela-Espina 111

Modelo general lineal § “The general linear model goes a step beyond the multivariate

Modelo general lineal § “The general linear model goes a step beyond the multivariate regression model by allowing for linear transformations or linear combinations of multiple dependent variables. This extension gives the general linear model important advantages over the multiple and the so-called multivariate regression models, both of which are inherently univariate (single dependent variable) methods. One advantage is that multivariate tests of significance can be employed when responses on multiple dependent variables are correlated. Separate univariate tests of significance for correlated dependent variables are not independent and may not be appropriate. Multivariate tests of significance of independent linear combinations of multiple dependent variables also can give insight into which dimensions of the response variables are, and are not, related to the predictor variables. Another advantage is the ability to analyze effects of repeated measure factors. Repeated measure designs, or within-subject designs, have traditionally been analyzed using ANOVA techniques. Linear combinations of responses reflecting a repeated measure effect (for example, the difference of responses on a measure under differing conditions) can be constructed and tested for significance using either the univariate or multivariate approach to analyzing repeated measures in the general linear model. ” § [http: //www. statsoft. com/textbook/general-linear-models/#reg_extension] © 2012 -6. Dr. Felipe Orihuela-Espina 112

Modelo General Lineal § Ejercicio: Suponga que el coste de rentar una camioneta por

Modelo General Lineal § Ejercicio: Suponga que el coste de rentar una camioneta por un día es de 500 pesos más 4 pesos por km realizado. § ¿Cuál es el coste final de la renta si el conductor hace un total de 32 km? Solución: Siendo d el kilometraje realizado, el coste de la renta C se puede expresar como: C=4 d+500 Por lo que si se realizaron d=32 km, entonces; C=4· 32+500=628 MXN Ejercicio adaptado de: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 113

Modelo General Lineal § Ejercicio: El censo de población de una ciudad en 1990

Modelo General Lineal § Ejercicio: El censo de población de una ciudad en 1990 era de 415184 habitantes. Esta ciudad creció hasta los 447441 habitantes en el censo del año 2000, y hasta los 501169 habitantes en 2010. § a) ¿Qué tasa de crecimiento lineal tiene? § b) Si mantiene esa tasa de crecimiento lineal ¿Cuál sería la población estimada en 2020? Recuerda: la inversa de una matriz es X-1= (adj(X)/det(X) donde adj(X)=cof(X)T* *Se supone que en la parte previa de álgebra debisteis haber visto el cálculo de la inversa. Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 114

Modelo General Lineal § Ejercicio: Solución: § Empecemos observando la gráfica de dispersión: Elaboración

Modelo General Lineal § Ejercicio: Solución: § Empecemos observando la gráfica de dispersión: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 115

Modelo General Lineal § Ejercicio: Solución: § Primero planteamos el problema: § La variable

Modelo General Lineal § Ejercicio: Solución: § Primero planteamos el problema: § La variable independiente es el año; § La variable dependiente es la población: § El modelo lineal queda como: y=β 1 x 1+β 0+ § … de forma concisa: Y=βX+ § Donde: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 116

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 117

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos resolver: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 118

Modelo General Lineal § Ejercicio: Solución: § Calculamos la matriz de cofactores: § Donde

Modelo General Lineal § Ejercicio: Solución: § Calculamos la matriz de cofactores: § Donde Mij son los menores de cada elemento, i. e. el determinante de la submatriz resultante de eliminar la fila i-esima y la columna j-esima. § Y a partir de esta, la adjunta: § Que en este caso en particular queda igual que la de cofactores. Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 119

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos calcular la inversa de XTX:

Modelo General Lineal § Ejercicio: Solución: § Ahora podemos calcular la inversa de XTX: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 120

Modelo General Lineal § Ejercicio: Solución: § Finalmente, calculamos los β: Elaboración propia, pero

Modelo General Lineal § Ejercicio: Solución: § Finalmente, calculamos los β: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 121

Modelo General Lineal § Ejercicio: Solución: § Así se ve nuestro modelo: Elaboración propia,

Modelo General Lineal § Ejercicio: Solución: § Así se ve nuestro modelo: Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 122

Modelo General Lineal § Ejercicio: Solución: § b) Aquí se trata de una simple

Modelo General Lineal § Ejercicio: Solución: § b) Aquí se trata de una simple inferencia; § y = 4, 299. 249·x 1 - 8, 143, 901, 99 § y = 4, 299. 249· 2020 - 8, 143, 901, 99 § y = 540, 580, 99 540, 581 habitantes en 2020 Elaboración propia, pero inspirado en: [http: //www. augustatech. edu/math/molik/Linear. Models. Exercises. pdf] Enlace vigente al 30 -Oct-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 123

Modelos de efecto fijo, aleatorio y mixto § Los modelos clásicos contienen un único

Modelos de efecto fijo, aleatorio y mixto § Los modelos clásicos contienen un único elemento de error; el error aleatorio. Todas los demás efectos se consideran fijo. § En estos modelos, la suposición de independencia de los errores εi implica la independencia de las observaciones Yi. § A estos modelos se les llama modelos fijos o modelos de efectos fijos. © 2012 -6. Dr. Felipe Orihuela-Espina 124

Modelos de efecto fijo, aleatorio y mixto § Los modelos en los que todos

Modelos de efecto fijo, aleatorio y mixto § Los modelos en los que todos los efectos se suponen que son aleatorios se conocen como modelos de efecto aleatorio o modelos aleatorios. § Los modelos que contienen efectos tanto fijos como aleatorios se conocen como modelos de efecto mixto o modelos mixtos. § No entraremos en más detalles. Para saber más: § Rawlings, J-O; Pantula, S-G y Dickey, D-A “Applied § Regression Analysis: A research tool” 2 nd Ed. Springer (1998) Cap 18. Brien CJ (1992) “Factorial linear model analysis” Ph. D Thesis. University of Adelaide (Australia) © 2012 -6. Dr. Felipe Orihuela-Espina 125

TRANSFORMACIONES DE VARIABLES © 2012 -6. Dr. Felipe Orihuela-Espina 126

TRANSFORMACIONES DE VARIABLES © 2012 -6. Dr. Felipe Orihuela-Espina 126

Transformación de variables © 2012 -6. Dr. Felipe Orihuela-Espina 127

Transformación de variables © 2012 -6. Dr. Felipe Orihuela-Espina 127

Transformación de variables § “It is not an overstatement to say that statistics is

Transformación de variables § “It is not an overstatement to say that statistics is based on various transformations of data. Basic statistical summaries such as the sample mean, variance, z-scores, histograms, etc. , are all transformed data. Some more advanced summaries, such as principal components, periodograms, empirical characteristic functions, etc. , are also examples of transformed data. ” [Vidakovic, B, 2012] § Vidakovic, B (2012) “Transforms in Statistics” Springer Handbooks of Computational Statistics, pp 203 -242 (Cap. 8) § ☞ Esta lectura se desvía un poco del tema y trata con otras transformadas (Fourier, wavelets, coseno, Hilbert, etc), pero es bastante interesante © 2012 -6. Dr. Felipe Orihuela-Espina 128

Transformación de variables § “Most statistics textbooks say little about transformation. Most scientific papers

Transformación de variables § “Most statistics textbooks say little about transformation. Most scientific papers do not mention it. I first encountered the idea that transformation was very important in John Tukey’s Exploratory Data Analysis [2] , which devoted an early chapter to it and returned to the topic several times in later chapters. Tukey believed that a set of data rarely comes to us in the best form (scale) for analyzing it—for discovering the regularities it contains. We can usually find a better form. I decided that Tukey was right, and 1000 textbooks wrong, when I found, again and again, that transforming my data made it much easier to work with. It was like sharpening a knife. Choosing a good transformation really was as important as Tukey said. ” [Roberts S 2008] § Roberts S (2008) “Transform your data” Nutrition 24: 492 -494 § El libro mencionado es: § Tukey JW. (1977) Exploratory data analysis. Ed. Pearson. 1 st Ed. 688 pgs. § ☞ No he tenido acceso al libro , pero es frecuentemente citado por otros autores © 2012 -6. Dr. Felipe Orihuela-Espina 129

Transformación de variables § Las transformaciones de variables permiten: § Simplificar relaciones § Estabilizar

Transformación de variables § Las transformaciones de variables permiten: § Simplificar relaciones § Estabilizar varianzas § …y en consecuencia eliminar la heterocedasticidad § Mejorar la normalidad § Reducir problemas de falta de independencia § …y en general, para ajustarse más fielmente a las suposiciones de una prueba inferencial. © 2012 -6. Dr. Felipe Orihuela-Espina 130

Transformación de variables Umbra pygmaea Histograms of number of of the fish species Umbra

Transformación de variables Umbra pygmaea Histograms of number of of the fish species Umbra pygmaea (Eastern mudminnow) in Maryland streams per 75 m section of stream (samples with 0 mudminnows excluded). Untransformed data on left, log-transformed data on right. Fuente: [http: //udel. edu/~mcdonald/stattransform. html] © 2012 -6. Dr. Felipe Orihuela-Espina 131

Transformación de variables § Las transformaciones de variables pueden ser: § Lineales § Involucran

Transformación de variables § Las transformaciones de variables pueden ser: § Lineales § Involucran únicamente sumas, restas multiplicaciones y divisiones. § No afectan al tamaño del efecto § Los valores r, t y F se mantienen tras la transformación § No lineales § Involucran operaciones exponenciales (raíces, logaritmos, etc) § Incrementan la simetría de los datos (reducen la asimetría) § Pueden afectar al tamaño del efecto § Los valores r, t y F pueden cambiar como resultado de la transformación © 2012 -6. Dr. Felipe Orihuela-Espina 132

Transformación de variables § Una transformación apropiada puede extender la aplicabilidad de procedimientos inferenciales,

Transformación de variables § Una transformación apropiada puede extender la aplicabilidad de procedimientos inferenciales, por ejemplo el ajuste por mínimos cuadrados, como consecuencia de la mejor conformidad con las suposiciones. § ¡Cuidado! § Al igual que una transformación apropiada puede § aliviar situaciones o escenarios no deseables, …aplicar una transformación donde está situaciones no estaban presentes puede resultar en la aparición de situaciones o escenarios no deseables. © 2012 -6. Dr. Felipe Orihuela-Espina 133

Transformación de variables § Guías al llevar a cabo transformaciones de variables [Hair 1998

Transformación de variables § Guías al llevar a cabo transformaciones de variables [Hair 1998 en Munro. BH 2005, pg 50] 1. 2. 3. 4. § Para que una transformación tenga un efecto “visible” el ratio entre la media de la variable y su desviación estándar debe ser menos de 4. 0 Si una transformación se puede aplicar a más de una variable, aplicalá en aquella con el menor ratio de la guía #1. Las transformaciones deben aplicarse preferentemente en la variable independiente 1. …excepto en caso de heterocedasticidad 2. La heterocedasticidad únicamente puede corregirse modificando la variable dependiente Las transformaciones pueden modificar como se interpretan los valores 1. Las variables transformadas pueden ser más difíciles de interpretar 2. …esto es especialmente cierto si las escala original es ampliamente conocida Munro BH (2005) “Statistical methods for health care research” Volume 1, Lippincott Williams & Wilkins © 2012 -6. Dr. Felipe Orihuela-Espina 134

Transformación de variables § Una transformación de variable es una función: Esta de finición

Transformación de variables § Una transformación de variable es una función: Esta de finición es tan c como g orrecta e n e r a l realme nte no por lo que Veamoi añade much s algun o… transfo a s d e las rmacio nes má s comu nes § …donde cada observación Y se reemplaza por su valor transformado. © 2012 -6. Dr. Felipe Orihuela-Espina 135

Transformación de variables § No es una buena práctica reportar las estadísticas (media, varianza,

Transformación de variables § No es una buena práctica reportar las estadísticas (media, varianza, etc) en las unidades transformadas § Por tanto, a menudo las transformaciones son invertibles y continuas. § Abuso: Las transformaciones NO son una forma de salirte con la tuya y aplicar el proceso inferencial que más te gusta © 2012 -6. Dr. Felipe Orihuela-Espina 136

Transformación de variables § Entre modelos estadísticos, se considera más sencillo aquel con menos

Transformación de variables § Entre modelos estadísticos, se considera más sencillo aquel con menos parámetros i. e. modelos más compactos. § Modelos lineales se consideran más sencillos que modelos curvilíneos § Muchos modelos no lineales en los parámetros se pueden linearizar, léase reexpresar como una función lineal de los parámetros, mediante una transformación apropiada. © 2012 -6. Dr. Felipe Orihuela-Espina 137

Transformación de variables § Transformada del valor z (o estandarización): § Tiene 2 estimadores

Transformación de variables § Transformada del valor z (o estandarización): § Tiene 2 estimadores comunes: § Re-expresa los valores en términos de desviaciones estándar a la media. § Ejemplo: Un valor con un z-valor igual a 1 es que se encontraba a 1 desviación estándar de la media. © 2012 -6. Dr. Felipe Orihuela-Espina 138

Transformación de variables § Transformada del valor z: § Estrictamente, el valor z sólo

Transformación de variables § Transformada del valor z: § Estrictamente, el valor z sólo está definida sobre los parámetros poblacionales. § Usar la “versión” muestral tiene ciertas implicaciones § El valor z muestral es equivalente/igual al valor t de Student § La media de los z-valores muestrales puede ser mayor o menor a 0 dependiendo de la muestra, y análogamente la desviación estándar puede ser mayor o menor a 1 © 2012 -6. Dr. Felipe Orihuela-Espina 139

Transformación de variables § Transformada del valor z: § Al valor z se le

Transformación de variables § Transformada del valor z: § Al valor z se le conoce también como: § Valor estándar § Valor normal* § Variable estandarizada § A la transformada también se la conoce como: § Tipificación § Normalización § Estándarización *A la distribución normal también se la conoce como la distribución Z © 2012 -6. Dr. Felipe Orihuela-Espina 140

Transformación de variables § Transformada del valor z: Figura de: [www. animatedsoftware. com] ©

Transformación de variables § Transformada del valor z: Figura de: [www. animatedsoftware. com] © 2012 -6. Dr. Felipe Orihuela-Espina 141

Transformación de variables § Transformada del valor z: Figura de: [whatilearned. wikia. com] ©

Transformación de variables § Transformada del valor z: Figura de: [whatilearned. wikia. com] © 2012 -6. Dr. Felipe Orihuela-Espina 142

Transformación de variables § Ejercicio: La cosecha de los manzanos de una finca presentan

Transformación de variables § Ejercicio: La cosecha de los manzanos de una finca presentan una distribución normal con media 42. 4 kilos y desviación estándar 6. 1 kilos. § a) Un manzano de esta finca dio 35 kilos de § manzanas. ¿Qué tan buena es su producción con respecto al resto? b) Si un árbol está 1. 85 desviaciones estándar por encima de la media, ¿cuál es su producción? § Tabla de valores z en línea: § http: //www. regentsprep. org/Regents/math/algtrig/ATS 7/ ZChart. htm § Enlace vigente a 06 -Nov-2016. Problema modificado de: [http: //www. oswego. edu/~srp/158/Normal%20 Models/Z-Scores. pdf] Enlace vigente a 6 -Nov-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 143

Transformación de variables § Solución: § a) Z=(35 – 42. 4)/6. 1 =-7. 4/6.

Transformación de variables § Solución: § a) Z=(35 – 42. 4)/6. 1 =-7. 4/6. 1 = -1. 21. § El árbol está por debajo de la media. En particular (y consultando las tablas z) se encuentra en el 0. 50. 1131= 38. 69% § b) El árbol está por encima de la media; en particular: § X= 42. 4 + 1. 85(6. 1) = 53. 685 kilos Problema modificado de: [http: //www. oswego. edu/~srp/158/Normal%20 Models/Z-Scores. pdf] Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 144

Transformación de variables § Transformación logarítmica: § Sea un modelo exponencial § Este modelo

Transformación de variables § Transformación logarítmica: § Sea un modelo exponencial § Este modelo se puede linearizar tomando logaritmos en ambos lados: © 2012 -6. Dr. Felipe Orihuela-Espina 145

Transformación de variables § Transformación logarítmica: § El logaritmo puede ser natural o en

Transformación de variables § Transformación logarítmica: § El logaritmo puede ser natural o en otra base. § La transformación logarítmica es quizás la más ampliamente utilizada, después de la transformada z. § Es especialmente útil cuando la media está relacionada con la varianza (medias mayores acompañadas de mayores varianzas) § …normalmente, la transformación logarítmica remedia esta situación y hace que la varianza sea independiente de la media § La transformación logarítmica a menudo corrige problemas de heterocedasticidad y falta de normalidad. § …en este sentido, se dice que una variable tiene una distribución lognormal si sus valores tras una transformación logarítmica siguen una distribución normal © 2012 -6. Dr. Felipe Orihuela-Espina 146

Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Miles

Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Miles JCH 2012, Journal of radiological protection, 32(3): 275] © 2012 -6. Dr. Felipe Orihuela-Espina 147

Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Bland

Transformación de variables § Transformación logarítmica: § Efecto en la distribución Figura de: [Bland y Altman 1996, BMJ 312: 1079] © 2012 -6. Dr. Felipe Orihuela-Espina 148

Transformación de variables § Transformación logarítmica: § ¿Qué hago cuando tengo valores negativos? §

Transformación de variables § Transformación logarítmica: § ¿Qué hago cuando tengo valores negativos? § Tienes al menos 2 opciones comunes: § Desplazar y luego transformar § Usa valores faltantes como la transformada de los valores negativos § Para saber más: § http: //blogs. sas. com/content/iml/2011/04/27/logtransformations-how-to-handle-negative-data-values/ § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 149

Transformación de variables § Transformación de raíz cuadrada: § Esta transformación consiste en tomar

Transformación de variables § Transformación de raíz cuadrada: § Esta transformación consiste en tomar la raíz cuadrada de cada observación: Asimetría positiva Asimetría negativa § Si los valores de la distribución original incluyen el 0 a menudo se “desplaza” cada observación añadiendo ½. © 2012 -6. Dr. Felipe Orihuela-Espina 150

Transformación de variables § Transformación de raíz cuadrada: § Permite estabilizar la varianza, reducir

Transformación de variables § Transformación de raíz cuadrada: § Permite estabilizar la varianza, reducir la asimetría y a menudo también reducir la curtosis § Es muy útil como transformación de escala. § Si hay observaciones negativas se debe añadir una constante (la raíz de un valor negativo es un número complejo) § Es útil cuando la distribución original es de Poisson (cuando los datos son conteos). § …la media y la varianza no son independientes sino que varían de forma idéntica § Lectura recomendada: § Bartlett MS (1936) “The square root transformation in analysis of § variance” Supplement to the Journal of the Royal Statistical Society 3(1): 68 -78 Osborne, Jason (2002). “Notes on the use of data transformations”. Practical Assessment, Research & Evaluation, 8(6): 11 pp © 2012 -6. Dr. Felipe Orihuela-Espina 151

Transformación de variables § Efecto en la distribución © 2012 -6. Dr. Felipe Orihuela-Espina

Transformación de variables § Efecto en la distribución © 2012 -6. Dr. Felipe Orihuela-Espina Figura de: [http: //www. geos. ed. ac. uk/homes/thompson/splus/] § Transformación de raíz cuadrada: 152

Transformación de variables § Transformación inversa: § Esta transformación consiste en tomar el valor

Transformación de variables § Transformación inversa: § Esta transformación consiste en tomar el valor inverso de cada observación: § Esta transformación revierte el orden de los z valores por lo que es necesario tomar el reflejo (multiplicar la variable por -1) antes de aplicar la transformación. § …a veces se le llama la reflejada inversa. § Normalmente además es necesario añadir una constante para llevar el valor mínimo por encima de 1. 0 © 2012 -6. Dr. Felipe Orihuela-Espina 153

Transformación de variables § Transformación inversa: § Permite convertir números pequeños en números grandes

Transformación de variables § Transformación inversa: § Permite convertir números pequeños en números grandes y viceversa § Permite corregir asimetrías severas © 2012 -6. Dr. Felipe Orihuela-Espina 154

Transformación de variables § Transformación inversa: § Efecto en la distribución Figura de: [http:

Transformación de variables § Transformación inversa: § Efecto en la distribución Figura de: [http: //pulchrifex. wordpress. com/2010/04/23/statistics-of-first-novel-publication/] © 2012 -6. Dr. Felipe Orihuela-Espina 155

Transformación de variables § Transformaciones Box-Cox: § Las transformaciones Box-Cox son una familia de

Transformación de variables § Transformaciones Box-Cox: § Las transformaciones Box-Cox son una familia de transformaciones para respuestas no negativas. Donde: • K 2 es la media geométrica de los Yi, y • K 1 es igual a: © 2012 -6. Dr. Felipe Orihuela-Espina 156

Transformación de variables § Transformaciones Box-Cox: § Permiten reducir anomalías tales como no aditividad,

Transformación de variables § Transformaciones Box-Cox: § Permiten reducir anomalías tales como no aditividad, no normalidad (en general) y heterocedasticidad § Incluye como casos especiales a las transformación recíprocas, logarítmicas y de raíces cuadradas © 2012 -6. Dr. Felipe Orihuela-Espina 157

Transformación de variables § Transformaciones Box-Cox: Ejemplo de uso para corrección de asimetría derecha

Transformación de variables § Transformaciones Box-Cox: Ejemplo de uso para corrección de asimetría derecha Gráficas de normalidad de Box-Cox: • Eje Abscisa: Value for λ • Eje Ordenada: Coeficiente de correlation del grafo de probabilidad normal (el QQ plot cuando la distribución asumida es la normal) tras aplicar la transformación Box-Cox. La correlación se calcula entre los ejes de abscisa y ordenada del grafo de probabilidad. Esta correlación representa una medida conveniente de la linearidad de la probabilidad Figura de: [http: //www. itl. nist. gov/div 898/handbook/eda/section 3/boxcoxno. htm] © 2012 -6. Dr. Felipe Orihuela-Espina 158

Transformación de variables § Transformaciones Box-Cox: Normal Probability (QQ-)Plot © 2012 -6. Dr. Felipe

Transformación de variables § Transformaciones Box-Cox: Normal Probability (QQ-)Plot © 2012 -6. Dr. Felipe Orihuela-Espina Figura de: [onlinestatbook. com] Este es el valor de λ 159

Transformación de variables § Transformaciones Box-Cox: Figura de: [http: //www-stat. stanford. edu/~olshen/manuscripts/selenite/node 6. html]

Transformación de variables § Transformaciones Box-Cox: Figura de: [http: //www-stat. stanford. edu/~olshen/manuscripts/selenite/node 6. html] © 2012 -6. Dr. Felipe Orihuela-Espina 160

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para corrección de asimetría derecha con regiones “no muestreadas” (¡ojo! podrían ser realmente no existentes) Figura de: [http: //gildrops. com/box-cox-transformation-for-normalizing-data/] © 2012 -6. Dr. Felipe Orihuela-Espina 161

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para corrección de doble cola Figura de: [http: //documentation. statsoft. com/STATISTICAHelp. aspx? path=Spreadsheets/Spreadsheet /Using. Spreadsheets/Box. Cox. Transformation. Overviewand. Technical © 2012 -6. Dr. Felipe Orihuela-Espina Notes] 162

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para “hombro” Figura de: [http: //www. sisef. it/iforest/contents/? id=ifor 0597 -004] © 2012 -6. Dr. Felipe Orihuela-Espina 163

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para

Transformación de variables § Transformaciones Box-Cox: § Algunos ejemplos “agresivos” Ejemplo de uso para “no se ni como llamar a esta cosa horrible” Figura de: [http: //www. ivtnetwork. com/article/methodology-assessing-productinactivation-during-cleaning-part-ii-setting-acceptance-limits] © 2012 -6. Dr. Felipe Orihuela-Espina 164

Transformación de variables § Transformaciones Box-Cox: § Para saber más: § Rawlings (1998) “Applied

Transformación de variables § Transformaciones Box-Cox: § Para saber más: § Rawlings (1998) “Applied Regression Analysis: A research tool” 2 nd Ed. Cap 12 § Spitzer JJ (1982) “A primer on Box-Cox estimation” The review of Economics and Statistics, 64(2): 307 -313 § Sakia, RM (1992) “The Box-Cox transformation technique: a review” The Statistician 41: 169 -178 § Gurka, MJ (2006) “Extending the Box-Cox transformation to the linear mixed model” Journal of the Royal Statistical Society. Series A (Statistics in Society) 169(2): 273 -288 § http: //data. princeton. edu/wws 509/notes/c 2 s 10. html § Enlace vigente a 6 -Nov-2016. © 2012 -6. Dr. Felipe Orihuela-Espina 165

Transformación de variables § Otras transformaciones (que no veremos aquí) § Transformada de Fisher

Transformación de variables § Otras transformaciones (que no veremos aquí) § Transformada de Fisher z sobre el coeficiente de § § correlación Transformada del arcoseno Método de Box-Tidwell § Es una transformación general aplicable a cualquier modelo y cualquier clase de transformación. § Para saber más: § http: //polisci. msu. edu/jacoby/icpsr/regress 3/lectures/week 4/ § 14. Nonlinearity. pdf Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 166

Transformación de variables § Algunos ejercicios resueltos sobre transformaciones: § http: //www. est. uc

Transformación de variables § Algunos ejercicios resueltos sobre transformaciones: § http: //www. est. uc 3 m. es/esp/nueva_docencia/l eganes/ing_tec_teleco_todas/estadistica/doc_ telem/archivos/Elisa/clase 5_problemas_2011 _12_sol. pdf § Enlace vigente a 16 -Nov-2015. © 2012 -6. Dr. Felipe Orihuela-Espina 167

GRACIAS, ¿PREGUNTAS? © 2012 -6. Dr. Felipe Orihuela-Espina 168

GRACIAS, ¿PREGUNTAS? © 2012 -6. Dr. Felipe Orihuela-Espina 168