Regresin lineal mltiple Tema 2 Ignacio Cascos Depto

Regresión lineal múltiple Tema 2 Ignacio Cascos Depto. Estadística, Universidad Carlos III 1

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 2

Objetivos o o o Formulación del modelo de regresión múltiple Métodos de estimación para dichos modelos Tomar decisiones acerca de los parámetros Aprendizaje de utilización de gráficos para detectar el tipo de relación entre las variables Cuantificación del grado de relación lineal Ignacio Cascos Depto. Estadística, Universidad Carlos III 3

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 4

Introducción o o o Estudio conjunto de varias variables (más de dos). Varias variables independientes xi se utilizan para explicar otra dependiente y Utilizamos toda la información disponible Ignacio Cascos Depto. Estadística, Universidad Carlos III 5

El modelo de regresión múltiple o o n observaciones de la forma (xi 1, …, xik, yi) Objetivo: aproximar y a partir de x 1, …, xk : variables independientes o explicativas y: variable dependiente o respuesta (a explicar) Ignacio Cascos Depto. Estadística, Universidad Carlos III 6

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 7

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 8

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 9

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 10

Linealidad o Los datos se ajustan aproximadamente a la ecuación: o Con dos variables explicativas: Los datos están aproximadamente contenidos en un plano. En general, en un hiperplano. Ignacio Cascos Depto. Estadística, Universidad Carlos III 11

Homogeneidad o El valor promedio de la perturbación es cero, Ignacio Cascos Depto. Estadística, Universidad Carlos III 12

Homocedasticidad: Var[ui]=s 2 Varianza de perturbaciones constante Ignacio Cascos Depto. Estadística, Universidad Carlos III 13

Independencia o Perturbaciones ui independientes entre sí. o En particular E[uiuj]= 0 para i ¹ j Ignacio Cascos Depto. Estadística, Universidad Carlos III 14

Normalidad o Las perturbaciones siguen distribución normal ui~N(0, s 2) o En consecuencia: Ignacio Cascos Depto. Estadística, Universidad Carlos III 15

Otras hipótesis o El número de datos n es mayor que k+1 o Ninguna variable explicativa es combinación lineal de las demás (las xi son linealmente independientes) Ignacio Cascos Depto. Estadística, Universidad Carlos III 16

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. 7. 8. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia y predicción Multicolinealidad y diagnosis Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 17

Forma matricial del modelo Habitualmente escribimos el modelo como Y = Xb + U con: o Ignacio Cascos Depto. Estadística, Universidad Carlos III 18

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 19

Método de Mínimos Cuadrados Valorobservado Dato(y) Recta de regresión estimada Ignacio Cascos Depto. Estadística, Universidad Carlos III 20

Mínimos Cuadrados o Objetivo: Buscar los valores de b 0, b 1, …, bk que mejor ajustan nuestros datos. Ecuación: o Residuo: o Minimizar: o Ignacio Cascos Depto. Estadística, Universidad Carlos III 21

Mínimos Cuadrados o Resultado en forma matricial: Ignacio Cascos Depto. Estadística, Universidad Carlos III 22

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 23

Interpretación geométrica o Hemos calculado: o Tenemos: o Definimos la matriz: H es idempotente, simétrica y del mismo rango que X, (k+1). Es una matriz de proyección. Ignacio Cascos Depto. Estadística, Universidad Carlos III 24

Interpretación geométrica o H simétrica (obvio) H idempotente o Residuos ortogonales a valores ajustados o Residuos ortogonales a matriz de diseño X o Ignacio Cascos Depto. Estadística, Universidad Carlos III 25

Interpretación geométrica Subespacio vectorial generado por las columnas de X Ignacio Cascos Depto. Estadística, Universidad Carlos III 26

Varianza o Para estimar s 2 utilizamos la varianza residual o Es insesgado como estimador de s 2 y además Ignacio Cascos Depto. Estadística, Universidad Carlos III 27

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 28

Propiedades de los estimadores o Normalidad. Sabemos Y=Xb +U, de donde Y~N(Xb, s 2 I). Como también es normal. Esperanza. o Varianza. o Ignacio Cascos Depto. Estadística, Universidad Carlos III 29

Propiedades de los estimadores Tenemos La varianza s 2 suele ser desconocida y utilizamos el error estándar estimado Ignacio Cascos Depto. Estadística, Universidad Carlos III 30

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 31

Inferencia. Contrastes para b Para averiguar si la variable xi afecta a la respuesta, debemos plantear el contraste Rechazamos la hipótesis nula si: Ignacio Cascos Depto. Estadística, Universidad Carlos III 32

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 33

Inferencia. Int. de confianza para b Podemos construir un intervalo de confianza para bi con nivel de confianza 1 -a como Si n > 30 y a = 0. 05, sabemos que tn-k-1, a/2 @ 2. Ignacio Cascos Depto. Estadística, Universidad Carlos III 34

Descomposición de la variabilidad Igual que en la regresión simple VT=VE+VNE Ignacio Cascos Depto. Estadística, Universidad Carlos III 35

Coeficiente de determinación o El coeficiente de determinación se define: o El coeficiente de determinación ajustado es más interesante ya que sólo aumenta si disminuye la varianza residual Ignacio Cascos Depto. Estadística, Universidad Carlos III 36

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 37

Contraste de regresión (fuera programa) Para averiguar si existe relación lineal entre la variable respuesta y las explicativas, realizamos Rechazamos la hipótesis nula si: Ignacio Cascos Depto. Estadística, Universidad Carlos III 38

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 39

Predicción para la media o Buscamos estimador puntual e I. C. para el valor medio de la respuesta cuando x=x 0 Ignacio Cascos Depto. Estadística, Universidad Carlos III 40

Predicción para la media o El intervalo de confianza para la media que obtenemos es: Ignacio Cascos Depto. Estadística, Universidad Carlos III 41

Ejemplo: semiconductores o ¿Cuál sería el I. C. para la respuesta media si la longitud del cable es 8 y la altura de la estructura es 275? Ignacio Cascos Depto. Estadística, Universidad Carlos III 42

Ejemplo: semiconductores Ignacio Cascos Depto. Estadística, Universidad Carlos III 43

Predicción para una nueva observación o Intervalo de predicción o Ejemplo: semiconductores (long. 8, altura 275) Ignacio Cascos Depto. Estadística, Universidad Carlos III 44

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 45

Multicolinealidad o o o Problema frecuente que se presenta cuando las variables explicativas son muy dependientes entre sí. No es un problema del modelo, sino de los datos, surge cuando det(Xt. X) próximo a cero. Las variables explicativas son significativas en el modelo simple, pero dejan de serlo en el múltiple. Ignacio Cascos Depto. Estadística, Universidad Carlos III 46

Índice de condicionamiento o Los autovalores de Xt. X son mayores o iguales que cero, para que haya multicolinealidad, alguno tiene que ser aproximadamente cero. Si 10 £ Ind. Cond. £ 30, multiolinealidad moderada Si Ind. Cond. > 30, multicolinealidad alta Ignacio Cascos Depto. Estadística, Universidad Carlos III 47

Ejemplo: Sabor del queso Ignacio Cascos Depto. Estadística, Universidad Carlos III 48

Ejemplo: sabor del queso Multicolinealidad moderada Ignacio Cascos Depto. Estadística, Universidad Carlos III 49

Ejemplo: sabor del queso Ignacio Cascos Depto. Estadística, Universidad Carlos III 50

Ejemplo: sabor del queso Regresión simple Láctico Antes 30. 73 Ignacio Cascos Depto. Estadística, Universidad Carlos III 51

Ejemplo: sabor del queso Regresión simple Acético Antes 3. 9 Ignacio Cascos Depto. Estadística, Universidad Carlos III 52

Ejemplo: sabor del queso Regresión simple: H 2 S Antes 1. 2 Ignacio Cascos Depto. Estadística, Universidad Carlos III 53

Ejemplo: sabor del queso Ignacio Cascos Depto. Estadística, Universidad Carlos III 54

Ejemplo: sabor del queso Regresión múltiple: Acético y H 2 S Sabor Acético + H 2 S 64. 5% H 2 S 57. 11% Ignacio Cascos Acético 50. 61% Depto. Estadística, Universidad Carlos III 55

Ejemplo: sabor del queso Regresión múltiple: Láctico y H 2 S Sabor Láctico + H 2 S 65. 1% H 2 S 57. 11% Ignacio Cascos Láctico 49. 59% Depto. Estadística, Universidad Carlos III 56

Ejemplo: sabor del queso Regresión múltiple: Láctico y Acético Sabor Láctico + Acético 50. 7% Láctico Acético 49. 59% Ignacio Cascos Depto. Estadística, Universidad Carlos III 57

Ejemplo: sabor del queso Ignacio Cascos Depto. Estadística, Universidad Carlos III 58

Ejemplo: sabor del queso Regresión múltiple: Láctico y H 2 S Sabor Láctico + H 2 S 65. 1% H 2 S 57. 11% Ignacio Cascos Láctico 49. 59% Depto. Estadística, Universidad Carlos III 59

Diagnosis o o Más compleja que en la regresión simple. Gráficos de residuos frente a valores previstos para detectar falta de linealidad y heterocedasticidad. Gráficos probabilísticos (pp-plots) para los residuos para detectar falta de normalidad. Análisis de datos influyentes. Ignacio Cascos Depto. Estadística, Universidad Carlos III 60

Descripción breve del tema 1. Introducción 2. Hipótesis del modelo n Linealidad, homogeneidad, homocedasticidad, independencia, normalidad, otras hipótesis 3. 4. 5. 6. Modelo en forma matricial Estimación de los parámetros Propiedades de los estimadores Inferencia, descomp. de la variabilidad y predicción 7. Multicolinealidad y diagnosis 8. Extensiones del modelo Ignacio Cascos Depto. Estadística, Universidad Carlos III 61

Variables dicotómicas En un muestra pueden aparecer grupos de observaciones. Ejemplo: En una muestra de alumnos los grupos pueden venir dados por el sexo. Ignacio Cascos Depto. Estadística, Universidad Carlos III 62

Variables dicotómicas o Podemos introducir variables ficticias, dicotómicas o dummies del siguiente modo: Ignacio Cascos Depto. Estadística, Universidad Carlos III 63

Variables dicotómicas Ignacio Cascos Depto. Estadística, Universidad Carlos III 64

Variables politómicas o o En numerosas ocasiones las variables cualitativas toman valores en más de dos características. Si tenemos s categorías, introducimos s-1 variables dicotómicas zt Ignacio Cascos Depto. Estadística, Universidad Carlos III 65