Modelo de Regresin Lineal Simple y b 0

Modelo de Regresión Lineal Simple y = b 0 + b 1 x + u Free and Quick Translation of Anderson's slides 1

Terminologia En el modelo de regresión lineal simple, donde y = b 0 + b 1 x + u, tipicamente nos referimos a y como la n n Variable Dependiente, o Variable de la Izquierda, o Variable Explicada, o Regresando Free and Quick Translation of Anderson's slides 2

Terminologia, cont. En el modelo de regresión lineal simple de y sobre x, tipicamente nos referimos a x como n n n Variable Independiente, o Variable de la Derecha, o Variable Explicativa, o Regresor, o Covariable, o Variables de Control Free and Quick Translation of Anderson's slides 3

Un Supuesto Simple La media de u, el termino de error, en la poblacion es 0. Esto es, E(u) = 0 Este no es un supuesto restrictivo ya que siempre se pueda usar b 0 para normalizar E(u) a 0 Free and Quick Translation of Anderson's slides 4

Zero Esperanza Condicional Tenemos que hacer un supuesto crucial sobre como u y x estan relacionadas Queremos que sea el caso de que conocer algo sobre x no nos de informacion a cerca de u, es decir que ellos estan totalmente norelacionados. Esto es, que E(u|x) = E(u) = 0, lo que implica E(y|x) = b 0 + b 1 x Free and Quick Translation of Anderson's slides 5

E(y|x) como funcion lineal de x, donde para cada x la distribucion de y esta centrada alrededor de E(y|x) y f(y) . x 1 . E(y|x) = b + b x 0 1 x 2 Free and Quick Translation of Anderson's slides 6

Minimos Cuadrados Ordinarios La idea basica de la regresion es estimar los parametros poblacionales desde una muestra Sea {(xi, yi): i=1, …, n} una muestra aleatoria de tamaño n de una poblacion Para cada observacion en esta muestra, sera el caso que yi = b 0 + b 1 xi + ui Free and Quick Translation of Anderson's slides 7

Recta de Regresión lineal, puntos de la muestra y los terminos de error asociados E(y|x) = b 0 + b 1 x. { u 4 y y 4 y 3 y 2 y 1 u 2 {. . } u 3 } u 1 . x 1 x 2 x 3 Free and Quick Translation of Anderson's slides x 4 x 8

Derivando los estimadores MCO Para derivar las estimaciones MCO debemos darnos cuenta que nuestro supuesto principal de E(u|x) = E(u) = 0 tambien implica que Cov(x, u) = E(xu) = 0 Por que? Recuerda que Cov(X, Y) = E(XY) – E(X)E(Y) Free and Quick Translation of Anderson's slides 9

Derivando MCO, cont. Tenemos 2 restriciones en termino de x, y, b 0 y b 1 , ya que u = y – b 0 – b 1 x E(y – b 0 – b 1 x) = 0 E[x(y – b 0 – b 1 x)] = 0 Esto se llama restriciones de momentos Free and Quick Translation of Anderson's slides 10

Derivando MCO usando el metodo de los momentos El metodo de los momentos consiste en imponer las restriciones de los momentos poblaciones en la muestra Que significa esto? Recordad que para E(X), la media de la distribucion poblacional, un estimador simple de E(X) es simplemente la media aritmetica de las observaciones muestrales Free and Quick Translation of Anderson's slides 11

Mas sobre la Derivacion de MCO Queremos elegir los valores de los parametros que nos aseguran que la version muestral de las restriciones de momentos poblaciones son ciertas La version muestral es: Free and Quick Translation of Anderson's slides 12

Mas sobre la derivacion de MCO Dada la definicion de media muestral, y las propiedades del operador suma, la primera condicion se puede escribir como Free and Quick Translation of Anderson's slides 13

Mas sobre la derivacion de MCO Free and Quick Translation of Anderson's slides 14

Llegamos a que la estimacion MCO de la pendiente es: Free and Quick Translation of Anderson's slides 15

Resumen sobre la pendiente estimada por MCO La pendiente estimada es la covarianza muestral entre x e y divida por la varianza muestral de x Si x e y estan positivamente correlacionadas, la pendiente sera positiva Si x e y estan negativamente correlacionadas, la pendiente sera negativa Solo se necesita que varie x en nuestra muestra Free and Quick Translation of Anderson's slides 16

Mas sobre MCO Intuitivamente, MCO esta ajustando una linea recta a traves de los puntos muestrales tal que la suma de los residuos al cuadrado sea tan pequeña como se pueda, de ahi el nombre de Minimos Cuadrados El residuo, û, es una estimacion del termino error, u, y es la diferencia entre la recta ajustada (recta de regresion muestral) y el punto u observacion muestral Free and Quick Translation of Anderson's slides 17

Recta regresion muestral, datos muestrales y los residuos asociados y . y 4 û 4 { y 3 y 2 y 1 û 2 {. . } û 3 û 1 }. x 1 x 2 x 3 Free and Quick Translation of Anderson's slides x 4 x 18

Metodo alternativo de la derivacion de MCO Dada la idea intuitiva de ajustar una recta, podemos establecer un problema de minimizacion Esto es, queremos elegir las estimaciones de los parametros que minimizen la siguiente funcion: Free and Quick Translation of Anderson's slides 19

Metodo alternativo, cont Usando el calculo que habeis aprendido para minimizar una funcion, se obtienen como condiciones de primer orden las que ya obtuvisteis antes con el otro metodo, esta vez multiplicadas por n Free and Quick Translation of Anderson's slides 20

Propiedades alerbraicas de MCO La suma de los residuos MCO es zero Entonces la media muestral de los residuos MCO es zero tambien La covarianza muestral entre los regresores y los residuos MCO es zero La linea de regresion MCO SIEMPRE pasa a traves de la media de la muestra Free and Quick Translation of Anderson's slides 21

De forma precisa Free and Quick Translation of Anderson's slides 22

Mas terminologia Free and Quick Translation of Anderson's slides 23

Prueba de que SCT = SCE + SCR Free and Quick Translation of Anderson's slides 24

Medidas de Ajuste Como podemos medir que bien o que mal ajusta nuestra recta de regresion a los datos muestrales? Podemos medir la fraccion de la SCT que viene explicada por el modelo, y llamarla R-cuadrado de la regresion R 2 = SCE/SCT = 1 – SCE/SCT Free and Quick Translation of Anderson's slides 25

Insesgadez de MCO Asume que el modelo poblaciones es lineal en los parametros y = b 0 + b 1 x + u Asume que tenemos una muestra aleatoria de tamaño n, {(xi, yi): i=1, 2, …, n}, del modelo poblacional. Entonces podemos escribir el modelo muestral yi = b 0 + b 1 xi + ui Asume E(u|x) = 0 y entonces E(ui|xi) = 0 Asume que hay variacion en las xi Free and Quick Translation of Anderson's slides 26

Insesgadez de MCO (cont) Para pensar en la insesgadez, necesitamos reescribir nuestros estimadores en terminos de los parametros poblacionales Comencemos re-escribiendo la formula para el estimador de la pendiente Free and Quick Translation of Anderson's slides 27

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides 28

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides 29

Insesgadez de MCO (cont) Free and Quick Translation of Anderson's slides 30

Resumen de la Insesgadez Los estimadores MCO de b 1 y b 0 son insesgados La prueba de insesgadez depende de nuestros 4 supuestos. Si alguno falla entonces MCO puede no ser insesgado Recuerda que insesgadez es una descripcion del estimador – en una muestra dada podemos estar “cerca” o “lejos” del verdadero valor del parametro Free and Quick Translation of Anderson's slides 31

Varianza de los estimadores MCO Ahora sabemos que la distribucion muestral de nuestros estimadores esta centrada alrededor del verdadero parametro Queremos pensar sobre la dispersion de esta distribucion Esto es mas facil con el siguiente supuesto adicional Asume Var(u|x) = s 2 (Homocedasticidad) Free and Quick Translation of Anderson's slides 32

Varianza de MCO (cont) Var(u|x) = E(u 2|x)-[E(u|x)]2 E(u|x) = 0, asi que s 2 = E(u 2|x) = E(u 2) = Var(u) Entonces s 2 es tambien la varianza incondicional, llamada varianza del error s, la raiz cuadrada de la varianza se le llama la desviacion tipica del error Podemos decir: E(y|x)=b 0 + b 1 x y Var(y|x) = s 2 Free and Quick Translation of Anderson's slides 33

Caso Homocedastico y f(y|x) . x 1 . E(y|x) = b + b x 0 1 x 2 Free and Quick Translation of Anderson's slides 34

Caso Heterocedastico y f(y|x) . . x 1 x 2 x 3 Free and Quick Translation of Anderson's slides . E(y|x) = b 0 + b 1 x x 35

Varianza de MCO (cont) Free and Quick Translation of Anderson's slides 36

Resumen varianza de MCO Cuanto mas grande sea la varianza del error, s 2, mas grande es la varianza del estimador de la pendiente poblacional Cuanto mas grande sea la variabilidad en las xi, mas pequeño sera la varianza del estimador de la pendientee Entonces, una muestra mas grande debe reducir la varianza de dicho estimador Problema: la varianza del error, como parametro poblacional que es, es desconocida Free and Quick Translation of Anderson's slides 37

Estimanado la Varianza del Error No sabemos cual es la varianza del error, s 2, porque no observamos los errores, ui Lo que observamos son los residuos, ûi Podemos usar los residuos para construir un estimador de la varianza de los errores Free and Quick Translation of Anderson's slides 38

Estimacion de la Varianza del Error (cont) Free and Quick Translation of Anderson's slides 39

Estimacion de la Varianza del Error (cont) Free and Quick Translation of Anderson's slides 40