Multiple Regression Models Mingchi Chen 5 The Normal

多元迴歸Multiple Regression Models 觀 念 • 兩者的迴歸線： ©Ming-chi Chen 社會統計 5

The Normal Equation y 需 求 觀 念 求使e 2最小的平面 X 2所得 ©Ming-chi Chen X 1價格 社會統計 16

The Normal Equation 觀 念 e總和為零 e與x 1及x 2不相關(uncorrelated) ©Ming-chi Chen 社會統計 18

Basic Rules for Differentiation 複 習 • Rule 8: the chain rule ©Ming-chi Chen 社會統計 19

Example of chain rule ©Ming-chi Chen 社會統計 複 習 20

©Ming-chi Chen 社會統計 22

The Normal Equation ©Ming-chi Chen 社會統計 觀 念 23

The Normal Equation 觀 念 Sum Average ©Ming-chi Chen 社會統計 24

The Normal Equation 觀 念 Sum Average ©Ming-chi Chen 社會統計 25

The Normal Equation 觀 念 迴歸平面通過中心點: ©Ming-chi Chen 社會統計 26

Normal Equations in Reduced Form 觀 念 若將所有變數都以「離均值」來表示 求b 1, b 2等於： ©Ming-chi Chen 社會統計 27

Normal Equations in Reduced Form 觀 念 解聯立方程式： ©Ming-chi Chen 社會統計 28

Normal Equations in Reduced Form 觀 念 解聯立方 程式： ©Ming-chi Chen 社會統計 29

觀 念 ©Ming-chi Chen 社會統計 30

一般化迴歸模型的假設條件 • 依變數Yi為隨機變數，自變數（Xi, i=1, …, k） 為預先選定的變數。 • Zero Mean: E(ei)=0 • Homoscedasticity: e 2 is the same for all value of independent variable. • Normality: ei為常態分配 • No serial correlation: E(eiej) =0, i j • Independent of ei and xij: E(eixij)=0 ©Ming-chi Chen 社會統計 31

The General Multiple Regression Model 母體迴歸線 樣本迴歸線 • b 0, b 1, …bk are the least-squares estimates of β 0, β 1, …βk that minimize the residual sum of squares: • The Gauss-Markov Theorem: If the basic assumptions hold: • b 0, b 1, …bk are the unbiased estimates ofβ 0, β 1, …, βk • b 0, b 1, …bk have the minimum variances among the class of linear unbiased estimators ©Ming-chi Chen 社會統計 33

Estimated Standard Error of Regression • SSE的一般性公式： ©Ming-chi Chen 社會統計 35

Partition of Total Sum of Squares 觀 念 多元迴歸中，SST = SSR + SSE仍然成立 e與x 1及x 2 不相關 ©Ming-chi Chen 社會統計 36

Partition of Total Sum of Squares SST= SSE ©Ming-chi Chen 社會統計 觀 念 + SSR 37

Sum of Square due to Regression ©Ming-chi Chen 社會統計 觀 念 39

Adjusted R square ©Ming-chi Chen 社會統計 42

Adjusted R square ©Ming-chi Chen 社會統計 43

Adjusted R square ©Ming-chi Chen 社會統計 44

Measuring Goodness of fit Reject ©Ming-chi Chen 社會統計 46

©Ming-chi Chen 社會統計 47

Confidence Intervals and tests of hypotheses • 每一個β之95% 信賴區間： 自變數個數 ©Ming-chi Chen 社會統計 55

Stata複迴歸結果 ©Ming-chi Chen 社會統計 56

Stata求預測值 ©Ming-chi Chen 社會統計 59

Stata求預測值 ©Ming-chi Chen 社會統計 60

母體預測值平均E(Y|X)或μy的95％ 信賴區間 • 先求出t值，要知道自由度在 31 -3＝ 28下， α=0. 05的t值。 • 在Stata中，用invttail(28, . 05/2) • generate yhatll=yhat-stderr*invttail(28, . 05/2) 這是信賴下界 • generate yhatul=yhat+stderr*invttail(28, . 05/2)這是信賴上界 ©Ming-chi Chen 社會統計 62

母體預測值Y-hat的95％信賴區間 • 先求出t值，要知道自由度在 31 -3＝ 28下， α=0. 05的t值。 • 在Stata中，用invttail(28, . 05/2) • generate yhatllf=yhat-stderrf*invttail(28, . 05/2)這是 信賴下界 • Generate yhatulf=yhat+stderrf*invttail(28, . 05/2)這 是信賴上界 ©Ming-chi Chen 社會統計 64

虛擬變數Dummy Variables ©Ming-chi Chen 社會統計 觀 念 72

虛擬變數Dummy Variables 觀 念 當D=0時， 當D=1時， ©Ming-chi Chen 社會統計 73

Stata與虛擬變數 ©Ming-chi Chen 社會統計 77

虛擬變數Dummy Variables ©Ming-chi Chen 社會統計 80

Models involving polynomials • 在迴歸方程式中，有時自變數以二次項 (parabola)或三次項(cubic polynomial)的型態出 現。 收 入 ©Ming-chi Chen 年資 X 社會統計 94

Models involving polynomials ©Ming-chi Chen 社會統計 95