Zobecněná metoda nejmenších čtverců

V odhadové praxi se stává, že nejsou splněny předpoklady pro odhad klasického lineárního modelu metodou nejmenších čtverců (MNČ). Takový model nemá optimální vlastnosti a je v praxi víceméně nepoužitelný. Předpoklady klasického lineárního regresního modelu jsou:

• P₁: E(ε) = 0
• P₂: E(εε^T) = σ²I_n
• P₃: E(X^Tε) = 0
• P₄: h(X) = k + 1 ≤ n

Předpoklad P₁ říká, že náhodná složka má mít nulovou střední hodnotu. Je-li porušen tento požadavek, pak je nenulová střední hodnota součástí odhadu úrovňové konstanty. Odhad úrovňové konstanty je vychýlený. Ostatní parametry zůstávají nevychýlené.

Předpokladem P₂ je konečný a konstantní rozptyl náhodné složky (=homoskedasticita) a sériová nezávislost náhodné složky. Porušení požadavku konstantního rozptylu se označuje jako heteroskedasticita. A porušení sériové nezávislosti se označuje jako autokorelace.

Předpoklad P₃ říká, že matice X je nezávislá na náhodné složce, tj. matice X je nestochastická.

Poslední předpoklad P₄ říká, že matice X má plnou hodnost. To znamená, že sloupce pozorování matice X nejsou lineárně závislé. Porušení předpokladu se označuje jako multikolinearita.

Porušení předpokladu náhodné složky

Zobecněná metoda nejmenších čtverců (ZMNČ) řeší porušení předpokladu P₂. To znamená, že náhodná složka nemá konstantní rozptyl (=heteroskedasticita) nebo vykazuje sériovou závislost (=autokorelace). Popřípadě vykazuje oba případy současně.

Odhady klasickou MNČ jsou v takovém případě sice nestranné a konzistentní, ale nejsou vydatné a asymptoticky vydatné. Jinými slovy nemají minimální rozptyl a nelze jej využít pro testování regresních parametrů modelu, konfidenční intervaly apod.

Zobecněná metoda nejmenších čtverců

Smyslem ZMNČ je transformace původního modelu takovým způsobem, aby náhodná složka splňovala klasické předpoklady kladené na náhodnou složku a model mohl být odhadnut klasickou MNČ s optimálními vlastnostmi.

Klasický lineární regresní model (KLMR) má v maticovém vyjádření tvar y = Xβ + ε, přičemž pro náhodnou složku platí již zmíněné předpoklady E(ε) = 0 a E(εε^T) = σ²I_n.

ZMNČ pracuje místo E(εε^T) = σ²I_n s obecněji formulovaným předpokladem E(εε^T) = σ²V, kde σ² je neznámý skalár a V je známa symetrická matice. Taková kovarianční matice náhodné složky může vykazovat sériovou závislost a nekonstantní rozptyl. Matici V lze vyjádřit jako inverzní matici dvou vzájemně transponovaných matic (T^TT)^-1, kde T je transformační matice, která se liší pro případ autokorelace a pro případ heteroskedasticity.

Není-li porušen předpoklad P₂ pak platí σ²I_n = σ²V.

Transformace lineárního regresního modelu

Lineární regresní model ve tvaru y = Xβ + ε vynásobíme transformační maticí T, čímž získáme zobecněný model lineární regrese ve tvaru Ty = TXβ + Tε. Pomocí substituce můžeme model přepsat do přehlednějšího tvaru y* = X*β + ε*, přičemž platí y* = Ty, X* = TX a ε* = Tε. Na takto upravený model již můžeme aplikovat klasickou MNČ, neboť pro kovarianční matici náhodné složky již platí E(ε*ε*^T) = σ²I_n.

E(ε*ε*^T) = E[(Tε)(Tε)^T)] = E(Tεε^TT^T)
E(ε*ε*^T) = TE(εε^T)T^T= Tσ²VT^T
E(ε*ε*^T) = σ²VV^-1
E(ε*ε*^T) = σ²I_n

Pronásobením bodové odhadové funkce MNČ transformační maticí T získáme odhadovou funkci ZMNČ

b = (X^TX)^-1X^Ty /·T

b* = (X*^TX*)^-1X*^Ty*
b* = [(TX)^T(TX)]^-1(TX)^TTy
b* = (X^TT^TXT)^-1T^TX^TTy
b* = (X^TV^-1X)^-1X^TV^-1y

Momentové charakteristiky odhadové funkce ZMNČ

V kapitole Vlastnosti odhadové funkce MNČ byly odvozeny momentové charakteristiky klasické odhadové funkce MNČ. Stejným způsobem lze odvodit střední hodnotu a kovarianční matici pro odhadovou funkci ZMNČ. Výchozím bodem odvození střední hodnoty E(b*) a kovarianční matice V(b*) je substituce transformovaného modelu y* do odhadové funkce ZMNČ b*.

b* = (X*^TX*)^-1X*^T(X*β + ε*)
b* = β + (X*^TX*)^-1X*^Tε*

Při odvození střední hodnoty E(b*) odhadové funkce ZMNČ vycházíme z upraveného předpokladu E(ε*) = 0.

E(b*) = E[β + (X*^TX*)^-1X*^Tε*]
E(b*) = β + (X*^TX*)^-1X*^TE(ε*)
E(b*) = β

S využitím upraveného předpokladu o kovarianční matici náhodné složky E(ε*ε*^T) = σ²I_n můžeme odvodit kovarianční matici V(b*) odhadové funkce ZMNČ.

V(b*) = E([b* - E(b*)][b* - E(b*)]^T)
V(b*) = E([b* - β][b* - β]^T)
V(b*) = TE(εε^T)T^T(T^TX^TTX)^-1
V(b*) = Tσ²VT^T(T^TX^TTX)^-1
V(b*) = σ²VV^-1(X^TV^-1X)^-1
V(b*) = σ²(X^TV^-1X)^-1