Académique Documents
Professionnel Documents
Culture Documents
ao N
ao Bayesiana
Sum
ario
1 Regress
ao n
ao bayesiana
1.1 SAR model . . . . . . . . . . . . . . . . . . . . . .
1.2 O modelo autoregressivo condicional (CAR) . . . .
1.2.1 Equivalence between SAR and CAR models
1.3 Old Stuff - from SBE course . . . . . . . . . . . . .
1.4 Maximum likelihood estimation . . . . . . . . . . .
1.5 Confidence intervals and tests . . . . . . . . . . . .
1.6 Difficulties with non-normal data . . . . . . . . . .
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
1
1
3
4
5
11
18
21
Captulo 1
Regress
ao n
ao bayesiana
Although a large number of model specifications for spatial processes have
been suggested in the literature(...), a fundamental distinction, with a significant impact on estimation and testing strategies, is the difference between
a simultaneous and a conditional spatial process.(...) Both models are most
often presented in a autoregressive form, i.e., where the value of a variable at
one point is related to its values in the rest of the spatial system(Anselin,
1988, pp 32-33).
The simultaneous autoregressive (SAR) model dates back to the
work of Whittle (1954).
1.1
SAR model
onde 1 , . . . , n s
ao independentes com distribuicao N (0, i ), i > 0, i =
1, . . . , n. Isto e, a observac
ao yi e a sua media i mais seu desvio em relacao
a esta media. Por sua vez, este desvio e uma soma ponderada dos desvios dos
1
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
(1.1.2)
onde a matriz S e n n. Note que S nao precisa ser simetrica mas Sii = 0, i =
1, . . . , n. A partir de ??, obtemos
(I S)(Z ) =
donde, se (I S) e invertvel,
Z = + (I S)1
(1.1.3)
Z N (, (I S)1 (I S t )1 )
(1.1.4)
concluindo-se que
0 1 1 1 0 0 1 0 0
1 0 1 0 1 0 0 1 0
1 1 0 0 0 1 0 0 1
1 0 0 0 1 1 1 0 0
B = c A = 1/5
0 1 0 1 0 1 0 1 0
0 0 1 1 1 0 0 0 1
1 0 0 1 0 0 0 1 1
0 1 0 0 1 0 1 0 1
1 0 1 0 0 1 0 1 0
temos que
diag((IB)1 (IB t )1 ) = diag((IB)2 ) = (4.2, 3.8, 3.8, 3.7, 3.7, 3.7, 3.1, 3.6, 3.5).
Este vetor mostra as vari
ancias dos yi s e e surpreendente que, mesmo com
esse grau extremo de simetria, elas nao sejam iguais. Note que, se c 1/4 na
definicao de B acima, a matriz I B e singular ja que entao (I B) x = 0.
Aumentando para 25 stios na forma de grade 5x5 temos as variancias indo
de 2.1 a 2.7.
1.2
Bij yj + i
(1.2.5)
onde i N (0, i2 ).
1.2.1
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
(I B)
1.3
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
Restric
ao em e na matriz de vizinhanca W no caso de modelo SAR: e necess
ario apenas que exista (I W )1
est
a restrito ao intervalo [1/min , 1/max ] onde min e max sao os autovalores
mnimo e m
aximo da matriz W
W n
ao precisa ser simetrica: i pode ser mais vizinho de j do que j de i.
Modelo SAR - Covari
ancia de Y
Cov(Y = V = (I W )1 (I W t )1
Em geral, a matriz de vizinhanca espacial W e esparsa: a maioria dos seus
elementos e igual a zero
No entanto, a matriz V sera cheia. Isto implica em correlacoes 6= 0 entre
localizac
oes distantes. Em geral, decai com distancia mas decaimento nao e
homogeneo (depende da posicao e da direcao)
Em geral, a diagonal de V nao sera constante, mesmo que Cov( = = 2 In ,
um m
ultiplo da identidade.
Assim, as observac
oes n
ao vem de um processo espacial estacionario.
Modelo SAR - Mais n
ao-estacionariedade espacial
Outra consequencia desagradavel: Cov(yi , yj ) nao sera invariante com a distancia
(vetorial) entre as
areas i e j
Isto ocorre mesmo que a matriz Wij seja constante com a distancia.
Isto tambem ocorre mesmo que = 2 In .
A principal raz
ao para a nao estacionariedade e que, num mapa tpico de
areas, n
ao existe homogeneidade de n
umero de vizinhos ou de ou de padrao
direcional de vizinhos.
Exemplo
Suponha uma grade regular com vizinhanca dada pelo movimento do peao.
Considere 9
areas na forma de grade 3x3 com simetria do toro e movimento
do peao para a estrutura de vizinhanca.
Transformando um ret
angulo num toro
Exemplo - 2
Se || < 1/4 ent
ao existe (I W )1
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
W = 1/5
0
1
1
1
0
0
1
0
0
1
0
1
0
1
0
0
1
0
1
1
0
0
0
1
0
0
1
1
0
0
0
1
1
1
0
0
0
1
0
1
0
1
0
1
0
0
0
1
1
1
0
0
0
1
1
0
0
1
0
0
0
1
1
0
1
0
0
1
0
1
0
1
0
0
1
0
0
1
1
1
0
Sem a convers
ao para toro, as variancias nao sao constantes: 1.37, 1.60, 1.37, 1.60, 1.93, 1.60, 1.37, 1.
Covari
ancia entre vizinhos e 0.67 a menos que uma das areas seja a area 5
(central) quando ent
ao e 0.87
E da ? Dificuldades para usar argumentos assintoticos baseados em uma u
nica
realizac
ao de um processo estocastico sem poder usar estacionariedade
Mapa de MG dividido em n municpios: O que significa n ?
Esta dificuldade assint
otica nao aparece em outros tipos de dados espaciais
(superfcie contnua e processos pontuais)
Dificuldades para a estimacao de
Numa
P serie AR(1)
P yt2 = yt1 + t com distribuicao normal, o estimador OLS
b = t yt yt1 / t yt e consistente e eficiente.
No caso espacial, considere o modelo SAR sem variaveis explicativas
= W +
Entao o estimador OLS
b =t W/(t )
e inconsistente.
Estimac
ao deve ser por m
axima verossimilhanca: veremos mais tarde
Caso E(Y 6= 0
Seja E(Y =. Ent
ao modelo SAR fica
Y = W (Y ) + ousejaY + (I W )1
Premultiplicando por (I W ) temos
Y W Y + onde
= (I- W ) e uma transformac
ao 1-1.
No modelo de regress
ao com covariaveis, faremos =
Isto e,
Y W Y X +
Modelos SAR e CAR: reta 6= plano
Em series temporais, as duas especificacoes abaixo sao equivalentes:
a especificac
ao simult
anea
yt = yt1 + t
com t i.i.d. com V ar(t ) = 2
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
10
e a especificac
ao condicional
E(yt |yt1 , yt2 , . . .) = yt1
e
V ar(yt |yt1 , yt2 , . . .) = 2
Esta equivalencia n
ao ocorre em modelos espaciais.
Suponha um mapa na forma de uma grade regular
Suponha um modelo SAR para os dados Y
Suponha uma matriz W binaria simetrica determinada pelo movimento de
pe
ao
Isto implica num modelo CAR equivalente
Isto e, distribuic
ao de Y podeserescritacomoumCAR.
Entretanto, o modelo CAR equiavalente ao SAR possui uma matriz W diferente da matriz W do modelo SAR.
Matriz W de CAR e muito mais cheia que a de SAR: nao-vizinhos no modelo
SAR (ou vizinhos de segunda e terceira ordem) sao vizinhos no modelo CAR.
SAR: Covari
ancia para W simetrica e [(I W )t (I W )]1 = [I 2W +
2 W 2 ]1
CAR: covari
ancia baseada numa matriz de vizinhanca W e igual a [I W ]1
Representac
ao SAR corresponde a modelo CAR com vizinhos de primeira e
segunda ordem.
11
1.4
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
12
No segundo modelo, espaco e meramente rudo (nuisance), Interesse principal e na estimacao de . Processo espacial de
eapenasparalevaremcontaerr
Uma variac
ao de SAR com lag
SAR - Spatial Durbin Model
introduz defasagens espaciais nas variaveis exogenas
= W + (I 2 W )X + W + X W X(2 ) +
onde i.i.dN(0, 2 ) e independente de X.
Caso Particular do modelo SAR de lag espacial
Mais Modelos de Regressao Espacial
CAR: Conditional Auto-Regressive Model.
Seja E(Yi ) = i =ti . Ent
ao a media condicional i|. = E(Yi | Y1 = y1 , . . . , Yn =
yn ) e vari
ancia condicional Vi|. = V ar(Yi | Y1 = y1 , . . . , Yn = yn ) sao dadas por
i2
(1.4.6)
(1.4.7)
Temos
Y Nn X, (I W )1
13
Duas abordagens:
Infill asymptotics: regiao geografica fica fixa mas unidades
amostrais aumentam ficando mais densas.
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
14
Considere o modelo
Y W + X + onde
1 , . . . , n i.i.d N (0, 2 ) e independentes de X.
Regress
ao com a vari
avel dependente defasada yt1 sendo usada como regressor: n
ao temos problemas com OLS se o erro t nao e correlacionado com
yt1 .
Isto ocorre se os erros t sao nao correlacionados.
Na situac
ao espacial, a presenca de W Y comoregressorinduzendogeneidadeindependentementeda
Como resultado, OLS sera inconsistente (Anselin e Bera, 1998).
Log-verossimilhanca do modelo de lag espacial
Considere o modelo
= W + X + onde
i.i.d N (0, 2 ) e independente de X.
Ent
ao, existindo a inversa, temos
= (I W )1 X + (I W )1
e a log-verossimilhanca e
n
1
l(, , 2 ) = log(2 2 ) + log |I W | 2 Q
2
2
onde
Q = (X)t (X)
EMV do modelo no modelo de lag espacial
O m
aximo u
nico da log-verossimilhanca e dado por:
b= X t X
1
X t (I W )
15
t
c2 = 1 (I W )t I X(X t X)1 X t (I W )
e minimiza a express
ao
X
2
log(1 i ) + log
n
M 2t M W + 2 (W )t M W
X
i
i
1 i
2
n/2
tr(B)
0t
1
c2 tr(B t B) +
c2
I=
tr(B)
t X t B t BX
X t BX
c
2
t
t
0
X BX
X X
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
16
Estimac
ao OLS no modelo de erros espaciais
Considere o modelo
= X + W
com i.i.d
N (0, 2 )
e independente de X.
Temos ent
ao
= X + (I W )1
Suponha quebe o estimador OLS usual de .
Ent
ao, como em series temporais, temos :
b e n
ao-viciado, consistente mas ineficiente (Anselin, 1988,
p.59)
OLS em 2 estagios (imitando procedimento de Cochrane-Orcutt,
1949) leva a estimadores inconsistentes (Kelejian e Prucha,
1997)
Eles mostraram que a funcao resposta do modelo espacial
autoregressivo associado com a tranformacao de CochraneOrcutt viola a condicao do posto de Amemiya (1985, p.246)
levando a problemas de identificacao para o parametro espacial.
Log-verossimilhanca do modelo de erros espaciais
Considere o modelo
= X + W
com i.i.d
N (0, 2 )
e independente de X.
Temos ent
ao
= X + (I W )1
A densidade conjunta de e obtida a partir daquela de
f () = (1/2 2 )n/2 exp t /(2 2 )
e como = (I W )ent
aoaverossimilhancade(t , , 2 ) e dada por
f ( = |I W |/(2 2 )n/2 exp (t(I W )t (I W )/(2 2 )
17
1
X t (I W )t (I W )
c2 = 1 (Xb)t (I W )t (I W ) (Xb)
n
e minimiza a express
ao
log(b
)
2X
log(1 i )
n
i
onde i s
ao os autovalores de W .
e encontrado por busca direta em (1/min , 1/max ).
Matriz de informac
ao do modelo de erros espaciais
A matriz de covari
ancia dos estimadores e dada pela inversa da matriz I de
informac
ao de Fisher avaliada no ponto de maximo.
Seja B = W (I W )1
e
=
X
i
i
1 i
2
Entao
n/2
tr(B)
0t
1
c2 (tr(B t B) )
I=
tr(B)
0t
c2
t
t
00
X (I W ) (I W ) X
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
18
1.5
n t
W/(by t by)
S0
onde
S0 =
X
i6=j
Wij
19
20
NAO
BAYESIANA
CAPITULO 1. REGRESSAO
modelo CAR
Modelo restrito (nulo) e o mesmo para todas as alternativas
consideradas.
Problema: varios testes de ma-especificacao contra heterocedasticidade, forma functional, etc.
Teste para dependencia espacial nos erros: I de Moran
Sugerido por Moran (1950), esquecido e reavivado por Cliff
and Ord (1972).
Rode regressao linear simples Y X+eobtenhavetorderesduos.Aseguir, calcule
I=
n t
W/brt br
S0
Wij
i6=j
1 1 0
0 ... 0
0
0
1 2 1 0 . . . 0
0
0
0 1 2 1 . . . 0
0
0
.
.
. ... .
.
.
A= .
.
.
.
.
.
.
.
.
.
.
0
0
0
0 . . . 1 2 1
0
0
0
0 . . . 0 1 1
21
i Zi2
I Pi=1
nk 2
i=1 Zi
onde Z1 , . . . , Znk s
ao i.i.d. N (0, 1)
Valores crticos exatos para a distribuicao nula de I podem ser obtidos por
(difcil) integrac
ao numerica
Teste LM para dependencia espacial nos erros
Sugerido por Burridge (1980)
LM =
c2
W/
2
/tr(W 0 W + W 2 ) 2 (1)
1.6