Cristiane Azevedo

Instituto Nacional de Matemtica Pura e Aplicada
Avaliao de Modelos de Risco atravs de

Backtesting
Autora: Cristiane Azevedo Ferreira

Orientadores: Prof. Dr. Jorge P. Zubelli
e Prof. Dra. Beatriz Vaz de Melo Mendes
Rio de Janeiro
Junho de 2013
Para Miguel.
Agradecimentos
Agradeo aos Professores Jorge Zubelli e Beatriz Mendes pela orientao no desenvolvimento
deste trabalho e pelos conhecimentos transmitidos.
Agradeo aos meus colegas do BNDES, que sempre me apoiaram e incentivaram ao longo
do curso.
Agradeo tambm ao Srgio, Rodrigo, Carlos, Osvaldo, Vincius, Matheus e Bruna por
terem ajudado em inmeras situaes, e tambm pelo companheirismo nessa jornada.
E, em especial, agradeo a meu marido e minha famlia por terem compreendido minha
ausncia e por tudo que tm feito por mim. Ter vocs ao sempre meu lado tornou as vitrias
mais especiais e os momentos difceis mais leves.
iii
Resumo
A mensurao adequada dos riscos financeiros uma atividade fundamental na gesto de carteiras de ativos. Para tal, existem diversas medidas de risco e metodologias para modelar as
perdas de uma carteira. Porm, a variedade dos instrumentos financeiros e as condies de
mercado cada vez menos estveis tornam este problema no trivial. Por isso, importante
usar tcnicas adequadas para comparar e avaliar modelos de risco. Os backtests so a principal
ferramenta para esse fim, e consistem em testes de hiptese que comparam as medidas de risco
com as perdas histricas da carteira.
Neste contexto, o presente trabalho tem como objetivo analisar e comparar diferentes mtodos de backtesting. Foram implementados trs mtodos de backtesting aplicveis ao Value-atRisk (VaR) e um mtodo de backtesting genrico, que pode ser aplicado tanto ao VaR quanto
ao Expected Shortfall. Atravs de simulaes, verificou-se que uma limitao destes mtodos
o baixo poder quando sries de um ou dois anos de dados so utilizadas. Por fim, os testes
foram executados para diferentes modelos de riscos aplicados a sries nanceiras reais, ilustrando
a utilizao prtica dos testes aqui estudados.
Key words: Backtesting, Medidas de Risco, Modelos de Risco, Value at Risk, Expected
Shortfall
Sumrio
Contents
vii
1 Introduo
1.1
Motivao . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
1.2
Estrutura do trabalho . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2 Medidas e modelos de risco

2.1
2.2
Modelos de risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2.1.1
Modelos paramtricos univariados . . . . . . . . . . . . . . . . . . . . . .
2.1.2
Modelos de varincia-covarincia . . . . . . . . . . . . . . . . . . . . . . 13
2.1.3
Mtodo da Simulao Histrica . . . . . . . . . . . . . . . . . . . . . . . 14
2.1.4
Mtodo de Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
Medidas de Risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
2.2.1
2.3
Definies e Exemplos de VaR e Perda Esperada . . . . . . . . . . . . . . 17
Medidas coerentes de risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
3 Backtesting
3.1
3.2
21
Backtestings baseados em violaes . . . . . . . . . . . . . . . . . . . . . . . . . 22

3.1.1
Teste de Kupiec . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
3.1.2
Testes de Independncia Serial das Violaes . . . . . . . . . . . . . . . . 24
3.1.3
Backtest baseado em duration . . . . . . . . . . . . . . . . . . . . . . . . 27
Backtest para Perda Esperada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

3.2.1
Resultados da simulao . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
4 Estudo de casos
35
4.1
Descrio das sries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35
4.2
Comparao dos modelos para sries de moedas . . . . . . . . . . . . . . . . . . 36
4.3
Comparao dos modelos para outras sries de moeda . . . . . . . . . . . . . . . 41
4.4
Comparao dos modelos para sries de juros
5 Concluso
. . . . . . . . . . . . . . . . . . . 42
47
vii
viii
Bibliography
SUMRIO
48
SUMRIO
Captulo 1
Introduo
Medidas de risco tm como objetivo expressar o potencial de perdas de uma carteira de
ativos em dados um horizonte de tempo t com um nvel de probabilidade . Dois exemplos de
perguntas que podem ser respondidas atravs de medidas de risco so:
1. Que valor de perda no ser ultrapassado com nvel de certeza?
2. Qual o valor esperado de perda, dado que a perda maior que um determinado limiar?
Para determinar com exatido esses valores, seria necessrio conhecer a distribuio de
probabilidades das perdas da carteira. Porm, na prtica, essa distribuio desconhecida, e
por isso a perda potencial da carteira deve ser estimada atravs de um modelo de risco. O
modelo de risco consiste de dois elementos: a modelagem da distribuio das perdas dos ativos
que compem a carteira e um mtodo de clculo para a medida de risco.
A escolha do modelo de risco determinante para a confiabilidade da medida de risco
obtida. Para avaliar a confiabilidade da medida de risco, as seguintes caractersticas devem ser
observadas:
Propriedades tericas [1]: o modelo possui propriedades desejadas para uma medida de
risco, como sub-aditividade, monotonicidade e invarincia translao?
Desempenho do modelo [8]: as perdas estimadas pelo modelo so compatveis com o
histrico de perdas?
A ferramenta mais utilizada para avaliao de medidas de risco o backtesting que, em linhas
gerais, consiste em comparar, atravs de testes estatsticos, as perdas histricas de uma carteira
de ativos com as medidas de risco geradas pelo modelo. A maioria dos mtodos de backtesting
encontrados na literatura so mtodos baseados em violaes. Esses mtodos utilizam como
informao apenas se as perdas ocorridas de fato ultrapassaram o limiar de perdas calculado
para cada dia. Mtodos mais recentes levam em considerao a dimenso das perdas quando
1
CAPTULO 1. INTRODUO
comparadas medida de risco. Um problema comum a todos os mtodos o baixo poder dos
testes estatsticos, o que pode ser justificado pelo pequeno nmero de observaes extremas nas
amostras utilizadas. Isso poderia inviabilizar o uso de backtest para comparao e escolha de
modelos de risco.
Assim, o principal objetivo deste trabalho analisar e comparar diferentes mtodos de
backtesting, de forma a entender as aplicaes e limitaes de cada mtodo. Para tal, duas
abordagens sero utilizadas: primeiramente, o poder dos testes ser avaliado atravs de simulaes, e em um segundo momento, os testes sero aplicados a diferentes modelos de riscos, com
a utilizao de sries financeiras reais. Com isso, espera-se responder a questes como: qual
o tamanho mnimo de amostra para obter resultados confiveis; que caractersticas do modelo
de risco e das sries financeiras impactam nos resultados do backtest; e como os resultados de
diferentes mtodos de backtesting se comparam quando aplicados s mesmas sries e modelos
de risco.
1.1
Motivao
Instituies financeiras, empresas e governos esto sujeitos a perdas decorrentes de oscilaes

nos preos de mercado de seus ativos. Essas oscilaes, por sua vez, so causados por movimentos em taxas de juros, cotaes de moedas e de aes e preos de commodities. O risco de
perda decorrente destes movimentos denominado risco de mercado. A m gesto de riscos
de mercado tem sido a causa de falncias de empresas e bancos, o que se torna particularmente
preocupante em um cenrio globalizado, onde as economias encontram-se fortemente interligadas e a falncia de uma nica instituio pode resultar em uma crise de grandes propores.
Jorion descreve em [14] alguns casos tpicos de m gesto de risco de mercado. Entre eles,
podemos citar o caso do Banco Barings, que faliu aps 233 anos de funcionamento. Um nico
operador do banco assumiu uma posio extremamente elevada em futuros de ndice Nikkei
225, compondo uma carteira que chegou a valer US$ 7 bilhes. Com a queda de 15% da bolsa
japonesa, esses futuros sofreram uma queda de US$ 1,3 bilho, A situao foi agravada pela
posio vendida em opes e decises equivocadas para conter as perdas, levando o banco
falncia. Outro caso o da Metallgeselschaft, um grande conglomerado industrial que assumiu
contratos de longo prazo de venda de derivados de petrleo, fazendo o hedge 1 destas posies
com contratos de curto prazo, rolados na medida em que venciam. Com a queda de 25% nos
preos a vista, a empresa foi obrigada a depositar US$ 1 bilho em chamada de margem, capital
do qual no esperava ter que dispor, e levando a empresa a srios prejuzos financeiros.
Para evitar crises globais por conta de epiosdios como esses, diversos bancos centrais passaram a exigir que instituies financeiras aloquem capital suficiente para fazer face a perdas
1
O hedge uma posio tomada para mitigar riscos decorrentes da variao de preos.
1.2. ESTRUTURA DO TRABALHO
extremas decorrentes de risco de mercado. Essas iniciativas originaram-se com o Acordo de

Basileia II, que consiste em uma srie de recomendaes para legislao e regulao bancria.
O Acordo de Basileia II foi publicado em junho de 2004 e revisado em 2006 pelo Comit de
Superviso Bancria de Basileia, composto por membros de 29 pases, entre eles Brasil, Estados
Unidos, China, Frana, Alemanh, Coreia, Rssia e Itlia. Dois modelos so propostos neste
acordo para mensurao de risco de mercado: um modelo padro, onde o Banco Central define
todas as metodologias e calibraes do modelo, e um modelo interno, onde a instituio financeira define o modelo mais adequado para seu funcionamento, com algumas restries. Neste
modelo, o risco deve ser mensurado atravs do chamado Value-at-Risk com nvel de confiana
de 99%, horizonte de tempo de dez dias e janela de dados mnima de um ano para estimao
dos modelos, ficando cada instituio financeira livre para definir o modelo probabilstico mais
adequado para as perdas da carteira, bem como as metodologias de estimao do modelo.
O capital regulatrio determinado no apenas pelo Value-at-Risk, mas tambm pelo resultado dos backtests. O backtest indicado no Acordo de Basileia consiste em avaliar quantos dias
no ltimo ano a perda na carteira da instituio foi maior que medida de risco obtida por seus
modelos. Dependendo do nmero de violaes, o capital regulatrio pode ser penalizado em
at 1/3 a mais, ou ser considerado inadequado, caso o nmero de violaes seja muito elevado.
Este teste verifica apenas se o nmero de violaes observado compatvel com o nvel do VaR,
mas testes mais sofisticados podem verificar outros aspectos do modelo, como a independncia
temporal entre as violaes.
O Acordo de Basileia III, publicado entre 2010 e 2011, e com introduo prevista para
at 2015, props a substituio do Value-at-Risk pela Perda Esperada como medida de risco
padro. Porm, a escassez de metodologias de backtesting desta medida de risco tem sido
um empecilho sua adoo. Este trabalho descreve um backtest aplicvel Perda Esperada
(Expected Shortfall), que por ser um trabalho recente, e por sua complexidade, ainda no tem
sido aplicado no mercado.
1.2
Estrutura do trabalho
O trabalho est estruturado da seguinte forma:

O Captulo 2 conceitua Valor em Risco (Value-at-Risk, ou VaR) e Perda Esperada
(Expected Shortfall ou Conditional Value-at-Risk ), cita as propriedades necessrias para
que uma medida de risco seja coerente, e descreve alguns modelos para estimar medidas
de risco.
O Captulo 3 descreve diferentes metodologias de backtesting tanto para o VaR como
para Perda Esperada.
CAPTULO 1. INTRODUO
O Captulo 4 consiste em estudos de casos, onde alguns modelos de risco sero avaliados
atravs das metodologias de backtesting estudadas no Captulo 3.
O Captulo 5 conclui o trabalho.
Captulo 2
Medidas e modelos de risco
Como j mencionado na introduo, um modelo de risco compreende a escolha de um modelo
probabilstico para o retorno da carteira e um mtodo para estimar a distribuio de probabilidade dos retornos. As medidas de risco (como quantis ou esperanas condicionais) so
extradas a partir desta distribuio.
Alm da escolha da famlia de distribuio dos retornos da carteira e das medidas de risco
que sero utilizadas, diversas outras decises devem ser tomadas ao se utilizar um modelo de
risco. Uma lista no extensiva destas decises seria:
O retorno da carteira ser explicado apenas por sua srie histrica ou por outras variveis
econmicas? Neste caso, quais variveis sero escolhidas, e como o retorno da carteira ser
modelado em funo destas variveis? Por exemplo, para representar o retorno de uma
carteira de aes, podemos usar como variveis explicativas ndices setoriais ou as sries
de retornos das aes que compem a carteira; j para ttulos de renda fixa, devemos
escolher que vrtices das curvas de juros sero utilizados.
Qual ser o tamanho das sries histricas utilizadas nas estimativas? Sries muito pequenas podem no ser estatisticamente significantes, enquanto sries muito grandes podem
conter mudanas de regime que prejudicariam as estimativas.
Que modelos sero usados para precificar os ativos da carteira? O modelo de apreamento
dos ativos vai influenciar diretamente na medida de risco obtida, seja no clculo dos
retornos hipotticos da carteira, seja na funo que relaciona a variao do preo do ativo
ao retorno dos fatores de risco subjacentes.
A preciso das medidas de risco dependem tanto do modelo escolhido como de sua estimao.
Neste captulo, descreveremos os modelos de risco que sero avaliados nos estudos de caso
do Captulo 5. Os modelos apresentados neste trabalho so frequentemente usados na indstria
para mensurao de risco com horizontes de tempo curtos (como um ou dez dias teis) [18]. Em
5
CAPTULO 2. MEDIDAS E MODELOS DE RISCO
seguida, sero apresentadas duas medidas de risco: Valor em Risco (VaR) e Perda Esperada (PE), tambm conhecido como Expected Shortfall , Conditional Value-at-Risk (CVaR)
ou Average Value-at-Risk [20]. A escolha destas medidas tambm deveu-se sua popularidade
e grande diversidade de trabalhos acadmicos sobre as mesmas.
Notaes e convenes adotadas

Antes de partir para as definies, conveniente estabelecer algumas notaes a serem utilizadas
ao longo deste trabalho.
O horizonte de tempo (ou holding period ) para estimativa de retornos dado por .
Exceto quando mencionado ao contrrio, ser de um dia til.
A seguinte conveno ser adotada para sries histricas e variveis aleatrias indexadas
no tempo:
O ndice t (como em xt ) representar o instante t.
Sries de valores observados sero representados em letras minsculas (como xt ), e
variveis aleatrias, em maisculas (p. ex. Xt ).
Se a varivel ou elemento da srie for um vetor (ou vetor aleatrio), ser representado
em negrito (p. ex. Xt )
Quando a varivel ou elemento da srie se referir a um retorno, a indexao no
tempo indicar o final do perodo. Por exemplo, o retorno Zt+1 a variao de uma
grandeza da data t a (t + 1).
De modo geral, o retorno da carteira na data t ser representado por xt e Xt (respectivamente, um valor observado e uma varivel aleatria), e os vetor de retornos dos fatores
de risco, por zt e Zt .
O estimador de um parmetro ser denotado por .

Estatsticas de ordem: A srie ordenada por valor dos elementos de uma srie temporal
{xi }Ti=1 sero representados por {x(j) }Tj=1 , onde x(1) x(2) ... x(T ) .
Retornos hipotticos
Ao modelar o retorno de uma carteira para um determinado horizonte de tempo, tipicamente
no sero consideradas mudanas nas quantidades dos ativos da carteira dentro deste perodo.
Da mesma forma, as sries histricas dos retornos de uma carteira usadas nos backtests e no
clculo de VaR e PE histricos no sero formadas por retornos reais (dado pelas quantidades de
2.1. MODELOS DE RISCO
cada ativo e seus valores em cada data da srie). Ao invs destes, usaremos sries de retornos
hipotticos.
A srie de retornos hipotticos obtida fixando-se as posies da carteira na data t e
calculando o seu valor conforme as variveis de mercado observadas nas para as ltimas n
datas. Denotando por v(t,ti) , 0 i n o valor da carteira com as posies da data t e
variveis de mercado da data t i, temos que o retorno hipottico da carteira com posies da
data t e dados de mercado de t i dado por:
h(t,ti) = log(v(t,ti) ) log(v(t,ti1) ), i {0, 1, 2, ..., n 1}
O motivo para a utilizao dos retornos hipotticos em detrimento dos retornos reais fica
claro com o seguinte exemplo. Suponha que desejamos modelar a distribuio do retorno de
uma carteira de aes de hoje at o prximo dia til, e o desvio padro deste retorno seja
estimado pelo desvio padro amostral dos ltimos 5 retornos. Suponha agora que a composio
da carteira e os valores das aes A e B sejam dadas conforme a Tabela 2.1 (coluna Qtde.
para as quantidades e P.U. para os preos unitrios da ao). Se usamos o retorno real da
carteira, estamos considerando aplicaes, resgates e mudanas em sua composio na formao
dos retornos, o que no reflete a volatilidade estimada da posio da carteira na data t. Assim,
para estimar o desvio padro desta carteira composta por 3 aes A e 7 aes B em t, deve-se
observar como uma carteira fixa com estas posies se comportaria no tempo, e para isso,
preciso usar os retornos hipotticos. Observe na ltima linha da tabela a diferena na estimativa
do desvio padro usando retornos reais e hipotticos.
Tabela 2.1: Comparao da estimativa de volatilidade usando retornos reais e hipotticos.
Data
t
t
t
t
t
-5
-4
-3
-2
-1
t
D.P.
2.1
Qtde.
10
8
7
7
5
3
Ao A
P.U.
$5.00
$4.80
$4.60
$4.70
$5.10
$4.90
Ret.
-4.1%
-4.3%
2.2%
8.2%
-4.0%
5.51%
Qtde.
0
1
3
3
5
7
Ao B
P.U.
$7.00
$7.00
$6.90
$7.20
$6.80
$7.00
V. Real
R. Real
V. Hip. R. Hip.
Ret.
0.0%
-1.4%
4.3%
-5.7%
2.9%
3.91%
$50.00
$45.40
$52.90
$54.50
$59.50
$63.70
-9.7%
15.3%
3.0%
8.8%
6.8%
9.25%
$64.00
$63.40
$62.10
$64.50
$62.90
$63.70
-0.9%
-2.1%
3.8%
-2.5%
1.3%
2.62%
Modelos de risco
Como j foi mencionado na introduo deste captulo, a definio de um modelo de risco

inicia com a escolha de uma distribuio para os retornos, e prossegue com a estimativa dos
parmetros desta distribuio. Mais precisamente, o problema de estimar a distribuio dos

retornos consiste em definir a seguinte funo de distribuio de probabilidade:
F (Xt+1 |t )
(2.1.1)
onde t o conjunto de informaes conhecidas at o instante t. sobre essa distribuio que

sero aplicadas as medidas de risco. Note que a distribuio estimada dos retornos varia a cada
data t + 1, j que o conjunto dos dados conhecidos at t tambm varia com o tempo.
De acordo com a distribuio selecionada para os retornos da carteira, o modelo pode
ser classificado em paramtrico, onde os retornos so modelados atravs de distribuies
paramtricas como a normal ou a t de Student, ou no paramtricos, onde as medidas de risco
so extradas da distribuio emprica dos retornos histricos ou simulados. Modelos de risco
tambm podem ser classificados em condicionais, como o modelo GARCH (Generalized AutoRegressive Conditional Heteroscedasticity) ou no-condicionais, como o modelo paramtrico
normal no-condicional.
A distribuio dos retornos da carteira estimada a partir de dados histricos, que podem
ser sries de retornos dos fatores de risco ou a prpria srie de retornos da carteira. De acordo
com o modelo escolhido, as sries podem ser usadas para estimar os parmetros da distribuio
da prpria carteira ou dos fatores de risco, ou como insumo de simulaes. O tamanho das
sries histricas determinante para a estimativa da distribuio, e consequentemente, para
o valor da medida de risco. Esse fato ser ilustrado nos estudos de caso, onde ser possvel
observar o impacto da existncia de perodos de crise nas sries histricas.
2.1.1
Modelos paramtricos univariados
Uma maneira simples de estimar medidas de risco de uma carteira modelar seu log-retorno
Xt+1 atravs de uma distribuio paramtrica univariada. Essa distribuio estimada a partir
da srie de retornos hipotticos da carteira. Na prtica, modelos multivariados costumam
apresentar melhores resultados por explicitarem as correlaes entre os ativos de risco que
compem a carteira, mas apresentaremos primeiramente os modelos univariados para ilustrar
alguns conceitos importantes para os demais modelos.
Modelos paramtricos no-condicionais

Em um modelo paramtrico no-condicional, assume-se que os log-retornos possuem uma distribuio paramtrica, como, por exemplo, a Normal. Por ser um modelo no-condicional,
assume-se que os retornos so independentes e identicamente distribudos.
Uma primeira abordagem para a estimativa dos parmetros usar estimadores de mxima
verossimilhana (EMV). Se Xt N (, ), sabe-se que os EMV para a mdia e varincia 2

equivalem media e varincia amostrais dos ltimos N log-retornos, {xi }t1
i=tN :
N
1 X
xti
=
N i=1
N
1 X
=
(xti )2 =
N i=1
PN
i=1
x2ti
Distribuies como a t de Student podem apresentar um ajuste melhor aos dados por terem
caudas mais pesadas. Mas, a menos que o nmero de graus de liberdade desta distribuio seja
pr-fixado, ele precisa ser estimado atravs de mtodos de otimizao.
Uma desvantagem dos mtodos no-condicionais pode ser observada na Figura 2.1, que ilustra as volatilidades do dlar de 2007 a 2011 estimadas por diversos mtodos. um fato estilizado
conhecido que sries financeiras apresentam heteroscedasticidade condicional (ou clusters de
volatilidade), como ocorreu na crise de 2008. Podemos observar o efeito desse perodo na linha
em vermelho do grfico (b), que mostra a srie de volatilidade do dlar estimada pelo mtodo
no condicional com janela de um ano de dados. Como todas as amostras da janela tm o
mesmo peso, picos de volatilidade na amostra causaro um aumento sbito na estimativa, que
ir persistir enquanto o perodo de crise estiver na janela de amostragem. Aps sua sada,
a volatilidade cair abruptamente e permanecer em valores baixos, at que ocorra um novo
perodo de estresse na srie.
Modelo EWMA
Para contornar esse efeito, modelos condicionais podem ser utilizados. Uma possibilidade
usar o modelo EWMA (Exponentially Weighted Moving Average). Este modelo foi proposto
pela equipe do JP Morgan dentro de sua metodologia RiskMetricsT M de avaliao de riscos
financeiros [19]. O EWMA atribui pesos diferentes aos retornos da janela de amostragem, onde
pesos maiores so atribudos a retornos mais recentes, e o decaimento dos pesos ao longo do
tempo se d exponencialmente.
A varincia t+1 estimada recursivamente no modelo EWMA como:
t+1 =
t + (1 )(xt )2
= (1 )
N
X
i (xti )2
i=0
onde 0 < < 1 o fator de alisamento exponencial, sendo tipicamente prximo a 0.95, e N
o tamanho da janela. Quanto menor for , menor ser a persistncia do modelo, e maior ser
a sensibilidade a variaes recentes. A soma dos pesos atribudos a cada variao igual a 1.
0.05
2010
2011
2012
2007
2008
2009
2010
2011
2012
2007
2008
2009
2010
2011
2012
2007
2008
2009
2010
2011
2012
0.03
0.05
0.005
0.015
0.025
2009
0.01
(b) Volatilidade
2008
0.06
(c) Volatilidade
2007
0.03
0.00
(d) Volatilidade
0.05

(a) LogRetorno
10
Figura 2.1: Log-retornos do dlar de 2007 a 2011 (a) e volatilidades estimadas pelos modelos
no-condicional (b), EWMA (c) e GARCH(1,1). Em (b), o tamanho da janela de 6 meses na
linha azul e 1 ano na linha vermelha. Em (c), o fator de decaimento do EWMA de 0.9 em
azul, e 0.97 em vermelho. E (d), a janela usada para estimativa do GARCH de 1 ano.
O grfico (c) da Figura 2.1 ilustra a volatilidade do dlar estimada pelo mtodo EWMA.
Observe que a volatilidade responde mais rpida e intensamente a grandes variaes que o modelo no-condicional. Em contrapartida, a volatilidade cai mais rapidamente, onde a velocidade
desta queda dada pelo fator de decaimento, e no pelo tamanho da janela utilizada. Vale
notar que no mtodo EWMA o tamanho da janela determina apenas onde a srie de pesos
ser truncada. Idealmente, esse tamanho deve ser ajustado para ser o menor possvel em que
a soma dos pesos esteja suficientemente prxima de 1, adotando uma soluo de compromisso
entre eficincia computacional e preciso da estimativa.
11
Modelo GARCH
O modelo GARCH (Generalized Auto-Regressive Conditional Heteroskedasticity) foi proposto
por Bollerslev em [5], e base para um grande nmero de modelos de sries temporais amplamente utilizados em finanas.
Definio 1. Seja {Zt }tZ um rudo branco1 com mdia zero e desvio padro 1. {Xt }tZ
um processo GARCH(p,q) se estritamente estacionrio e satisfaz, para todo t Z e algum
processo {t }tZ , a:
Xt = t Zt
t2
= 0 +
p
X
i=1
2
i Xti
q
X
2
j tj
j=1
Em particular, o modelo GARCH(1,1) tem a forma:

Xt = t Zt
2
2
t2 = 0 + 1 Xt1
+ t1
A equao da definio 1 adequada para modelar sries com clusters de volatilidade. Como
exemplo, observe no modelo do GARCH(1,1) que |Xt | tende a assumir um valor maior quando
a volatilidade t for maior, o que pode ocorrer quando |Xt1 | ou t1 so grandes. Em outras
palavras, o modelo implica em persistncia de altas volatilidades.
Algumas propriedades matemticas de processos GARCH valem destaque:
Mdia e varincia condicionais:
Seja Ft = (Xs : s t) a -lgebra que representa o processo at o tempo t. A definio
1 garante que t Ft -mensurvel. Com isso, temos que:
E[Xt |Ft1 ] = E[t Zt |Ft1 ] = t E[Zt |Ft1 ] = t E[Zt ] = 0
E[Xt2 |Ft1 ] = E[t2 Zt2 |Ft1 ] = t2 E[Zt2 |Ft1 ] = t2
Essa propriedade mostra que o modelo heteroscedstico, j que a varincia condicional
do processo muda ao longo do tempo.
Condio para estacionariedade:
Um processo {Xt }tZ estritamente estacionrio se para todo t1 , ... tn , k Z e todo
n N, os vetores (Xt1 , ..., Xtn ) e (Xt1 +k , ..., Xtn +k ) possuem a mesma distribuio. Em
particular, o processo GARCH(1,1) estritamente estacionrio se E[ln(1 Zt2 + )] < 0.
1
Um rudo branco um processo estacionrio de segunda ordem com autocorrelao nula para lags diferentes
de zero.
12
Sries financeiras costumam ser melhor ajustadas a modelos GARCH de ordens baixas,
sendo o GARCH(1,1) uma escolha bastante frequente. As inovaes Zt so tipicamente modeladas com distribuio normal ou t de Student, onde esta ltima tem a vantagem de capturar
as caudas pesadas de retornos financeiros, mas pode demandar o ajuste de um parmetro adicional (o grau de liberdade da distribuio). Um contorno para isso fixar o nmero de graus
de liberdade. Em [6], Bollerslev conclui que 8 graus de liberdade so, de modo geral, uma boa
parametrizao para sries financeiras.
O modelo GARCH permite ainda uma srie de variaes. Em [7], Bollerslev cita mais de
100 modelos inspirados no ARCH e no GARCH. Em [13], so comparados 330 modelos e suas
possveis variaes da famlia GARCH para modelar retornos intra-dirios de cmbio de Marco
Alemo por Dlar e de aes da IBM. Surpreendentemente, os autores no puderam identificar
nenhum modelo significativamente superior ao GARCH(1,1).
Passemos agora ao ajuste de um modelo GARCH(1,1) a uma srie histrica. Suponha que a
distribuio condicional de Xt+1 ser estimada com base nos t + 1 ltimos retornos observados
x0 , x1 , ..., xt . Os parmetros 0 , 1 e de um modelo GARCH(1,1) so estimados por mxima
verossimilhana, onde a densidade conjunta de probabilidade dada por:
L(0 , 1 , |x0 , x1 , ..., xn ) = fX1 ,...,Xt |X0 ,0 (x1 , ..., xt |x0 , 0 )
t
Y
=
fXi |Xi1 ,...,X0 ,0 (xi |xi1 , ..., x0 , 0 )
=
i=1
t
Y
i=1
1
g
i
Xi
i
(2.1.2)
(2.1.3)

(2.1.4)
onde g(z) a densidade de probabilidade das inovaes {Zt }tZ .

As volatilidades i , 0 i n no podem ser observadas, mas exceto por 0 , podem ser
calculadas em funo de retornos e volatilidades anteriores. Resolvendo a recurso da expresso
2.1.2, temos que:

t
X
1 t
2
2
+ 1
ti Xi1
+ t 02
t = 0
1
i=1
Essa equao pode ser demostrada facilmente por induo:
12

= 0
1 1
1
+ 1 0 X02 + 1 02
= 0 + 1 X02 + 02
13
e, por induo:
2
2
t2 = 0 + 1 Xt1
+ t1
"
#

t1
t1
X
1
2
2
= 0 + 1 Xt1
+ 0
+ 1
t1i Xi1
+ t1 02
1
i=1
"
#

t1
t1
X
1
2
2
+ 1 Xt1
+
t1i Xi1
+ t 02
= 0 1 +
1
i=1

t
t
X
1
2
+ 1
+ t 02
= 0
ti Xi1
1
i=1
Como 0 no pode ser estimado, seu valor deve ser arbitrado. Duas escolhas so para 0 so
a varincia amostral de X0 , X1 , ..., Xt , ou simplesmente assum-lo como zero. Para uma amostra
suficientemente grande, essa escolha no ter impacto relevante, j que o termo que multiplica
0 t , que tende a zero quando t tende a infinito. Substituindo-se essa equao em 2.1.2,
obtemos a expresso de verossimilhana que deve ser maximizada para estimar os parmetros
do GARCH. Note que dependendo da distribuio assumida para as inovaes, pode ser que
parmetros adicionais desta distribuio tambm precisem ser estimados.
2.1.2
Modelos de varincia-covarincia
No mtodo da varincia-covarincia, assume-se que o retorno de uma carteira dado pela

combinao linear dos retornos dos fatores de risco a que est exposta, ou seja:
Xt =
d
X
wi Zi,t
(2.1.5)
i=1
onde d o nmero de fatores de risco, wi a exposio da carteira ao fator de risco i e Zi,t o

retorno o i-simo fator de risco na data t. Esse modelo tem como premissa que, para pequenas
variaes nos fatores de risco, a variao no preo total da carteira se comporta de forma linear.
O vetor de retornos dos fatores de risco Zt modelado atravs de uma distribuio multivariada fechada sob operadores lineares, de forma que a distribuio do retorno da carteira
seja da mesma famlia da distribuio dos fatores de risco e possa ser definida em termos da
matriz de covarincias dos retornos. Para utilizar este mtodo, necessrio que a carteira seja
decomposta nas exposies em fatores de risco. Dependendo dos instrumentos da carteira,
importante verificar se a representao de seus retornos sob a forma linear uma aproximao
satisfatria.
Uma distribuio muito utilizada neste mtodo a normal, ou seja, Zt Nd (t , t ), onde
t o vetor de retornos esperados dos fatores de risco estimado para a data t e t Rdd a
14
matriz de varincia-covarincia. Neste caso, a distribuio de Xt tambm normal com mdia

wT t e varincia wT t w. Outras distribuies podem ser utilizadas, como a t de Student e as
distribuies hiperblicas generalizadas, dando mais peso s caudas da distribuio.
Para a distribuio normal multivariada no-condicional, os estimadores de mxima verossimilhana dos parmetros e podem tambm ser a mdia e a varincia-covarincia amostrais,
como no caso univariado:
N
1 X
t =
zti
N i=1
N
X
t = 1
(zti
)T (Zti
)
N i=1
Tipicamente, assume-se que zero, j que um fato estilizado conhecido que sries de retornos
financeiros tm mdias aproximadamente nulas.
O modelo EWMA tambm pode ser estendido para um modelo multivariado normal. Neste
caso, o estimador da matriz de varincias-covarincias assume a seguinte forma:
t+1 =
t + (1 )(Zt )(Zt )T
= (1 )
N
X
i1 (Zti )T (Zti )
i=0
2.1.3
Mtodo da Simulao Histrica
No mtodo da Simulao Histrica, os retornos da carteira so modelados atravs da distribuio

emprica dos retornos hipotticos. A distribuio emprica definida por um conjunto de
observaes de uma varivel aleatria:
Definio 2. Sejam X1 , X2 , ..., Xn R variveis aleatrias independentes e identicamente
distribudas com funo de distribuio F (x). A funo de distribuio emprica Fn (x)
definida como:
n
1X
I(,x] (Xi )
Fn (X) =
n i=1
A hiptese de que a distribuio emprica uma boa aproximao para sua distribuio real
encontra fundamento no Teorema de Glivenko-Cantelli [22]:
Teorema 1 (Glivenko-Cantelli).
kFn F k = sup |Fn (x) F (x)| 0 q.c.
xR
15
0.0
0.00
0.2
0.05
0.4
0.6
0.10
0.8
1.0
0.15
Este teorema requer que duas hipteses sejam assumidas: primeiro, que os retornos hipotticos sejam independentes e identicamente distribudos, o que classifica o mtodo como
no-condicional. A segunda hiptese diz respeito ao nmero de amostras, que deve ser suficientemente grande para que a diferena entre as distribuies real e emprica seja satisfatria. A
Figura 2.2 ilustra a influncia do tamanho da amostra: as quatro distribuies foram obtidas
da mesma srie (de dlar), com tamanhos de amostra entre 6 meses e 5 anos de dados, sendo
que a ltima data de todas as amostras a mesma (30/12/2011). A linha pontilhada equivale
a 5% de probabilidade, e permite visualizar a diferena no quantil para diferentes tamanhos de
amostra.
0.02
0.01
0.00
0.01
0.02
0.020
0.016
0.012
Figura 2.2: Distribuies empricas do dlar para amostras de 6 meses, 1, 2 e 5 anos de dados
(respectivamente, as linhas preta, vermelha, verde e azul).
Apesar das condies acima no serem satisfeitas, este mtodo apresenta duas vantagens
em relao aos anteriores: de fcil implementao e no requer que nenhuma hiptese sobre a
distribuio dos retornos seja feita. O clculo do VaR e da Perda Esperada a partir dos retornos
ordenados particularmente fcil, como ser visto a seguir.
2.1.4
Mtodo de Monte Carlo
Uma alternativa para o mtodo de simulao histrica a simulao de Monte Carlo. Este
mtodo tambm se baseia na distribuio emprica dos retornos da carteira. Mas, ao invs
de usar retornos hipotticos, o mtodo utiliza retornos gerados por um nmero elevado de
simulaes.
A gerao dos retornos consiste nos seguintes passos:
16

1. Simular diversos cenrios a partir da distribuio conjunta dos fatores de risco que compem a carteira.
2. Para cada cenrio, calcular o retorno da carteira a partir dos valores dos fatores de risco
do cenrio.
3. Gerar a distribuio emprica dos retornos calculados no passo anterior.
Para que o primeiro passo seja realizado, preciso que o retorno da carteira possa ser expresso
em termos dos retornos de fatores de risco (como retornos de aes, de ndices e de vrtices
de curvas de juros), e que a distribuio conjunta destes fatores de risco seja estimada. A
complexidade computacional do mtodo depende do nmero de cenrios simulados, do nmero
de fatores de risco e da complexidade da estimativa da distribuio dos fatores de risco.
2.2
Medidas de Risco
Em diversos trabalhos [15], [3], [18] encontra-se a seguinte definio matemtica para risco:
Definio 3. Seja um espao de probabilidade m = (, F, P), onde o conjunto dos possveis
estados da economia, F uma -lgebra e P uma medida de probabilidade P : F [0, 1].
Um risco X(), uma varivel aleatria real definida em .
Em termos concretos, podemos entender retornos de ativos e de carteiras em um determinado instante t como riscos: essas grandezas so variveis aleatrias reais cujo valor depende
do estado da economia at o momento em que forem observados. Artzner aponta em [3] que o
risco est relacionado com a variao do valor futuro de uma carteira, j que apenas valores no
futuro esto sujeitos a incertezas. No contexto da definio 3, Kerkhof define medida de risco
de uma maneira bastante genrica:
Definio 4. Seja M(m) o conjunto dos possveis riscos definidos em . Uma medida de
risco uma funo : M(m) R {}.
Em outras palavras, a medida de risco resume um risco atravs de um valor real.
Nesta seo, sero apresentadas duas medidas de risco: o Valor em Risco (VaR) e Perda
Esperada (PE). Em linhas gerais, o VaR de uma carteira representa um quantil superior da
perda estimada da carteira (ou, analogamente, um quantil inferior do retorno), sendo a medida
de risco recomendada por Basileia II e adotada como padro por diversas instituies financeiras
e rgos reguladores no Brasil. A Perda Esperada, como o nome j indica, o valor esperado
da perda dado que essa perda foi superior ao VaR. H uma tendncia que a Perda Esperada
passe a ser a medida de risco recomendada pelas prximas verses de Basileia, uma vez que ela
mais informativa sobre a real dimenso das perdas extremas da carteira.
2.2. MEDIDAS DE RISCO
2.2.1
17
Definies e Exemplos de VaR e Perda Esperada
A definio matemtica de VaR remete definio de quantis: se X a varivel aleatria que

representa os retornos de uma carteira, o VaR (X), X (0, 1) dado por [1], [15]:
VaR (X) = Q (X) = sup{x R|P(X x) } = inf{x R|P(X x) > } (2.2.1)
onde Q (X) o -quantil superior de X.
Denotando a distribuio de probabilidade de X por F (x) = P(X x) , podemos simplificar
a notao, escrevendo:
VaR (X) = F ()
(2.2.2)
onde F (x) = inf{x R|P(X x) > } tambm conhecida como a inversa generalizada da
funo de distribuio F [18].
A Perda Esperada de nvel dado por [1]:
PE (X) =

1
E XI(,Q (X)] + Q (X)( P(X Q (X)))
(2.2.3)
Se F(X) uma funo contnua, ento P(X Q (X)) = , e a expresso acima se reduz a:
PE (X) =

1
E XI(,Q X]
(2.2.4)
Notao adotada para VaR e Perda Esperada

Neste trabalho, o nvel do VaR e da PE ser denotado por . Em relao ao nvel do VaR,
possvel encontrar duas convenes na literatura. Em [14], [18], [4] e [21], o nvel do VaR
de fato um nvel de confiana, sendo tipicamente um valor prximo de 1, como 95% ou 99%.
Em outros trabalhos, como [3] e [10] esse nvel prximo de 0, como 1% ou 5%. Essa ltima
conveno ser adotada ao longo do trabalho.
Exemplo 1: VaR e Perda Esperada de um ativo com distribuio normal

A ttulo de ilustrao, vamos calcular o VaR e o PE de um ativo com distribuio dos retornos
X N (, ), e sejam (.) e (.), respectivamente, as funes de distribuio e densidade de
probabilidade normais padro. Temos, ento, que:
VaR (X) = 1 ())
Z 1
(x)2
(1 ())
1 () x
e 22 dx =
PE (X) =

18
Figura 2.3: VaR e Perda Esperada de nvel 10% para retornos com distribuio normal padro.
A rea cinza corresponde a 10% de probabilidade.
Exemplo 2: VaR e Perda Esperada de um ativo com distribuio t de Student
Seguindo o mesmo raciocnio que no exemplo anterior, temos que se X t(, , ):
VaR (X) = t1
()
g (t1
())
PE (X) =
2
+ (t1
())
1
onde t (.) e g (.) so, respectivamente, as funes de distribuio e densidade de probabilidade

t de Student com graus de liberdade.
Exemplo3: VaR e Perda Esperada de um ativo a partir de sua distribuio emprica

Ao calcular o VaR e a Perda Esperada de um ativo a partir de sua distribuio emprica, pode-se
perceber as implicaes das descontinuidades na funo de distribuio. Para ilustrar o clculo,
considere a funo de distribuio da Figura 2.4. O exemplo ilustra o VaR com nvel de 20%
(na figura, a linha pontilhada em vermelho).
Conforme a definio de quantis dada em 2.2.1, podemos ver no exemplo abaixo que as duas
definies se equivalem:
X = {x R|P(X x) 0.2} = (, 1) sup(X ) = 1
X + = {x R|P(X x) > 0.2} = [1, ) inf(X + ) = 1
Como a funo de distribuio uma funo crescente, e os conjuntos X e X + so complementares, o primeiro ter sempre a forma (, VaR ), e o segundo, [VaR , ).
0.2
0.4
0.6
0.8
1.0
19
0.0
Distribuio de Probabilidade
2.3. MEDIDAS COERENTES DE RISCO
Retorno
Figura 2.4: Exemplo de distribuio emprica.

Reproduzindo a equao de Perda Esperada em 2.2.3:

1
PE (X) = E XI(,Q (X)] + Q (X)( P(X Q (X)))
(

E XI(,Q (X)] = 0.2(2) + 0.2(1) = 0.6
onde
P(X Q (X)) = 0.4
1
PE (X) = (0.6 1(0.2 0.4)) = 2
0.2
2.3
Medidas coerentes de risco
A definio 3 de medida de risco bastante flexvel e comporta o Valor em Risco e a Perda

Esperada. De fato, qualquer funo real definida em M(m) pode ser uma medida de risco
a partir desta definio. Apesar de flexvel, essa definio no impe determinadas condies
que seriam desejveis a uma medida de risco. Por exemplo, a funo f (m) = k, onde k uma
constante qualquer, se encaixa na definio de medida de risco em 3.
Neste contexto, Artzner define em [3] um conjunto de axiomas que caracterizam uma medida de risco coerente. Esses axiomas so:
1. Monotonicidade: X M(m), X 0 (X) 0
Este axioma indica que quando no h risco de perda (X 0), a medida de risco no
pode ser maior que zero. Da mesma maneira, uma medida de risco maior que zero implica
que existe uma probabilidade no nula de perda. Por outro lado, uma carteira pode ter
20

medida de risco menor que zero e ainda assim apresentar probabilidade no nula de perda.
2. Sub-aditividade: X, Y, X + Y M(m) (X + Y ) (X) + (Y )
A sub-aditividade diz respeito ao efeito de diversificao de carteiras: o risco de duas
carteiras, quando avaliadas conjuntamente, deve ser no mximo igual soma do risco
individual de cada carteira, podendo ser menor. Em outras palavras, a diversificao tem
o poder de reduzir o risco de uma carteira.
3. Homogeneidade positiva: X M(m), R (X) = (X)
Este axioma significa que multiplicar as posies de uma carteira por um escalar vai
multiplicar o risco por esse mesmo escalar.
4. Invarincia translao: X M(m), k R (X + k) = (X) k
A carteira (X + k) equivale a adicionar carteira ativos livres de risco cujo valor k. Isso
equivale translao na distribuio das perdas em k, e portanto a perda ser reduzida
exatamente neste montante.
Conforme demonstrado em Artzer [2], a Perda Esperada uma medida coerente. J o Valor
em Risco monotnico, positivamente homogneo e invariante translao, mas no subaditivo, e portanto, no uma medida de risco coerente. possvel mostrar esse fato a partir de
um exemplo simples: sejam 100 debntures, todas emitidas por empresas diferentes, e cada uma
com 2% de probabilidade de inadimplncia. O preo de cada debnture $100 e os eventos
de inadimplncia das debntures so independentes entre si. No havendo inadimplncia, o
retorno de cada debnture de $5, e havendo, todo o valor perdido (ou seja, o retorno de
-$100). Denotando por Ii o evento de inadimplncia da debnture i, temos que o retorno da
P
carteira com N debntures dado por X = N
i 5(1 Ii ) 100Ii .
Sejam agora duas carteiras: a carteira A possui uma das debntures, e a carteira B
composta pelas outras 99 debntures. O Var de nvel 5% da carteira A igual a -$5, enquanto
o da carteira B o equivalente a 4 empresas inadimplentes em 992 , o que d uma perda de
4 $100 (99 4) $5 = $75. Por fim, o VaR da carteira (A+B) equivale a 4 inadimplncias
em 100, com uma perda de 5 $100 (100 5) $5 = $25. Ou seja, VaR(A+B) = $25 >
Var(A) + VaR(B) = (-$5) + (-$75) = -$80, contradizendo a sub-aditividade.
Por fim, vale notar que se a distribuio das carteiras normal, vale a sub-aditividade do
VaR.
Para esse resultado, usou-se a inversa generalizada da distribuio binomial
Captulo 3
Backtesting
Modelos de risco so usados na tomada de decises tanto por gestores de investimentos, que
desejam adequar a relao entre o retorno desejado e o risco incorrido, como por autoridades
reguladoras, que devem observar se as instituies financeiras esto assumindo mais riscos que
seu patrimnio pode suportar. Por isso, as estimativas de perda fornecidas pelos modelos de
risco devem ser constantemente avaliadas atravs de backtesting, que compara as estimativas
de risco com perdas ocorridas de fato atravs de testes estatsticos.
Os mtodos mais populares de backtesting, como os propostos em [16], [9] e [10], analisam
a srie de violaes do VaR, ou seja, em que momentos a perda incorrida foi maior que o VaR
estimado pelo modelo de risco. Como a probabilidade de violao do VaR de nvel igual
a , ento podemos afirmar que se o modelo de risco estiver correto, a srie de violaes ser
uma srie i.i.d. de variveis aleatrias com distribuio Bernoulli com parmetro . Os dois
trabalhos citados acima usam testes de razo de verossimilhana para verificar essa hipteses. Dependendo da propriedade que est sendo avaliada, os backtests baseados em violaes
so classificados na literatura como testes de cobertura incondicional, testes de independncia ou testes de cobertura condicional (que avaliam conjuntamente o nvel do VaR e a
independncia das violaes).
Por desconsiderar a magnitude das perdas, mtodos de backtesting baseados em sries de
violaes no podem ser aplicados ao Expected Shortfall. H poucos trabalhos na literatura
sobre backtesting desta medida de risco. Em um deles, Kerkhof e Melenberg desenvolveram
um framework para backtesting de uma medida de risco qualquer [15], que consiste em um
teste de hiptese cuja estatstica observada a diferena entre a medida de risco proveniente
do modelo de risco e a medida aplicada distribuio histrica das perdas.
Uma das crticas aos mtodos de backtesting apresentados a seguir a baixa taxa de rejeio
de modelos mal especificados. Como ser mostrado a seguir, o poder dos testes pode ser
indesejavelmente baixo quando o tamanho da amostra usada no backtest pequena. Outro
problema que os mtodos so baseados na distribuio assinttica das estatsticas de teste.
21
22
CAPTULO 3. BACKTESTING
Essa distribuio pode ter uma diferena significativa para a distribuio real.
Nas prximas sees, sero estudados diversos modelos de backtesting. Foram selecionados
mtodos amplamente utilizados no mercado, como o mtodo de Kupiec [16] e de Christoffersen
[9], ou mtodos que se propem a corrigir deficincias observadas nos mtodos mais populares,
como o testes baseados em duration [10] e o mtodo de Kerkhof e Melenberg [15].
Para simplificar a apresentao dos mtodos a seguir, consideraremos o horizonte de tempo
de um dia, exceto quando explicitado. A extenso para outros horizontes de tempo ser descrita ao final do captulo, e alteraes de posies na carteira de um dia para o outro sero
desconsideradas.
3.1
Backtestings baseados em violaes
Seja {Yt }Tt=1 a srie dos retornos observados, e {VaRt }Tt=1 a srie das estimativas de VaR de
nvel . Diz-se que houve uma violao na data t quando a perda da carteira em t foi maior
que o VaR estimado para essa data. Assim, a sequncia de violaes {Yt }Tt=1 dada por:
(
It =
1, se Yt < VaRt
0, caso contrrio
Se o modelo de VaR foi especificado corretamante, a probabilidade da perda Yt ser maior

que VaRt igual a . Assim, espera-se que a srie {It } seja i.i.d. com distribuio Bernoulli().
O teste de Kupiec um teste de cobertura incondicional, e os testes propostos por Christoffersen ([9] e [10]) so testes de independncia e de cobertura condicional.
3.1.1
Teste de Kupiec
O teste de Kupiec consiste em um teste de hiptese sobre o nvel do VaR estimado pelo
modelo de risco:
H0 : =
H1 : 6=
Sob a hiptese nula, {It } tem distribuio Bernoulli(), e portanto o total de violaes V
tem distribuio binomial:
T
X
V =
It Binomial(T, )
t=1
O autor prope usar o teste da razo de verossimilhana para testar a hiptese nula em
3.1. BACKTESTINGS BASEADOS EM VIOLAES
23
Tabela 3.1: Intervalos de violaes no teste de Kupiec
T
Teste 1% Teste 5%
1% 250
[0, 7]
[1, 6]
1% 500
[1, 11]
[2, 9]
1% 1000
[4, 19]
[5, 16]
1% 2000 [10, 32]
[12, 29]
5% 250
[5, 22]
[7, 19]
5% 500
[14, 38]
[17, 35]
5% 1000 [34, 68]
[38, 64]
5% 2000 [76, 126] [82, 119]
(3.1.1). A estatstica do teste dada por:
(V ) = 2 ln
L( | V )
sup{L( | V ) : [0, 1]}
V

(1 )(T V )
, se V > 0
2 ln
V (1
)(T V )
2 ln (1 )T
, se V = 0
onde L(.) a funo de verossimilhana,

= V /T o estimador de mxima verossimilhana
de e, assintoticamente, (V ) 2 (1)1 .
A Tabela 3.1 mostra os valores mnimo e mximo de violaes para no-rejeio no teste de
Kupiec com nveis de confiana de 1% e 5%, nveis de VaR de 1% e 5% e tamanho da amostra
T variando de 250 a 2000 dias. Observe que para os valores menores de T , a faixa de violaes
na regio de no-rejeio relativamente ampla. Por exemplo, se T = 250, 6 violaes no
so suficientes para rejeitar o VaR de 1%. O valor de mxima verossimilhana para quando
V =6
= 6/250 = 2, 4%, siginificativamente maior que o nvel esperado do VaR (de 1%).
Isso sugere um erro de tipo II grande.
Em um teste de razo de verossimilhana, a estatstica de teste assintoticamente distribuda como uma

chi-quadrada. O grau de liberdade dado pela diferena entre o nmero de parmetros livres nos modelos
associados s hiptese nula e alternativa. O modelo da hiptese nula no possui parmetros livres, pois supese que = . J na hiptese alternativa, o parmetro livre.
24
Anlise do poder do teste

O poder do teste de Kupiec (probabilidade de rejeitar o modelo quando a hiptese nula falsa)
dado por:
VX
max
T
(1 ) = 1
av (1 a )(T v)
v
v=V
min
onde:
a hiptese alternativa tem a forma = a ;
[Vmin , Vmax ] o intervalo de confiana para o nmero de violaes, conforme o nvel de
confiana do teste.
A Figura 3.1 mostra o poder deste teste para diversas hipteses alternativas e para vrios
tamanhos de amostra T . Neste grfico, percebe-se que o poder de teste depende fortemente
do tamanho da amostra: no teste de nvel de 5%, quando o tamanho da amostra de 2000
dias, so rejeitados mais de 90% dos modelos com nvel de VaR de 2% (ou seja, 2 vezes mais
que o nvel de VaR da hiptese nula). J se o tamanho da amostra de 250 dias, essa taxa de
rejeio cai para pouco mais de 20%.
Figura 3.1: Poder do teste de Kupiec com nvel de confiana de 5%(abaixo) para VaR de 1% e
diversos tamanhos de amostra
3.1.2
Testes de Independncia Serial das Violaes
Como observado por Mandelbrot em [17], grandes variaes [nos preos de ativos financeiros]
tendem a ser seguidas por grandes variaes, em qualquer direo, e pequenas variaes tendem a ser seguidas por pequenas variaes. desejvel que o modelo VaR capture esse fato
25
estilizado, sendo maior (e portanto, mais conservador) nos perodos de mais turbulncia no
mercado. Se o modelo de risco considera a volatilidade como sendo constante, provvel que
as violaes ocorram com frequncia maior que o esperado em perodos de maior volatilidade,
e com menor frequncia nos demais perodos.
Christoffersen props em [9] e [10] testes estatsticos para verificar se a srie de violaes
temporalmente independente, indicando que a variao de volatilidade da srie foi capturada
pelo modelo de risco.
A primeira abordagem do autor uma simplificao do problema, e testa a independncia
entre duas datas consecutivas na srie de violaes. Se essa dependncia existe, e se datas no
consecutivas so independentes, a srie pode ser interpretada como uma Cadeia de Markov de
primeira ordem cuja matriz de probabilidades de transio :
"
(1 01 ) (1 11 )
=
01
11
onde ij = P(It = j|It1 = i), ou seja, 11 e 01 so, respectivamente, a probabilidade de

haver violao dado que houve e que no houve violao no dia anterior. O teste de independncia, no caso, consiste em verificar se a probabilidade de haver violao na data t independe
de ter havido violao em t 1, ou seja:
H0 : 01 = 11
H1 : 01 6= 11
(3.1.1)
Alternativamente, possvel fazer um teste de cobertura condicional atravs um teste de hiptese similar:
H0 : 01 = 11 =
H1 : 01 6= 11
(3.1.2)
Assim, sejam:
T0 =
T1 =
T 1
X
t=1
T
1
X
t=1
(1 It )
It
T01 =
T11 =
T 1
X
t=1
T
1
X
It+1 (1 It )
It+1 It
t=1
Ou seja, T0 e T1 so, respectivamente, o nmero de no-violaes e de violaes, desconsiderando o ltimo elemento da srie {It }; T01 o nmero de violaes que sucedem uma
no-violao e T11 o nmero de violaes que sucedem uma violao. Novamente, T01 e T11
26
possuem distribuio binomial. Logo, para testar a hiptese de independncia em 3.1.1, o teste
da razo de verossimilhana tem a forma:
sup {L(01 , 11 | I) : 01 = 11 }
(01 ,11 )
IND (V ) = 2 ln
sup {L(01 , 11 | I)}
(01 ,11 )
onde I representa as observaes de T0 , T1 , T01 e T11 e (V ) tem distribuio assinttica 2 (1).

Neste caso, temos que:
T01 +T11
T0 +T1
o estimador de mxima verossimilhana de 01 e 01 na hiptese nula;
01 = T01 /T0 e 11 = T11 /T1 so, respectivamente, os estimadores de mxima verossimilhana de 01 e 01 .
Assim, a estatstica do teste dada por:

(T01 +T11 ) (1
)(T0 +T1 T01 T11 )
2 ln
, se T01 + T11 > 0
01 T01 (1 01 )(T0 T01 )

11 T11 (1 11 )(T1 T11 )
T01 (1
)(T0 +T1 T01 )
IND (V ) =
2 ln
, se T11 = 0
T01
(T0 T01 )
(1
)
01
01
T11

(1
)(T0 +T1 T11 )
2 ln
, se T01 = 0
11 T11 (1 11 )(T1 T11 )

Esse teste s vlido quando h pelo menos uma violao na srie observada. Amostras sem
violaes foram consideradas como no rejeitadas nos clculos acima. Para valores pequenos
de T (como T=250, bastante utilizados na prtica), a probabilidade de no haver violaes
significativamente alta e pode prejudicar a aplicao do teste. Por exemplo, para = 1%, essa
probabilidade igual a 8%.
O teste pode ser facilmente adaptado para testar a hiptese nula 01 = 11 = , bastando
que L(
| I) seja substitudo por L( | I). Neste caso, porm, o espao de variveis da funo
de verossimilhana associada s hiptese nula diminui de 1 para zero, e portanto, a estatstica
tem distribuio 2 (2).
Estimativa do poder do teste atravs de simulaes de Monte Carlo

O poder deste teste foi estimado atravs de simulaes de Monte Carlo para alguns valores
T e algumas combinaes de e 11 . Note que, fixada uma probabilidade incondicional =
P(It = 1) e uma probabilidade 11 = P(It = 1|It1 = 1), a probabilidade 01 fica tambm
27
determinada:
= P(It = 1)
= P(It = 1|It1 = 1)P(It1 = 1) + P(It = 1|It1 = 0)P(It1 = 0)
= 11 + 01 (1 )
01 =
(1 11 )
1
A Tabela 3.2 mostra o poder estimado pelas simulaes para um teste com nvel de 5% de
confiana e nvel de VaR de 1%. Para cada combinao de T e 11 , foram geradas 10.000 sries.
Tabela 3.2: Poder do teste de Christoffersen baseado em cadeias de Markov
11 (%) 250
500
1000 2000
1
1.53 1.28 1.62 1.49
2
2.71 2.84 4.34 5.14
5
7.38 9.42 15.13 24.57
10
15.27 21.01 35.87 56.59
20
28.41 43.5 66.92 87.3
Os resultados encontrados por Christoffersen em [10] tambm apontam para o baixo poder
deste mtodo de backtesting.2 Neste trabalho, Christoffersen aplica a metodologia de VaR
histrico sries de retornos Yt geradas pelo modelo GARCH(1,1)-t(d):
r
Yt+1 = t
d2
zt+1
d
r
2
t+1
= + t2
d2
zt+1
d
!2
+ t2
Os parmetros utilizados foram d = 8, = 0.1, = 0.85, = 0.5 e = 3.9683e 6, o

que implica em uma persistncia de volatilidade igual a 0.975. O poder do teste avaliado pelo
autor para VaR de 1% e nvel de confiana do teste de 5% ficou entre 26.3% (para amostra de
tamanho 250) e 42.7% (amostra de tamanho 1500).
3.1.3
Backtest baseado em duration
Backtests baseados em cadeias de Markov de primeira ordem apresentam uma fragilidade ntida:
no capturam dependncias de ordens superiores. Para corrigir esse problema, Christoffersen
props em [10] um segundo mtodo de backtesting baseado na srie de durations. Esta srie
obtida a partir da srie de violaes, e cada elemento representa o nmero de dias entre duas
2
O teste realizado em [9] no utiliza VaR. Ao invs disso, considera como violaes os retornos fora de um
intervalo de confiana bilateral de 75%. Como essa configurao bastante atpica quando comparada ao VaR,
preferimos citar os resultados obtidos em [10]
28
violaes consecutivas:
Di = ti ti1
(3.1.3)
onde Di o i-simo elemento da srie de durations e ti a data 3 da i-sima violao. Para

ilustrar, a duration correspondente a uma violao no dia seguinte a outra violao vale 1. J se
houve trs dias sem violao entre duas violaes, a duration vale 4 (pois ocorreu no quarto dia
aps a violao imediatamente anterior). Como It uma varivel aleatria Bernoulli, ento Di
uma varivel aleatria geomtrica com probabilidade , ou seja, Pno-cens (Di = d) = (1)d1 .
Por motivos no informados em seu artigo, Christoffersen no utilizou a distribuio geomtrica para modelar as durations; tendo optado pela distribuio exponencial, sua equivalente
no caso contnuo. O autor argumenta que o vis introduzido pelo uso de uma varivel contnua
ser endereado nas simulaes de Monte Carlo utilizadas na realizao do teste.
Tendo a distribuio exponencial como hiptese nula, o teste de razo de verossimilhana
requer que a hiptese alternativa seja uma distribuio mais genrica, que tenha a exponencial
como um caso especfico. Alm disso, a distribuio alternativa deve permitir funes hazard
no constantes, capturando o decrscimo na probabilidade de violao na medida em que o
tempo sem ocorrncia de violaes aumenta. O teste de razo de verossimilhana vai, ento,
medir quanto um modelo sem memria (distribuio exponencial) se diferencia do modelo
timo, possivelmente com memria.
Trs distribuies so sugeridas pelo autor para a hiptese alternativa: Weibull, Gamma e
EACD (Exponential Autoregressive Conditional Duration), cujas distribuies so dadas por:
b
Weibull: f (D; a, b) = ab bDb1 e(aD)
Gamma: f (D; a, b) = ab Db1 eaD ((b))1

EACD: f (Di |i ; a, b) = i1 eDi /i , com i Ei1 [Di ] = a + bDi1
onde a hiptese nula para os trs modelos H0 : b = 1.
A distribuio EACD a nica condicional, e portanto a nica que leva em considerao a
ordenao das durations, o que poderia sugerir maior poder do teste que utiliza essa distribuio.
Porm, os testes realizados pelo autor apontaram que quando a distribuio EACD utilizada,
o poder do teste similar ao backtest baseado em cadeias de Markov. O mesmo no pode
ser dito acerca do backtest de duration com distribuio alternativa Weibull. Apesar do poder
deste teste tambm ser comparvel ao de cadeias de Markov para amostras pequenas, ele
significativamente superior para amostras maiores (de 4 anos ou mais). Por esse motivo, neste
trabalho sero utilizados os testes de independncia baseados em cadeias de Markov, e em
duration com distribuio alternativa Weibull, onde a escolha do mtodo ser feita em funo
do tamanho da amostra.
3
Mais precisamente, ti a posio em It da i-sima violao.
29
A implementao do teste consiste em trs etapas: gerao da srie de durations; clculo

dos estimadores de mxima verossimilhana para a hiptese alternativa e para a hipteses nula;
e clculo das verossimilhanas nas duas hipteses. Estas etapas so descritas a seguir.
Obteno da srie de durations

A obteno da srie de durations com base na srie de violaes bastante direta, exceto pela
primeira e pela ltima durations. Para ilustrar este fato, tomemos como exemplo a srie de
violaes
{It }16
(3.1.4)
t=1 = {0, 0, 0, 1, 0, 0, 0, 0, 1, 1, 0, 0, 0, 1, 0, 0}
Usando a equao 3.1.3, obtemos D2 = 5 (pois houve violaes consecutivas no quarto e no
nono dias), D3 = 1 e D4 = 4. Mas a nica coisa que se pode dizer sobre a primeira e ltima
durations que D1 > 3 e D5 > 2. Isso ocorre porque no houve violao nem no primeiro nem
no ltimo dia da srie de violaes. Suponha que a srie de durations de 3.1.4 seja representada
apenas por:
{Di }5i=1 = {3, 5, 1, 4, 2}
Note que a srie {1,0,0,1,0,0,0,0,1,1,0,0,0,1,0,1} teria uma srie de durations idntica, mas a
probabilidade desta srie ocorrer diferente da srie de 3.1.4.
Assim, para complementar a informao da srie de durations, Christoffersen props uma
srie {Ci }N
i=1 que indica se Di corresponde a um dado censurado. Diz-se que a duration Di
censurada quando ela representa apenas um limiar inferior para seu valor verdadeiro, e no
o seu valor exato. Assim, temos que C1 = C5 = 1 (indicando que D1 e D5 so censuradas), e
C2 = C3 = C4 = 0. Obviamente, apenas o primeiro e o ltimo elementos da srie de durations
podem ser censurados.
Implementao do backtest baseado em durations com distribuio Weibull

Tendo obtido a srie de durations, preciso calcular os estimadores de mxima verossimilhana
para as distribuies exponencial e Weibull. A log-verossimilhana de uma srie de durations
censurada dada por:
ln(L(D; )) = C1 ln(S(D1 )) + (1 C1 ) ln(f (D1 )) +
N
1
X
ln(f (Di ))
i=2
+ CN ln(S(DN )) + (1 CN ) ln(f (DN ))

onde N o tamanho da srie de durations, f a funo de distribuio com parmetros
e S a funo de sobrevivncia da distribuio.
30
Para o caso exponencial, possvel obter os estimadores de mxima verossimilhana analiticamente. A distribuio exponencial dada por f (d) = aead , e sua funo de sobrevivncia
S(d) = ead . Assim, temos que:
a
=
(N C1 CN )
PN
i=1 Di
Mas uma desvantagem do teste baseado em durations que no h frmula fechada para os
estimadores de mxima verossimilhana da distribuio Weibull (assim como para as demais
distribuies Gamma e EACD). A necessidade de utilizao de um algoritmo de otimizao
numrica torna o mtodo computacionalmente mais complexo quando comparado com o teste
baseado em cadeias de Markov. Porm, especificamente para a distribuio Weibull, possvel
explicitar uma relao entre os parmetro no ponto timo:
a
=
N C1 CN
PN
b
i=1 Di
!1/b
Com isso, o problema de otimizao transforma-se em um problema de uma varivel.

Utilizou-se a funo optimize do software R para aproximar os estimadores de mxima verossimilhana. Essa funo usa o mtodo de Newton e aproxima a matriz hessiana pelo mtodo
BFGS. Apesar de a hessiana poder ser facilmente explicitada para a funo Weibull, seu uso gerou algumas instabilidades numricas. Com isso, apenas a primeira derivada da funo-objetivo
foi fornecida para o otimizador. A nica restrio do problema que os parmetros a e b devem
ser ambos maiores que zero.
Estimativa do poder do teste atravs de simulaes de Monte Carlo

Para avaliar o poder do teste, utilizou-se simulao de Monte Carlo. Para gerar as sries de
duration, foram simuladas sries de variveis aleatrias Wi Weibull. Arredondou-se cada Wi
para cima, transformando os elementos da srie em nmeros inteiros maiores que zero. Para
simular o primeiro elemento (que pode ser uma duration censurada), sorteou-se uma varivel
uniforme discreta U entre zero e dW1 e 1, onde D1 = dW1 e U , e C1 = 0 se e somente se
U = 0. Para i > 1, fazemos Di = dWi e at que o tamanho da srie de violaes seja alcanado,
o que pode implicar na censura do ltimo elemento da srie.
Como espera-se que a taxa de violaes diminua quanto maior for a duration (funo hazard decrescente), foram utilizados valores de b menores que 1 na simulao. Foram simuladas
1.000 sries de duration para T=2.000 com b = 1/2, nvel do VaR de 1% e nvel de confiana
do teste de 5%. Com esta configurao, o poder do teste ficou em 61%.
3.2. BACKTEST PARA PERDA ESPERADA
3.2
31
Backtest para Perda Esperada
Como foi mencionando na seo anterior, testes baseados em violaes no so aplicveis

Perda Esperada, pois essa medida de risco reflete a magnitude esperada (e no o valor mnimo)
das piores perdas. Diante deste problema, Kerkhof e Melenberg propuseram em [15] um mtodo
genrico de backtesting, que consiste na construo de um intervalo de confiana para a medida
de risco a partir da distribuio emprica das perdas. O teste baseia-se no mtodo do deltafuncional [23] e pode ser aplicado a uma vasta gama de medidas de risco, incluindo o VaR e a
Perda Esperada. Para sua aplicao, necessrio que os retornos passem previamente por um
processo de padronizao, como ser visto a seguir. Por fim, vale mencionar que este um teste
de cobertura no-condicional, pois a ordenao dos retornos no levada em considerao.
Construo da estatstica de teste

Kerkhof e Melenberg definem medidas de risco como funcionais que mapeiam elementos do
espao das distribuies de probabilidade DF em reais:
%(Q) : DF R
Por esta notao, o VaR de nvel escrito como:
% (Q) := Q1 ()
(3.2.1)
e a Perda Esperada, como:

1
% (Q) :=
Q1 ()
x dQ(x) + Q1 ()
!!
Q1 ()
dQ(x)
(3.2.2)
onde Q a distribuio padronizada dos retornos. Se Q uma distribuio contnua, ento

R Q1 ()
dQ(x) = , e neste caso:
1
% (Q) :=
Q1 ()
!
x dQ(x)
(3.2.3)
Um conceito importante para a construo da estatstica do teste proposto em [23] o de

funo de influncia. Em linhas gerais, a funo de influncia x (%, Q) do funcional %(Q)
em um ponto x mede quanto %(Q) varia quando ocorre uma perturbao em Q na direo de
uma funo-impulso x . Formalmente, escreve-se:
x (%, Q) = lim+
t0
%((1 t)Q + tx ) %(Q)

t
(3.2.4)
32
Se %(Q) Hadamard-diferencivel, podemos aplicar o mtodo do delta-funcional [23]:
T
1X
T (%(QT ) %(Q)) = T
t (Q) + op (1),
T t=1
Et (Q) = 0,
Et2 (Q) <
onde QT a distribuio emprica obtida de uma amostra de T retornos com distribuio Q.

Kerkhof e Melenberg mostram que tanto o VaR como a Perda Esperada so Hadamarddiferenciveis. Com isso, se %(Q) avaliado sob a hiptese nula H0 : Q = G, obtemos a
seguinte estatstica de teste:
ST =
(%(QT ) %(Q)) d
T p
N (0, 1)
E 2 (Q)
(3.2.5)
onde E 2 (Q) a varincia da funo de influncia da medida de risco % para a distribuio Q.

Em outras palavras:
!
r
E 2 (Q)
d
%(QT )
N %(Q),
T
Assim, para gerar a estatstica de teste para o VaR, basta substituir a expresso 3.2.1 em
3.2.4 e calcular a varincia desta ltima expresso, o que nos d os seguintes resultados:
VaR (Q) =
I(,Q1 ()] (x)

q(Q1 ())
EV2 aR (Q) =
(1 )
q 2 (Q1 ())
(3.2.6)
onde q a densidade de probabilidade de Q.

Realizando os mesmos clculos para a Perda Esperada (3.2.2), chega-se a:
"
!#
Z Q1 ()
1
(x Q1 ())I(,Q1 ()] (x) + VaR (Q)
dQ(x) P E(Q)+V aR(Q)
PE (Q) =
Se Q contnua, a expresso pode ser reduzida a:

PE (Q) =

1
(x Q1 ())I(,Q1 ()] (x) P E(Q) + V aR(Q)
e a varincia da funo de influncia dada por:

EP2 E (Q)

1 2
1
1
2
= 2 E x I(,Q1 ()] (x)
+ 3 (VaR(Q)) 2
+ 3 VaR(Q)PE(Q)+3(PE(Q))2
(3.2.7)
Sob a hiptese nula H0 : Q N (0, 1), as expresses acima possuem frmulas fechadas em
termos da funes de distribuio e densidade da normal padro. A funo de distribuio ser
3.2. BACKTEST PARA PERDA ESPERADA
33
denotada por (x), e a funo densidade, por (x). Temos, ento, que:
VaR (Q) = 1 ()
(1 ())
PE (Q) =
2

E x I(,Q1 ()] (x) = 1 ()(1 ())
(3.2.8)
(3.2.9)
(3.2.10)
Com essas expresses, a estatsticas de teste 3.2.5 calculada simplesmente substituindo-se as

equaes acima em 3.2.4, 3.2.6 e 3.2.7
Padronizao dos retornos

Os testes propostos em [15] so aplicveis a retornos independentes e identicamente distribudos. Porm, sabe-se que a distribuio dos retornos de uma carteira tipicamente varia no
tempo. Mesmo que o modelo de distribuio de retornos para uma determinada data seja
no-condicional, os parmetros do modelo tipicamente so reavaliados a cada dia tk a partir do
histrico de retornos {Yt }, t {k T, ..., k 1}.
Para contornar essa situao, Kerkhof e Melenberg propuseram o uso de retornos padronizados. Seja Yt Ft o retorno de um ativo (ou carteira de ativos) na data t. Tipicamente, a
distribuio exata Ft no conhecida, sendo aproximada por uma distribuio Pt . O objetivo
final do backtest testar a hiptese nula H0 : Pt = Ft .
Como precisamos de uma srie identicamente distribuda (pelo menos sob a hiptese nula),
podemos usar o Teorema da Integral de Probabilidade: se Yt Pt , ento Pt (Yt ) possui distribuio uniforme, e portanto:
ht = G1 (Pt (Yt )) G
Se Pt 6= Ft , temos que ht Qt 6= G. Desse modo, ao usar a srie de retornos padronizados
{ht } para testar a hiptese nula H0 : G = Qt , estamos testando indiretamente a hiptese
H0 : Pt = Ft .
3.2.1
Resultados da simulao
Inicialmente, verificamos o tamanho do teste, simulando 1.000 sries de retornos {Xt }Tt=1 , Xt
N (0, 1) para vrios tamanhos de T e verificando quantas foram rejeitadas. A importncia
deste teste verificar a velocidade de convergncia da estatstica de teste para sua distribuio
assinttica normal.
Para avaliar o poder do teste da mesma forma como foi feito para o teste de Kupiec,
preciso definir o desvio padro que gera o mesmo nvel de violao. Assim, devemos encontrar
34
Tabela 3.3: Tamanho
Teste 1%
T
VaR
1% 250
11
1% 500
21
1% 1000
9
1% 2000
10
5% 250
14
5% 500
14
5% 1000
15
5% 2000
5
do teste de Kerkhof
Teste 5%
PE
VaR
PE
3
47
38
11
75
56
9
57
46
5
34
37
6
54
40
8
52
44
9
69
43
6
42
35
o desvio padro tal que:

Xt N (0, ) P(Xt < 1 (0 )) = 1
onde 0 o nvel do VaR sob a hiptese nula e 1 a probabilidade de violao do VaR na
hiptese alternativa.
A Figura 3.2 mostra o poder do backtest de Kerkhof e Melenberg para o VaR de nvel 1%
e diversos valores de T. O nvel de confiana do teste foi de 5%.
Figura 3.2: Poder do teste de Kerkhof com nvel de confiana de 5% para VaR de 1% e diversos
tamanhos de amostra
Captulo 4
Estudo de casos
4.1
Descrio das sries
Para realizar os estudos de caso, foram utilizadas 35 sries financeiras brasileiras de log-retornos,
sendo 5 sries de cmbio para real (dlar, euro, libra, iene e franco suco), e 3 curvas de juros
(pr-fixados, cupom de IPCA e DIxDlar) com 10 vrtices cada (1, 2, 3 e 6 meses, 1, 2, 3, 4,
5 e 10 anos). Todas as sries apresentaram valor mdio significativamente inferior ao desvio
padro: no pior caso, a relao valor mdio/desvio padro foi de 0.12 para o vrtice de um ms
da curva de juros pr-fixados.
Como era esperado, a volatilidade das taxas de cmbio geralmente maior que a das curvas
de juros, exceto para vrtices longos. A volatilidade das taxas de cmbio foi similar para as
cinco moedas, ficando dentro do intervalo de 0.945% a 1.24%, enquanto que os vrtices at
3 anos das curvas de juros apresentaram volatilidades menores que 0.42%. Alm disso, as
volatilidades dos vrtices das trs curvas de juros aumentaram com o prazo (Figura 4.1), sendo
que o vrtice de 10 anos da curva de juros pr-fixado apresentou a maior volatilidade, de 2.5%.
Para analisar a variao da volatilidade ao longo do tempo, cada srie foi dividida em
blocos de um ano e a volatilidade de cada bloco foi calculada. A evoluo das volatilidades
pode ser vista na Figura 4.2. Percebe-se um pico de volatilidade em todas as sries no ano de
2008, especialmente nas sries de cmbio. Os vrtices longos de juros pr-fixados apresentaram
volatilidades bastante elevadas em 2004, mostrando tendncia de queda com o passar dos anos.
O Grfico 4.3 mostra a funo de autocorrelao para os lags de 1 a 10 das curvas de juros
e das moedas. Cada vrtice est representado por uma cor, e a linha pontilhada em azul o
intervalo de confiana de 95% para a hiptese nula de que a autocorrelao zero. Observa-se
que a hiptese nula foi descartada para os vrtices mais curtos da curva de juros pr-fixados,
havendo uma autocorrelao positiva significativa em todos os lags. Tambm possvel notar
uma correlao negativa no lag 1 para os vrtices curtos das curvas de DIxDolar e Cupom de
IPCA. Para as sries de moeda, a hiptese nula de autocorrelao igual a zero no foi descartada
35
CAPTULO 4. ESTUDO DE CASOS
0.000
0.015
0.030
36
20
40
60
80
100
120
Figura 4.1: Volatilidade mdia das curvas de juros para vrtices de 1 a 120 meses. A linha
preta a curva de juros pr-fixado, a vermelha, de DIxDolar, e a azul, de cupom de IPCA.
0.010
0.000
0.000
0.010
0.020
Cupom IPCA
0.020
Juros Pr
2004
2006
2008
2010
2012
2004
2008
2010
2012
0.010
0.000
0.000
0.010
0.020
USD,EUR,LIB,IEN,CHF
0.020
DIxDOL
2006
2004
2006
2008
2010
2012
2004
2006
2008
2010
2012
Figura 4.2: Evoluo da volatilidade mdia anual de cada fator de risco. Cada linha das curvas
de juros representa um vrtice.
para a maioria dos lags.
4.2
Comparao dos modelos para sries de moedas
Para iniciar o estudo de casos, tomaremos a srie de dlar como exemplo, e analisaremos os
resultados dos backtests para cinco modelos de estimativa de VaR e perda esperada: modelo
4.2. COMPARAO DOS MODELOS PARA SRIES DE MOEDAS
Figura 4.3: Funo de autocorrelao para os fatores de risco, lags de 1 a 10.
37
38
paramtrico normal no-condicional, modelo paramtrico normal com decaimento EWMA, modelo de simulao histrica, modelo GARCH(1,1) com distribuies Normal e t de Student com
8 graus de liberdade 1 . As configuraes para os modelos paramtrico normal, de simulao
histrica e GARCH correspondem a trs tamanhos de janela de dados (T=250, 500 ou 1000),
e o modelo EWMA foi testados com parmetros =0.94 e 0.97.
A Tabela 4.1 mostra os p-valores dos backtests aqui tratados para as diferentes configuraes
modelos de risco, utilizando nvel de confiana do VaR e da Perda Esperada de 1%. O backtest
foi realizado para uma srie de 4 anos de dados (de 2008 a 2011, 1000 pontos). As tabelas a
seguir mostram os p-valores dos testes de Kupiec, teste de independncia de primeira ordem de
Christoffersen (Chr.98), teste baseado em duration (Chr.04), e teste de Kerkhof e Melenberg
para VaR (KM VaR) e Perda Esperada (KM PE).
Tabela 4.1: Resultados de backtests para VaR e PE (nvel 1%) para uma carteira de dlar
utilizando 1000 pontos. Valores em negrito representam no-rejeio no teste com nvel de
confiana de 95%, e em itlico, no-rejeio para nvel de confiana de 99%.
Modelo
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-Normal , T=250
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000
Kupiec Chr.98 Chr.04 KM VaR KM PE

0.0223
0.0001
0.0002
0.0242
0.0000
0.0110
0.0002
0.0000
0.0000
0.0000
0.0794
0.0013
0.0000
0.0000
0.0000
0.7465 0.6858 0.6755
0.6166
0.3690
0.7465 0.0658 0.0934
0.9364
0.0704
0.0223
0.0000
0.0000
N/A
N/A
0.1390 0.0176
0.0000
N/A
N/A
0.2306
0.0005
0.0000
N/A
N/A
0.7544 0.8548 0.0524
0.0000
0.0000
0.7544 0.8931 0.2207
0.0000
0.0000
0.5102 0.8931 0.2207
0.0000
0.0000
0.0397 0.6207 0.9652
0.0000
0.0000
0.0090 0.6207 0.5484
0.0000
0.0000
0.0090 0.7193 0.5171
0.0000
0.0000
O nico modelo de risco no rejeitado em nenhum dos testes foi o Paramtrico Condicional
com decaimento EWMA (para ambos os valores de =0.94). Todos os demais modelos foram
rejeitados pelos testes de Kerkhof e Melenberg aplicados ao VaR e Perda Esperada. Considerando apenas os testes baseados em violaes, os modelos no rejeitados por nenhum teste
foram os dois EWMA e as trs configuraes do modelo GARCH(1,1) com inovao normal. A
no rejeio do modelo GARCH-t nos testes de Christoffersen sugere que o modelo conseguiu
capturar as variaes de volatilidade das sries, mas a rejeio no teste de Kupiec indica que o
nvel do VaR no foi capturado corretamente.
1
Em [6], Bollerslev afirma que essa uma boa parametrizao para sries financeiras.
4.2. COMPARAO DOS MODELOS PARA SRIES DE MOEDAS
39
Como visto no Captulo 3, importante interpretar os resultados do backtest levando-se

em considerao no apenas o p-valor, mas tambm o poder do teste. A no-rejeio de um
modelo de risco no necessariamente indica que o modelo est adequado, mas pode ser tambm
consequncia do baixo poder de rejeio do backtest. Os dois fatores que influenciam no poder
de um backtest so o nmero de pontos usados no teste e o nvel de confiana da medida de
risco, j que o nmero esperado de violaes na amostra depende deste nvel.
No teste acima, usou-se um nmero de pontos para backtest equivalente a 4 anos de dados.
A prtica da indstria usar um nmero menor de pontos, devido ao tempo em que dados
de risco vm sendo coletados e ao custo computacional de usar amostras maiores. Veremos
na Tabela 4.2 o resultados dos mesmos modelos quando aplicados a backtests para um ano de
dados (250 pontos).
Na Tabela 4.2, as sries de VaR e perdas histricas foram divididas por ano, e a dupla
de sries de cada ano alimentou uma execuo diferente do backtest. possvel observar o
problema de escassez de violaes no backtest de duration, que requer duas ou mais durations,
sendo ao menos uma delas no-censurada. Este problema ocorreu nos testes cujos p-valores da
coluna Chr.04 foram marcados com N/A, e este resultado no ser considerado como rejeio.
Apesar do poder dos testes ter sido reduzido pelo menor nmero de pontos, no houve
variao significativa nos resultados, sendo os modelos EWMA os que apresentaram os melhores
resultados, e os modelos GARCH-Normal com bons resultados para os testes baseados em
violaes. Porm, possvel perceber que a rejeio dos testes de Kerkhof e Melenberg e de
Christoffersen aparentou ser menos rigorosa, evidenciando a reduo no poder do teste. Isso
pode ser observado nos testes dos modelos paramtrico no-condicional e de simulao histrica,
que foram rejeitados nos testes com 4 anos de dados, a agora deixam de ser rejeitados para
alguns anos. O teste de Kupiec tambm deixou de rejeitar o modelo GARCH-t, resultado que
foi consistente para os cinco anos testados.
Uma outra questo que pode ser abordada nestes testes a influncia de perodos de alta
volatilidade nos resultados do backtest. Na Figura 4.1, observou-se um pico de volatilidade
nos anos de 2008 e 2009. Porm, no h uma diferenciao clara dos resultados destes anos
quando comparado aos demais, sugerindo que os resultados do backtest no so influenciados
por variaes nas volatilidades das sries.
Por fim, analisaremos os mesmos backtests quando executados com 4 anos de dados (1000
pontos), mas usando um nvel de 5% para as medidas de risco. Neste caso, o poder do teste
aumentado tanto pelo nmero de pontos como pelo maior nvel das medidas de risco.
Observa-se ques os modelos EWMA continuam sem rejeies, exceto pela rejeio do teste
de Kupiec com nvel de confiana de 95% para =0.97. Os resultados para os modelos GARCH
foram similares aos da Tabela 4.1, com rejeio de todos os modelos pelos testes de Kerkhof
e Melenberg e dos modelos GARCH-t tambm pelo teste de Kupiec. Mas, ao contrrio dos
40
utilizando 250 pontos para a estimativa do modelo e 250 para o backtest.
Ano
2008
2009
Par. Normal
2010
2011
2012
2008
2009
EWMA, =0.94 2010
2011
2012
2008
2009
EWMA, =0.97 2010
2011
2012
2008
2009
Sim. Hist
2010
2011
2012
2008
2009
GARCH-Normal 2010
2011
2012
2008
2009
GARCH-t
2010
2011
2012
Modelo

0.0014 0.0316
0.0290
0.0000
0.0000
0.0250 1.0000
N/A
0.0000
0.0010
0.7419 0.8572 0.6024
0.5306
0.9730
0.0190
0.0094 0.0335
0.0132
0.0704
0.7419 0.8572 0.0668
0.7368
0.8164
0.7580 0.7868 0.6469
0.1026
0.5808
0.2781 0.9284
N/A
0.7828
0.2350
0.7580 0.7868 0.0210
0.6884
0.6668
0.7419 0.8572 0.2074
0.6640
0.4596
0.1619 0.6508 0.4622
0.1464
0.0260
0.7580 0.7868 0.6469
0.1000
0.0208
0.0250 1.0000
N/A
0.1486
0.0572
0.7580 0.7868 0.6603
0.7744
0.4384
0.7580 0.0198
0.0228
0.7544
0.7444
0.3805 0.7178 0.9621
0.3306
0.0718
0.0014 0.0316
0.0019
N/A
N/A
0.0250 1.0000
N/A
N/A
N/A
0.2781 0.9284
N/A
N/A
N/A
0.0054
0.0000
0.0005
N/A
N/A
0.7580 0.7868 0.5244
N/A
N/A
0.7580 0.9284
N/A
0.0000
0.0024
0.7580 0.9284
N/A
0.0016
0.0010
0.7580 0.9219
N/A
0.0000
0.0000
0.7419 0.9284
N/A
0.0000
0.0000
0.3435 0.8569 0.0668
0.0002
0.0088
0.2781 0.7868 0.4731
0.0002
0.0456
0.2781 0.7868
0.0081
0.0170
0.0100
0.3955 0.7868 0.6603
0.0008
0.0070
0.2781 0.8572 0.2074
0.0000
0.0000
0.7466 0.7121 0.7357
0.1486
0.5518
4.3. COMPARAO DOS MODELOS PARA OUTRAS SRIES DE MOEDA
41
utilizando 1000 pontos.
Modelo
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000
Kupiec Chr.98 Chr.04 KM (VaR) KM (PE)

0.3746
0.0001
0.0000
0.4482
0.0010
0.1333
0.0001
0.0000
0.0014
0.0000
0.0695
0.0024
0.0000
0.0722
0.0000
0.0974 0.6999 0.1653
0.0846
0.4884
0.0484 0.5995 0.6962
0.0690
0.3050
0.3200
0.0000
0.0000
N/A
N/A
0.7730
0.0000
0.0000
N/A
N/A
1.0000
0.0005
0.0000
N/A
N/A
0.3746 0.6281 0.8732
0.0000
0.0000
0.2332 0.0457 0.4475
0.0000
0.0000
0.1333 0.2032 0.7394
0.0000
0.0000
0.0001 0.1699 0.7932
0.0000
0.0000
0.0005 0.1268 0.6082
0.0000
0.0000
0.0003 0.3000 0.6318
0.0000
0.0000
testes das medidas de risco ao nvel de 1%, o teste de Kupiec deixou de rejeitar os modelos
paramtrico no condicional e de simulao histrica. Como o poder dos testes maior neste
caso, o resultado sugere que as medidas de risco so modeladas mais adequadamente para um
nvel maior
Uma ltima observao sobre os testes acima que, apesar do artigo de Christoffersen
[10] sugerir que o teste de duration tem um poder maior quando comparado aos demais, no
foi possvel notar diferenas significativas entre os dois testes de independncia de violaes,
exceto pelo fato de que o teste de duration foi invivel para um grande nmero de testes
quando uma amostra de um ano de dados foi utilizado. Como este ltimo teste tem ainda a
implementao mais complexa, o teste de independncia de primeira ordem permanece como
uma opo interessante para o uso prtico.
4.3
Comparao dos modelos para outras sries de moeda
Os backtests foram aplicados a outras sries de moedas (Euro, Yen, Libra e Franco Suo)
usando-se 1000 pontos (4 anos) para backtest, nvel de confiana do VaR de 1%, nvel de
confiana do teste de 5%. Os resultados desta e das prximas sees sero mostrados de
maneira agregada, indicando no mais o p-valor de um nico teste. Ao invs disso, ser indicado
quantas rejeies um determinado modelo sofreu. Assim, cada modelo foi ajustado a cada uma
das cinco sries de moeda, e esses cinco ajustes foram testados por todos os backtests. Os
valores da Tabela 4.4 indicam o percentual de rejeies dentre os 5 testes realizados para cada
42
combinao de modelo e teste. Por exemplo, se um modelo foi rejeitado no teste de Kupiec
para as sries de Yen e de Libra, o valor exibido para o teste de Kupiec aplicado a esse modelo
ser de 40% (2 de 5 moedas).
Tabela 4.4: Percentual de rejeies nos backtests aplicados a 5 sries de moedas.
Modelo
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000

60%
40%
100%
100%
100%
60%
80%
100%
100%
100%
20%
100%
100%
100%
100%
20%
0%
20%
20%
60%
0%
0%
0%
0%
60%
40%
80%
100%
N/A
N/A
40%
60%
100%
N/A
N/A
20%
100%
100%
N/A
N/A
0%
0%
20%
100%
100%
0%
0%
0%
100%
100%
0%
0%
20%
100%
100%
80%
0%
20%
100%
80%
100%
0%
0%
100%
80%
100%
0%
0%
100%
80%
Os resultados observados so compatveis com os da srie de dlar. O modelo EWMA

com =0.97 no foi rejeitado em nenhum dos testes baseados em violaes, sendo rejeitado no
teste de Kerkhof e Melenberg para Perda Esperada para 3 moedas. O EWMA com =0.94
foi rejeitado em 20% dos testes de Kupiec, de duration e de Kerkhof e Melenberg para VaR,
sendo rejeitado tambm em 60% dos testes de Kerkhof e Melenberg para Perda Esperada.
Os modelos GARCH(1,1)-Normal praticamente no tiveram rejeies nos testes baseados em
violaes, mas foram rejeitados nos testes de Kerkhof e Melenberg. O modelo de simulao
histrica com janela de 4 anos teve poucas rejeies no teste de Kupiec, mas foi rejeitado nos
outros testes. Os demais modelos apresentaram um nmero significativo de rejeies em todos
os testes.
4.4
Comparao dos modelos para sries de juros
Uma pergunta natural se os resultados sero similares tambm para outras sries financeiras,
como as sries de retornos associados a taxas de juros. Como visto na primeira seo deste
captulo, estas sries possuem caractersticas diversas das sries de moedas, como autocorrelao
significativa no primeiro lag e menor volatilidade nos vrtices de vencimentos mais curtos.
Para responder a essa pergunta, os mesmos modelos foram aplicados a 3 grupos de 10 sries
cada: juros pr-fixados, cupom de DIxDlar e cupom de IPCA. As sries correspondem aos
4.4. COMPARAO DOS MODELOS PARA SRIES DE JUROS
43
retornos associados a 10 vrtices de cada curva (de 1 ms a 10 anos). As configuraes dos

modelos e testes so as mesmas da seo anterior, ou seja, 1000 pontos (4 anos) para backtest,
nvel de confiana do VaR de 1%, nvel de confiana do teste de 5%. A Tabela 4.5 mostra o
percentual de rejeies, como na Tabela 4.4.
As sries de juros apresentaram resultados bastante diferentes das sries de moeda. Os
modelos EWMA, que tiveram as menores taxas de rejeio para as sries de moeda, foram
rejeitados pelo teste de Kupiec e de Kerkhof e Melenberg na maioria das sries de juros. Por
outro lado, o modelo de simulao histrica teve resultados razoveis para os trs grupos de
sries. Tomando o teste de Kupiec como critrio principal de escolha, a janela de estimativa do
modelo de distribuio com 2 anos de dados (500 pontos) apresentou um resultado ligeiramente
superior. Nos testes de Christoffersen, os trs tamanhos de janela apresentaram resultados
similares, com um nmero de rejeies significativo para ambos os testes, mas um pouco menor
no teste independncia de primeira ordem.
Considerando apenas os testes baseados em violaes, o modelo GARCH(1,1)-Normal teve
bons resultados em apenas dois casos: para juros pr-fixados com janela de estimativa de 1000
pontos de dados, e cupom de IPCA com mesma janela de estimativa. Para a srie de DIxDlar,
todas as configuraes deste modelo apresentaram alta taxa de rejeio pelo teste Kupiec,
mas resultados relativamente bons nos testes de independncia e Kerkhof e Melenberg. J o
modelo GARCH-t para o mesmo grupo de sries apresentou baixa rejeio nos testes baseados
em violaes, mas rejeies em todas as execues dos testes de Kerkhof e Melenberg. Os
resultados dos testes para as sries de DIxDlar mostram uma discordncia entre os backtests
cuja causa requer maior investigao.
Uma anlise similar foi realizada agrupando-se as 30 sries por prazo de vencimento (curto
prazo, correspondendo de 1 a 6 meses, e longo prazo, de 1 a 10 anos), mas como mostra a
Tabela 4.6, os resultados para vrtices curtos e longos no apresentam diferenas significativas.
44
Tabela 4.5: Percentual de rejeies nos backtests aplicados a juros pr-fixados, cupom DIxDlar
e cupom de IPCA (10 vrtices para cada curva).
Curva
Modelo
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Pr
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
DIxDOL Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
IPCA
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000

54%
58%
92%
92%
100%
0%
33%
63%
46%
100%
8%
33%
75%
25%
92%
92%
21%
38%
100%
100%
50%
21%
75%
100%
100%
13%
25%
100%
N/A
N/A
0%
8%
75%
N/A
N/A
8%
33%
42%
N/A
N/A
33%
17%
33%
67%
50%
17%
0%
33%
67%
67%
0%
0%
0%
50%
33%
0%
0%
17%
100%
100%
67%
0%
0%
100%
100%
83%
0%
17%
100%
100%
75%
54%
50%
83%
100%
100%
42%
100%
100%
100%
92%
50%
100%
92%
100%
92%
8%
0%
92%
100%
75%
42%
8%
83%
100%
0%
38%
42%
N/A
N/A
8%
33%
100%
N/A
N/A
8%
50%
92%
N/A
N/A
75%
25%
0%
21%
0%
75%
0%
0%
21%
0%
75%
33%
0%
21%
0%
13%
0%
8%
100%
100%
25%
0%
0%
100%
100%
8%
0%
0%
100%
100%
42%
42%
42%
100%
100%
42%
33%
42%
92%
100%
13%
42%
42%
63%
88%
88%
0%
0%
100%
100%
42%
8%
8%
100%
100%
8%
17%
25%
N/A
N/A
0%
17%
33%
N/A
N/A
33%
25%
50%
N/A
N/A
33%
0%
8%
100%
92%
58%
0%
8%
100%
100%
0%
0%
8%
100%
100%
63%
25%
0%
75%
88%
75%
0%
0%
88%
88%
75%
0%
0%
100%
100%
4.4. COMPARAO DOS MODELOS PARA SRIES DE JUROS
45
Tabela 4.6: Percentual de rejeies nos backtests aplicados a juros, vrtices agrupados por
vencimento (1 a 6 meses, e 1 a 10 anos)
Vcto.
1-6m
1-10a
Modelo
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000
Par. Normal, T=250
Par. Normal, T=500
Par. Normal, T=1000
EWMA, =0.94
EWMA, =0.97
Sim. Hist, T=250
Sim. Hist, T=500
Sim. Hist, T=1000
GARCH-t, T=250
GARCH-t, T=500
GARCH-t, T=1000

58%
25%
50%
100%
100%
33%
0%
42%
75%
100%
42%
0%
50%
58%
92%
92%
8%
25%
100%
100%
50%
25%
33%
100%
100%
8%
25%
50%
N/A
N/A
0%
0%
50%
N/A
N/A
17%
0%
33%
N/A
N/A
50%
0%
50%
13%
50%
67%
0%
33%
29%
50%
50%
0%
38%
25%
50%
50%
25%
0%
75%
88%
25%
0%
0%
88%
88%
25%
0%
0%
100%
100%
56%
78%
72%
83%
100%
61%
72%
94%
83%
100%
33%
83%
94%
61%
94%
89%
11%
0%
94%
100%
61%
22%
28%
89%
100%
6%
28%
61%
N/A
N/A
6%
39%
89%
N/A
N/A
17%
72%
89%
N/A
N/A
50%
22%
22%
56%
44%
50%
0%
39%
39%
56%
17%
22%
50%
11%
44%
17%
0%
11%
100%
100%
72%
0%
0%
100%
100%
67%
0%
6%
100%
100%
46
Captulo 5
Concluso
Nos ltimos anos, a estabilidade do sistema financeiro tem sido o foco de diversas recomendaes por Basileia e pelos Bancos Centrais, e um dos pilares destas recomendaes mensurao
adequada dos riscos decorrentes das oscilaes do mercado. Os backteskts tm um papel fundamental neste contexto, j que so as principais ferramentas de avaliao de modelos de risco.
Assim, o objetivo deste trabalho foi estudar algumas metodologias de backtesting para Valueat-Risk e Perda Esperada, e analisar aspectos tericos e de implementao dos modelos de risco
mais populares na indstria financeira, j que estes aspectos contribuem para a adequao do
modelo.
A maioria dos trabalhos sobre backtesting presentes na literatura utiliza como informao a
srie de violaes do VaR. Entre estes, foram analisados trs metodologias: o teste de Kupiec
[16], que mede o nvel de violaes do VaR, e duas metodologias propostas por Christoffersen
para avaliao da independncia temporal das violaes [9, 10]. Atualmente, a mtrica adotada
por Basileia para avaliar modelos de risco utiliza apenas o nmero de violaes nos ltimos 250
dias, sendo similar ao teste de Kupiec, mas o teste de Christoffersen proposto em [9] tambm
utilizado na indstria com frequncia.
Existem ainda poucas metodologias de backtesting para Perda Esperada. Uma destas metodologias foi proposta por Kerkhof e Melenberg, e consiste em um teste estatstico aplicvel a
qualquer medida de risco (dentre elas o VaR e a Perda Esperada). Porm, esta metodologia tem
algumas desvantagens, como no ser aplicvel ao modelo de simulao histrica (ou qualquer
outro onde no seja possvel normalizar as perdas histricas), e no usar a ordenao da srie
de perdas normalizadas como informao. A popularizao de modelos de backtest para Perda
Esperada um requisito essencial para a adoo desta medida de risco por parte de instituies
financeiras e rgos reguladores, e este trabalho visa contribuir para um maior entendimento
destas metodologias.
O poder dos backtests aqui estudados foi calculado analiticamente (no caso do teste de
Kupiec) ou atravs de simulaes (para os demais testes). Verificou-se que a taxa de rejeio
47
48
CAPTULO 5. CONCLUSO
de modelos inadequados similar para todas metodologias, sendo extremamente sensvel ao

tamanho das sries histricas utilizadas no teste. Uma contribuio deste trabalho foi avaliar
o poder dos testes utilizando diferentes nveis de VaR como hipteses alternativas, e no uma
distribuio diferente da utilizada no modelo de risco, como feito na maioria dos trabalhos
encontrados na literatura [9, 10, 15]. Esse procedimento, alm de relacionar o nvel real do
VaR com o poder do teste, permitiu o isolamento entre backtest e modelagem, j que o insumo
fornecido para o teste foi a srie de violaes ou de retornos padronizados. Verificou-se que
quando sries pequenas so usadas (por exemplo, um ano de dados), os testes de Kupiec e de
Kerkhof e Melenberg tm chance significativa de no rejeitar modelos com nveis duas ou trs
vezes maior de violaes.
Como estudos de caso, diferentes modelos de risco foram avaliados para sries financeiras
reais usando os backtests estudados no trabalho. Usando uma janela de 4 anos de dados, muitos
modelos foram rejeitados pelos testes, sendo comum que apenas um a dois modelos fossem
aceitos para cada srie. Para as sries de moeda, o melhor modelo foi o EWMA, com bons
resultados em todos os testes, e os modelos GARCH(1,1)-Normal, com bons resultados para os
testes baseados em violaes, mas resultados ruins para os testes de Kerkhof e Melenberg. J
para as sries de retornos associados a taxas de juros, no foi possvel identificar um modelo
com bons resultados para todas as 30 sries analisadas. De forma geral, o modelo de simulao
histrica apresentou resultados razoveis para as sries de juros analisadas neste trabalho.
Os estudos de caso mostraram que testes adicionais ao de Kupiec e de Christoffersen podem auxiliar na identificao de modelos inadequados, principalmente quando no possvel
usar sries histricas suficientemente grandes nos testes, caso em que o poder dos mesmos
prejudicado. Apesar disso, no foi possvel estabelecer uma relao clara entre os resultados de
diferentes backtests, mas acreditamos que esse um assunto importante para nortear a escolha
de modelos de risco, e merece maiores investigaes.
Como visto ao longo do trabalho, um dos motivos que leva ao baixo poder dos backtest (e
que tambm explica a dificuldade em se modelar adequadamente as caudas das distribuies de
sries financeiras) a baixa ocorrncia de perdas extremas. O uso de tcnicas como bootstrap
[11] ou controle do tamanho do teste por simulaes de Monte Carlo [12] podem contribuir
neste aspecto, e so possibilidades de trabalhos futuros.
Referncias Bibliogrficas
[1] C. Acerbi and D. Tasche, Expected shortfall: a natural coherent alternative to value at risk,
Economic Notes 31 (2002), no. 2, 379388.
[2] Carlo Acerbi and Dirk Tasche, On the coherence of expected shortfall, Journal of Banking
& Finance 26 (2002), no. 7, 14871503.
[3] P. Artzner, F. Delbaen, J.M. Eber, and D. Heath, Coherent measures orf risk, Mathematical Finance 9 (1999), no. 3, 203228.
[4] J Berkowitz, Testing density forecasts, with applications to risk management, Journal of
Business and Economic Statistics 19 (2001), no. 4, 465474.
[5] Tim Bollerslev, Generalized autoregressive conditional heteroskedasticity, Journal of econometrics 31 (1986), no. 3, 307327.
[6]
[7]
, A conditionally heteroskedastic time series model for speculative prices and rates
of return, The review of economics and statistics (1987), 542547.
, Glossary to arch (garch), CREATES Research Paper 49 (2008).
[8] S.D. Campbell, A review of backtesting and backtesting procedures, Divisions of Research
& Statistics and Monetary Affairs, Federal Reserve Board, 2005.
[9] P Christoffersen, Evaluating interval forecasts, International Economic Review (1998),
no. 39, 841862.
[10] P. Christoffersen and D. Pelletier, Backtesting value-at-risk: A duration-based approach,
Journal of Financial Econometrics 2 (2004), no. 1, 84108.
[11] K Dowd, Back-testing: a bootstrap back-test, Risk 15 (2002), no. 10, 9394.
[12] Jean-Marie Dufour, Monte carlo tests with nuisance parameters: A general approach to
finite-sample inference and nonstandard asymptotics, Journal of Econometrics 133 (2006),
no. 2, 443477.
49
50
REFERNCIAS BIBLIOGRFICAS
[13] Peter R Hansen and Asger Lunde, A forecast comparison of volatility models: does anything
beat a garch (1, 1)?, Journal of Applied Econometrics 20 (2005), no. 7, 873889.
[14] P. Jorion, Value at risk: the new benchmark for managing financial risk, New York (2000).
[15] J. Kerkhof and B. Melenberg, Backtesting for risk-based regulatory capital, Journal of
Banking & Finance 28 (2004), no. 8, 18451865.
[16] P. Kupiec, Techniques for verifying the accuracy of risk measurement models, (1995).
[17] B. B. Mandelbrot, The variation of certain speculative prices, Journal of Business 36
(1963), 392417.
[18] A.J. McNeil, R. Frey, and P. Embrechts, Quantitative risk management: Concepts, techniques and tools, Princeton University Press, 2005.
[19] JP Morgan, Riskmetrics: technical document, Morgan Guaranty Trust Company of New
York, 1996.
[20] G. C. Pflug, On distortion functionals, Statistics & Decisions 24 (2006), no. 1/2006, 4560.
[21] R.T. Rockafellar and S. Uryasev, Optimization of conditional value-at-risk, Journal of Risk
2 (2000), 2142.
[22] A. W. van der Vaart and J. A Wellner, Weak convergence and empirical processes, SpringerVerlag, 1996.
[23] A.W. Van der Vaart, Asymptotic statistics, Cambridge University Press, 1998.

Cristiane Azevedo

Transféré par

Informations du document

Copyright

Formats disponibles

Partager ce document

Partager ou intégrer le document

Options de partage

Avez-vous trouvé ce document utile ?

Ce contenu est-il inapproprié ?

Droits d'auteur :

Formats disponibles

Cristiane Azevedo

Transféré par

Droits d'auteur :

Formats disponibles

Instituto Nacional de Matemtica Pura e Aplicada

Avaliao de Modelos de Risco atravs de

Autora: Cristiane Azevedo Ferreira

2 Medidas e modelos de risco

Modelos paramtricos univariados . . . . . . . . . . . . . . . . . . . . . .

Mtodo da Simulao Histrica . . . . . . . . . . . . . . . . . . . . . . . 14

Mtodo de Monte Carlo . . . . . . . . . . . . . . . . . . . . . . . . . . . 15

Definies e Exemplos de VaR e Perda Esperada . . . . . . . . . . . . . . 17

Medidas coerentes de risco . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19

Backtestings baseados em violaes . . . . . . . . . . . . . . . . . . . . . . . . . 22

Testes de Independncia Serial das Violaes . . . . . . . . . . . . . . . . 24

Backtest baseado em duration . . . . . . . . . . . . . . . . . . . . . . . . 27

Backtest para Perda Esperada . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31

Descrio das sries . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35

Comparao dos modelos para sries de moedas . . . . . . . . . . . . . . . . . . 36

Comparao dos modelos para outras sries de moeda . . . . . . . . . . . . . . . 41

Comparao dos modelos para sries de juros

Instituies financeiras, empresas e governos esto sujeitos a perdas decorrentes de oscilaes

1.2. ESTRUTURA DO TRABALHO

extremas decorrentes de risco de mercado. Essas iniciativas originaram-se com o Acordo de

O trabalho est estruturado da seguinte forma:

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

Notaes e convenes adotadas

O estimador de um parmetro ser denotado por .

2.1. MODELOS DE RISCO

Como j foi mencionado na introduo deste captulo, a definio de um modelo de risco

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

parmetros desta distribuio. Mais precisamente, o problema de estimar a distribuio dos

onde t o conjunto de informaes conhecidas at o instante t. sobre essa distribuio que

Modelos paramtricos univariados

Modelos paramtricos no-condicionais

2.1. MODELOS DE RISCO

verossimilhana (EMV). Se Xt N (, ), sabe-se que os EMV para a mdia e varincia 2

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

2.1. MODELOS DE RISCO

Em particular, o modelo GARCH(1,1) tem a forma:

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

onde g(z) a densidade de probabilidade das inovaes {Zt }tZ .

2.1. MODELOS DE RISCO

No mtodo da varincia-covarincia, assume-se que o retorno de uma carteira dado pela

onde d o nmero de fatores de risco, wi a exposio da carteira ao fator de risco i e Zi,t o

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

matriz de varincia-covarincia. Neste caso, a distribuio de Xt tambm normal com mdia

Mtodo da Simulao Histrica

No mtodo da Simulao Histrica, os retornos da carteira so modelados atravs da distribuio

2.1. MODELOS DE RISCO

Mtodo de Monte Carlo

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

2.2. MEDIDAS DE RISCO

Definies e Exemplos de VaR e Perda Esperada

A definio matemtica de VaR remete definio de quantis: se X a varivel aleatria que

Notao adotada para VaR e Perda Esperada

Exemplo 1: VaR e Perda Esperada de um ativo com distribuio normal

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

onde t (.) e g (.) so, respectivamente, as funes de distribuio e densidade de probabilidade

Exemplo3: VaR e Perda Esperada de um ativo a partir de sua distribuio emprica

2.3. MEDIDAS COERENTES DE RISCO

Figura 2.4: Exemplo de distribuio emprica.

Medidas coerentes de risco

A definio 3 de medida de risco bastante flexvel e comporta o Valor em Risco e a Perda

CAPTULO 2. MEDIDAS E MODELOS DE RISCO

Para esse resultado, usou-se a inversa generalizada da distribuio binomial

Backtestings baseados em violaes

Se o modelo de VaR foi especificado corretamante, a probabilidade da perda Yt ser maior

01 T01 (1 01 )(T0 T01 )