Regressão Múltipla Estimação

Econometria
Tópico 2 – Regressão Múltipla
O Problema da Estimação
Ricardo Bruno N. dos Santos
Professor Adjunto da Faculdade de Economia
e do PPGE (Economia) UFPA

Todas as aulas podem ser encontradas no
SLIDESHARE:
http://www.slideshare.net/RicardoSantos11/03-tpico-
2-regresso-multipla

Análise da Regressão Múltipla (Tópico 1):
O problema da Estimação
Em situações econômicas do mundo real não é apenas uma
variável que explica mudanças em um fenômeno (aqui
representado pela variável dependente), mas um conjunto de
fatores (variáveis independentes).
Antes quando estávamos abordando o modelo de demanda
do açaí verificou-se que:
𝑃𝑎ç𝑎𝑖 = 𝛽0 + 𝛽1 𝑄 𝑎ç𝑎𝑖 + 𝑢𝑖
Onde a quantidade do açaí determina o preço, ou vice
versa. Mas além dessas duas variáveis existem outras
componentes importantes essenciais para determinar a dinâmica
do preço da açaí, essas componentes são a renda do consumidor,
o preço do bem complementar, e o preço do bem substituto, etc.,
assim, o modelo de demanda do açaí é melhor representado por:

𝑃𝑎ç𝑎𝑖 = 𝛽0 + 𝛽1 𝑄 𝑎ç𝑎𝑖 + 𝛽2 𝑅𝑒𝑛𝑑𝑎 + 𝛽3 𝑃𝑓𝑎𝑟𝑖𝑛ℎ𝑎 + 𝑢𝑖
Genericamente poderíamos então representar tal
modelo por:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑢𝑖

Evidente que estamos considerando como hipóteses:
1) O modelo de regressão é linear nos parâmetros;
2) Os valores fixos de X ou os valores de X independentes do termo de
erro. Aqui, isso significa que é necessário covariância igual a zero
entre 𝑢𝑖 e cada variável X.
𝑐𝑜𝑣 𝑢𝑖, 𝑋2𝑖 = 𝑐𝑜𝑣 𝑢𝑖, 𝑋3𝑖 = 0
3) O termo de erro 𝑢𝑖 tem valo médio zero.
𝐸 𝑢𝑖 𝑋2𝑖, 𝑋3𝑖) = 0
4) Homocedasticidade ou variância constante de 𝑢𝑖.
𝑣𝑎𝑟 𝑢𝑖 = 𝜎2
5) Ausência de autocorrelação, ou de correlação serial, entre os termos
de erro
𝑐𝑜𝑣 𝑢𝑖, 𝑢𝑗 = 0 𝑖 ≠ 𝑗
6) O número de observações n deve ser maior que o número de
parâmetros a serem estimados, neste caso, 3.

7) Deve haver variação nos valores das variáveis X.
8) Não há colinearidade exata entre as variáveis X
Ou seja, não há relação linear exata entre 𝑋2 𝑒 𝑋3.
9) Ausência de viés de especificação
Ou seja, o modelo está corretamente especificado.

Das hipóteses 1 a 7 já são conhecidas, pois as mesmas
se configuram de forma similar ao modelo de regressão linear
simples. A novidade fica por conta das hipóteses 8 e 9, que na
sua essência, para serem aplicadas, necessitam de mais de
duas variáveis independentes para que tais hipóteses tenham
aplicabilidade.
Uma aplicação fácil de verificação da hipótese 8 é a
colinearidade perfeita. Imagine que para o modelo de três
variáveis esteja presente a seguinte relação:
𝑋3𝑖 = 2𝑋2𝑖

Com isso teríamos o seguinte resultado:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑢𝑖
= 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 2𝑋2𝑖 + 𝑢𝑖
= 𝛽1 + 𝛽2 + 2𝛽3 𝑋2𝑖 + 𝑢𝑖
= 𝛽1 + 𝛼𝑋2𝑖 + 𝑢𝑖.
Ou seja, dada a relação linear uma das variáveis não
tem necessidade de estar no modelo.
E por esse motivo que não podemos inserir no modelo
variáveis com alta colinearidade (ou alta correlação), pois a
tendência é que uma anule a outra.

Com relação a interpretação da regressão múltipla, temos
que ter em mente a média condicional de Y em relação aos valores
de X, assim, temos:
𝐸 𝑌𝑖 𝑋2𝑖, 𝑋3𝑖) = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖
Agora como devemos fazer a interpretação dos coeficientes
da regressão? O principal aspecto é analisar os coeficientes
angulares, ou seja, o 𝛽2 e o 𝛽3. No entanto, devemos sempre
utilizar um artifício muito utilizado na economia, que é o ceteris
paribus. Ou seja, mudanças em uma determinada componente
econômica causa impactos em outra componente, desde que tudo
permaneça constante, ou seja, que nada mais varie além das
componentes de interesse.

Um exemplo para isso seria verificar os efeitos da
variável 𝑋2 sobre Y, para isso teríamos que interpretar que o
aumento de uma unidades em 𝑋2 provoca um aumento em Y
de 𝛽2 unidades, desde que não ocorram alterações em 𝑋3.

O MQO para o MRLM
Antes visto para o Modelo simples encontrar os
estimadores para o Modelo de Regressão Linear Multiplo
(MRLM) é uma tarefa relativamente fácil, no entanto, exige
certa atenção.
O modelo a ser estruturado será:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑢𝑖.
Em termos dos resíduos teremos:
𝑢𝑖 = 𝑌𝑖 − 𝛽1 − 𝛽2 𝑋2𝑖 − 𝛽3 𝑋3𝑖.
E o que buscamos é:
𝑚𝑖𝑚 𝑢𝑖
2
= 𝑌𝑖 − 𝛽1 − 𝛽2 𝑋2𝑖 − 𝛽3 𝑋3𝑖
2

O MQO para o MRLM
O que devemos proceder e estimar são as derivadas
parciais da SQR em relação a cada um dos estimadores,
Assim:
𝜕 𝑢𝑖
2
𝜕 𝛽1
= 0
𝜕 𝑢𝑖
2
𝜕 𝛽2
= 0
𝜕 𝑢𝑖
2
𝜕 𝛽3
= 0

O MQO para o MRLM
Os resultados para os estimadores serão os seguintes:
𝛽1 = 𝑌 − 𝛽2 𝑋2𝑖 − 𝛽3 𝑋3𝑖
𝛽2 =
𝑦𝑖 𝑥2𝑖 𝑥3𝑖
2
− 𝑦𝑖 𝑥3𝑖 𝑥2𝑖 𝑥3𝑖
𝑥2𝑖
2
𝑥3𝑖
2
− 𝑥2𝑖 𝑥3𝑖
2
𝛽3 =
𝑦𝑖 𝑥3𝑖 𝑥2𝑖
2
− 𝑦𝑖 𝑥2𝑖 𝑥2𝑖 𝑥3𝑖
𝑥2𝑖
2
𝑥3𝑖
2
2

O MQO para o MRLM
De forma intuitiva já sabemos como ficará o resultado
de um estimador se encontrarmos ou o 𝛽2 ou o 𝛽3, o
primeiro que for encontrado basta ter a fórmula generalizada
em sequência.
Outro ponto muito importante é o que trata da
variância dos estimadores, para que possamos obter o erro
padrão e fazer o cálculo da estatística t calculada.
Não vamos aqui nos preocupar em demonstrar como
se calcula cada um dos estimadores, temos que ter em mente
apenas a fórmula para que possamos obter o cálculo de 𝛽1,
𝛽2 e 𝛽3.

Análise da Regressão Múltipla:
Assim as variâncias serão:
𝑣𝑎𝑟 𝛽1 =
1
𝑛
+
𝑋2
2
𝑥3𝑖
2
+ 𝑋3
2
𝑥2𝑖
2
− 2 𝑋2 𝑋3 𝑥2𝑖 𝑥3𝑖
𝑥2𝑖
2
𝑥3𝑖
2
2
𝜎2
𝑒𝑝( 𝛽1) = 𝑣𝑎𝑟( 𝛽1)
𝑥3𝑖
2
𝑥2𝑖
2 𝑥3𝑖
2 − 𝑥2𝑖 𝑥3𝑖
2 𝜎2
𝜎2
𝑥2𝑖
2
1 − 𝑟23
2
𝑒𝑝 𝛽2 = 𝑣𝑎𝑟 𝛽2

𝑥2𝑖
2
𝑥2𝑖
2
𝑥3𝑖
2
2
𝜎2
𝜎2
𝑥3𝑖
2
1 − 𝑟23
2
𝑒𝑝 𝛽3 = 𝑣𝑎𝑟 𝛽3

Outro importante indicador é a covariância entre os
estimadores 𝛽2 e 𝛽3, assim temos:
𝑐𝑜𝑣 𝛽2, 𝛽3 =
−𝑟23 𝜎2
1 − 𝑟23
2
𝑥2𝑖
2
𝑥3𝑖
2
Sempre lembrando que o termo 𝜎2
corresponde a
variância dos resíduos e o principal pressuposta sobre ela é
de que a mesma seja homocedástica.
A formula de se estimar a variância para o modelo com
três variáveis será:
𝜎2
=
𝑢𝑖
2
𝑛 − 3

Propriedades dos estimadores de MQO
As propriedades dos estimadores de MQO para o
MRLM são muito semelhante aos do MRLS, vamos a elas:
1) A linha de regressão de três variáveis passa pelas
médias 𝑌, 𝑋2 e 𝑋3 o que fica evidente por meio da equação
para obter o 𝛽1. No modelo de regressão linear com K
variáveis teremos:
𝛽1 = 𝑌 − 𝛽2 𝑋2 − 𝛽3 𝑋3 − ⋯ − − 𝛽 𝑘 𝑋 𝑘

2) O valor médio estimado de 𝑌𝑖(= 𝑌𝑖) é igual à média
do 𝑌𝑖 efetivo, oque é fácil de verificar:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖
= 𝑌 − 𝛽2 𝑋2 − 𝛽3 𝑋3 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖
= 𝑌 + 𝛽2 𝑋2𝑖 − 𝑋2 + 𝛽3 𝑋3𝑖 − 𝑋3
= 𝑌 + 𝛽2 𝑥2𝑖 + 𝛽3 𝑥3𝑖
Aplicando o somatório em ambos os lados e dividindo
por n teremos:
𝑌𝑖
𝑛
=
𝑛 𝑌
𝑛
+
𝛽2 𝑥2𝑖
𝑛
+
𝛽3 𝑥3𝑖
𝑛
Como a soma dos valores reduzidos é zero então:
𝑌𝑖 = 𝑌

3) 𝑢𝑖 = 𝑢 = 0
4) Os resíduos 𝑢𝑖 não estão correlacionados com
𝑋2𝑖 𝑒 𝑋3𝑖, isto é, 𝑢𝑖 𝑋2𝑖 = 𝑢𝑖 𝑋3𝑖 = 0
5) Os resíduos não estão correlacionados com 𝑌𝑖, isto é,
𝑢𝑖 𝑌𝑖 = 0.

6) Das equações 𝑣𝑎𝑟 𝛽3 =
𝜎2
𝑥3𝑖
2 1−𝑟23
2 e
𝜎2
𝑥2𝑖
2 1−𝑟23
2 , fica evidente que, quando 𝑟23, o
coeficiente de correlação entre 𝑋2𝑖 𝑒 𝑋3𝑖 , aumenta
aproximando-se de 1 (colinearidade perfeita), essas variâncias
tornam-se infinitas. As implicações disso serão mais
exploradas na quebra dos pressupostos
(heterocedasticidade), porém, já é possível perceber que a
medida que 𝑟23 aumenta, fica cada vez mais difícil saber quis
são os valores verdadeiros de 𝛽2 e 𝛽3.

7) Também fica claro pelas duas equações observadas
em (6), que, para valores dados de 𝑟23 e 𝑥2𝑖
2
ou 𝑥3𝑖
2
, as
variâncias dos estimadores de MQO são diretamente
proporcionais a 𝜎2; ou seja, eles aumentam à medida que 𝜎2
aumenta. Do mesmo modo, para valores dados de 𝜎2
e 𝑟23, a
variância de 𝛽2 é inversamente proporcional a 𝑥2𝑖
2
, isto é,
quanto maior a variância dos valores amostrais de 𝑋2, menor
a variância de 𝛽2 e, portanto, de 𝛽2. Pode-se dizer o mesmo
da variância de 𝛽3.

8) Dadas as hipóteses do modelo clássico de regressão
linear, pode-se demonstrar que os estimadores de MQO dos
coeficientes parciais de regressão não são apenas lineares e
não viesados (ou não tendenciosos). Em resumo, são MELNT
ou BLUE. Dito de outra maneira, eles atendem ao teorema de
Gauss-Markov.

O coeficiente de determinação Múltiplo, 𝑹 𝟐 , e o
coeficiente de correlação múltiplo, R.
Diferente o termo 𝑟2
que obtivemos para o modelo
linear simples, agora teremos a interação de mais de duas
variáveis na correlação. Por esse motivo que ele é
denominado de múltiplo.
Para o cálculo do mesmo partimos do próprio modelo
de regressão linear:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑢𝑖
𝑌𝑖 = 𝑌𝑖 + 𝑢𝑖

Considerando a forma reduzida do modelo temos:
𝑦𝑖 = 𝛽2 𝑥2𝑖 + 𝛽3 𝑥3𝑖 + 𝑢𝑖
𝑦𝑖 = 𝑦𝑖 + 𝑢𝑖
Elevando ao quadrado os dois lados da expressão,
solucionando o problema e depois aplicando o somatório
teremos:
𝑦𝑖
2
= 𝑦𝑖
2
+ 𝑢𝑖
2
+ 2 𝑦𝑖 𝑢𝑖
𝑦𝑖
2
= 𝑦𝑖
2
+ 𝑢𝑖
2
Que são (SQT) = (SQE) + (SQR)

No entanto, devemos lembrar agora que a SQE tem
duas componentes, uma dada pela variável 𝑋2 e outra por 𝑋3.
𝑦𝑖
2
= 𝑦𝑖
2
+ 𝑦𝑖
2
− 𝛽2 𝑦𝑖 𝑥2𝑖 − 𝛽3 𝑦𝑖 𝑥3𝑖
Onde o SQE será:
𝑆𝑄𝐸 = 𝑦𝑖
2
= 𝛽2 𝑦𝑖 𝑥2𝑖 + 𝛽3 𝑦𝑖 𝑥3𝑖
Como 𝑅2 =
𝑆𝑄𝐸
𝑆𝑄𝑇
, então:
𝑅2
=
𝛽2 𝑦𝑖 𝑥2𝑖 + 𝛽3 𝑦𝑖 𝑥3𝑖
𝑦𝑖
2

Outra forma seria:
𝑅2
= 1 −
𝑆𝑄𝑅
𝑆𝑄𝑇
= 1 −
𝑢𝑖
2
𝑦𝑖
2 = 1 −
𝑛 − 3 𝜎2
𝑛 − 1 𝑆 𝑦
2
Tal valor irá se encontrar dentro do intervalo de 0 a 1.
Outra elemento que devemos considerar, é a
possibilidade de relacionar o R2 com a variância dos
estimadores, dessa forma:
𝑣𝑎𝑟 𝛽𝑗 =
𝜎2
𝑥𝑗
2
1
1 − 𝑅𝑗
2

Uma breve aplicação.
Vamos verificar para o exemplo 7.1 do capítulo 7 que
aborda sobre os impactos do Produto Nacional Bruto per
capita (PNBpc) e da Taxa de Alfabetização feminina (TAF) na
Mortalidade Infantil (MI). Esse exemplo se encontra na tabela
6.4 e pode ser puxada no Gretl. No caso o Gretl trabalha com
os dados americanos, mudando a abreviação das variáveis,
então temos no exemplo:
MI = CM
PNBpc = PGNP
TAF = FLR

Então o modelo a ser estimado com base nas
informações será:
𝑀𝐼𝑖 = 𝛽1 + 𝛽2 𝑃𝑁𝑏𝑝𝑐𝑖 + 𝛽3 𝑇𝐴𝐹𝑖 + 𝑢𝑖
No vídeo será demonstrado todos os testes realizados e
estimações calculadas, os resultados serão inseridos nos
próximos Slides.

O problema da Estimação **
R2 e R2 ajustado
Apesar de o R2 ser uma medida interessante, ela
apresenta um problema, independente do tipo de variável
que tenhamos em um MRLM, quando o número de variáveis
crescem indefinidamente o R2 também aumenta. Isso pode
ser melhor visualizado observando cuidadosamente a fórmula
do R2:
𝑅2
=
𝑆𝑄𝐸
𝑆𝑄𝑇
= 1 −
𝑆𝑄𝑅
𝑆𝑄𝑇
= 1 −
𝑢𝑖
2
𝑦𝑖
2
A medida que o número de variáveis no modelo
aumentam a SQR irá diminuir, permitindo que o R2 aumente.

Uma forma de medir o R2 é a sua forma ajustada. Nela
são inseridos na fórmula o grau de liberdade associados ao
resíduo (n-k) e ao valor da SQT (n-1). Assim a equação do
coeficiente de determinação ajustado fica:
𝑅2
= 1 −
𝑢𝑖
2
𝑛 − 𝑘
𝑦𝑖
2
𝑛 − 1
O que podemos notar é que a SQR dividida pelo o seu
grau de liberdade passa a ser a variância do resíduo, bem
como a soma do valor reduzido de Y dividido pelo grau de
liberdade (n-1) nos fornece a variância de Y, assim temos:

𝑅2
= 1 −
𝜎2
𝑆 𝑌
2
Também podemos estabelecer uma relação entre o
𝑅2
𝑒 𝑜 𝑅2
, assim:
𝑅2
= 1 −
𝑢𝑖
2
𝑛 − 1
𝑦𝑖
2
𝑛 − 𝑘
= 1 − 1 − 𝑅2
𝑛 − 1
𝑛 − 𝑘

Comparação entre dois valores de R2.
O 𝑅2
muitas das vezes é uma medida para se escolher
qual o melhor modelo, ou seja, qual modelo representa
melhor uma realidade. No entanto, ele só pode ser
comparado diretamente se ambos os modelos (que forem
comparados) tiverem a mesma variável dependente.
No caso vejas os dois modelos abaixo:
ln 𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 + 𝛽3 𝑋3𝑖 + 𝑢𝑖
𝑌𝑖 = 𝛼1 + 𝛼2 𝑋2𝑖 + 𝛼3 𝑋3𝑖 + 𝑢𝑖
Pode comparar os dois modelos acima?

Toda variável que passa por algum tipo de
transformação como aplicação do logaritmo, elevá-la a uma
potência qualquer ou tirar a raiz implicam em mudança de
variável, ou seja, ela perde a sua característica original e passa
a ser uma nova variável.
É por esse motivo que os dois modelos anteriormente
vistos não podem ser comparados em seu R2, por ser
tratarem de duas variáveis totalmente diferentes.
No entanto, existe uma foram de torná-las
comparáveis.

Para tornar o R2’s comparáveis, quando temos variáveis
diferentes, temos que fazer algumas conversões e usar uma
fórmula que faça o cálculo do coeficiente de correlação
parcial com apenas uma variável. Essa fórmula seria:
𝑟2 =
𝑌𝑖 − 𝑌 𝑌𝑖 − 𝑌
2
𝑌𝑖 − 𝑌 2 𝑌𝑖 − 𝑌
2
Ou seja,
𝑟2 =
𝑦𝑖 𝑦𝑖
2
𝑦𝑖
2
𝑦𝑖
2

Aproveitaremos para abordar o assunto da elasticidade
nos modelos de regressão linear. O modelo remeterá a duas
situações, uma em que:
𝑌𝑖 = 𝛽1 + 𝛽2 𝑋2𝑖 (a)
e
ln 𝑌𝑖 = 𝛼1 + 𝛼2ln(𝑋2𝑖) (b)
Podemos notar que as variáveis dependentes de ambos
os modelos são diferentes, portanto, se formos comparar
ambos não podemos usar o critério do R2 para compara-los
diretamente, porém, podemos fazer uma transformação que
viabilizará a comparação desse indicador.

Os passos a serem seguidos serão:
1. Transformar o ln em valor normal: depois de estimado o
modelo (b) vamos encontrar os valores de ln(𝑌𝑖), para
transformá-los em uma aproximação de 𝑌𝑖 tiramos o
antilogaritmo de ln(𝑌𝑖), com esse valor podemos aplicar
na fórmula do R2 com o valor efetivo de 𝑌𝑖.
2. Como alternativa, supondo que todos os valores de Y
sejam positivos, podemos obter o logaritmo dos valores
de Y, ln(Y). Obter os valores estimados de Y (isto é, ln( 𝑌) e
em seguida calcular o R2.
Para o exemplo da tabela 7.1 da relação preço médio (X) e
consumo de café (Y) dos EUA, temos

A Função de Produção Cobb-Douglas
Trata-se de uma das mais famosas relações da teoria da
produção. Na forma estocástica a função Cobb-Douglas pode
ser especificada como:
𝑌𝑖 = 𝛽1 𝑋2𝑖
𝛽2
𝑋3𝑖
𝛽3
𝑒 𝑢 𝑖
Onde:
𝑌 – produção
𝑋2 - insumo trabalho
𝑋3 - insumo capital
𝑢 – termo de erro
e – logaritmo na base natural

Note que a relação observada pela função de produção
não é linear nos parâmetros, portanto, temos que encontrar
uma forma de transformar a função Cobb-Douglas
objetivando sua linearização, para isso, basta aplicarmos o
logaritmo neperiano em ambos os lados da equação
transformando-a em:
ln 𝑌𝑖 = ln 𝛽1 + 𝛽2 ln 𝑋2𝑖 + 𝛽3 ln 𝑋3𝑖 + 𝑢𝑖
= 𝛽0 + 𝛽2 ln 𝑋2𝑖 + 𝛽3 ln 𝑋3𝑖 + 𝑢𝑖
Em que 𝛽0 = ln 𝛽1

Algumas considerações importantes acerca dessa função
transformada podem ser feitas:
a) 𝛽2 é a elasticidade parcial do produto em relação ao insumo
trabalho; mede a variação percentual da produção quando se
verifica, por exemplo, uma variação de 1% no insumo trabalho,
enquanto o capital é mantido constante.
b) Da mesma forma, 𝛽3 é a elasticidade (parcial) do produto em
relação ao insumo capital, mantido constante o trabalho.
c) A soma (𝛽2+ 𝛽3) informa a respeito dos retornos de escala, a
resposta do produto a uma variação proporcional nos insumos.
Se essa soma for igual a 1, haverá retornos constantes de
escala, isto é, se dobrarmos os insumos, a produção dobrará,
se o triplicarmos, a produção triplicará. Caso a soma seja
menor que 1 teremos então retornos decrescentes e caso a
mesma seja maior que 1 teremos retornos crescentes.

Estimação e interpretação da função Cobb-Douglas será
usado o exemplo da tabela 7.3.
Y – Produto Bruto Real (Milhões US$)
X2 – Dias trabalhados (insumo trabalho)
X3 – Insumo de capital real.
Na sequência temos o exemplo da função polinomial,
para uma melhor visualização da mesma trabalharemos com
o exemplo 7.4 usando a tabela 7.4.
Y – Produção
X – Custo Total

Regressão Múltipla Estimação

Recomendados

Recomendados

Mais conteúdo relacionado

Mais procurados

Mais procurados (20)

Destaque

Destaque (20)

Semelhante a Regressão Múltipla Estimação

Semelhante a Regressão Múltipla Estimação (20)

Mais de Ricardo Bruno - Universidade Federal do Pará

Mais de Ricardo Bruno - Universidade Federal do Pará (18)

Último

Último (20)

Regressão Múltipla Estimação