1. Cadeias de MarkovCadeias de Markov
• Carlos Diego Nascimento Damasceno - 08088001701
• Felipe Leite da Silva - 08088001001
• Téofilo Augusto Vieira Bordalo - 08088000201

2. Índice
• Definições Teóricas;
• Processo Estocásticos;
• Processo Marcoviano;
• Cadeia de Markov;
• Obtenção de Soluções;
• Aplicações;

3. Definições TeóricasDefinições Teóricas

4. Processos estocásticos:
• Conjunto de variáveis aleatórias (estados) indexadas por um
parâmetro que, geralmente, representa o tempo;
X(t)
• Podem ser discretos ou contínuos considerando- se Tempo
e espaço;

5. Processos Markovianos:
•Um tipo de processo estocástico;
• Obedecem a condição:
P{Xn+1=j / X0=i0, X1=i1,..., Xn-1=in-1, Xn=i} = P{Xn+1=j / Xn=i}
para todos os pontos no tempo n e todos os estados i0,..., in-1, i, j.

6. Processos Markovianos:
•Um tipo de processo estocástico;
• Obedecem a condição:
P{Xn+1=j / X0=i0, X1=i1,..., Xn-1=in-1, Xn=i} = P{Xn+1=j / Xn=i}
para todos os pontos no tempo n e todos os estados i0,..., in-1, i, j.
“Para se ter a predição de um estado novo basta ter
conhecimento do estado atual”

7. Cadeia de Markov:
• Um caso de processo estocástico de estado discreto em que
novos estados serão obtidos apenas considerando o estado atual.
• A análise de cadeias de Markov podem ser feitas mediantes o
tempo discreto ou continuo.
• Trabalharemos somente com Cadeias de Markov a tempo
discreto.

8. Abstração:
Xa Xat Xs
influência
Não influenciam
•Xa – conjunto de estados anteriores
•Xat – estado atual
•Xs – estado seguinte

9. Abstração:
Xa Xat Xs
influência
Não influenciam
•Xa – conjunto de estados anteriores
•Xat – estado atual
•Xs – estado seguinte
Processo de Markov

10. • π = πP
•
Σ
i=1
M
Πi = 1
Obtenção de soluções:
O espaço composto pelas variáveis aleatórias, é representado por
uma matriz denominada de Matriz de Transição.
A distribuição inicial e final do sistema estão representadas nos
vetores de estados.

11. • π = πP
•
Σ
i=1
M
Πi = 1
Obtenção de soluções:
O espaço composto pelas variáveis aleatórias, é representado por
uma matriz denominada de Matriz de Transição.
A distribuição inicial e final do sistema estão representadas nos
vetores de estados.

12. • π = πP
•
Σ
i=1
M
Πi = 1
Obtenção de soluções:
O espaço composto pelas variáveis aleatórias, é representado por
uma matriz denominada de Matriz de Transição.
A distribuição inicial e final do sistema estão representadas nos
vetores de estados.
matriz singular;
soma das linhas=1;

13. • π = πP
•
Σ
i=1
M
Πi = 1
Obtenção de soluções:
O espaço composto pelas variáveis aleatórias, é representado por
uma matriz denominada de Matriz de Transição.
A distribuição inicial e final do sistema estão representadas nos
vetores de estados.

14. Exemplo Literal:
[ ]p11 p12 p13
p21 p22 p23
P31 p32 p33
[ ]π1 π2 π3
= [ ]π'1 π'2 π'3
π'1 = π1p11 + π2p21 + π3p311
π'2 = π1p12 + π2p22 + π3p332
π'3 = π1p13 + π2p23 + π3p333

15. AplicaçõesAplicações

16. • Cadeias de Markov possuem uma ampla abrangência na
modelagem em aplicações;
• Determinam, normalmente, uma previsão sobre como algo se
apresentará após um determinado tempo;
• Neste trabalho serão abordadas as modelagens para problemas
meteorológicos e agrícolas e o Algoritmo PageRank.

17. Modelagem para problemas meteorológicos
•Deseja- se saber o estado climático de uma cidade após um dia;
•Estados sujeito a mudanças
Ensolarado, Chovendo, Nublado
• Tabela de probabilidade de Transição
[ ].3 .2 .5
[ ].5 .4 .1
.3 .4 .3
.2 .5 .3

18. Modelagem para problemas meteorológicos
•Deseja- se saber o estado climático de uma cidade após um dia;
•Estados sujeito a mudanças
Ensolarado, Chovendo, Nublado
• Tabela de probabilidade de Transição
[ ].3 .2 .5
[ ].5 .4 .1
.3 .4 .3
.2 .5 .3
Π1 = ensolarado;
π2 = Chovendo;
Π3 = nublado;

19. Modelagem para problemas meteorológicos
•Deseja- se saber o estado climático de uma cidade após um dia;
•Estados sujeito a mudanças
Ensolarado, Chovendo, Nublado
• Tabela de probabilidade de Transição
[ ].3 .2 .5
[ ].5 .4 .1
.3 .4 .3
.2 .5 .3
Esta
ensolarado
Continuará ensolarado

20. Modelagem para problemas meteorológicos
•Deseja- se saber o estado climático de uma cidade após um dia;
•Estados sujeito a mudanças
Ensolarado, Chovendo, Nublado
• Tabela de probabilidade de Transição
[ ].3 .2 .5
[ ].5 .4 .1
.3 .4 .3
.2 .5 .3
Esta
ensolarado
será chuvoso

21. [ ].3 .2 .5 [ ].5 .4 .1
.3 .4 .3
.2 .5 .3
= [ ].3 .3 .4
• Verificando que as duas condições para obtermos as soluções
Estão satisfeitas;
• Obtemos a solução:
Π1’ = ensolarado;
Π2’ = Chovendo;
Π3’ = nublado;

22. • Esta solução nos mostra a variação considerando um único dia;
• Para obtermos para n dias, basta elevar a matriz P a potência n
(Pn
);
π
n = πPn
• Outra solução também pode ser obtida resolvendo: π = πP,
considerando o vetor inicial de estados como o vetor anterior ao
que se deseja calcular;
π
2 = π
1 P
Vetor de estados
calculado para 1 dia.

23. • Esta solução nos mostra a variação considerando um único dia;
• Para obtermos para n dias, basta elevar a matriz P a potência n
(Pn
);
π
n = πPn
• Outra solução também pode ser obtida resolvendo: π = πP,
considerando o vetor inicial de estados como o vetor anterior ao
que se deseja calcular;
π
2 = π
1 P
Vetor de estados
calculado para 2 dias.

24. Modelagem para problemas agrícolas
•Tratamos o problema agrícola de maneira análoga ao problema
meteorológico ;
• Deve- se determinar se a condição de um solo mediante o uso de
2 tipo de adubo
[ ].3 .6 .1 [ ].2 .5 .3
.1 .2 .7
.05 .35 .6
= [ ].1 .4 .5
Probabilidades
baseadas no uso do
adubo I .

25. Modelagem para problemas agrícolas
•Tratamos o problema agrícola de maneira análoga ao problema
meteorológico ;
• Deve- se determinar se a condição de um solo mediante o uso de
2 tipo de adubo;
[ ].3 .6 .1
.5 .3 .2
.4 .3 .3
.4 .4 .2
= [ ].4 .6 .0
Probabilidades
baseadas no uso do
adubo II.
[ ]

26. Modelagem para problemas agrícolas
•Tratamos o problema agrícola de maneira análoga ao problema
meteorológico ;
• Deve- se determinar se a condição de um solo mediante o uso de
2 tipo de adubo
• Assim através de uma cadeia de Markov podemos simular uma
previsão de resultados e portanto como obter os melhores
destes.

27. PageRank

28. PageRank
• Como criar um rank de páginas mais
referenciadas?
• Algoritmo PageRank
• Criado por Larry Page e Sergei Brin
• Fundadores do Google
• Classifica Páginas web com base no
número de referências feitas à ela

29. Dados
• Temos três páginas web:
– pag1 pag2 e pag3
• Probabilidade de ir de uma página x para y:
–
• p1, p2 e p3 são as probabilidades de se
alcançar a página
1
k
ondek é aquantidade de páginasque x referencia

30. Dados
p1
 p1
 p2
 p3
p2
 p1
 p2
p3
 p2
 p3
• Páginas e suas referências

31. Matriz de Hyperlink
p1 p2 p3
p1
p2
p3[
1/3 1/2 0
1/3 1/2 1/2
1/3 0 1/2]

32. Vetor de Estados
 p1 , p2 , p3

33. Cadeia de Markov
p=Qp
sendo p= p1 , p2 , p3  pn
e p1p2p3pn=1

34. Resolução do Problema
 Matriz dehyperlink Q
Vetor de estados p
 Relação p=Qp
d1
d2
d3 [
1
3
1
2
0
1
3
1
2
1
2
1
3
0
1
2
]⋅
[
p1
p2
p3]

35. d1

d2

d3

1
3
⋅p1
1
2
⋅p2 0⋅p3 =p1
1
3
⋅p1
1
2
⋅p2
1
2
⋅p3 =p2
1
3
⋅p1 0⋅p2
1
2
⋅p3 =p3
Resolução do Problema

36. Resolução do Problema
Resolvendoalinhad1:
1
3
⋅p1
1
2
⋅p2=p1
 multiplicamosambos osladosda função por
6
6
⋅p1 
2
6
⋅p1
3
6
⋅p2=
6
6
⋅p1
 subtraimos deambos oslados dafunção
2
6
⋅p2 
3
6
⋅p2=
4
6
⋅p1
 comisso obtemos 
p2=
4
3
⋅p1

37. Resolução do Problema
Resolvendoalinhad2 :
1
3
⋅p1
1
2
⋅p2
1
2
⋅p3=p2
 substituimos p2 pelovalor obtido naresoluçãodalinha d1 
1
3
⋅p1
1
2
⋅
4
3
⋅p1
1
2
⋅p3=
4
3
⋅p1
 multiplicando
1
2
⋅
4
3
teremos 
1
3
⋅p1
2
3
⋅p1
1
2
⋅p3=
4
3
⋅p1
 multiplicando afunção por
6
6
teremos 
2
6
⋅p1
4
6
⋅p1
3
6
⋅p3=
8
6
⋅p1
 simplificando a função 
p3=
2
3
⋅p1

38. Resolução do Problema
Obtendoos valoresde p1 p2 e p3:
p1
4
3
⋅p1
2
3
⋅p1=1
9
3
⋅p1=1⇒ p1=
3
9
p2=
4
3
⋅p1⇒ p2=
4
9
p3=
2
3
⋅p1⇒ p3=
2
9

39. Resolução do Problema
Comisso...
 probpag1 , probpag2 , probpag3=
3
9
,
4
9
,
2
9

portanto...
probpag2 probpag1 probpag3

40. Obrigado !