O documento discute cadeias de Markov, definindo-as como sistemas que se movem entre um conjunto finito de estados de acordo com probabilidades de transição que dependem apenas do estado atual. Exemplos de matrizes de transição e cálculos de probabilidades futuras são fornecidos, ilustrando como cadeias de Markov podem ser usadas para modelar sistemas estocásticos.

1. MODELAGEM DE SISTEMAS DISCRETOS
2ª aula – texto vr 2017 - CADEIAS DE MARKOV
1. PROCESSO ESTOCÁSTICO
Definição: Fenômeno que varia em algum grau, de forma imprevisível, à medida que o tempo
passa.
Exemplos:
• Variação do tráfego em um cruzamento;
• Variação diária no tamanho do estoque de uma empresa;
• Variação minuto a minuto do índice IBOVESPA;
• Variação no número de chamadas feitas a uma central telefônica.
3. CADEIAS DE MARKOV
3.1 Conceitos
Suponha um sistema físico ou matemático com n estados possíveis e tal que, em qualquer
tempo, o sistema está em um e somente em um dos n estados. Além disso, considere que a
probabilidade do sistema estar em um determinado estado depende somente do estado
anterior. Sistemas desse tipo são chamados Cadeias de Markov.
Seja S = {s1, s2,..... sr} um conjunto de estados. O processo começa em um desses estados e
move-se sucessivamente de um estado para outro. Se a cadeia está num estado si, então ela se
move para o estado sj com uma probabilidade pij.
A probabilidade pij é a probabilidade de transição do estado si para o estado sj. Essas
probabilidades podem ser expostas em uma matriz ou num diagrama de transição de estados,
que decrevem totalmente as cadeias de Markov.
P = 









pmmpm
mpp
mpp
..1
2..21
1..11
Assim, o estado si corresponde à i-ésima linha (pi1, pi2.......pim) da matriz de transição P.
Se o sistema está no estado si, então esse vetor–linha, que representa as probabilidades de
todas as transições para os próximos estados, é um vetor de probabilidade.
3.2 Probabilidade de transição
A probabilidade de transição pij é a probabilidade de movimentação do estado corrente i
para o estado j no próximo experimento.
3.3 Matriz de transição
1

2. Se uma Cadeia de Markov tem n estados, então a matriz de transição será uma matriz T
(nxn) em que suas células são as probabilidades de transição e cada linha um vetor de
probabilidade.
3.3.1 Propriedades de Matriz de Transição T
• É quadrada
• 0 <= pij <= 1
• A soma das células de uma linha qualquer de T é igual a 1.
3.3.2 Exemplo
Pergunta - Quais das seguintes matrizes podem representar uma Cadeia de Markov? Por
que?
100000
5,005,0000
05,005,000
005,03,05,00
0005,005,0
000001
5,03,02,0
05,05,0
2,02,06,0
7,003,0
4,04,02,0
Resposta - Só a última. Na primeira há uma linha com soma dos valores de suas células
igual a 1,3. A segunda não é quadrada.
Pergunta - Como construir a matriz de transição?
• Decida quais são os estados da Cadeia de Markov e nomei-os.
• Determine as probabilidades de transição entre os estados.
• Construa a matriz.
3.4 Exemplos
3.4.1 A empresa Alfa aluga veículos nas cidades de Campos, Niterói e Macaé. Há dados
que revelam que 50% dos carros alugados em Campos são devolvidos na própria cidade,
20% em Niterói e 30% em Macaé. Daqueles alugados em Niterói, 40% são devolvidos em
Niterói, 40% em Campos e 20% em Macaé. Dos veículos alugados em Macaé, 50% são
devolvidos em Macaé, 40% em Campos e 10% em Niterói.
2

3. Esse cenário é um caso de Cadeia de Markov. Campos (estado 1), Niterói (estado 2) e
Macaé (estado 3) são os estados possíveis em qualquer momento. Os dados a respeito das
idas e vindas de um estado a outro são as probabilidades de transição.
A probabilidade de um carro alugado em Campos (estado 1) ser devolvido em Macaé
(estado 3) é a probabilidade P13 = 0,3 (30%). A probabilidade de um carro alugado em
Macaé (estado 3) ser devolvido em Niterói (estado 2) é a probabilidade P32 = 0,1 (10%). A
matriz de transição dessa cadeia de Markov é a matriz que se segue.
5.1.4.
2.4.4.
3.2.5.
Macaé
Niterói
Campos
MacaéNiteróiCampos
Nesse contexto, há perguntas interessantes; por exemplo:
• Se um veículo está em Campos, qual é a probabilidade de voltar a Campos após
duas locações?
• A manutenção é feita em Campos. Se um veículo em Macaé precisa de serviço,
em média quantas vezes será alugado para voltar a Campos e então fazer a
manutenção?
3.4.2 Uma moeda é lançada repetidamente. O conjunto de saídas possíveis é (X0 (cara),
X1 (coroa)). Não importa qual seja o resultado de um lançamento, a probabilidade de
ocorrência de qualquer dos dois estados no próximo lançamento é de 50%. Isso é uma
cadeia de Markov de dois estados. Uma representação alternativa à representação em
matriz é a do diagrama de transições.
P00 = p01 = p11 = p10 = 0,5.
Nesse exemplo, a matriz de transição seria
3

4. 5,05,0
5,05,0
Corrente
Futuro
Na qual os estados seriam dar cara e dar coroa.
3.4.3 Um psicólogo realiza uma série de experimentos com um rato num dispositivo
com três salas (1, 2 e 3). A sala grande (3), comunica-se com as duas outras (1 e 2), que não
se comunicam diretamente. A cada hora as portas são abertas rapidamente. Se o rato está
na sala 1, ou fica na própria sala com 50% de probabilidade, ou vai para a sala 3, também
com 50% de probabilidade. Da mesma forma, se está na sala 2, ou fica na própria sala com
50% de probabilidade, ou vai para a sala 3, também com 50% de probabilidade. Se está na
sala 3, a probabilidade de ficar na própria 3 é de 50%, e as probabilidades de ir para
qualquer uma das outras duas são idênticas.
As salas podem ser denominadas, respectivamente, estados 1, 2 e 3.
Esse exemplo, a probabilidade p32 representa a probabilidade de movimentar-se do
estado 3 para o estado 2 ou a probabilidade de estar na sala 3 e passar para a sala 2, isto é,
25%.
Qual seria a matriz de transição de estados ?
A sua matriz de transição é
5,025,025,0
5,05,00
5,005,0
Corrente
Futuro
3.4.5 Exercício exemplo
Suponha o experimento do rato. Suponha que ele está na sala 1. Qual é a probabilidade
de ele estar novamente na sala 1 após duas movimentações?
Vamos construir uma árvore
4

5. A probabilidade do rato começar no estado 1 e, após o segundo movimento, terminar
no estado 1, é:
P11(2)
= 1/2 x 1/2 + 0 x 0 + 1/2 x 1/4 = 3/8
A probabilidade do rato começar no estado 1 e, após o segundo movimento, terminar
no estado 3, é:
P13(2)
= 1/2 x 1/2 + 0 x 1/2 + 1/2 x 1/2 = 1/2
Importante: Essas probabilidades também podem ser calculadas da seguinte forma
T2
= T x T =










5,025,025,0
5,05,00
5,005,0










5,025,025,0
5,05,00
5,005,0
=










2/14/14/1
2/18/38/1
2/18/18/3
P13(2)
= 1/2;
P12 (2)
= 1/8 (lendo a célula T12)
P12 (2)
= 1/2 x 0 + 0 x 1/2 + 1/2 x 1/4 = 1/8 (calculando pela árvore)
5

6. A probabilidade do rato começar no estado 1 e, após o segundo movimento, terminar
no estado 1, é:
P11(2)
= 1/2 x 1/2 + 0 x 0 + 1/2 x 1/4 = 3/8
A probabilidade do rato começar no estado 1 e, após o segundo movimento, terminar
no estado 3, é:
P13(2)
= 1/2 x 1/2 + 0 x 1/2 + 1/2 x 1/2 = 1/2
Importante: Essas probabilidades também podem ser calculadas da seguinte forma
T2
= T x T =










5,025,025,0
5,05,00
5,005,0










5,025,025,0
5,05,00
5,005,0
=










2/14/14/1
2/18/38/1
2/18/18/3
P13(2)
= 1/2;
P12 (2)
= 1/8 (lendo a célula T12)
P12 (2)
= 1/2 x 0 + 0 x 1/2 + 1/2 x 1/4 = 1/8 (calculando pela árvore)
5