Este documento presenta ejercicios resueltos sobre cadenas de Markov. En el primer ejercicio se demuestra que una sucesión de variables aleatorias independientes e igualmente distribuidas define una cadena de Markov. En el segundo ejercicio se clasifican los estados de una cadena dada y se calculan periodos. En el tercer ejercicio se calcula la probabilidad conjunta de estar en un estado en diferentes momentos de tiempo.

1. UNIVERSIDAD NACIONAL DE COLOMBIA
Talleres de procesos
David Ocampo, Cod. 163023
6 de mayo de 2015
1. Ejercicios Taller 4
1. Sea (Yn)n∈N una sucesión de variables aleatorias independientes e igual-
mente distribuidas definidas en un espacio de probabilidad y con valores
en los enteros. Se define:
Xn :=
n
i=0
Yi
Respuesta Por definición se tiene que:
X0 = Y0
Xn = Y0 + Y1 + ... + Yn Es una cadena de markov ya que:
P(Xn+1 = j|Xn = in, ...., X0 = i0) que es igual a:
P (Xn+1=j,...,X0=i0)
P (Xn=in,...,X0=i0)
Luego se tiene que:Y1 = X0 + X1, por esto se tiene que P(Y1 = i0 − i1)
Ahora se substituye
P (X0=i0,Y1=i0−i1,...,Yn+1=j−in)
P (X0=i0,...,Yn=in−in−1) Como Yn es una variable aleatoria indepen-
diente e idénticamente distribuida, se cancelan terminos, así se obtendrá
P(Yn+1 = j − i) que es equivalente a P(Xn+1) = j|Xn = in, por lo tanto
Yn es una cadena de markov
2. Demostrar que la matriz de las probabilidades de transición en m pasos de
Quna cadena de Markov es la m -ésima potencia de la matriz de transición
1

2. ΠSea(Xn) una cadena de markov con conjuntos de estados S. Supóngase
que i, j ∈ S con i ←→ j. Demostrar que i y j tienen el mismo periodo
Respuesta Suponga que podemos ir de j a j en n pasos, y sea k,m
números naturales tales que i −→ j[k] y j −→ i[m], por lo tanto i −→
i[k + m] y i −→ i[k + m + n] por lo tanto λ(i) divide a k+m y a k+n+m,
por lo tanto λ(i) divide a n, es decir es divisor común de todos los n que
j −→ j[n] por lo tanto λ(i) <= λ(j), ahora si se intercambian los roles de
i y j, se tiene que λ(i) = λ(j), luego tienen el mismo periodo
3.4. Sea (Xn) una cadena de markov con conjunto de estados S = {0, 1, 2, 3},
Clasificar los estados de la cadena y determinar sus periodos
Respuesta Los 4 estados de la cadena, son recurrentes, y su perido es
λ(1) = 1 = λ(2) = λ(3) = λ(0)
5. Sea (Xn) una cadena de markov con conjunto de estados S = {a, b, c},
matriz de transición Π y distribución inicial π(0)
= (P(X0 = a), P(X0 =
b), P(X0 = c)) = (2/5, 1/5, 2/5)
Respuesta Clasificar los estados de la cadena:
a, b, c son estados recurrentes con perido λ(i) = 1, i = a, b, c
2

3. Respuesta Calcular P(X2 = b, X5 = b, X6 = b)
Se utiliza las propiedades de cadena de Markov:
P (X6=b,X5=b,X2=b)
P (X5=b,X2=b) P(X5 = b, X2 = b) = P(X6 = b|X5 = b)P(X5 =
b, X2 = b), haciendo el mismo procedimeiento se llega a:
P(X6 = b|X5 = b)P(X5 = b|X2 = b)P(X2 = b), que por definición es:
ΠbbΠ
(3)
bb Σj∈SP(X2 = b|X0 = j) = ΠbbΠ
(3)
bb Σj∈SΠ
(2)
jb P(X0 = j)
6. En un restaurante se ofrece al almuerzo como acompañamiento arroz,pasta
o papa. Para la elaboración del menú diario el cocinero procede como sigue:
No ofrece arroz dos días consecutivos, es decir, si hoy hay arroz al almuerzo
mañana habrá o bien pasta o bien papa (ambos alimentos tienen la misma
probabilidad de ser escogidos). Si hoy hay pasta almuerzo entonces para
la elección del menú de mañana el cocinero lanza una moneda: si sale
cara entonces mañana habrá nuevamente pasta al almuerzo, si sale sello
entonces entonces el cocinero lanza nuevamente la moneda, si en el segundo
lanzamiento obtiene sello entonces al día siguiente habrá arroz, si obtiene
cara entonces habrá papa. Si hoy hay papa al almuerzo entonces mañana
habrá o bien papa o bien pasta o bien arroz( los tres alimentos tienen
la misma probabilidad de ser escogidos). Para la cadena de Markov con
estados 1="arroz",2="pasta",3="papa"
3

4. Respuesta Matriz de transición Π
Π =


0 1/2 1/2
1/4 1/2 1/4
1/3 1/3 1/3

 (1)
Respuesta Distribución límite
Para hallar la distribución límite, se halla el vector invariante ρ = ρΠ
El vector ρ es igual a: (ρ1, ρ2, ρ3) donde ρ1 + ρ2 + ρ3 = 1, así se plantea el
siguiente sistema de ecuaciones:


ρ1 + ρ2 + ρ3 = 1
1/4ρ2 + 1/3ρ3 = ρ1
1/2ρ1 + 1/2ρ2 + 1/3ρ3 = ρ2
1/2ρ1 + 1/4ρ2 + 1/3ρ3 = ρ3
De esto se tiene que ρ1 = 2/9, ρ2 = 4/9, ρ3 = 1/3
Respuesta A la larga, ¿con qué frecuencia se ofrece pasta al almuerzo?
A la larga se ofrece pasta 4 de cada 9 días, se obtiene de ρ2
7. Sea una cadena de Markov con conjunto de estados S = {1, 2, ..., 8} una
matriz de transición Π
4

5. Respuesta Clasificar los estados de la cadena y calcular f∗17 =
∞
n=0
f
(n)
17
Los estados 7 y 8 son recurrentes, y los estados 1,2,3,4,5,6 son transitorios
8. Clasificar los estados de las cadenas de Markov con espacio de estados
S = {1, 2, 3, 4} y matrices de transición Π1 y Π2, en el caso de a), calcular
f
(n)
34 y verificar que la probabilidad de absorción en el estado 4, partiendo
del estado 3, esto es f∗34, es igual a 2/3. En el caso de b) encontrar los
tiempos medios de recurrencia de cada uno de los estados.
5

6. Respuesta
f
(n)
34 = 1
4
n−1 1
2
Ahora se halla f∗34 =
∞
n=1
f
(n)
34 =
∞
n=1
1
4
n−1 1
2
=
∞
n=1
f
(n)
34 =
∞
n=1
1
4
n−1 1
2
= 1
2
∞
n=1
1
4
n−1
= 1
2
∞
n=o
1
4
n−1
− 2
= 2
∞
n=1
1
4
n
− 2
= 2( 1
1−1/4 ) − 2 = 2
3
Los tiempos medios de recurrencia están dados por µi =
∞
n=0
nf
(n)
ii =
2(2/3) + 4(1/3) = 8/3, se puede deducir de:
f
(1)
ii = 0
f
(2)
ii = 1
2
1
3 + 1
2 = 2/3
f
(3)
ii = 0
f
(4)
ii = 1
2
2
3 + 1 = 1/3
9. Demostrar que si A = (aij) es una matriz estocástica entonces An
es una
matriz estocástica para todo n > 1
Respuesta Supongamos que A = (aij) y B = (bij) donde
n
j=1
aij = 1 y
que
n
j=1
bij = 1 se tiene que AB =
n
k=1
(aikbkj)
Ahora se tiene que
n
j=1
ABij =
n
j=1
n
k=1
aijbkj
6

7. = ai1b11 + ... + ainbn1 + ... + ainbnn
Ahora se agrupan los términos y se tiene que:
= ai1(b11 + ... + bn1) + ... + ain(bn1+...+bnn
)
= ai1 + ... + ain = 1
10. Sea j un estado transitorio. Demostrar que para cualquier estado inicial i
se cumple que l´ımn→∞ Π
(n)
ij = 0
Respuesta Se tiene por definición:
Πij(s) − δij = Fij
(s)Πjj(s), para 0 ≤ s ≤ 1
Ahora se tiene que:
Πij
∗
− δij = Fij ∗Πjj∗<∞ ya que j es un estado transitorio, ahora como
δijes 0 o 1, entonces Πij < ∞
Lo cual implica que l´ımn→∞ Π
(n)
ij = 0, esto se tiene debido a que:
Π∗
ij =
∞
n=0
Π
(n)
ij , ahora si se utiliza el límite
limn→∞
n
n=0
, por propiedades de suma se llega a lo anterior
11. Demostrar que toda cadena de Markov nita tiene por lo menos un estado
recurrente.
Respuesta Se tiene que 0 = l´ımn→∞
j∈S
Π
(n)
ij = l´ımn→∞ Pi(Xn ∈ S) =
1, lo cual es una contradicción suponer que todos los estados son transi-
torios ya que l´ımn→∞ Π∗
ij = 1, entonces todas las cadenas finitas tienen al
menos un estado recurrente
12. Demostrar que no existen estados recurrentes nulos en cadenas de Markov
finitas.
Respuesta Si j es un estado recurrente se tiene que:
l´ımn→∞
n
m=0
Π
(m)
ij = 1
pero si la cadena tiene estados recurrentes nulos se tiene que:
l´ımn→∞
n
m=0
Π
(m)
ij = 0 en consecuencia l´ımn→∞ Π
(m)
ij = 0
por esto la cadena no sería finita
2. Ejercicios taller 5 procesos de poison
1. El tiempo en la isla de San Andrés es clasicado como soleado, lluvioso
o nublado. Supóngase que el tiempo que hará mañana depende sólo del
7

8. tiempo que hace hoy de tal forma que: Si hoy está soleado, mañana estará
nublado con probabilidad 0.2 y lluvioso con probabilidad 0.7; si hoy está
nublado, mañana estará soleado con probabilidad 0.1 y lluvioso con prob-
abilidad 0.4; si hoy está lluvioso, mañana estará soleado con probabilidad
0.2 y nublado con probabilidad 0.3. Una pareja está pensando en pasar
su luna de miel, de 8 días, en San Andrés y han pensado en comprar un
seguro de vacaciones que promete reembolsar el costo de las vacaciones
si llueve en los últimos 2 días ( en ambos) y nada en caso contrario. El
valor del seguro es de 250 dólares. ¿Vale la pena que compren el seguro?
Explicar.
paragraphRespuesta Se construye la matriz de transición Π con conjunto
de estados S = {S, L, N}
Π =


0.1 0.7 0.2
0.2 0.5 0.3
0.1 0.4 0.5

 (2)
Ahora se quiere hallar la probabilidad que P(X7 = L, X8 = L), por pro-
piedades de cadena de markov se tiene que es igual a: P(X8 = L|X7 =
L)P(X7 = L)
Que es igual a ΠLLP(X7 = L) = ΠLL
j∈S
ΠjLP(X0 = j) como se desco-
noce la distribución inicial se hace la siguiente desigualdad:
0 ≤ P(X7 = L) ≤ 1
0 ≤ PiLLP(X7 = L) ≤ PiLL
0 ≤ 0.5P(X7 = L) ≤ 0.5
No lo compraría ya que la probabilidad puede ser 0.5 que es una probabi-
lidad muy alta de lluvia
2. Una operadora telefónica que sólo puede atender una llamada a la vez,
puede hallarse en uno de los dos estados: 1 =desocupada , 2 =ocupada.
Ella fue observada cada 20 segundos durante 30 minutos obteniéndose los
siguientes resultados: 21122212221112221221122221212212221221221
Asumiendo que la situación anterior puede describirse por una cadena de
Markov, hallar las estimaciones de máxima verosimilitud de la cadena. A
la larga, ¿con qué frecuencia se encuentra ocupada la operadora?
Respuesta Se halla las estimaciones máximo verosímiles
n11 = 4 n12 = 10
n21 = 11 n22 = 15
n1 = 14 n2 = 26
(3)
Con esto se puede hallar la matriz de transición Π
8

9. Π =
4/14 10/14
11/26 15/26
(4)
Ahora se debe hallar el vector ρ tal que ρ = ρΠ, con esto se tiene el
siguiente sistema de ecuaciones:


ρ1 + ρ2 = 1
4/14ρ1 + 11/26ρ2 = ρ1
10/14ρ1 + 15/26ρ2 = ρ2
Despejando se tiene que ρ1 = 77
207 y ρ2 = 130
207 , esto nos dice que a la larga
la operadora estará ocupada 130 de cada 207 llamadas
óngase que la llegada de clientes a un almacén puede modelarse por un
proceso de Poisson simple con intensidad λ = 2 por minuto. Calcular:
Respuesta El número promedio de clientes que llegan al almacén en un
período de una hora.
En una hora λ = 120 entonces se tiene que E(N1) = λt = 120 donde
Nt ∼ P(λt)
Respuesta La varianza del número de clientes que llegan al almacén en
un período de una hora
De manera análoga se tiene que V (N1) = 120
Respuesta La probabilidad de que llegue al menos un cliente al alma-
cén en un período de 5 minutos.
P(X5 ≥ 1) = 1 − P(X5 < 1)
= 1 − P(X5 = 0) = 1 − e−10
3. En un proceso de Poisson han ocurrido n eventos en el intervalo de tiempo(0; t]:
Demuestre que la distribución del número de sucesos que han ocurrido du-
rante el intervalo de tiempo (0; s] , s < t es binomial con probabilidad de
éxito igual a s
t
Respuesta Se tiene que:
P(N(s) = k|N(t) = n) = P (N(s)=,N(t)=n)
P (N(t)=n)
= P (N(s)=k,N(t)−N(s)=n−k)
P (N(t)=n)
= [e−λs
(λs)k
/k!][e−λ(t−s
(λ(t−s))n−k
/(n−k)!]
e−λ(t(λ(t))n/(n)!
, despejando se tiene que
= n!
(n−k)!
(uk
)(t−s)n−k
tn
9

10. 4. Sean (Xt) y (Yt) dos procesos de Poisson independientes con parámetros
λ1 y λ2 respectivamente. ¿Es el proceso (Zt) con Zt = Xt + Yt un proceso
de Poisson?. Explicar.
Respuesta Se tiene que Xt es un PP luego tiene incrementos indepen-
dientes, por esto se puede expresar como :
Xt = N1(t + s) − N1(s) ∼ P(λ1t) de igual manera Yt ∼ P(λ2t)
Ahora Zt = [N1(t + s) − N1(s)] + [N2(t + s) − N2(s)] = Xt + Yt entonces
Zt ∼ P((λ1 + λ2)t)
Luego Zt es un proceso de Poisson.
10