Ejercicio de cadenas de Markow

1- Suponga que la probabilidad de lluvia mañana es de 0.5 si hoy llueve, y que la probabilidad de un día claro (sin lluvia) mañana es de 0.9 si hoy esta claro. Suponga también que estas probabilidades no cambian para cualquier día.
a) Dibuje el diagrama de transición de un paso para el problema
b) Si la probabilidad de que llueva hoy es de 0.5, determine la probabilidad de que llueva dentro de n días para n= 2,5,10 y 20

2- Una particula se mueve sobre un circulo por puntos marcados 0,1,2,3,4 (en el sentido de las manecillas del reloj). La particula comienza en el punto 0. En cada paso, tiene la probabilidad de 0.5 de moverse en sentido de las manecillas del reloj (0 sigue …ver más…

Se encuentra que esta trabajando o descompuesta. Si esta trabajando, la probabilidad de que siga asi la siguiente hora es 0.9. si esta trabajando, se repara, lo que puede llevar mas de una hora. Siempre que la computadora este descompuesta una hora mas es de 0.35.
a) Construya una matriz de transiccion de un paso para esta cadena de markov.
b) Encuentra los tiempos esperados de primera pasada del estado i al estado j para toda i y j.

7- Un proceso de producción incluye una máquina que se deteriora con rapidez tanto en la calidad como en la cantidad de producción con el trabajo pesado, por lo que se inspecciona al final de cada día. Después de la inspección se clasifica la condición de la maquina en uno de cuatro estados posibles.
Estado
Condición
0
Tan buena como nueva
1
Operable: deterioro mínimo
2
Operable: deterioro mayor
3
Inoperable y reemplazada por una tan buena como nueva

El proceso se puede modelar como una cadena de markov con matriz de transición de un paso dada por:

De/A
0
1
2
3
0
0
7/8
1/16
1/16
1
0
3/4
1/8
1/8
2
0
0
1/2
1/2
3
1
0
0
0

a) Encuentre las probabilidades de estado estable
b) Si los costos respectivos por estar en los estados 0,1,2,3 son$0,$ 1000, $ 3000, $ 6000, respectivamente. ¿Cuál es el costo diario esperado a la larga?
c) Encuentre el tiempo de