Unidad 4
4.2 Formulacion Cadenas de Markov
4.3 Procesos Estocasticos
4.4 Propiedad Markoviana Primer Orden

CADENAS DE MARKOV
4.4 Propiedad Markoviana de primer orden.
Se dice que un proceso estocástico tiene la propiedad markoviana si
P Xt+1 = j = P X t+1 , para toda t = 0, 1, . . y toda sucesión i, j , K0 , K1 , . . , Ki-1 .
Se puede demostrar que esta propiedad markoviana es equivalente a establecer una probabilidad condicional de cualquier “evento” futuro dados cualquier “evento “ pasado y el estado actual Xi = i , es independiente del evento pasado y sólo depende del estado actual del proceso. Las probabilidades condicionales PXt+1 = j se llaman probabilidades de transición. Si para cada i y j,
P Xt+1 = j = pX1 = j …ver más…

La tienda hace un pedido que le entregan el lunes en el momento de abrir la tienda. La tienda usa la siguiente política ( s, S)1 para ordenar : si el número de cámaras en inventario al final de la semana es menor que s =1 (no hay cámaras en la tienda), ordenar (hasta) S=3. De otra manera, no coloca la orden (si se cuenta con una o más cámaras en el almacén, no se hace el pedido). Se supone que las ventas se pierden cuando la demanda excede el inventario. Entonces, {X1} para t = 0, 1, .. es un proceso estocástico de la forma que se acaba de describir. Los estados posibles del proceso son los enteros 0, 1, 2, 3 que representan el número posible de cámaras en inventario al final de la semana.
Observe que {Xi}, en donde Xi es el número de cámaras en el almacén al final de la semana t ( antes de recibir el pedido }), es una cadena de Markov. Se verá ahora cómo obtener las probabilidades de transición (de un paso), es decir, los elementos de la matriz de transición ( de un paso).
Suponiendo que cada Dt tiene una distribución Poisson con parámetro .
Para obtener es necesario evaluar . Si , Entonces . Por lo tanto, significa que la demanda durante la semana fue de tres o más cámaras. Así, , la probabilidad de que una variable aleatoria Poisson con parámetro tome el valor de 3 o más; y se puede obtener de una manera parecida. Si , entonces . Para obtener , la demanda durante la semana debe ser 1 o más. Por esto, . Para