Marco de catálogo de libros/tipo de marco de curso
Palabras clave
*Modelo de Markov, probabilidad de transición, equilibrio estadístico, teorema de Peron-Frobinis , paradoja de ventas-durabilidad, modelo de decisión de Markov, cambios de acción y estado, gratificación retrasada
Resumen
*Modelo de Markov Se utiliza para describir un sistema que cambia constantemente entre un conjunto de estados con cierta probabilidad.
*Siempre que el conjunto de estados de cualquier modelo de Markov sea limitado, las probabilidades de transición entre diferentes estados son fijas. Después de una serie de transiciones, cualquier estado se puede convertir a cualquier otro estado sin un ciclo fijo. , convergerá a un equilibrio estadístico único.
*En el equilibrio estadístico, una única entidad puede moverse continuamente entre varios estados, pero la distribución de probabilidad entre varios estados permanece fija.
1. Teorema de Perron-Frobenius
* Teorema de Perron-Frobenius: Siempre que el modelo de Markov cumpla las siguientes cuatro condiciones, definitivamente convergerá a un equilibrio estadístico único:
*Conjunto de estados finitos: s = {1, 2,…,K}.
*Regla de transición fija: La probabilidad de transición entre estados es fija, es decir, en cada ciclo, la probabilidad de transición del estado A al estado B es siempre igual a P(A, B).
*Traversabilidad (alcancebilidad del estado): El sistema puede llegar a cualquier otro estado desde cualquier estado mediante una serie de transformaciones.
*Aperiódico: El sistema no produce un ciclo definido a través de una serie de estados.
*Si se cumplen estos cuatro supuestos, cambiar el estado inicial, la historia y las intervenciones no pueden cambiar el equilibrio de largo plazo.
*Es necesario enfatizar que la conclusión extraída del teorema de Peron-Frobinis no debe significar que la historia no es importante, sino que si la historia es realmente importante, definitivamente violará el modelo. suposiciones.
*Hay dos supuestos, el conjunto de estados finitos y el conjunto de estados acíclicos, que son casi todos verdaderos; la ergodicidad generalmente se cumple; el supuesto de que la probabilidad de transición entre estados es fija es el que tiene más probabilidades de ser violado. Por lo tanto, este modelo sugiere que si la historia realmente importa, debe haber algún factor estructural subyacente que cambie las probabilidades de transición (o cambie el conjunto de estados).
*Las intervenciones políticas que cambian la situación de las familias, como los programas de ayuda especial para ayudar a los estudiantes que se han quedado atrás o las colectas de alimentos, solo logran mejoras a corto plazo y no cambian el equilibrio a largo plazo. . Por el contrario, las políticas de intervención que proporcionan recursos y capacitación para aumentar la capacidad de las personas para mantener sus empleos y, por lo tanto, reducir la probabilidad de transición del empleo al desempleo pueden cambiar los resultados a largo plazo.
*Los modelos de Markov proporcionan cierta terminología para comprender la diferencia entre probabilidades de estado y de transición. Nos dice una verdad básica: cambiar los factores estructurales no es tan valioso como cambiar el status quo; esto último es más valioso.
*La paradoja de la persistencia de las ventas dice que la popularidad de un producto o idea depende no tanto de sus ventas relativas como de su persistencia. La lógica detrás de la paradoja de las ventas y la persistencia también se puede utilizar para explicar la relación positiva entre participación de mercado y lealtad a la marca (la probabilidad de que alguien cambie a otra marca).
2. Aplicación del modelo
*Ejemplo de aplicación
*Podemos utilizar el modelo de Markov para modelar la deriva genética entre cuatro ácidos nucleicos y analizarlo.
*Podemos utilizar modelos de Markov para modelar la trayectoria de la evolución de la salud física, y vale la pena implementar aquellas intervenciones de salud que produzcan un mejor equilibrio.
*Los modelos de Markov también se pueden utilizar para identificar diferentes patrones de crisis internacionales y para distinguir las transiciones que conducen a la guerra de las transiciones que conducen a la paz. Las aplicaciones en esta área requieren que estimemos dos modelos diferentes. Si existen diferencias significativas en las probabilidades de transición entre dos modelos, podemos comparar los modelos existentes para ver qué proceso se ajusta mejor a los datos.
*Este método de utilizar modelos de Markov para distinguir diferentes patrones también se puede utilizar para identificar al autor de un libro o artículo.
*El ranking de páginas puede verse como una combinación de paseo aleatorio y modelo de Markov. Si pensamos en la clasificación de páginas como un algoritmo, encontraremos que puede usarse para generar clasificaciones para cualquier red.
*Límites aplicables
*Al aplicar los modelos de Markov para explicar fenómenos o predecir tendencias, la elección de estados por parte del modelador es muy importante, lo que determina la relación entre estos estados.
*No importa cómo se elija el estado, si los cuatro supuestos son verdaderos (la prueba clave será si la probabilidad de transición permanece sin cambios), entonces el sistema tendrá un equilibrio estadístico único. Cualquier cambio puntual en el estado del sistema tendrá, en el mejor de los casos, algún efecto temporal.
*Intentar que los estudiantes se interesen en aprender a través de actividades que solo duran uno o dos días puede no tener ningún impacto significativo. De manera similar, es posible que los voluntarios que ingresan a las comunidades para “enviar calor” o vienen a los parques a “recoger basura” no generen ningún beneficio a largo plazo. Cualquier entrada puntual de capital, independientemente de su tamaño, desaparecerá a menos que se modifiquen las probabilidades de transición.
*El modelo de Markov guía la acción distinguiendo los siguientes dos tipos de estrategias: un tipo de estrategia puede cambiar la probabilidad de transición, y cambiar la probabilidad de transición puede tener efectos a largo plazo; sólo cambian el estado y sólo pueden producir impactos a corto plazo. Si las probabilidades de transición no se pueden cambiar, entonces debemos restablecer periódicamente el estado para cambiar el resultado.
*No todos los sistemas dinámicos satisfacen los supuestos del modelo de Markov. La historia, las políticas de intervención y los acontecimientos pueden tener efectos a largo plazo si no se cumplen los supuestos del modelo de Markov.
*Por ejemplo, en el proceso de Paulia se altera el equilibrio de largo plazo. Una intervención o impacto significativo en el sistema puede cambiar las probabilidades de transición o incluso el conjunto completo de estados.
Los grandes cambios tecnológicos, como la máquina de vapor, la electricidad, el telégrafo o Internet, modifican el conjunto de estados posibles de una economía. Los movimientos políticos y sociales que redefinen las estructuras de poder o crean nuevas políticas también cambiarán los entornos nacionales.
* Por lo tanto, tal vez deberíamos considerar la historia como una secuencia de modelos de Markov en lugar de un proceso de desarrollo hacia un equilibrio inevitable.
Tercero, modelo de decisión de Markov
*El modelo de decisión de Markov es una modificación del modelo de Markov al incluir acciones, acciones que traerán recompensas, que están condicionadas al estado, y También afectan la probabilidad de transición entre estados.
*Considerando el impacto de las acciones en las probabilidades de transición, la acción óptima no es necesariamente la acción que maximiza los retornos inmediatos. (Gratificación retrasada)
*Expresar un problema de toma de decisiones como un modelo de toma de decisiones de Markov puede decirnos cuál es una mejor acción. Al considerar el impacto de nuestras acciones en el país, tomaremos decisiones más inteligentes.
* Acostarse tarde tendrá un mayor retorno directo que levantarse temprano para hacer ejercicio, y comprar café caro tendrá un mayor retorno que prepararse su propio café. Sin embargo, a la larga, es posible que prefiramos seguir haciendo ejercicio y ahorrar dinero en café.
*Siempre podemos encontrar un par de refranes opuestos. Al incorporar nuestras elecciones en un modelo de decisión de Markov, podemos utilizar la lógica para determinar qué consejo de sentido común es realmente útil en una situación determinada.
Cuarto, mejora cognitiva
*Cambiar la estructura no es tan bueno como cambiar el status quo; este último es más valioso.
*El modelo puede no dar respuestas precisas. Sin embargo, estos modelos sí generan conocimiento. Tenemos que confiar en nuestra propia sabiduría para emitir juicios: cómo comparar este modelo con otros modelos o conclusiones intuitivas.