Processus de Markov

En mathématiques, un processus de Markov est un processus stochastique possédant la propriété de Markov. Dans un tel processus, la prédiction du futur à partir du présent n'est pas rendue plus précise par des éléments d'information concernant le passé. Les processus de Markov portent le nom de leur inventeur, Andreï Markov. Un processus de Markov en temps discret est une séquence X 1 , {\textstyle X_{1},} X 2 , {\textstyle X_{2},} X 3 , … {\textstyle X_{3},\ \dots } de variables aléatoires. L'ensemble de leurs valeurs possibles est appelé l’espace d'états, la valeur X n {\textstyle X_{n}\ } étant l'état du processus à l'instant n . {\textstyle n.} Selon les auteurs, le vocable « chaîne de Markov » désigne les processus de Markov à temps discret ou uniquement les processus de Markov à temps discret et à espace d'états discret, c.-à-d. les processus de Markov à temps discret dont l'espace d'états est fini ou dénombrable. Si la loi conditionnelle de X n + 1 {\textstyle X_{n+1}\ } sachant le passé, i.e. sachant ( X k ) 0 ≤ k ≤ n {\textstyle \left(X_{k}\right)_{0\leq k\leq n}\ } est une fonction de X n {\textstyle X_{n}\ } seul, alors : P ( X n + 1 = x ∣ X 0 , X 1 , X 2 , … , X n ) = P ( X n + 1 = x ∣ X n ) . {\displaystyle P(X_{n+1}=x\mid X_{0},X_{1},X_{2},\ldots ,X_{n})=P(X_{n+1}=x\mid X_{n}).\,} où x {\displaystyle x} est un état quelconque du processus. L'identité ci-dessus identifie la probabilité markovienne. Andreï Markov a publié les premiers résultats de ces processus en 1906. Une généralisation à un espace d'états infini dénombrable a été donnée par Kolmogorov en 1936. Les processus de Markov sont liés au mouvement brownien et à l'hypothèse ergodique, deux sujets de physique...