Ланцюги Маркова з неперервним часом

У теорії ймовірностей ланцюгом Маркова з неперервним часом називається випадковий процес { X(t) : t ≥ 0 } визначений у неперервному часовому проміжку, що приймає значення у деякій скінченній чи зліченній множині і задовольняє . Відмінність цього виду ланцюгів Маркова від дискретних ланцюгів Маркова полягає в тому, що переходи між станами можуть відбуватися в будь-які моменти часу і час наступного переходу теж є випадковою величиною.

Формальне означення

Випадковий процес ${\displaystyle \{X_{t}\}_{t\geqslant 0}}$, що приймає значення в деякій скінченній чи зліченній множині називається ланцюгом Маркова (з неперервним часом), якщо

${\displaystyle \mathbb {P} (X_{t+h}=x_{t+h}\mid X_{s}=x_{s},\;0<s\leqslant t)=\mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})}$.

Ланцюг Маркова з неперервним часом називається однорідним якщо:

${\displaystyle \mathbb {P} (X_{t+h}=x_{t+h}\mid X_{t}=x_{t})=\mathbb {P} (X_{h}=x_{h}\mid X_{0}=x_{0})}$.

Матриця перехідних функцій і рівняння Колмогорова — Чепмена

Як і у дискретному випадку Ланцюги Маркова з неперервним часом повністю визначаються заданням початкового розподілу

${\displaystyle \mathbf {p} =(p_{1},p_{2},\ldots )^{\top },\;p_{i}=\mathbb {P} (X_{0}=i),\quad i=1,2,\ldots }$

іматрицею перехідних функцій (перехідних ймовірностей)

${\displaystyle \mathbf {P} (h)=(P_{ij}(h))=\mathbb {P} (X_{h}=j\mid X_{0}=i)}$.

Матриця перехідних ймовірностей задовільняє рівнянню Колмогорова — Чепмена: ${\displaystyle \mathbf {P} (t+s)=\mathbf {P} (t)\mathbf {P} (s)}$ або

${\displaystyle P_{ij}(t+s)=\sum _{k}P_{ik}(t)P_{kj}(s)}$.

Матриця інтенсивностей

За визначенням , матриця інтенсивностей ${\displaystyle \mathbf {Q} =\lim _{h\to 0}{\frac {\mathbf {P} (h)-\mathbf {I} }{h}}}$

чи еквівалентно:

${\displaystyle \mathbf {Q} =(q_{ij})=\left({\frac {dP_{ij}(h)}{dh}}\right)_{h=0}}$.

Із рівняння Колмогорова-Чепмена випливають:

• Пряме рівняння Колмогорова

  ${\displaystyle {\frac {d\mathbf {P} (t)}{dt}}=\mathbf {P} (t)\mathbf {Q} ,}$

• Обернене рівняння Колмогорова

  ${\displaystyle {\frac {d\mathbf {P} (t)}{dt}}=\mathbf {Q} \mathbf {P} (t).}$

Для обох рівнянь початковим наближенням є ${\displaystyle \mathbf {P} (0)=\mathbf {I} }$. Відповідний розв'язок рівний: ${\displaystyle \mathbf {P} (t)=\exp(\mathbf {Q} t).}$

Див. також

• Ланцюги Маркова
• Марківський процес

Література

• S. P. Meyn and R. L. Tweedie. Markov Chains and Stochastic Stability. London: , 1993. .
• J. R. Norris. Markov Chains. Cambridge University Press, 1997. ISBN