Марковські випадкові процеси з дискретними станами і дискретним часом. 
Ланцюги Маркова (реферат)

РЕФЕРАТ На тему:

Марковські випадкові процеси з дискретними станами і дискретним часом. Ланцюги Маркова.

Вивчаючи марковські процеси, часто з метою наочного висвітлення цього питання розглядають певну економічну або будь-яку іншу систему А, котра в кожний фіксований момент часу $$t=t_i$$ може перебувати в одному з несумісних станів $${}_i={}_1,{}_2,\text{.}\text{.}\text{.}{}_k,\text{.}\text{.}\text{.}$$, причому перехід цієї системи з одного стану $${}_i$$ до іншого $${}_j$$ може відбуватися в моменти часу $$t=t_1,t_2,\text{.}\text{.}\text{.}{t}_k,\text{.}\text{.}\text{.}$$ .

Нехай випадковий перехід системи, А із одного стану в будь-який можливий інший здійснюється лише в певні моменти часу $$t=t_1,t_2,\text{.}\text{.}\text{.}{t}_k,\text{.}\text{.}\text{.},$$ які називають кроками процесу. Такі процеси називаються марковськими з дискретними станами і дискретним часом. Множину всіх можливих станів системи, в яких може перебувати марковський процес, називають простором станів процесу і позначають $$\mathrm{}\text{.}$$ Символами $${}_i\mathrm{}$$ позначають конкретні стани процесу.

Запис $${}_i->{}_j$$ означає перехід процесу із і-го стану до j-го. Простір станів $$\mathrm{}$$ може бути обмеженим і необмеженим. Далі розглядатимемо марковські процеси з обмеженою кількістю станів простору $$\mathrm{}\text{.}$$.

Приклад 1. Футбольна команда готується до чергового матчу, результатом якого можуть бути з певною ймовірністю лише три несумісні стани (події): команда виграє - стан $${}_1-$$ нічийний результат матчу — стан $${}_2-$$ команда програє матч — стан $${}_3\text{.}$$ Отже, $$\mathrm{}=\left\{{}_1,{}_2,{}_3\right\}\text{.}$$.

Перелічені стани є несумісними, і перехід команди в кожний із цих станів може здійснюватися з певною ймовірністю. Розглядаючи команду як систему, можна стверджувати, що в ній відбувається марковський процес із дискретними станами та дискретним часом переходу з одного стану до іншого за один крок (за один матч).

Приклад 2. Фермер купив трактор. У процесі роботи його в господарстві трактор може з певною ймовірністю перебувати в одному з несумісних станів: $${}_1$$ — роботоздатному- $${}_2$$ — нероботоздатному. Перехід із одного стану до іншого може відбуватися в дискретні моменти часу.

Отже, випадковий процес, який маємо в системі (тракторі), буде марковським процесом із дискретними станами та дискретним часом. Простір станів $$\mathrm{}=\left\{{}_1,{}_2\right\}\text{.}$$.

Класифікація станів у загальному вигляді

1. Ергодичний стан.

Нехай задано простір станів марковського процесу $$\mathrm{}$$ і певну під­множину станів $$A\mathrm{},$$ при цьому $$\stackrel{}{A}=\mathrm{}/A$$ буде доповненням до А.

Якщо з кожного стану $${}_i$$ підмножини, А можна перейти до будь-якого стану $${}_{j}A,$$ і при цьому до стану $${}_k\stackrel{}{A}$$ процес не зможе перейти ні з одного зі станів, які належать підмножині А, то в цьому разі А називають ергодичною множиною, або множиною ергодичного стану процесу. Одного разу потрапивши до ергодичної множини, процес ніколи не зможе залишити її, і з цього моменту часу переміщуватиметься лише серед тих станів, які належать ергодичній множині А.

Отже, ергодичний стан є елементом ергодичної множини.

Щойно сказане ілюструє рис. 11.

Рис. 11.

З рис. 11 бачимо, що стани $${}_1,{}_2,{}_3,{}_4,{}_5,{}_6,{}_7,{}_8$$ утворюють ергодичну множину А. Стани $${\stackrel{}{}}_1,{\stackrel{}{}}_2,{\stackrel{}{}}_3,{\stackrel{}{}}_4,{\stackrel{}{}}_5$$ також утворюють ергодичну множину $$\stackrel{}{A}\text{.}$$ Перехід процесу із, А в $$\stackrel{}{A}$$, як і навпаки, є неможливим.

2. Нестійкі стани.

Нехай задано простір станів випадкового процесу $$\mathrm{},$$ а також $$A\mathrm{}\mathrm{:}$$ $$\stackrel{}{A}=\mathrm{}-A$$. Тоді, якщо будь-який стан підмножини, А може бути досягнений із будь-якого іншого стану цієї самої підмножини і при цьому існує хоча б один стан $${}_{k}A$$, із якого процес може перейти до стану $${}_j\stackrel{}{A},$$ то підмножину станів, А називають нестійкою.

Нестійкий стан є елементом нестійкої множини А.

Це схематично ілюструє рис. 12.

Рис. 12.

Як бачимо з рис. 12, процес зі стану $${}_{3}A$$ може з певною ймовірністю перейти до стану $${\stackrel{}{}}_i\stackrel{}{A}\text{.}$$.

Поглинальні стани

Якщо ергодична множина має лише один стан, то його називають поглинальним. Одного разу потрапивши до цього стану, процес у ньому залишається назавжди.

У загальному випадку марковський процес може мати одну, дві і більше ергодичних множин, але при цьому не мати нестійких множин.

Марковський процес із дискретними станами і дискретним часом називають також марковським ланцюгом, що є різновидом марковського процесу, в якому майбутнє залежить від минулого лише через теперішнє.