Марковские процессы. Занятие 3

Лягушка сидит в вершине квадрата и раз в десять секунд принимает решение и совершает прыжок: с вероятностью $p$ по часовой стрелке, с вероятностью $q$ против часовой стрелки, с вероятностью $1-p-q$ на месте. Через десять секунд вновь решая куда прыгнуть, лягушка принимает во внимание лишь ту вершину, в которой она находится. Таким образом, положения лягушки в различные моменты времени не независимы, однако, при фиксированном настоящем, будущее лягушки независимо от её прошлого. В честь открывшего их нашего великого соотечественника Андрея Андреевича Маркова такие системы испытаний называют цепями Маркова.
Пусть теперь лягушка принимает решения непрерывно и прыгает тогда, когда ей вздумается. Мы приходим к более трудному объекту — марковскому процессу с непрерывным временем. Теория таких процессов активно разрабатывалась на протяжении всего двадцатого века; фундаментальный вклад в их исследование внёс Андрей Николаевич Колмогоров. Ключевые вопросы, однако, и по сей день остаются открытыми.
Цель нашего курса — дать элементарное введение в теорию марковских процессов со счётным числом состояний. Помимо представления об исчислении бесконечно малых в объёме курса средней школы, никаких предварительных знаний не требуется, и курс наш доступен школьникам.