Semester Ganjil 201 3 DR Rahma Fitriani SSi MSc The Long Run Behaviour of Markov Chains Menganalisis peluang transisi n langkah dari rantai markov untuk n The Limiting Probability Distribution ID: 578476
Download Presentation The PPT/PDF document "Proses Stokastik" is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
Slide1
Proses Stokastik
Semester Ganjil 2013
DR. Rahma Fitriani, S.Si., M.ScSlide2
The Long Run Behaviour of Markov Chains
Menganalisis peluang transisi
n
langkah dari rantai markov untuk
n → ∞:The Limiting Probability DistributionTidak tergantung pada state awalPeluang transisi n langkah tersebut ada jika rantai markov mempunyai matriks peluang yang bersifat regularSemua elemen Pk >0
Apapun state awalnya (
initial state
)
rantai markov akan berakhir di
state
j
dengan peluang
π
jSlide3
Contoh:
Rantai Markov dua StateSlide4
P
dengan beberapa pangkat
:
π
0
π
1Slide5
Syarat Keberadaan
the Limiting probability
Rantai markov mempunya matriks peluang transisi yang bersifat regular
Matriks peluang transisi bersifat regular jika:
Setiap pasang state i, j, terdapat jalur k1, k2, …, kr di mana Pi
k1 P k1
k2 ... Pk
r
j
>0
Terdapat paling sedikit satu
i
di mana
P
ii
>0Slide6
The Limiting Probability
Distribution
Jika
P matriks peluang transisi yang bersifat regular di mana terdapat 0, 1, 2, …, N, kemungkinan state, maka:The limiting probability distribution =(0, 1,
2, …,N) adalah solusi unik dari persamaan:
=
PSlide7
Contoh
Untuk rantai markov dengan matriks peluang transisi berikut ini:
Tentukan
the limiting probability distribution
.
Sistem persamaan
:Slide8
Karena adanya batasan linier, maka satu persamaan bersifat redundan dan akan dibuang dari sistem persamaan
Pada kasus ini persamaan 3 yang dibuangSlide9
Dengan substitusi dan eliminasi, solusinya adalah:Slide10
Berdasarkan definisi dari
the limiting probability:
Dengan mengoperasikan pangkat tinggi pada matriks peluang transisi:
π
0
π
1
π
2Slide11
Klasifikasi State-State
Definisi:
State
j
dapat dijangkau (reachable) dari state i jika peluang untuk menuju dari i ke
j dalam n >0
langkah adalah positif(Jika teradapat jalur dari i ke
j
pada diagram rantai markov).
Himpunan bagian
S
dari himpunan state
X
bersifat
tertutup (closed)
jika
p
ij
=
0
untuk setiap
i
S
and
j
S
State
i
dikatakan
absorbing
jika terdapat
closed set
dengan satu anggota (state) saja.
Himpunan tertutup (
closed set
)
S
dikatakan
irreducible
jika sembarang state
j
S
dapat dijangkau
dari setiap state
i
S
.
Rantai markov dikatakan
irreducible
jika himpunan state-nya
X
adalah
irreducible.Slide12
Contoh
Irreducible Markov Chain
0
1
2
p
01
p
12
p
00
p
10
p
21
p
22
Reducible Markov Chain
p
01
p
12
p
00
p
10
p
14
p
22
4
p
23
p
32
p
33
0
1
2
3
Absorbing State
Closed irreducible setSlide13
Transient and Recurrent States
Hitting
Time
Recurrence Time
T
ii
adalah waktu yang
dibutuhkan untuk state
i
kembali ke state
i
untuk pertama kalinya
Diberikan
ρ
i
sebagai peluang bahwa state akan kembali ke
i
dengan syarat rantai markov berawal di state
i
, maka
,
State
i
recurrent
jia
ρ
i
=1
dan
transient
jika
ρ
i
<1
State
i
bersifat
transient
jika terdapat peluang bahwa rantai markov tidak akan kembali ke state
i
.Slide14
Teorema-teorema
Jika rantai markov mempunyai himpunan state yang finite, maka paling sedikit satu dari state-nya bersifat
recurrent
.
Jika i adalah state yang bersifat recurrent dan state j dapat dijangkau dari state i maka state j juga recurrent.
Jika S adalah himpunan state yang irreducible yang finite dan
closed, maka setiap state di S adalah recurrent
.Slide15
Positive and Null Recurrent States
Diberikan
M
i
sebagai rata-rata waktu recurrence bagi state iState i dikatakan positive recurrent jika
Mi<
∞. Jika M
i
=
∞
maka state tersebut dikatakan
null-recurrent
.Slide16
Example
p
01
p
12
p
00
p
10
p
14
p
22
4
p
23
p
32
p
33
0
1
2
3
Recurrent State
Transient States
Positive Recurrent StatesSlide17
17
Klasifikasi State-State
j
recurrent
transient
positive
non-absorbing
absorbing
nullSlide18
State
Periodic dan Aperiodic
Misalkan bahwa struktur rantai markov adalah sedemikian sehingga terdapat beberapa jalur dari state
i
kembali ke state i, di mana jumlah langkah dari setiap jalur adalah kelipatan bilangan bulat d >1 state i disebut
periodic dengan periode d.Jika tidak terdapat bilangan bulat sedemikian (
d =1) maka state tersebut bersifat
aperiodic
.
Contoh:
1
0.5
0.5
0
1
2
1
Periodic State
d
= 2