THE GAUSSIAN PROBABILITY DENSITY FUNCTION

Sunday 13 September 2015

Oleh:  Muryan Awaludin 


Gaussian Probability Density Funsction (Gaussian pdf) (Theo, 2009) banyak digunakan pada pengenalan pola karena tractability matematisnya, serta karena sebagai sentral teorema batas. 

Gaussian pdf adalah PDF yang dinormalisasikan secara vertikal yang dihasilkan dari sinyal atau pengukuran yang hanya memiliki kesalahan acak (Jhon et al, 2013).

Multidimensional Gaussian memiliki bentuk pdf:
Dimana m = E[x] adalah vektor utama, S adalah koovarian matrik yang didefinisikan sebagai S = E[(x − m)(x − m)T] , |S| adalah determinan dari S.

Untuk kasus 1-dimensional, x ∈ R, menjadi:

Dimana: σ2 adalah varians dari variabel acak x.

Contoh  1:
Hitunglah nilai Gaussian pdf, N(m, S ), dengan x1=[0.2, 1.3]Tdan x2=[2.2,-1.3]T

dimana


Penyelesaian:
Gunakan fungsi comp_gauss_dens_val untuk menghitung nilai Gaussian pdf. Secara spesifik seperti berikut:
 m=[0 1]'; S=eye(2);
x1=[0.2 1.3]'; x2=[2.2 -1.3]';
pg1=comp_gauss_dens_val(m,S,x1);
pg2=comp_gauss_dens_val(m,S,x2);

Nilai yang dihasilkan untuk pg1and pg2 masing-masing adalah 0,1491 dan 0,001

Contoh  2:
Menghitung 2 kelas klasifikasi dalam ruang 2 dimensi. Dimana data dalam 2 kelas tersebut ω1, ω2, didistribusikan sesuai dengan distribusi Gaussian ), N(m1, S1) dan N(m2, S2) masing-masing:


Dengan asumsi bahwa P(ω1) = P(ω2) = 1/2, diklasifikasikan x = [1.8, 1.8]T ke ω1 atau ω2.

Penyelesaian:
Dengan menggunakan fungsi comp_gauss_dens_val dengan menuliskan code berikut:

P1=0.5;
P2=0.5;
m1=[1 1]'; m2=[3 3]'; S=eye(2); x=[1.8 1.8]';
p1=P1*comp_gauss_dens_val(m1,S,x);
p2=P2*comp_gauss_dens_val(m2,S,x);

Nilai yang dihasilkan untuk p1dan p2 adalah 0,042 dan 0,0189, dan x diklasifikasikan ke ω1 berdasarkan pada Bayesian Classsifier.


Contoh 3:
Diketahui N= 500 bahwa titik data 2-Dimensi didistribusikan pada distribusi gaussian N(m, S), dengan m=[0, 0]T dan matrik koovarian

untuk kasus berikut:

Gambarkan setiap data set dan berikan komentar pada bentuk cluster yang dibentuk oleh titik data.

Penyelesaian:
Untuk membuat data set awal, menggunakan MATLAB dengan menuliskan fungsi mvnrnd.

randn('seed',0) % Inisialisasi fungsi randn
m=[0 0]';
S=[1 0;0 1];
N=500;
X = mvnrnd(m,S,N)';

Dimana X adalah matriks yang berisi vektor data dalam kolom.
Untuk memastikan hasil yang diperoleh, fungsi randn MATLAB, yang menghasilkan bilangan acak mengikuti distribusi Gaussian, dengan rata-rata nol dan unit yang bervariasi, diinisialisasi oleh angka tertentu pada perintah pertama (dalam kode randn sebelumnya disebut dengan mvnrnd fungsi MATLAB)

Untuk mem-plot data set:
figure(1), plot(X(1,:),X(2,:),'.');
figure(1), axis equal
figure(1), axis([-7 7 -7 7])


Demikian juga untuk data set yang berikutnya:
m=[0 0]';
S=[0.2 0;0 0.2];
N=500;
X = mvnrnd(m,S,N)';
figure(2), plot(X(1,:),X(2,:),'.');
figure(2), axis equal
figure(2), axis([-7 7 -7 7])


Selebihnya data set yang diperoleh sama. Hasilnya ditunjukan pada gambar dibawah, dimana:
  • Apabila dua koordinat dari x tidak saling berhubungan (σ12 = 0) dan memiliki varians yang sama, vektor data dari kelompok“spherically shaped” (Gambar a-c).
  • Apabila dua koordinat dari x tidak saling berhubungan (σ12 = 0) dan memiliki varians yang sama, vektor data dari kelompok “ellipsoidally shaped”. Koordinat dengan variasi koresponden tinggi untuk “major axis” dari kelompok yang berbentuk ellipsoidally, sementara itu koordinat dengan varian terendah sesuai dengan yang “minor axis". Selain itu, major axis dan minor axis dari cluster sejajar dengan garis sumbu (Gambar d,e)
  •  Apabila dua koordinat dari x saling berhubugan  (σ12 tidak sama dengan 0), garis sumbu mayor dan minor dari cluster berbentuk ellipsoidally tidak lagi sejajar dengan sumbu.Tingkat rotasi dengan memperhatikan sumbu yang tergantung pada nilai dari σ12 (Gambar f-h). Efek pada nilai σ12 apakah positif atau negatif yang ditunjukan pada (Gambar g, h). Terakhir dapat membandingkan  (Gambar a,f), apakah σ12 bukan sama dengan 0, data dari bentuk kelompok ellipsoidally meskipun faktanya bahwa variasi masing-masing koordinat sama.

Referensi:

Theodoridis S., Koutroumbas K. Pattern Recognition, 4th ed., Academic Press, 2009.
John et al, The Gaussian or Normal Probability Density Function, Penn State University, 2013
 

0 komentar:

Post a Comment

Terimakasih atas komentar atau sarannya...

 
Muryan Awaludin © 2012 | Designed by Bubble Shooter, in collaboration with Reseller Hosting | Developer by Muryan Awaludin