Arba’in – The Fourth

Sci,Tech and Ent

ANN – Day #3 – Activation Function

Activation Function (AF) akan menentukan output dari setiap neuron. Ada tiga tipe dasar AF, yaitu :

  1. Treshold Function (TF), biasa juga disebut Heaviside function. Keluaran TF akan bernilai 1 bila v >= 0 dan bernilai 0 bila v < 0. v adalah induced local field atau activation potential (istilah gampangnya : keluaran dari adder sebelum masuk ke AF). Kalo diliat lagi, TF ini mirip gerbang logika ya ?
  2. Piecewise-Linear Function (PLF). Kalo TF punya dua kemungkinan keluaran, maka PLF punya tiga. Keluaran PLF akan bernilai 1 bila v >= +1/2, bernilai v bila +1/2 > v > -1/2, dan bernilai 0 bila v <= -1/2.
  3. Sigmoid Function (SF), merupakan AF yang paling umum digunakan untuk mendesain ANN. Kalo aku ngeliat grafiknya seperti PLF yang diperhalus. Nilai keluarannya berada dalam interval, tidak seperti TF yang cuma punya dua kemungkinan, 0 atau 1. SF juga bisa diturunkan (differentiable), sedangkan TF tidak –> sifat differentiable salah satu fitur penting dalan teori jaringan syaraf.

Nilai AF dari ketiga fungsi di atas didefinisikan dalam interval 0 sampai +1. Terkadang, intervalnya bisa dibuat menjadi antara -1 sampai +1, yaitu pada kasus di mana AF mengasumsikan suatu bentuk asimetrik yang sesuai dengan masukannya –> fungsi ganjil (?).

Hmm .. sebagian pertanyaanku terjawab, walaupun nggak sepenuhnya ngerti. Misal, kenapa justru AF yang keluarannya banyak lebih bagus dibandingkan yang cuma punya dua keluaran ? Apakah karena probabilitas outputnya yang bertambah ? Terus kenapa katanya AF yang bisa menghasilkan keluaran negatif memiliki keuntungan dalam hal analisis ??

Question … question … question …. emoticon   

April 28, 2010 - Posted by | Activity

No comments yet.

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

%d bloggers like this: