Deep Learning: Artificial Neural Networks

APA ITU ACTIVATION FUNCTION?

Kali ini saya akan memperkenalkan beberapa activation function yang sering dipakai di NN. Di antaranya adalah sebagai berikut:


THRESHOLD FUNCTION

Fungsi batas (threshold)

Fungsi ini sangat mudah dipahami. Jika nilai akumulasi neuron di belakangnya, atau akumulasi input dan bobot dari masing-masing input adalah kurang dari nol, maka nilai theta (nilai aktivasi) nya adalah nol. Namun jika di atas atau sama dengan nol, maka nilai aktivasinya menjadi 1. Fungsi ini sangat cocok dipakai jika kita berhadapan dengan output binary (1 atau nol, ya atau tidak).


SIGMOID FUNCTION

Fungsi sigmoid

Fungsi sigmoid ini dipakai saat kita membahas tentang regresi logistik. Intinya untuk bisa mendapatkan nilai theta, pendekatannya menggunakan fungsi sigmoid, sehingga tidak sekaku fungsi threshold. Fungsi ini juga cocok jika dipakai untuk output (variabel dependen) yang bersifat binary, sehingga dengan fungsi sigmoid kita mendapatkan probabilitas dari nilai y nya.


RECTIFIER FUNCTION

Fungsi rectifier

Fungsi rectifier merupakan fungsi yang populer untuk dipakai di artificial neural networks. Nilai theta stabil sampai batas tertentu, dan akan terus naik setelah melewati batas tersebut. Nanti kita akan membahas lebih detail tentang cara memakai fungsi ini di sesi praktek.


HYPERBOLIC TANGENT

Fungsi hiperbolik tangen

Fungsi ini mirip dengan fungsi sigmoid, namun nilai thetanya berkisar antara -1 hingga 1. Dengan demikian, fungsi ini memungkinkan nilai aktivasinya bernilai minus.

Kita tidak akan membahas satu persatu dengan detail. Setidaknya pembaca mengerti bahwa ada banyak activation function, dan masing-masing bisa digunakan dengan kondisi yang berbeda-beda.


BAGAIMANA MENGGUNAKAN ACTIVATION FUNCTION?

Bisa saja untuk mendapatkan hasil yang baik kita tidak harus menggunakan satu jenis fungsi aktivasi (activation function) saja. Bisa saja untuk setiap layer (lapis), kita menggunakan fungsi yang berbeda. Ilustrasinya sebagai berikut.

Ilustrasi sebuah neural network

Melalui ilustrasi di atas kita bisa melihat ada 3 layer: input, hidden dan output. Di input layer kita memiliki input nilai sebanyak n buah. Di hidden layer kita memiliki 4 neuron, dan di output layer kita memiiki 1 neuron.

Dalam kasus di atas bisa saja di hidden layer kita menggunakan fungsi rectifier, sementara di output layer kita menggunakan fungsi sigmoid (misal outputnya adalah biner). Atau bisa saja di hidden layer dan output layer kita semuanya menggunakan fungsi rectifier. Sebagai aturan dasarnya, biasanya di hidden layer fungsi aktivasi yang digunakan adalah rectifier function.

Pembaca akan lebih mudah memahaminya ketika praktek menggunakan bahasa python ataupun R. Di bagian selanjutnya kita akan membahas tentang aplikasi nyata dari neural networks.

Untuk melanjutkan membaca silakan klik tombol halaman selanjutnya di bawah ini.

Bagikan artikel ini:

Pages: 1 2 3 4 5 6 7

Leave a Reply

avatar
  Subscribe  
Notify of