Turunan dari fungsi Sigmoid

Bentuk dari fungsi sigmoid adalah sebagai berikut:

Fungsi sigmoid

Saat kita melakukan proses deep learning (neural networks), maka untuk bisa mengupdate bobot dari setiap neuron (perceptron), kita harus melakukan proses yang disebut dengan backpropagation. Untuk bisa melakukannya maka kita harus menghitung turunan dari sebuah activation function.

Kali ini saya akan bahas cara menurunkan sigmoid activation function.

Bentuk turunan (derivative) dari fungsi sigmoid di atas adalah sebagai berikut:

Untuk bisa menghitung dan menjabarkan fungsi di atas, kita butuh quotient rule seperti di bawah ini:

Quotient rule sebuah turunan f(x) = g(x)/h(x)

Dengan quotient rule di atas, sekarang kita bisa tuliskan lagi fungsi turunannya menjadi:

Bentuk turunan sigmoid dengan menggunakan *quotient rule*

Jika dihitung, maka hasilnya sekarang menjadi seperti ini:

Bentuk turunan sigmoid setelah perhitungan *quotient rule*

Pada tahap ini sebenarnya kita sudah selesai menurunkan fungsi sigmoid, tapi sekarang fungsi ini belum bisa digunakan untuk backpropagation. Ada tahapan unik yang harus kita lakukan, yaitu dengan menambahkan perhitungan matematis di fungsinya, namun jangan sampai merubah fungsinya, menjadi seperti ini:

turunan sigmoid setelah adanya penambahan (1-1) tanpa merubah fungsi

Dengan adanya penambahan (1-1), fungsinya sebenarnya tidak berubah, karena nilai (1-1) adalah nol, yang jika ditambahkan dengan angka pembilang (e pangkat -x) tidak merubah pembilangnya.

Sekarang kita bisa membagi fungsi di atas menjadi 2, seperti berikut:

Menjabarkan lagi fungsi turunannya menjadi 2 bagian, tanpa merubah bentuk fungsi aslinya

Sekarang sudah kita bagi (split) fungsinya menjadi 2 bagian. Perlu diperhatikan bahwa fungsi ini sama seperti fungsi sebelumnya.

Sekarang, pada bagian kiri, pembilang dan penyebutnya sama. Yang berbeda pembilangnya berpangkat 1, sementara penyebutnya berpangkat 2. Kita bisa sederhanakan lagi menjadi seperti ini:

Bentuk turunan sigmoid yang lebih sederhana

Sekarang bentuknya lebih sederhana. Belum selesai, kita bisa sederhanakan lagi menjadi seperti berikut:

Bentuk fungsi turunan sigmoid yang semakin sederhana

Perhatikan! Sekarang dua bagian kiri dan kanan sebenarnya adalah bentuk dari fungsi sigmoid itu sendiri. Dengan demikian bisa kita sederhanakan lagi, menjadi fungsi akhir seperti ini:

Sekarang kita sudah memiliki bentuk akhir dari turunan fungsi sigmoid. Fungsi ini sangat magic, karena bentuknya yang sangat ringkas dan sangat berguna dalam melakukan proses backpropagation.

Nilai S(x) sudah kita dapatkan saat melakukan forward propagation, di mana nilai S(x) adalah nilai output dari layer di depannya. Dengan demikian, proses perhitungan (komputasi) backpropagation bisa dilakukan dengan sangat cepat.