Deep Learning: Recurrent Neural Networks

Deep Learning: Recurrent Neural Networks

Jika sebelumnya kita sudah belajar tentang 2 tipe supervised learning untuk deep learning, maka kali ini kita akan belajar tipe ketiga, yaitu recurrent neural networks (RNN).

Teknik RNN merupakan teknik yang lebih advanced jika dibandingkan dengan 2 teknik sebelumnya, yaitu ANN dan CNN. Hal ini dikarenakan teknik RNN adalah teknik deep learning (DL) yang memiliki sebuah ingatan (memory).

Layaknya manusia, kita memiliki dua jenis ingatan, yaitu ingatan jangka pendek (short-term memory, disingkat STM) dan jangka panjang (long-term memory, disingkat LTM). Kita mampu mengingat perkataan teman kita saat sedang berdiskusi beberapa detik yang lalu misalnya, yang merupakan contoh dari STM. Kita juga mampu mengingat kenangan beberapa tahun bahkan puluhan tahun yang lalu, yang merupakan contoh nyata dari LTM.

Lalu bagaimana caranya agar mesin (program AI) mampu memiliki ingatan seperti manusia? Ternyata jawabannya ada pada desain (arsitektur) dari RNN, di mana ia memiliki looping (diagram balik) yang berada di hidden layer-nya.

Untuk bisa memahaminya, mari kita lihat perbandingkan arsitektur antara neural networks (NN) yang biasa digunakan pada ANN dan CNN dengan arsitektur RNN.

Secara umum, arsitektur ANN tampak sebagai berikut:

Gambar 1. Arsitektur umum ANN

Kali ini rancangan RNN tampak sebagai berikut:

Gambar 2. Arsitektur RNN yang memiliki loop di tengahnya

Terlihat bahwa di lingkaran berwarna biru (yang merepresentasikan hidden layer) terlihat ada garis looping yang kembali ke lingkaran itu sendiri. Pola looping ini memungkinkan RNN untuk menyimpan ingatan sementara (mengakses informasi yang melewati NN), yang tidak mampu dilakukan oleh ANN maupun CNN.

Perlu diperhatikan bahwa arsitektur RNN di atas mewakili banyak layers. Jadi walaupun dalam gambar bagian input layer hanya direpresentasikan oleh satu lingkaran saja, namun aslinya terdiri dari banyak nodes (lingkaran). Satu lingkaran untuk setiap layer-nya hanya untuk memudahkan ilustrasi saja.

Jika desain di atas kita jabarkan ke dalam banyak lapis (layer), maka representasi RNN mnjadi sebagai berikut:

Gambar 3. Ilustrasi RNN dengan banyak layers

Tentunya gambar 3 di atas mudah membuat kita bingung. Bayangkan bagaimana jika ada banyak layers, mustahil kita bisa menggambarkannya. Namun kita juga tidak bisa membuatnya terlalu sederhana seperti gambar 2. Untuk pembahasan selanjutnya kita gunakan ilustrasi RNN sebagai berikut.

Gambar 4. Ilustrasi lain RNN

Untuk melanjutkan membaca, silakan klik tombol ke halaman selanjutnya di bawah ini.

Bagikan artikel ini:

Pages: 1 2 3 4

Leave a Reply

avatar
  Subscribe  
Notify of