Jika sebelumnya kita sudah belajar tentang 2 tipe supervised learning untuk deep learning, maka kali ini kita akan belajar tipe ketiga, yaitu recurrent neural networks (RNN).
Teknik RNN merupakan teknik yang lebih advanced jika dibandingkan dengan 2 teknik sebelumnya, yaitu ANN dan CNN. Hal ini dikarenakan teknik RNN adalah teknik deep learning (DL) yang memiliki sebuah ingatan (memory).
Layaknya manusia, kita memiliki dua jenis ingatan, yaitu ingatan jangka pendek (short-term memory, disingkat STM) dan jangka panjang (long-term memory, disingkat LTM). Kita mampu mengingat perkataan teman kita saat sedang berdiskusi beberapa detik yang lalu misalnya, yang merupakan contoh dari STM. Kita juga mampu mengingat kenangan beberapa tahun bahkan puluhan tahun yang lalu, yang merupakan contoh nyata dari LTM.
Lalu bagaimana caranya agar mesin (program AI) mampu memiliki ingatan seperti manusia? Ternyata jawabannya ada pada desain (arsitektur) dari RNN, di mana ia memiliki looping (diagram balik) yang berada di hidden layer-nya.
Untuk bisa memahaminya, mari kita lihat perbandingkan arsitektur antara neural networks (NN) yang biasa digunakan pada ANN dan CNN dengan arsitektur RNN.
Secara umum, arsitektur ANN tampak sebagai berikut:
Kali ini rancangan RNN tampak sebagai berikut:
Terlihat bahwa di lingkaran berwarna biru (yang merepresentasikan hidden layer) terlihat ada garis looping yang kembali ke lingkaran itu sendiri. Pola looping ini memungkinkan RNN untuk menyimpan ingatan sementara (mengakses informasi yang melewati NN), yang tidak mampu dilakukan oleh ANN maupun CNN.
Perlu diperhatikan bahwa arsitektur RNN di atas mewakili banyak layers. Jadi walaupun dalam gambar bagian input layer hanya direpresentasikan oleh satu lingkaran saja, namun aslinya terdiri dari banyak nodes (lingkaran). Satu lingkaran untuk setiap layer-nya hanya untuk memudahkan ilustrasi saja.
Jika desain di atas kita jabarkan ke dalam banyak lapis (layer), maka representasi RNN mnjadi sebagai berikut:
Tentunya gambar 3 di atas mudah membuat kita bingung. Bayangkan bagaimana jika ada banyak layers, mustahil kita bisa menggambarkannya. Namun kita juga tidak bisa membuatnya terlalu sederhana seperti gambar 2. Untuk pembahasan selanjutnya kita gunakan ilustrasi RNN sebagai berikut.
Untuk melanjutkan membaca, silakan klik tombol ke halaman selanjutnya di bawah ini.
Artikel lainnya:
