April 07, 2020
Bahan Presentasi Untuk Mata Kuliah JST
Semester Genap 2020
Dosen : Darwison, M.T
Oleh:
Meiry Asriya
1610953001
Jurusan Teknik Elektro
Fakultas Teknik
Universitas Andalas
Padang
2020
Referensi :
a) R.P. Sidabutar, dkk, Aplikasi Alat Bantu Komunikasi Jarak Jauh untuk Penyandang Tuna Rungu dan Penyandang Tuna Netra, e-Proceeding of Applied Science, Vol.1, No.2, hlm. 1089-1093, 2015.
b) R.S. Legowo, Klasifikasi Gerakan Tangan SIBI (Sistem Isyarat Bahasa Indonesia) Menggunakan Leap Motion dengan Metode Klasifikasi Naïve Bayes, Tugas Akhir, Institut Teknologi Sepuluh Nopember, Surabaya, 2017.
c) Shao, L., Hand Movement and Gesture Recognition Using Leap Motion Controller, Virtual Reality Course Report, pp.2-6, 2015.
d) Leap Motion Inc, API Overview, Tanpa Tahun (https://developer archive.leapmotion.com/documentation/java/devgiude/Leap_Overview.html. diakses 29 September 2018 22.27 WIB).
e) D. Puspitaningrum, Pengantar Jaringan Saraf Tiruan, Penerbit ANDI, Yogyakarta, 2006.
f) A. Sudarsono, Jaringan Saraf Tiruan untuk Memprediksi Laju Pertumbuhan Penduduk Menggunakan Metode Backpropagation, Studi Kasus di Kota Bengkulu, 2016.
g) Fauzya Rozani M, Pengenalan Bahasa Isyarat Berupa Abjad Jari Menggunakan Leap Motion dengan Metode Jaringan Saraf Tiruan (JST), Tugas Akhir, Universitas Andalas, Padang, 2019.
Tujuan dari aplikasi mata kuliah Jaringan Saraf Tiruan ini adalah membangun sistem yang dapat mengenali isyarat abjad jari tangan dari huruf A sampai Z menggunakan sensor Leap Motion dengan metode JST Backpropagation.
Judul Aplikasi [Kembali]
Pengenalan Bahasa Isyarat Berupa Abjad Jari Menggunakan Leap Motion dengan Metode Jaringan Saraf Tiruan (JST) Backpropagation
Alat yang digunakan [Kembali]
1. Leap Motion
Latar Belakang [Kembali]
Menurut Kamus Besar Bahasa Indonesia, bahasa isyarat merupakan bahasa yang tidak menggunakan bunyi ucapan manusia atau tulisan pada sistem perlambangannya. Bahasa isyarat menggunakan isyarat berupa gerak jari, tangan, kepala, badan dan sebagainya, dengan mengutamakan bahasa tubuh yang dikombinasikan dengan ekspresi wajah. SIBI merupakan salah satu bahasa isyarat yang digunakan di Indonesia yang dibuat dengan mengubah bahasa Indonesia lisan menjadi bahasa isyarat yang kosa kata isyaratnya banyak diambil dari bahasa isyarat Amerika. Tata bahasa yang digunakan dalam SIBI mengikuti bahasa Indonesia yang mengandalkan urutan kalimat dan satu isyarat untuk kata-kata berhomonim. Salah satu lingkup bahasa isyarat berdasarkan SIBI yaitu Abjad Jari. Abjad jari ialah isyarat yang dibentuk dengan jari-jari tangan kanan atau kiri untuk mengeja gerakan huruf dan angka. Bentuk isyarat bagi huruf dan angka dalam Sistem Isyarat Bahasa Indonesia serupa dengan International Manual Alphabet (dengan beberapa perubahan). Penyandang tuna rungu dan tuna wicara menggunakan komunikasi non verbal yaitu bahasa isyarat untuk dapat berkomunikasi antar sesama mereka dan dengan orang normal yang mengerti bahasa isyarat. Kendala yang mereka hadapi yaitu tidak semua orang mengerti bahasa isyarat, sehingga terdapat kesulitan dalam penyampaian informasi dari penyandang tuna rungu dan tuna wicara kepada orang normal yang tidak mengerti bahasa isyarat. Untuk mengatasi masalah tersebut maka diperlukan sebuah sistem yang dapat mengenali bahasa isyarat tersebut.
Gambar 1 Isyarat abjad jari SIBI
2.1 Leap Motion
Leap Motion merupakan sebuah kontroler yang digunakan untuk mendeteksi gestur tangan dan posisi jari. Pembacaan data pada Leap Motion dihitung berdasarkan sistem koordinat Leap Motion. Kontroler Leap Motion menggunakan sistem tangan koordinat kanan dengan satuan milimeter. Bentuk fisik dari Leap Motion dapat dilihat pada Gambar 2 berikut.
Gambar 2 Bentuk fisik Leap Motion
Gambar 3 Struktur internal Leap Motion
Perangkat Leap Motion menggunakan sistem koordinat kartesius tangan kanan, dengan menggunakan sumbu x, y, dan z seperti yang diilustrasikan pada Gambar 4. Sumbu x pada Leap Motion bernilai positif ke arah kanan, dan negatif ke arah kiri dari titik pusat, sumbu y bernilai positif vertikal ke atas dari Leap Motion, dan sumbu z bernilai positif menuju arah pengguna dan bernilai negatif menjauhi pengguna.
Gambar 4 Sistem koordinat Leap Motion
2.2 Jaringan Saraf Tiruan
Jaringan Saraf Tiruan (JST) merupakan suatu sistem yang dapat memproses informasi dengan memiliki karakteristik menyerupai jaringan saraf (neuron) yang bertindak sebagai suatu generalisasi model matematis dari pemahaman manusia (human cognition). Pada Jaringan Saraf Tiruan terdapat beberapa langkah dalam memproses informasi, diantaranya adanya masukan (input), kemudian input diproses oleh Jaringan Saraf Tiruan dengan menggunakan bobot dan fungsi aktivasi sehingga dihasilkan output dari proses tersebut seperti pada Gambar 5.
Gambar 5 Struktur neuron Jaringan Saraf Tiruan
Metode propagasi balik (Backpropagation) merupakan suatu algoritma yang banyak digunakan dalam menangani masalah pada pola-pola kompleks. Pada jaringan propagasi balik, setiap unit yang berada di lapisan input terhubung dengan setiap lapisan unit tersembunyi.
Pada Jaringan Saraf Tiruan propagasi balik terdiri dari lapisan input, lapisan tersembunyi, dan lapisan output.
Gambar 6 Lapisan neuron
Gambar 7 Alur kerja Backpropagation
Perancangan metode Jaringan Saraf Tiruan dalam sistem ini menggunakan algoritma Backpropagation dengan fungsi aktivasi sigmoid biner. Pada sistem ini akan digunakan 15 input dari direction masing-masing jari dalam koordinat x, y, dan z, serta menggunakan satu hidden layer (lapisan tersembunyi) dengan sepuluh neuron sehingga dihasilkan output yang diinginkan seperti yang digambarkan pada Gambar 8.
Gambar 8 Struktur Jaringan Saraf Tiruan untuk pelatihan data direction jari.
Pelatihan data isyarat jari dilakukan menggunakan software Matlab 2016 menggunakan toolbox nntool.
Gambar 9 Bentuk jaringan pelatihan.
Jaringan pada pelatihan data terdiri dari input sebanyak 15 neuron yang mewakili nilai direction dari kelima jari dalam sumbu x, y dan z, lalu satu hidden layer yang terdiri dari 10 neuron, dan akan menghasilkan lima output yang mewakili bilangan biner 5 bit. Bilangan biner tersebut merupakan perwakilan dari urutan huruf A sampai Z yaitu dari 1 sampai 26.
Gambar 10 Grafik performa pelatihan data.
Berdasarkan pada Gambar 10 dapat dilihat bahwa pelatihan jaringan berhenti pada iterasi ke-50 dan mencapai performa terbaik pada iterasi ke-44 dengan nilai error sebersar 0.032713. Dari hasil pelatihan data tersebut nantinya akan didapatkan nilai bobot dan bias yang akan digunakan untuk perhitungan pada program pengenalan isyarat huruf agar dapat mengenali isyarat yang dilakukan.
Nilai output didapatkan berdasarkan algoritma Backpropagation dengan fungsi sigmoid biner dengan rentang nilai dari -1 sampai 1. Persamaan yang digunakan untuk mendapatkan nilai output yaitu.
3. Langkah - langkah pembuatan JST menggunakan matlab [Kembali]
1. Buka Matlab 2016a yang sudah terinstal pada laptop.
2. Setelah terbuka tampilan jendela Matlab, pada Workspace di ujung kiri klik kanan pada area kosong, lalu pilih New untuk membuat file baru.
3. Setelah itu akan muncul file dengan nama ‘unnamed’ lalu ubah naanya sesuai keinginan, contoh beri nana ‘input’.
4. Klik ganda pada file ‘input’ tadi lalu akan terbuka tampilan Workspace seperti pada gambar berikut.
5. Copy data latih yang akan digunakan ke Workspace file ‘input’ pada Matlab.
6. Setelah selesai di copy, lalu transpose kan data dengan cara pilih semua data (Ctrl+A) lalu klik tab Variable dan pilih Transpose.
7. Lalu buat file baru untuk data target dengan cara yang sama seperti pada langkah 2, 3, 4, 5 dan 6.
8. Selanjutnya buka toolbox JST untuk memulai pelatihan data dengan mengetik ‘nntool’ pada Command Window lalu akan muncul tampilan sebagai berikut.
9. Klik Import untuk meng-import data yang sebelumnya telah di copy ke Matlab lalu akan muncul tampilan sebagai berikut.
10. Untuk meng-import data latih, pada pilihan Select a Variable klik pilih ‘input’ dan pada Destination untuk Import As pilih Input Data.
11. Lalu untuk meng-import data target pilih ‘target’ pada Select a Variable lalu pada Destination Import As Target Data.
12. Klik Import.
13. Setelah import data selesai, buat jaringan dengan mengklik New pada toolbox nntool, lalu akan muncul tampilan sebagai berkut.
14. Buat nama jaringan sesuai keinginan, contohnya jaringan1 (tanpa spasi).
15. Pada pilihan Network Type pilih Feed-forward Network karena algoritma yang akan dipakai adalah Backpropagation.
16. Pada Input Data, pilih file ‘input’.
17. Pada Target Data, pilih file ‘target’.
18. Untuk Training Function hingga Performance Function tidak ada perubahan, tetap seperti default.
19. Pada Number of Layers, ada dua layer yang digunakan, yaitu satu Hidden Layer dan satu Output Layer, masukkan angka 2.
20. Untuk Number of Neurons merupakan banyak neuron yang akan digunakan pada Hidden Layer, contohnya masukkan angka 10 ketika akan menggunakan 10 neuron pada Hidden Layer.
21. Untuk Transfer Function, pilih LOGSIG pada Properties for Layer 1 dan PURELIN untuk Layer 2.
22. Setelah selesai menentuka Transfer Function yang digunakan, klik Create untuk membuat jaringan, lalu klik Close.
23. Setelah kembali ke tampilan toolbox nntool, klik tombol Open yang terletak dibawah atau klik ganda pada jaringan yang telah dibuat, sehingga muncul tampilan berikut.
24. Pilih tab Train.
25. Pada Training Data pilih data ‘input’ dan ‘target’ yang telah dimasukkan sebelumnya.
26. Lalu klik Train Network pada sudut kanan bawah untuk memulai pelatihan.
27. Setelah pelatihan jaringan selesai akan muncul tampilan seperti berikut.
28. Untuk menampilkan performa pelatihan, klik Performance, lalu akan muncul grafik performa pelatihan sebagai berikut.
29. Berdasarkan grafik performa pelatihan, pelatihan berhenti pada epoch ke-27 dan mencapai performa terbaik pada epoch ke-21 serta menghasilkan nilai error sebesar 0.052407.
30. Apabila jumlah epoch dan besar nilai error belum memenuhi kriteria, maka ulangi dari langkah 14 hingga didapatkan hasil yang diinginkan.
31. Apabila hasil pelatihan telah memenuhi kriteria makan ekspor jaringan ke Workspace dengan cara klik tombol Export pada tampilan toolbox nntool, hal ini dilakukan agar dapat melakukan pengujian data nantinya.
32. Lalu akan muncul tampilan seperti gambar dibawah. Pilih nama jaringan yang akan diekspor, Klik Export.
Download File disini
Download Program disini
Video Simulasi disini
Download HTML disini