Sistem pengesanan isyarat tangan berasaskan visual adalah satu sistem yang mampu membezakan dan mengelaskan isyarat tangan dengan memproses imej yang dimasukkan ke dalam sistem. Kajian sebelum ini biasanya menggunakan PC dan FPGA sebagai unit pemprosesan utama. Walau bagaimanapun kedua-dua sistem tersebut bersaiz besar dan rumit. Oleh itu projek ini mencadangkan cara pengesanan isyarat tangan yang murah dengan menggunakan Raspberry Pi. Raspberry Pi merupakan sebuah komputer kecil yang boleh melakukan tugas-tugas seperti pemprosesan imej. Projek ini juga bertujuan untuk membangunkan satu sistem yang boleh membantu orang-orang kurang upaya untuk melakukan tugas harian. Untuk melakukan ini Raspberry Pi dipasangkan dengan Arduino Uno untuk mengawal Lengan Robotik Mentor. Lengan robot akan bergerak mengikut isyarat yang diberikan oleh pengguna. Bagi sistem ini, sejumlah 8 isyarat boleh diklasifikasikan. Terdapat dua pilihan mod dimana Mod 1 mampu mengesan isyarat untuk ' Atas', ' Bawah ', 'Kiri' dan ' Kanan' . Mod 2 pula mampu mengesan isyarat untuk '1 ' , '2' , '3 ' dan '4' . Sebagai permulaan imej akan diperolehi secara langsung dan disegmentasi dalam ruang warna HSV. Algoritma akan mengekstrak kawasan yang dimiliki oleh warna kulit. Kemudian imej akan ditapis dan diproses dengan sewajarnya untuk mendapatkan parameter berguna dalam menentukan isyarat tangan. Apabila isyarat tangan dikesan, ia akan diklasifikasikan sewajarnya dan isyarat akan dihantar secara bersiri untuk Arduino Uno mengawal Lengan Mentor Robotik. Sistem ini telah berjaya melaksanakan fungsinya dengan 89.6 % ketepatan secara keseluruhan dan 92.9 % sensitiviti secara keseluruhan. Melalui keputusan beberapa ujian yang dijalankan di bawah skop projek, ia menunjukkan bahawa sistem ini adalah teguh terhadap kombinasi pencahayaan, latar belakang dan jarak yang berlainan.
_______________________________________________________________________________________________________
Vision-based hand gesture recognition system is a system that is capable to differentiate and classify hand gestures by processing the image fed into the system. Previous study usually utilizes PC and FPGA as the main processing unit. However these two systems are bulky in size and complex. Therefore this project proposes a simple approach of hand gesture recognition using Raspberry Pi. Raspberry Pi is a miniature computer that can perform tasks like image processing. The project also aimed to develop a system that can aid the disabled people in order to perform daily tasks. To do this Raspberry Pi is paired with Arduino Uno to control a Mentor Robotic Arm. This robotic arm will move in accordance to the gesture given by the user. For this system, a total of 8 gestures can be classified. There are two selection of modes whereby Mode 1 is able to detect gestures for ‘Up’, ‘Down’, ‘Left’ and ‘Right’. Mode 2 on the other hand is able to detect gestures for ‘1’, ‘2’,’3’ and ‘4’. Firstly the image will be acquired in real time and segmented in HSV colour space. The algorithm will extract region that belongs to skin colour. Then the image will be filtered and processed accordingly to obtain the useful parameters in determining the hand gestures. From the detected hand gestures, it will be classified accordingly and signal will be transmitted serially to Arduino Uno to control the Mentor Robotic Arm. The system has successfully performed its function with the overall precision of 89.6% and overall sensitivity of 92.9%. Under several tests set under the project scope the system shows that it is robust towards different combinations of lighting, background and distance.
Vision-based hand gesture recognition system using raspberry pi / Nurul Izzati Mohd. Saleh