Dengan pengembangan teknologi komputer yang pesat, Interaksi Manusia-Komputer (HCI) perlu menjadi lebih berkesan. Gerakan isyarat tangan lebih semula jadi berbanding dengan gerakan yang berkaitan dengan peranti tradisional seperti papan kekunci, tetikus, dan lain-lain. Tesis ini mencadangkan sistem pengecaman gerakan isyarat tangan berdasarkan sarung tangan dengan menggunakan penderia lentur dan IMU yang boleh mengenali gerak isyarat tangan statik dan dinamik untuk membantu manusia berinteraksi dengan komputer secara lebih semula jadi. Sistem ini mengenali gerakan isyarat tangan berdasarkan maklumat yang diperolehi oleh penderia lentur dan IMU. Sudut lenturan jari diukur dengan menggunakan penderia lentur manakala kecondongan tangan dikesan dengan menggunakan penderia IMU. Kemudian, data yang diperoleh diproses di dalam modul Raspberry Pi. Algoritma penapis Complementary digunakan untuk menggabung data dari akselerometer dan giroskop yang terdapat di dalam IMU untuk mendapatkan pengukuran yang tepat. Sistem ini adalah berdasarkan k-jiran terdekat (k-NN) algoritma pengelasan, dinamik masa meleding (DTW) dan Euclidean algoritma metrik jauh. Sistem yang dicadangkan telah diuji dengan mengenali 38 statik dan 12 dinamik gerakan isyarat tangan. Maksud gerakan isyarat tangan dipaparkan pada GUI yang dicipta dalam Raspberry Pi dengan menggunakan pemprograman Tkinter Python. Ketepatan 98.97% dicapai bagi sistem ini dalam pengecaman 50 gerakan isyarat tangan sekiranya tiada gangguan daripada pengguna.
_______________________________________________________________________________________________________
With the great expansion of computer technology, Human-Computer Interaction (HCI) is required to be more effective. Hand gestures are more natural compared with actions associated with the traditional devices such as the keyboard, mouse, etc. This thesis proposes a wearable data gloved-based hand gesture recognition system that is able to recognize static hand and dynamic gestures to allow human interacts with the computer in more natural manner. This system recognizes the hand gestures based on the information captured by the flex sensors and an IMU sensor. The fingers’ bending angles are measured by using the flex sensors while the pitch and roll of the hand are detected by using the IMU sensors. The acquired data is then processed in Raspberry Pi board. The Complementary filter is used to fuse the data from the accelerometer data and gyroscope packed in IMU sensor to obtain an accurate measurement. This system is based on k-Nearest Neighbors (k-NN) classifier algorithm, Dynamic Time Warping (DTW) and Euclidean distance metric algorithms. The proposed system was tested in recognizing 38 static and 12 dynamic hand gestures. The meaning of the hand gesture is displayed on GUI created in Raspberry Pi by using Python’s Tkinter programming. An accuracy of 98.97 % is achieved by this system in recognizing 12 dynamic and 38 static hand gestures without the user’s noise.
Data-glove-based hand gesture recognition system using flex sensors and an imu sensor / Ong Jing Hao