Pengecaman gerakan isyarat tangan boleh dicapai dengan kaedah berasaskan sarung tangan data atau kaedah berasaskan visi komputer. Kaedah berasaskan sarung tangan data menggunakan akselerometer dan giroskop bagi mengesan dan mengecam pergerakan tangan manusia manakala dalam penggunaan visi komputer, kamera digunakan untuk menangkap imej input dan pengecaman akan dilakukan melalui pemprosesan imej. Projek ini mencadangkan kaedah berasaskan sarung tangan data dengan menggunakan akselerometer dan giroskop. Perkakasan dalam projek ini terdiri daripada Raspberry Pi, Unit Pengukuran Inersia (IMU) untuk mengesan orientasi tapak tangan, dan empat akselerometer ADXL345 untuk mengesan ibu jari, jari telunjuk, jari hantu, dan jari kelingking. Kerja-kerja mengenai perisian adalah pada komunikasi Litar Antara Bersepadu (I2C) di antara Raspberry Pi dan penderia untuk mendapatkan data. Penderia ini dapat membekalkan maklumat orientasi dari tangan manusia supaya pengelasan gerakan isyarat tangan boleh dilakukan dengan menggunakan penapis pelengkap dan algoritma K-jiran terdekat (KNN). Penapis pelengkap diimplementasi untuk menghilangkan gangguan elektrikal dalam sistem tersebut manakala algoritma KNN digunakan untuk mengklasifikasikan kes baru berdasarkan ukuran persamaan, iaitu dengan ukuran jarak Euclidean selepas pangkalan data untuk menyimpan semua kes mungkin berlaku terjana. Dengan penggunaan k=1, ketepatan purata keputusan dapat tercapai dengan setinggi 98.815%. Input gerak isyarat pengguna akan diramalkan dan dipaparkan pada Antara Muka Grafik Pengguna (GUI) melalui implementasi Tkinter dengan penggunaan Python. Projek sarung tangan data ini dapat mengecam 10 gerakan isyarat tangan dengan ketepatan sebanyak 71%. Sarung tangan data ini dapat diperbaiki dengan menambahkan satu akselerometer pada jari cincin dan juga membekalkan lebih banyak data latihan dan data ujian untuk mengecam lebih banyak gerakan isyarat tangan.
_______________________________________________________________________________________________________
Recognition of hand gestures can be performed by either data glove-based method or computer vision-based method. The data glove method implements the use of sensors such as accelerometer and gyroscope to trace and recognise human hand gestures while using computer vision, cameras are used to capture input images and recognition will be done through image processing. This project proposes a data glove-based method using accelerometer and gyroscope. The hardware in this project is made up of the Raspberry Pi, an Inertial Measurement Unit (IMU) to detect orientation of the palm, and four ADXL345 accelerometers to trace the thumb, index finger, middle finger, and pinky. The software works are on the Inter-Integrated Circuit (I2C) communication between the Raspberry Pi and the sensors to obtain the data. These sensors are able to provide the orientation information of the human hand so that classification of hand gestures can be done by using complementary filter and K-nearest neighbour (KNN) algorithm. The complementary filter is implemented to remove noise presents in the system while the KNN algorithm is used to categorise new occurrences according to a homogeneity measure, i.e. Euclidean distance measure after the database to collect all available possible occurrences is being generated. Through using k=1, the results can be achieved with highest average accuracy of 98.815%. The user input gesture will be predicted and displayed to the Graphical User Interface (GUI) through the implementation of Tkinter using Python. This data glove project is able to recognise 10 gestures with an accuracy of 71%. This data glove could be improved in the future by adding an accelerometer on the ring finger and also providing more training data and test data to recognise more gestures.
Hand gesture recognition glove using accelerometer and gyroscope / Ng Mun Yee