Gerak isyarat tangan digunakan sebagai salah satu cara komunikasi tanpa menggunakan pertuturan, yang melibatkan pergerakan dan kedudukan tangan. Biasanya, pesakit-pesakit kurang upaya mempunyai kesukaran untuk berkomunikasi dengan orang lain. Oleh itu, sistem pengiktirafan gerak isyarat tangan boleh direka dengan menggunakan teknik berasaskan sarung tangan dan teknik berasaskan visi. Kelemahan teknik berasaskan visi ialah kerumitan algoritma yang dilaksanakan. Ketepatan gerak isyarat tangan juga menurun dalam teknik berasaskan visi. Selain itu, ketepatan gerak isyarat tangan dengan menggunakan algoritma ringkas ambang adalah serendah 94%. Oleh itu, dalam projek ini, teknik berasaskan sarung tangan dan algoritma pengelas K-NN digunakan untuk meningkatkan ketepatan gerak isyarat tangan. Ciri-ciri penderia lentur telah diselidiki. Hubungan antara voltan keluaran daripada penderia lentur dengan sudut lenturan adalah tidak linear. Sarung tangan pengiktirafan gerak isyarat tangan ini telah direka dengan menggunakan enam penderia lentur pada jari-jari dan pergelangan tangan pada sarung tangan, dan Raspberry Pi bertindak sebagai unit pemprosesan dan kawalan yang utama. Data analog daripada penderia lentur telah dihantar ke MCP3008 dan ditukar kepada data digital, dan kemudian diproses dalam Raspberry Pi. Data telah diperolehi and disimpan dalam jadual carian di pangkalan data, dan dikelaskan dengan menggunakan algoritma pengelas K-NN. Ketepatan gerak isyarat tangan dengan menggunakan algoritma pengelas K-NN teleh diselidiki. Dengan menggunakan algoritma pengelas K-NN pada sarung tangan pengiktirafan gerak isyarat tangan, gerak isyarat tangan bagi bilangan jari lurus dan 26 huruf abjad telah diiktirafkan dan dipaparkan dalam GUI yang dicipta dalam Raspberry Pi dengan ketepatan sebanyak 98.54%. Ketepatan gerak isyarat tangan dengan menggunakan algoritma pengelas K-NN dalam projek ini adalah lebih tinggi daripada yang menggunakan algoritma ringkas ambang.
_______________________________________________________________________________________________________
Hand gesture is used as one of the ways of communication without using speech, which involves the movements and positions of the hands. Typically, disability patients have difficulties to communicate with others. Hence, a hand gesture recognition system can be designed using a hand glove-based technique and a vision-based technique. The weakness of the vision-based technique is the complexity of its algorithm implemented. The hand gesture accuracy is also decreased in vision-based technique. Besides that, the hand gesture accuracy of using simple threshold algorithm is as low as 94%. Hence, in this project, hand glove-based technique and K-NN classifier algorithm are used in order to increase the hand gesture accuracy. The characteristics of the flex sensors were investigated. The relationship of the output voltage of the flex sensor towards its angle bending is not linear. This hand gesture recognition glove was designed by implementing six flex sensors on the fingers and wrist on the glove, and Raspberry Pi acted as main processing and control unit. The analogue data of flex sensors have been transmitted into MCP3008 and converted into digital data, and then processed in Raspberry Pi. The data have been acquired and stored in the LUT in the database, and classified using K-NN classifier algorithm. The hand gesture accuracy using K-NN classifier algorithm was investigated. By implementing the K-NN classifier algorithm on hand gesture recognition glove, the hand gestures of the number of straight fingers and 26 alphabet letters have been recognized and displayed on the GUI created in Raspberry Pi with the accuracy of 98.54%. The hand gesture accuracy using K-NN classifier algorithm in this project is higher than that using simple threshold algorithm.
Hand gesture recognition glove using flex sensors / Tang Bao Yan