Sistem pengenalan isyarat tangan secara penglihatan adalah satu sistem yang menjalankan operasi pemprosesan gambar pada gambar yang ditangkap untuk mengenali dan mengelaskan isyarat tangan. Sistem perlu melaksanakan operasi pemprosesan gambar cukup cepat untuk mencapai aplikasi masa nyata. Walaupun pemprosesan gambar dapat diaplikasikan di komputer peribadi yang berfungsi sebagai pemproses bersiri, komputer peribadi tidak dapat menemui keperluan kelajuan tinggi pemprosesan gambar. Oleh itu, kajian ini mencadangkan dan melaksanakan sistem pengenalan isyarat tangan berasaskan penglihatan menggunakan Field Programmable Gate Array (FPGA). Terasis Video and Embedded Evaluation Kit – Multi-touch (VEEK-MT) adalah pelantar projek bagi sistem ini. Pertama, algoritma warna pengsegmenan digunakan untuk mengesan isyarat tangan dan memisahkan ia daripada latar belakang. Kemudian, kotak sempadan dilukis di sekitar isyarat tangan yang dikesan dan sentroid juga dikira. Jarak di antara sentroid dan empat sisi kotak bounding dikira dan dibanding antara sama satu lain untuk menentukan arah yang ditunjuk oleh pengguna. Isyarat kawalan diperuntuk kepada setiap isyarat tangan dan ia digunakan untuk mengawal aplikasi pelayaran gambar. Sistem ini mampu mengasingkan isyarat tangan dari latar belakang, melukis kotak sempadan dan mengira sentroid bagi setiap isyarat tangan. Sistem ini juga dapat mengelaskan isyarat tangan dengan betul dan memadankan kawalan isyarat untuk setiap isyarat tangan. Satu eksperimen yang dijalankan menunjukkan sistem ini dapat mengelaskan isyarat tangan pada jarak maksimum tiga meter. Sistem ini juga dapat mengawal aplikasi pelayaran gambar dengan ketepatan 100% pada jarak satu meter dan dua meter dan dengan ketepatan 97.5% pada jarak tiga meter. Dalam penyelidikan ini, sistem pengenalan isyarat tangan secara penglihatan berjaya dilaksanakan di FPGA untuk berfungsi sebagai sistem terbenam. Masa pengiraannya adalah cukup rendah untuk mencapai aplikasi masa nyata dengan kadar pengiktirafan tinggi.
___________________________________________________________________________________
Vision-based hand gesture recognition system is a system that performs image processing operation on the image being captured to recognize and classify the hand gesture. The system need to perform fast enough to achieve real-time application. Although image processing can be applied on a Personal Computer (PC) which acts as serial processor, the PC is unable to meet the high speed requirement of image processing. Thus, this research proposes and implements a vision-based hand gesture recognition system using FPGA. Terasic VEEK-MT is the project platform of the system. First, colour segmentation algorithm is applied to the input hand image to detect hand gesture and separate it from background. Then, a bounding box is drawn around the detected hand gesture and centroid is also calculated. The distance between centroid and four sides of bounding box is calculated and compare to determine direction point by user. Control signal is assigned to each hand gesture and used to control image browsing application. The result shows that the system is able to segment the hand gesture from background, draw bounding box and calculate centroid of each hand gesture. The system is also able to classify the hand gesture correctly and assign control signal to each hand gesture. One of the experiment conducted shows that the system is able to detect and recognize the hand gesture at a distance of maximum three metre. The system is also able to control image browsing application with 100% accuracy at distance of one metre and two metre, and at three metre the accuracy is 97.5%. In this research, vision-based hand gesture recognition system is successfully implemented in FPGA to function as an embedded system. Its computation time is short enough to achieve real-time application with high recognition rate.
Vision-based hand gesture recognition system using fpga_Gan Poh Ling_E3_2013_NI