Objektif projek ini adalah untuk membangunkan satu sistem penjejakan tangan berasaskan penglihatan komputer, yang boleh digunakan seperti satu peranti input untuk berkomunikasi dengan komputer. Di dalam sistem ini, satu-satunya peranti luar yang diperlukan ialah webcam. Terdapat dua webcam digunakan sepanjang projek ini, setiap satu untuk satu tangan. Dalam laporan ini, satu algoritma penjejakan tangan telah disampaikan dengan menggunakan Simulink® bagi mengesan dan mengenali bentuk gerakan tangan untuk berinteraksi dengan sebuah komputer. Algoritma ini berasaskan lima langkah, iaitu perolehan imej, pengesanan tangan, segmentasi tangan, ciri ekstraksi, dan pengenalan bentuk gerakan. Dalam pengesanan tangan, model warna kulit yang tepat telah dibina, dan diguna untuk segmentasi tangan bagi mensegmenkan tangan daripada latar belakang. Ciri ekstraksi diusahakan untuk mengambil maklumat yang berguna daripada imej-imej. Dalam pengenalan bentuk tangan, maklumat yang diekstrak digunakan untuk mengiktiraf bentuk pergerakan tangan. Selain itu, satu antara muka grafik (GUI) dicipta untuk membentangkan keputusan. Keputusan-keputusan menunjukkan sistem ini boleh mengesan tangan dengan jayanya dan algoritma ini boleh diintegrasi dalam aplikasi-aplikasi berguna seperti penggantian tetikus dan pengawalan gerakan. Daripada projek ini, ia membuktikan penjejakan tangan berasaskan penglihatan komputer boleh dicapai dan ia menyediakan satu cara yang mudah untuk antara muka komputer dengan manusia.
_________________________________________________________________________________
The objective of this project is to develop a vision-based hand tracking system, which can be used as an input device for communicating with the computer. In this system, the only external device required is a webcam. There are two webcams being used throughout the project, each for one hand. In this report, a hand tracking algorithm has been presented using Simulink® to track and recognize hand gestures for interacting with a computer. This algorithm is based on five steps; which are image acquisition, hand detection, hand segmentation, feature extraction, and gesture recognition. In hand detection, accurate skin colour model is being built, and is used for hand segmentation to segment the hand from the background. Feature extraction is performed to extract useful information from images. In gesture recognition, extracted information is used for recognizing the hand movement. Besides, a graphical user interface (GUI) is created for presenting the results. The results show that the system can successfully track the hand, and integration of the algorithm into useful applications such as motion controlling. From the project, it can also be seen that vision-based hand tracking system can be realized, and it provides a convenient way for human-computer interface.
image acquisition, hand detection, hand segmentation, feature extraction, and gesture recognition; human-computer interface.; vision-based hand tracking system
Hand tracking system as virtual input device_New Mung Yin_E3_2009_875004469_00003095291_NI