Pengecaman Unit Tindakan muka sering digunakan sebagai kerja-kerja asas untuk mengkaji ekspresi wajah atau aplikasi pergerakan manusia seperti pemantauan video dan pengenalan muka. Unit Tindakan (AUs) bekerja sebagai unit asas dalam Sistem Kod Tindakan Muka (FACS) untuk taksonomi pergerakan muka, yang mengaitkan setiap AU dengan pengaktifan satu atau lebih otot muka khusus. Pembinaan sistem pengecaman Unit Tindakan yang stabil tetap menjadi cabaran bagi penyelidik disebabkan aksi, pencahayaan dan gabungan rumit ekspresi wajah. Sehubungan dengan itu, kerja penyelidikan ini mencadangkan satu pendekatan kebarangkalian yang model hubungan statik dan tempoh antara AUs dari urutan imej menggunakan Dynamic Bayesian Network (DBN). DBN yang menggabungkan imej ukuran kepada model DBN direka
untuk menjadi satu struktur umum untuk hubungan AU. Support Vector Machine (SVM) digunakan untuk mendapatkan ukuran AU dari pangkalan data dengan mengklasifikasikan setiap AU daripada ciri imej. Ukuran AU tersebut kemudian digunakan sebagai bukti kepada DBN untuk membuat kesimpulan kewujudan pelbagai AU. Kemuncak penyelidikan ini adalah bahawa parameter AU dalam model DBN dipelajari daripada kaedah data tidak lengkap, dengan nod AU embolehubah tersembunyi dan disimpulkan daripada ukuran imej secara langsung dan dimodelkan dengan cara kebarangkalian yang dinamik. Kerja penyelidikan ini mencadangkan bahawa setiap AU mempunyai keputusan ambang berbeza kerana sambungan yang berbeza daripada AU dalam model dengan mencari ambang yang terbaik bagi setiap AU. Keputusan eksperimen menunjukkan bahawa dengan membuat kesimpulan AU dari ukuran imej sebagai model terdahulu, model yang dicadangkan mencapai keputusan yang setanding dengan model yang dipelajari sepenuhnya daripada pangkalan data tertentu. Sistem ini mencapai kadar pengiktirafan purata sebanyak 94.78% dengan kadar positif benar sebanyak 70.54% dan kadar penggera palsu 2.31% menggunakan pangkalan data Cohn-Kanade (CK). Pendekatan kebarangkalian yang dicadangkan itu juga telah digunakan untuk cabaran Pengiktirafan Ekspresi Wajah dan Analisis (FERA) yang dianjurkan
oleh Pemprosesan Isyarat Rangkaian Sosial (SSPNET) pada tahun 2011. Cabaran ini bertujuan untuk membolehkan perbandingan yang adil di antara sistem dengan mempunyai keperluan untuk prosedur penilaian yang seragam. Cabaran ini digunakan sebagai penanda aras sistem ekspresi wajah di seluruh dunia. Pendekatan kebarangkalian yang dicadangkan itu telah direka bentuk semula dengan mengikut arahan yang diberikan oleh cabaran dan model baru dibina dan dilatih untuk cabaran FERA. Sistem yang dicadangkan mencapai prestasi lebih baik daripada kaedah asas dalam cabaran dan ia telah menunjukkan hasil yang setanding dengan keadaan-keadaan lain dan peserta dalam cabaran tersebut. Metrik prestasi yang digunakan di FERA ialah ukuran F1 dan keputusan keseluruhan mencapai ukuran F1 pada 0.494 mengatasi kerja-kerja lain
termasuk satu-satunya pasukan yang menggunakan pendekatan kebarangkalian dalam kerja mereka. Oleh itu, sistem yang dicadangkan telah memenuhi objektif kajian dengan pembelajaran parameter dari kaedah data tidak lengkap, umum kepada pangkalan data yang berbeza serta keadaan yang berbeza untuk bersaing dengan kerja-kerja lain di dunia.
_______________________________________________________________________________________________________
Facial Action Unit recognition is often used as elementary works for facial expressions analysis or human motions applications such as video surveillance and face identification. Action Units (AUs) are employed as basic unit in Facial Action Coding System (FACS) to taxonomize facial movements; by associating each AUs with the activation of one or more specific facial muscles. A stable Action Unit recognition system still remains a challenge for researchers due to pose, illuminations and complicated combination of facial expression. With this regards, this research work proposes a probabilistic approach which models spatial and temporal relationships of AUs from image sequence using Dynamic Bayesian Network (DBN). The state-ofthe-art DBN, which incorporates AU measurements from images to a DBN model is designed to be a generic structure for AU relationships. Support Vector Machine (SVM) is used to obtain AU measurements from database by classifying each AUs from image features. Such AU measurements are then applied as evidence to the DBN for inferring existence of various AUs. The highlight of this work is that AU parameters in DBN model are learned from incomplete data method, where the AU nodes are hidden variables and directly inferred from image measurements and modeled in dynamic
and probabilistic way. This research work proposed that each AUs has different decision threshold due to different connections of AUs in the model by searching the best threshold for each AUs. Experimental results show that by inferring AU from image measurements, the proposed model achieves comparable results to the model that learned completely from specific database. This system achieves average recognition rate at 94.78% with a true positive rate of 70.54% and false alarm rate of 2.31% using Cohn-Kanade (CK) database. The proposed probabilistic approach has also been applied to the Facial Expression Recognition and Analysis (FERA) challenge which was hosted by the Social Signal Processing Network (SSPNET) in 2011. The challenge aims to allow a fair comparison between systems, by having a need for standardized
evaluation procedures. This challenge is used as the benchmark of facial expression system around the world. The proposed probabilistic approach has been redesigned to follow the instructions given by the challenge and a new model is built and trained forFERA challenge. The proposed probalisitic approach is proven to be applicable and generalized to different conditions. The proposed system is compared against the baseline system for the challenge provided by the FERA organizers. The proposed system achieved better performance than the baseline system and achieved comparable results
with other state-of-the-art and participants in the challenge. The performance metric used in FERA is F1-measure and the overall result achieves 0.494 for F1-measure, outperforming other works including the one and only team which use probabilistic approach in their work. Hence, the proposed system has met the objectives of research by learning parameters from incomplete data method, generalized to different database as well as different conditions to compete with other works in the world.
Recognition of facial action unit based on spatial-temporal bayesian probabilistic technique / Loh Yee Koon