Mengesan pergerakan manusia daripada rakaman video melalaui dron mempunyai pontensi yang tinggi untuk mengaplikasikan dalam aktiviti anti keganasan atau aktiviti manusia seperti berlari, berlompat, berjalan dan lain lain. Penggunaan dron dengan meluas telah diaplikasikan dalam pemeriksaan infrastruktur, permerhatian tanah pertanian, misi penyelamat, peninjauan, pemantauan and pemeriksaan tapak pembinaan. Pembelajaran lebih baik berdasarkan penglihatan komputer menguatkan lagi pengunaan dron yang tidak pernah berlaku sebelum ini dalam aplikasi yang tidak dapat dibayangkan sebelum ini. Cabaran dalam masalah penglihatan komputer perlu diatasi yang berkaitan dengan kepelbagaian dalam pandangan kamera, jarak dari kamera, perubahan cahaya dan keadaan cuaca, kepelbagaian objek sekeliling dan objek menyerupai bentuk manusia. Sistem ini dilaksanakan melalui pendekatan yang diketahui sebagai laju R-CNN untuk pengesan algoritma. Algoritma ini bertanggungjawab untuk mengesan pergerakan manusia. Sistem ini dilaksanakan melalui perisian Bahasa Python, Anaconda dan Google Tensorflow. Sebilangan sukarelawan akan direkodkan daripada kamera dron yang berbeza tempat dan cuaca untuk menilai prestasi sistem penglihatan yang dicadangkan. Sukarelawan akan direkod berdasarkan pandangan kamera yang berbeza semasa melakukan aktiviti yang berbeza seperti berjalan, berlari, bertinju tangan, melambaikan tangan dan berdiri. Sistem ini akan mengenal pasti keberkesanan menggunakan perdekatan laju R-CNN untuk mencari dan mengesan aktiviti yang dilakukan oleh manusia di dalam imej yang ditangkap dengan kepelbagaian video telah direkod di tempat yang berbeza, pandangan kamera yang berbeza dan waktu yang berbeza.
_______________________________________________________________________________________________________
Human action recognition from a drone-based videos has many potential applications such as anti-terrorism activity or in a simple way can be used for human activity recognition such as running, walking, jumping and others. Drones have been widely adopted for many useful applications such as infrastructure inspection, agriculture monitoring, rescue, reconnaissance, surveillance and construction site monitoring. With deep- learning based computer vision now powering these drones, more unprecedented use in previously unimaginable applications. A very challenges computer vision problem to be tackled are related to many aspects including the variations in camera view, the distance from the camera, the changes in illuminations and weather conditions, the variation in the surrounding objects, as well as the present of object alike human. The implemented system is using approach which known fast R-CNN detection algorithm. This algorithm responsible to recognition human action. The system implementation on Python language, Anaconda and Google Tensorflow. The number of volunteer people will be recorded by a drone-based camera at various places and weather conditions to assess the performances of the proposed vision system. A volunteer will be recorded from different views while they are performing different activities such as walking, running, hand boxing, hand waving, and standing. The system will investigate the effectiveness of using fast R-CNN approach to locate and recognize the activity of the pedestrian inside the captured images with various video were recorded at different places, various views and daytime.
Intelligent deep learning-based vision system for human action recognition in drone-based videos / Mohamad Safwan Sahimi