Sistem penglihatan stereo telah menjadi semakin penting dalam bidang
penyelidikan navigasi robot. Penggunaan dua kamera meniru ciri-ciri sistem
penglihatan biologi, seperti manusia dan haiwan pemangsa, yang mempunyai dua mata.
Kedua-dua kamera, yang diletakkan bersebelahan dan dijajarkan secara mendatar pada
jarak yang diketahui, digunakan untuk mendapat pandangan yang berbeza untuk
kawasan yang sama. Penentukuran kamera dilakukan sebagai langkah pertama projek
ini dengan menggunakan MATLAB® Camera Calibration Toolbox. Tujuan
penentukuran kamera adalah untuk mendapatkan parameter intrinsik dan ekstrinsik
kamera stereo. Hasil penentukuran digunakan dalam rektifikasi imej stereo supaya garis
epipolar wujud segaris dengan satu sama lain. Segmentasi objek kemudiannya
dilakukan pada imej yang direktifikasikan. Hasil yang diperolehi daripada segmentasi
objek ialah imej dengan objek sahaja. Imej-imej ini digunakan sebagai masukan kepada
algoritma penyepadanan stereo. Algoritma penyepadanan stereo bertujuan untuk
mengenalpasti titik yang sama dalam kedua-dua imej stereo dan menghasilkan peta
ketidaksamaan. Algoritma penyepadanan stereo dipermudahkan dengan implikasi
rektifikasi dan proses segmentasi objek. Proses rektifikasi mengurangkan masalah
padanan ke masalah carian satu dimensi manakala segmentasi objek mengurangkan
bilangan titik untuk diproses. Dalam algoritma yang dicadangkan, segmentasi objek
digunakan untuk mengenalpasti piksel objek daripada piksel latar. Teknik
penyepadanan stereo akan memproses piksel objek tetapi bukan piksel latar. Teknik
penyepadanan stereo yang digunakan dalam projek ini adalah jumlah perbezaan mutlak
(Sum of Absolute Difference, SAD) dan jumlah perbezaan kuasa dua (Sum of Squared
Difference, SSD). Prestasi mereka dibandingkan dengan algoritma stereo padanan
konvensional, di mana semua piksel digunakan untuk pemprosesan. Peta ketidaksamaan
yang dihasilkan daripada algoritma stereo padanan dianalisis untuk mencari jarak objek
dari kamera dalam dunia nyata. Ketidaksamaan adalah berkadar songsang dengan jarak
dunia sebenar. Peta dengan pandangan dari atas ke bawah dibina daripada pengiraan
jarak. Peta ini amat berguna dalam menganalisis persekitaran robot jika digunakan. Dari
hasil projek ini, adalah menjanjikan bahawa algoritma yang dicadangkan mengurangkan
masa proses dengan ketara sebanyak 35-52% dan menjadikan pelaksanaan pemetaan
ketidaksamaan dalam navigasi robot pada masa nyata lebih berkemungkinan.
_______________________________________________________________________________________________________
Stereo vision system is getting increasingly important in the research field of
robotic navigation. The use of two cameras mimics the characteristic of most biological
vision system, such as humans’ and predator animals’, with two eyes. These two
cameras placed side by side, aligned horizontally, at a known distance are used to obtain
differed views on a scene. Camera calibration is performed as the first step of this
project by using MATLAB® Camera Calibration Toolbox. The purpose of camera
calibration is to obtain the intrinsic and extrinsic parameters of the stereo cameras pair.
The result of the calibration is used in rectification to transform the stereo images such
that the corresponding epipolar lines exist collinear with each other. Object
segmentation is then performed on the rectified images. The results obtained from
object segmentation are images with objects only. These segmented images are inputs to
the stereo matching algorithm. Stereo matching algorithm aims to identify the
corresponding points in the stereo image and provide disparity. The stereo matching
algorithm is made simple by the rectification and the object segmentation process.
Rectification process reduces the correspondence problem to a one dimensional search
problem while object segmentation reduces the points to be processed. In this proposed
algorithm, object segmentation is used to identify object pixels from background pixels.
The stereo matching techniques will process the object pixels but not the background
pixels. The stereo matching techniques implemented in this project are Sum of Absolute
Difference (SAD) and Sum of Squared Difference (SSD). Their performance is
compared with the conventional stereo matching algorithm where all pixels are used for
processing. The disparity map generated from the stereo matching algorithm is analysed
to find the distance of the objects from the cameras in real world. The disparity is
inversely proportional to the real world distance. A map with top-down view is
constructed from the distance calculated. This map is useful in analysing the
surrounding of the robot if implemented. From the result of this project, it is promising
that the proposed algorithm reduces the processing time significantly by 35-52% and
makes the real time implementation of disparity mapping in robotic navigation more
feasible.
Disparity mapping of stereo images for robot navigation / Richard Wong Teck Ken