projektīvo ģeometriju viedo automobiļu drošības sistēmās Search Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry 利 用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間 ID: 810274
Download The PPT/PDF document "Gājēju meklēšanas telpas sašaurinā..." is the property of its rightful owner. Permission is granted to download and print the materials on this web site for personal, non-commercial use only, and to display it on your personal computer provided you do not modify the materials and that you retain all copyright notices contained in the materials. By downloading content from our website, you accept the terms of this agreement.
Slide1
Gājēju meklēšanas telpas sašaurināšana izmantojot projektīvo ģeometriju viedo automobiļu drošības sistēmāsSearch Space Reduction in Pedestrian Detection for Driver Assistance System Based on Projective Geometry利用投影幾何減少駕駛輔助系統中行人偵測之搜尋空間
Kārlis Dimza06.08.2012
Slide2Saturs1. Ievads 2. Literatūras pārskats3. AttēlveidošanaNakts redzamībaNIR nakts redzamībaFiltriFiltru mērījumu rezultātiAttēluzlabošana4. Gājēju meklēšanas telpas sašaurināšana
Gadījums ar zināmiem kameras kalibrācijas parametriemGadījums ar nezināmiem kameras kalibrācijas
parametriem5. EksperimentiPrognozētā gājēju izmēru kartes izveideGājēju meklēšanaIzmantojot publiskus datus (
Daimler)NTHU CVLAB Day-Night monocular pedestrian dataset6. Secinājumi un turpmākie darbi
2
Slide31. Ievads (1/7). Auto industrijas attīstībaMūsdienu automašīnās sastopams liels daudzums elektronikas, kas uzlabo braukšanas drošību un komfortu
Pirmās automašīnas
:
nekādas inteliģences
Stanford University in DARPA Challenge 2007:
Autonomās automašīnas prototips
Zirgu pajūgs
:
transports ar zināmu inteliģences devu
3
Slide41. Ievads (2/7). Gājēju aizsardzībaMazaizsargātie satiksmes dalībnieki sastāda 2/3 no visiem nāves gadījumiem uz ceļaIzšķir aktīvo un pasīvo gājēju aizsardzībuADAS1 cenšas uzlabot pasīvo gājēju aizsardzībuMērķis ir noteikt
gājēju pēc iespējas agrāk un dot brīdinājuma signālu vadītājamLiela daļa letālo gadījumu notiek
naktī1 ADAS-Advanced Driver Assistance System
4
Slide51. Ievads (3/7). Gājēju meklēšanaPašreiz viens no visvairāk citētajiem cilvēku klasifikatoriem ir HOG ar SVMPateicoties labajai veiktspējai lielākajā daļā moderno cilvēku meklētāju ir izmantotas idejas no HOGŠajā darbā mēs izmantojam klasisko HOGIlustratīvs piemērs HOG1:
1
Dalal and Triggs - Histograms of Oriented Gradients for Human Detection, CVPR 2006 5
Slide61. Ievads(4/7). Perspektīva– sirreāls gadījumsMeklēšanas telpa ir svarīga!
6
Slide71.Ievads(5/7). LokalizācijaSlīdošā maska ir tradicionāls veids kā meklēt objektus attēlāParasti slīdošās maskas izmērus un pozīcijas izvēlas t.s. Vienmērīgā sadalījuma principa
7
Slide81.Ievads(6/7). Perspektīva – pareizs gadījums
8
Slide91.Ievads (7/7). Adaptīvā maska- princips
9
Slide102. Literatūras pārskats(1/4). Nakts redzamībaFIR un NIR salīdzinājumsIR-PASS filtra dizainsMeklēšanas telpas ierobežošanaPutting objects in perspective (CVPR2006)
Camera calibration toolkit (CVPRW2011)
10
Slide112. Literatūras pārskats(2/4). Nakts redzamībaNear infrared system (NIR)Far infrared system (FIR), dažreiz tiek saukta par termālo sistēmu
Material from [8]
11
Slide122. Literatūras pārskats(3/4). WDR CMOS.Lai izbēgtu no kameras «apžilbšanas» efekta naktī, tika izvēlēta WDR tipa kamera
Bez
WDRAr
WDR
12
The sample images are taken from WDR manufacturer proposal
Slide132. Literatūras pārskats– Meklēšanas telpas sašaurināšana(4/4).Perspektīvas informācijas nozīme tika pierādīta objektu meklēšanā, bet metode ir limitēta tajā, ka nepieciešams zināt kameras parametrusAr nelielu lietotāja līdzdalību kameras parametru aproksimācija var tikt atrastaPiedāvātā metode tika modificēta, lai izslēgtu kļūdainu lietotāja ievadu.
13
Slide14Pamatveikums.NIR nakts redzamības sistēmas izveideApmēram 320GB ar ievāktiem datiemIzveidota datubāze ar atzīmētiem gājējiem balstoties uz ievāktajiem datiemCilvēka augstuma prognozēšanaAtrisināts gadījums ar kļūdainu saplūšanas punktu noteikšanu14
Slide153.Attēlveidošana (1/6). NIR princips.Uzbūvētā NIR gaismekļa principsRedzamā gaisma tiek bloķēta ar trīsslāņu filtruZilais, zaļais un sarkanais filtrs ir kombinēts, lai iegūtu redzamo gaismu necaurlaidīgu filtru
15
Slide163. Attēlveidošana (2/6). Instalācija.
WDR image sensor
NIR illuminator side view
NIR illuminator (front view)
NIR illuminator (view from top)
16
Slide173. Attēlveidošana (3/6). Gaismas avota intensitātes spektrālais sadalījums un IR-PASS Filtra mērījumi.Mērīts ar BWTEK BRC111A CCD Array Spectrometer
17
Slide183. Attēlveidošana (4/6). NIR nozīme.With NIR cameraWith conventional USB color camera
18
Slide193. Attēlveidošana (5/6). Piemērs WDR.Piemēri no iegūtajiem datiem, kuros redzams WDR nozīmes efekts.
On coming
vehicle
On coming
vehicle
19
WDR1
WDR2
Slide203. Attēlveidošana (6/6). Attēluzlabošana (NLM)
Pirms
Pēc
Lai uzlabotu nakts redzamības attēlu kvalitāti, trokšņa
filtrācija tika pielietota
20
Slide214. Meklēšanas telpas sašaurināšana(1/11).Procesu var sadalīt 3 galvenajās daļās:PriekšapstrādeDarba galvenā daļaKlasifikācijaIzmantota validācijaiPēcapstrādeNav lietota
21
Slide224. Meklēšanas telpas sašaurināšana(2/11). Cilvēka projekcijas lieluma noteikšana.22
Scene
geometry with
unknown
camera
parameters
Scene
geometry with
known
camera
parameters
Slide234. Meklēšanas telpas sašaurināšana(3/11). Cilvēka projekcijas lieluma noteikšana ar zināmiem kameras kalibrācijas parametriem. => Projekcijas matrica => bezgalīgi daudz atrisinājumu
! => viens atrisinājums!
=> Project back to image, by assuming human metric height is 1,8m
Y=0
(
zemes plakne
)
23
Slide244. Meklēšanas telpas sašaurināšana(4/11). Saplūšanas punkti.
Pamatideja ir balstīta uz paralēlām līnijām, kuras krustojas saplūšanas punktos (Vanishing
Point(VP))Trīs savstarpēji perpendikulāri saplūšanas punkti ir nepieciešami attēla analīzeiParasti tiek lietoti kalibrācijas
objekti, lai noteiktu trīs VPBet parasti uz ceļa šādi objekti nav pieejami
24
Slide254. Meklēšanas telpas sašaurināšana(5/11). Saplūšanas punktu atrašana.Metodes tipsPozitīvās īpašībasIerobežojumi
AutomātiskāMazāk darba lietotājamRezultāts iespējams neuzticams
Lietotāja līdzdalībaLielāka uzticamībaIerobežots informācijas apjoms
Metode ar lietotāja līdzdalību pielietota:Lietotājam jāievada:3 pāri ar savstarpēji perpendikulārām paralēlajām līnijām
Viens cilvēka lieluma objekts
Līnijas X un Y virzienā nepieciešams automātiski pielabot jo
:
Līnijām savstarpējais leņķis uz projekcijas attēla ir ļoti neliels
VP trijstūra
ortocentrs
ir optiskais centrs
attēlā
Attēla o
ptiskais centrs tiek pieņemts atrodamies attēla centrā, kas ir patiesi jebkurai modernai kamerai.
25
Slide26Orthocenter
Principal point
4.
Meklēšanas telpas sašaurināšana
(6/11
).
Optiskais centrs
,
attēla centrs
,
ortocentrs
Or
tocentrs
sakrīt ar
optisko centru attēlam
Optiskais centrs atrodas attēla centrā
(every modern camera is built to have principal point at center of image)
Attiecīgi
optiskais centrs
var tikt pieņemts, kā
zināms mainīgais
, ko varam izmantot
ortocentra
validācijā
26
Slide27Large mutual slope of vanishing lines
Small mutual slope of vanishing lines
User interaction
error =
ε
User interaction
error =
ε
Error in vanishing
point estimation
Error in vanishing
point estimation
27
4.
Meklēšanas telpas sašaurināšana
(7/11
).
Saplūšanas punkts pie dažāda slīpuma paralēlo līniju projekcijas
.
Slide284. Meklēšanas telpas sašaurināšana(8/11). VP noteikšana.
Region to pick random new endpoint from
X direction parallel lines
Y direction parallel lines
Z direction parallel lines
Principal point
Current orthocenter of VP triangle
28
Slide2929
Initialize image center
Initialize 16 random values
New X vanishing point;
Random new 8 coordinates
from defined small range
New Y vanishing point
Compute the new orthocenter;
While orthocenter is not in image center
4.
Meklēšanas telpas sašaurināšana
(9/11). VP estimation.
Compute
initial orthocenter
Slide304. Meklēšanas telpas sašaurināšana(10/11). Cilvēka izmēra projekcijas noteikšana.
Horizon
line
Z VP
Y VP
Human reference
Unknown human height
Line from point of interest (foot) to Y VP
Line from reference head to
Vn
X VP
Line through reference foot and point of interest foot
Intersection of Horizon line and line through reference foot and point of interest foot
Estimated human height
30
Slide314. Meklēšanas telpas sašaurināšana(11/11). Projected human height estimation from VP and reference.
31
Convert points to 3Dvectors
Compute
cross product
Human height is
difference between
head and foot points
Slide32Eksperimenti(1/10).Cilvēka izmēra noteikšanaAdaptīvās maskas efekts gājēju noteikšanāPubliskos datosNTHU CVLAB Day monocular pedestrian datasetNTHU CVLAB Night monocular pedestrian datasets
32
Slide33Eksperimenti(2/8). Cilvēka izmēra noteikšana.
33
Slide34Eksperimenti(3/8). Rezultāti uz publiskiem datiem.34* - Results from:
Slide35Eksperimenti(4/8). NTHU CVLAB Day monocular pedestrian dataset.Rezultāti35
Slide36Eksperimenti(5/8). NTHU CVLAB Night monocular pedestrian dataset Rezultāti.36
Night1
Night2
Night3
Slide37Eksperimenti(6/8). NTHU CVLAB Day monocular pedestrian dataset.Paraugrezultāti
Uniform scan
Adaptive37
Daimler
NTHU Daytime
Slide38Eksperimenti(7/8). NTHU CVLAB Night monocular pedestrian dataset. Lietotāja ievads
Human
reference
Z VP
Y VP
X VP
38
Human
reference
Z VP
X VP
Y VP
Human
reference
Z VP
X VP
Y VP
Night1
Night2
Night3
Slide39Eksperimenti(8/8). NTHU CVLAB Night monocular pedestrian dataset. Paraugrezultāti.
Dense
Adaptive
39
Night1
Night2
Night3
Slide40Secinājumi un nākotnes pētījumiIzstrādāta metode lai samazinātu gājēju meklēšanas telpuGājēju datubāzes izveideMetodes efektivitāte pierādīta eksperimentosGPU daudzkodolu iegultās sistēmas implementācija ir plānotais nākotnes darbsNepieciešams izveidot reģionu grupēšanas metodi, kura ir saderīga ar adaptīvo maskuRezultātu kombinēšana no
vairāka tipa sensoriem kā arī stereo informācijas pielietojumi.
40
Slide41Paldies par uzmanību!41