Univerza v Ljubljani Fakulteta za elektrotehniko Strojni vid

Univerza v Ljubljani Fakulteta za elektrotehniko Strojni vid Analiza gibanja Stanislav Kovačič Laboratorij za slikovne tehnologije http: //vision. fe. uni-lj. si/

Analiza gibanja, . . • Detekcija, sledenje, analiza, . . • Področja uporabe, . . • Pristopi, . . • Sledenje s Kalmanovim filtrom (Matej Perše) • Analiza športnih dogodkov (Janez Perš)

Detekcija, sledenje, analiza, . . . • Detekcija (zaznavanje) (Angl. Motion detection) kje se objekt zanimanja nahaja v sliki • Sledenje (Angl. (Motion) Tracking) kje se objekt zanimanja nahaja v zaporedju slik • Analiza (kvalitativna, kvantitativna) (Angl. Motion Analysis) kaj se z objektom zanimanja dogaja • Razpoznavanje (Angl. Recognition) kaj objekt zanimanja je • Razumevanje (Angl. Understanding) kakšen je pomen

Področja uporabe • Prometni sistemi • Nadzorni (varnostni) sistemi • Uporabniški vmesniki • Šport • . .

Prometni sistemi • Samostojno vozilo (navigacija, . . ) • Podpora vozniku (zaznavanje pešcev, . . . ) • Nadzor prometa (gostota, zastoji, . . . )

Samostojno vozilo Ernst Dickmanns, Universität der Bundeswehr München, 1999.

Podpora vozniku D. M. Gavrila, Daimler. Chrysler Research, Ulm, Germany, 1999 Primerjnaje s predlogo in ‘distančni transform’, od grobega k finejšemu.

Nadzor prometa J. Malik et al. , Computer Vision Group, University of California, Berkeley, ~ 1996

Nadzorni (varnostni) sistemi D. Hogg, School of Computing, University of Leeds, UK, ~ 1998.

Uporabniški vmesniki D. Gorodnichy, Computational Video Group National Research Council of Canada, 2002.

Analiza športnih dogodkov • Raziskave na področju športa • Pomoč trenerjem • Obogatitev športnih prenosov, priprava novic, arhiviranje

Športni dogodki I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

Športni dogodki I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

Športni dogodki J. Perš, G. Vučkovič, FE, FŠ, UNI-LJ, 2001

Analiza gibanja • V računalniškem vidu skušamo na podlagi zaporedja slik iz ene (ali več) kamer sklepati na gibanje objektov v prostoru. • Slika se kot posledica gibanja objektov v prostoru s časom spreminja in • z analizo teh sprememb skušamo sklepati na gibanje objektov. • Op. : • Stacionarna kamera, gibljiv prizor • Gibljiva kamera, stacionaren prizor • Gibljiva kamera, gibljiv prizor

Analiza gibanja – streo vid • Problematika analize gibanja (zaporedja slik) ima precej skupnega s stereo vidom. • V obeh primerih gre za iskanje korespondence med dvema podobnima slikama. • V primeru časovnega zaporedja slik je ta razlika običajno majhna – primerjanje je manj zahtevno. • So pa disparitete slik bolj svobodne.

Pristopi • Diferenčne metode • Odštevanje ozadja • Odštevanje (zaporednih) slik • Optični tok (in polje gibanja) • Primerjalne metode (podobno kot stereo) • Primerjanje – sledenje področij • Primerjanje - sledenje značilnosti • Prilagodljivi modeli (‘kače’) • Kalmanov filter • . .

Čas do “dotika” • Gibljivi vizualni vzorci vsebujejo veliko količino informacije. • Že samo na podlagi slike se da ugotoviti čas do dotika (trčenja) (Angl. Time to Impact, Time to Collison). Slikovna ravnina P p x x 0 f P v X Z = Z 0 - v. t Z 0 X

Polje gibanja • Polje gibanja (angl. Motion Field) je 2 D upodobitev polja (vektorjev) hitrosti gibanja (Angl. Velocity Field) v prizoru. Slikovna ravnina P V p v Vektor hitrosti Translatorna hitrost f Z Kotna hitrost Vektor gibanja

Optični tok (angl. Optical Flow) • Časovne spremembe svetlosti slike imenujemo ‘optični tok’ (Angl. Optical Flow). • Na podlagi optičnega toka skušamo sklepati na gibanje objekov. • Optični tok pove veliko o polju gibanja in polju hitrosti, • Vendar so svetlostne spremembe v sliki posledica tudi drugih učinkov, ne le gibanja.

Enačba optičnega toka E(x+ x, y+ y, t+ t) y+ y y Svetlostni gradient Časovna sprememba svetlosti E(x, y, t) x x+ x

Optični tok – problem reže • Koliko nam enačba optičnega toka pove o polju gibanja? • Določiti se da samo komponento hitrosti v smeri svetlostnega gradienta • Pojav je znan kot ‘problem reže’ (angl. Aperture problem).

Optični tok • Računanje optičnega toka je zelo občutljivo na šum. • Priporočljivo je (predhodno) filtriranje z nizkopasovnim (na primer Gaussovim) filtrom. • Lahko pa operacijo filtriranja in odvajanja kar združimo, t. j. filtriramo z odvodom Gaussa. • Smiselna je tudi naslednja predpostavka: polje gibanja se počasi spreminja (je konstantno v majhni okolici izbrane točke). • Torej lahko za vse točke (slikovne elemente) v majhni okolici določimo skupen (povprečen) vektor polja gibanja.

Optični tok • Za vsako točko pi v majhni okolici, t. j. ‘oknu’ velikosti N x N lahko zapišemo: • Iščemo v, ki minimizira srednjo kvadratno odstopanje: • Za vsako točko v oknu izračunamo svetlostni gradient in časovni odvod ter izračunamo optimalni v. • To naredimo za vse točke v sliki ?

Optični tok • Minimizacija • pomeni rešiti enačbo

Še o optičnem toku ‘Detektor oglišč’ • ‘Dobre’ sledilne točke so tiste z velikima lastnima vrednostima.

Optični tok – primer rezultata J. Perš, LST, FE, UNI-LJ, 2003. (A. Jepson, M. Black, University of Toronto, 1993)

Optični tok – polje gibanja • Optični tok je dobra aproksimacija polja gibanja: • v primeru Lambertovih površin, • majhnih fotometričnih distorzij, • oddaljenega točkovnega svetila, • na mestih z velikim svetlostnim gradientom.

Toge predloge Janez Perš, FE, UNI-LJ, 1999.

Deformabilni modeli • Aktivni modeli krivulj (kače) (Kass, Witkin): Krivuljo položimo na slikovno ravnino, kot da je elastična in jo prilagodimo na vsebino slike. • Krivulji v(s)=(x(s), y(s)), s [0, 1] pripada energijski funkcional: • Minimum energijskega funkcionala poiščemo z rešitvijo Eulerjeve diferencialne enačbe: Elastični model krivulje

Diskretna oblika kače Z diskretizacijo po metodi končnih deiferenc (za i-to točko krivulje): Vektor diskretnih točk krivulje ‘Privlačno’ polje, ki ga generira slika Matrika prožnosti (model krivulje)

Deformabilni modeli Aktivni modeli krivulj (Angl. Active contours models) “Snakes”. J. Denzler, H. Niemann, Institut für Informatik, UNI-Erlangen-Nürenberg, ~1997.

Kalmanov filter (R. E. Kalman 1960) • Kalmanov filter je danes osnovno orodje, ki se na področju računalniškega vida uporablja za sledenje objektov v povezavi z najrazličnejšimi drugimi pristopi. • Kalmanov filter s stališča sledenja pomaga oceniti nov položaj gibajočega se objekta (značilne točke) in negotovost položaja, • to je napove kje iskati objekt v naslednji sliki in • kolikšno naj bo področje iskanja (pregledovanja). • Rešuje probleme v zvezi z • mankajočo informacijo, • nepopolno informacijo, • moteno informacijo.

Analiza športnih dogodkov • Začetki 1998 • . . . • Komercialni projekt , 2004 –

Sledenje - rezultat