Microsoft Kinect IR PATTERN PROJECTO R IR CAMERA

Microsoft Kinect IR PATTERN PROJECTO R IR CAMERA RGB CAMERA M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect: How it works? M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect: Data • points 3 D_Irsys. m: 3 x. N matrix of 3 D points measured and associated RGB color • calib. Data. m : intrinsic and extrinsic parameters of IR and RGB camera • im. RGB. m : image captured by RGB camera M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect: Data points 3 D_IRsys: 3 x. N matrix of 3 D points expressed in IR camera reference system X x 1 x… xn Y y 1 y… yn Z z 1 z… zn Number of points N should be 640 x 480 = 307200! M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect: Calibration Data calib. Data. m : intrinsic and extrinsic parameters of IR and RGB camera • K_rgb : 3 x 3 : intrinsic parameters matrix of RGB camera • kc_rgb : 1 x 5 distortion paramteres of RGB camera • K_ir : 3 x 3 : intrinsic parameters matrix of IR camera • kc_ir : 1 x 5 distortion parameters of IR camera • rot. RGB 2 IR : 3 x 3 rotation matrix from RGB to IR reference system • tras. RGB 2 IR : 1 x 3 translation vector of IR reference system respect to RGB M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Reminder NOTA: nel sistema CCD la colonna corrisponde alla x, la riga alla y z SCCD x OCCD y OP x z SC OC p f y Il modello geometrico (ideale) della telecamera impiega il modello pinhole (stenoscopio), per cui entrano in gioco i seguenti parametri: • il centro della prospettiva (Oc): corrisponde al secondo punto nodale del sistema ottico; • il piano immagine (p): il piano coincidente con lo schermo sul quale si forma l’immagine; • l’asse principale: la retta coincidente con l’asse ottico (zc); • il punto principale (OP), intersezione dell’asse ottico con il piano immagine; • la distanza focale della telecamera (f): misura la distanza tra il centro della prospettiva ed il punto principale M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Reference System: From Camera to CCD SCCD K_rgb : intrinsic parameters matrix of RGB camera K_ir : intrinsic parameters matrix of IR camera z x OCCD y OP x 0 x P 1 z SRGB fx , fy : focal length (in pixel) of the camera x 0, y 0: coordinate of principal point M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion OC y 0 p y

Reference System: From Camera to CCD Homogeneous coordinate: SCCD z x OCCD y x 0 x Expressed in pixel z SRGB OC Alredy compensated in the image given by Kinect M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion OP y 0 p Pccd 1 y NOTE: the x coordinate in CCD reference system is the column and the y is the row

Refernece System: From IR to RGB z y x O P p RT M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Microsoft Kinect: RGB image Distorsion alredy compensated M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion

Things to do: Goal: find in 3 d space the blue (or red) cube (dimension 10 x 10 cm ) Steps: • Associate 3 D points in IR sys with RGB info • Identify ground plane and eliminate it (Ransac) • Found the position of two cubes (SQ and Ransac) • Chose the blue (or red) cube M. De Cecco - Lucidi del corso di Robotica e Sensor Fusion