Viso Computacional e Realidade Aumentada Prof Marcelo Gattass

Visão Computacional e Realidade Aumentada Prof Marcelo Gattass 2007 -s 02 Trabalho 2 – Calibração de câmera e adição de objetos virtuais a cena real César Palomo 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 1

Objetivos Calibração de câmera A partir de vídeo de um tabuleiro de xadrez Parâmetros intrínsecos e extrínsecos obtidos Adição de marcadores e objetos virtuais Matrizes Projection e Model. View do Open. GL 01/01/2022 obtidas através da calibração da câmera Adição de objetos virtuais via Open. GL HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 2

Calibração – Identificação de cantos Feita por modelo 2 D de um tabuleiro de xadrez Identificação de cantos internos do tabuleiro uso do Open. CV: cv. Find. Chessboard. Corners() Exemplo de cantos encontrados e desenhados pelo Open. CV: 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 3

Calibração – Parâmetros da câmera Extrínsecos ou externos Localização e orientação da câmera Intrínsecos ou internos Calibração: estimativa destes parâmetros Notação: y' yc zc 01/01/2022 HDRIGenerator César Palomo p’ xc x' <mail: cpalomo at inf. puc-rio. br> 4

Calibração – Parâmetros instrínsecos - 1 Eixo óptico: pode não coincidir com centro óptico da câmera yim y’ p' 3 oy 2 1 0 0 sx sy o x’ 1 2 3 45 ox xim Simplificação do método usado: assume que eixo óptico passa pelo centro óptico da câmera 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 5

Calibração – Parâmetros instrínsecos - 2 Distância focal f: Assumindo sx = sy (pixel quadrado): 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 6

Calibração – Parâmetros instrínsecos - 3 Outras simplificações do método utilizado: Ignora distorção radial 01/01/2022 Ignora cisalhamento HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 7

Calibração – Parâmetros extrínsecos - 1 Rotação e translação Inferidas pela relação entre coordenadas do mundo e da câmera 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 8

Calibração – Parâmetros extrínsecos - 2 Translação –Tx, Ty, Tz (3 g. l. ) Rotação (3 g. l. - a priori) 01/01/2022 As restrições complicam ao minimar o erro na derivação dos parâmetros HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 9

Calibração – Tsai 2 D - 1 Utilizou-se Tsai 2 D para calibração Assume: 01/01/2022 Centro óptico conhecido Distorção radial insignificante HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 10

Calibração – Tsai 2 D - 2 Álgebra para simplificação: Assumindo pixel quadrado: 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 11

Calibração – Tsai 2 D - 3 Substituição de variáveis Resolve sistema usando SVD (Single Value Decomposition) Por estarmos no 2 D . . . 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 12

Calibração – Implementação Utilizou-se Tsai 2 D com base nas bibliotecas do “Juiz Virtual” criadas na Tese de Doutorado de Flávio Szenberg [1]: Coordenadas do mundo Tabuleiro conhecido: assumiu-se que casas são quadradas Coordenadas da câmera (ou do olho) tsai. Calibration 2 D() e tsai. Calibration 2 D_Tr() Cantos identificados através do Open. CV, como anteriormente descrito Assumiu-se: 01/01/2022 Centro óptico conhecido: centro da tela (WIDTH / 2, HEIGHT / 2) HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 13

Matrizes Open. GL – 1 Matriz de projeção perspectiva do Open. GL: Transformando para o Viewport: 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 14

Matrizes Open. GL – 2 Obtemos então: 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 15

Matrizes Open. GL – 3 Utilizando os valores de nearplane, farplane e distância focal : Matriz Model. View obtida a partir de R e T da calibração: Uso das funções das bibliotecas de Flávio Szenberg[1]: 01/01/2022 tsai. OGLProjection. Matrix() e tsai. OGLModel. View. Matrix() HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 16

Adição de marcadores e objetos virtuais Carregamento das matrizes do Open. GL gl. Load. Matrixf() Adição de marcadores e objetos virtuais Marcadores para os cantos do tabuleiro Eixos x em vermelho, y em verde e z em azul Objetos virtuais em cima do tabuleiro 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 17

Implementação C++ Open. GL e GLUT Open. CV Bibliotecas de Flávio Szenberg para Tsai 2 D 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 18

Trabalhos futuros Melhoria da iluminação para integrar melhor objetos virtuais à cena Melhoria na performance 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 19

Referências [1] Szenberg, Flávio “Acompanhamento de cenas com calibração automática de câmeras”, http: //www. tecgraf. puc-rio. br/~szenberg/doutorado/ Enunciado do trabalho: http: //www. tecgraf. puc-rio. br/~mgattass/ra/t 1 Calibra. html Open. CV: http: //www. cs. iit. edu/%7 Eagam/cs 512/lect-notes/opencv-intro. html Slides da disciplina: http: //www. tecgraf. puc-rio. br/~mgattass/ra/ppt/ 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 20

Perguntas ? César Palomo cpalomo @ inf. puc-rio. br 01/01/2022 HDRIGenerator César Palomo <mail: cpalomo at inf. puc-rio. br> 21