Adriano Melo Filipe Melo Mateus Arajo Philippe Neves

Adriano Melo Filipe Melo Mateus Araújo Philippe Neves Renato Parente Samuel Arcoverde Wesley Davison

Roteiro • • Realidade Aumentada Motivações Aplicações ARToolkit o Funcionamento o Arquitetura • Conclusão

Cenário

O que é Realidade Aumentada? Sistemas que misturam cenários do ambiente Sobreposição de cenários VIRTUAIS em cenários REAIS

O que é Realidade Aumentada? Vídeo - Enkin

Definição • Definição de Ronald Azuma: o Combinação de elementos virtuais com o ambiente real Interação e processamento em tempo real o Concebida em três dimensões o

O que é Realidade aumentada: Combinação de elementos • Combinar nem sempre é igual a adicionar • Combinar não inclui apenas informações visuais (Enkin)

O que é Realidade aumentada: Interação em tempo real “Using AR technology, users can interact with a combination of real and virtual objects in a natural way. ” “In Confluence of Computer Vision and Interactive Graphics for Augmented Reality“

O que é Realidade aumentada: Informação em 3 D Iluminação dependente da posição do sol (controlado pelo usuário).

Motivação: Um exemplo

Motivação: Um exemplo • O problema o O cirurgião não pode olhar para a tela e para o paciente ao mesmo tempo o Olhar para a tela enquanto opera o paciente não é ergonômico o A tela é 2 D, enquanto que o corpo do paciente é 3 D

Motivação: Um exemplo • A Visão o A informação deve ser mostrada onde ela é necessária o O usuário deve poder acessar e interagir com a informação de maneira ergonômica o A informação deve ser apresentada em três dimensões, como o objeto da aplicação

Aplicações Médica • The he. ARt-Project: Cirugia cardíaca minimamente invasiva. • MIT: Integração de dados de ressonância magnética e de eletroencefalograma para suporte à cirugia cerebral.

Aplicações Manutenção, reparos e produção • BMW: The “Intelligent Welding Gun” • Boeing: “Augmented wiring”

Aplicações Visualização de dados científicos • Educação • Studierstube: Construct 3 D Application

Outras áreas de Atuação • Militar • Entretenimento • Petroquímica

Dificuldades de Implementação • Cálculos para construção da imagem virtual para o ponto de vista do usuário • Saber a escala e o alinhamento • Realizada em tempo real • Posicionamento o mais preciso possível CUSTOSO

Solução • ARToolkit

O que é ARToolkit? • Sistema baseado em tracking (rastreamento) • Calcula a posição real da câmera e a orientação relativa de um marcador

ARTookit como solução Ø Não exige aquisição de material muito robusto e caro Ø Gratuita Ø Disponibiliza o código-fonte • Transporte para diversas plataformas • Adapta-se a diversas aplicações • Difundida em meio aos estudantes

Como ARToolkit Ajuda? • Usa algoritmos com conceitos de cálculo de matrizes (álgebra) • Calcula a posição no espaço real da câmera e sua orientação em relação à marcadores • Programador preocupar-se apenas em sobrepor cenários • Abstração dos cálculos de mapeamento

Marcadores Ø Figuras geométricas Ø Contém símbolos no interior Ø Rastreamento estima: • Posição • Orientação

Extração de Imagem • Imagem limiarizada (preto e branco) • Identifica vértices das regiões quadradas • Compara os símbolos com os gabaritos dos marcadores já cadastrados • Os cálculos são feitos caso haja semelhança

Algoritmo • Baseia-se na posição encontrada e no tamanho conhecido do padrão • Relaciona as coordenadas por meio de uma matriz 3 x 4 (matriz transformação) • Multiplicação de uma matriz transformação "T" por um ponto 3 D no marcador (Xm, Ym, Zm), obtendo o ponto correspondente no sistema de coordenadas da câmera (Xc, Yc, Zc)

Visão Geral

Funcionamento • Calibração do sistema • Captura da imagem de entrada o Sequência de imagens da câmera de video • Busca pelos marcadores o As imagens capturadas são convertidas para uma imagem binária para a identificação de padrões (quadrados pretos) • Cálculo da posição/orientação da câmera o Relativas aos quadrados pretos

Funcionamento • Identificação de marcadores o Verifica se o símbolo dos marcador casa com algum padrão na memória. • Inserção de imagens virtuais o Usando transformações 3 D, a imagem é orientada e posicionada para ser posta no marcador. • Renderização da imagem final o A imagem é renderizada em cima do marcador

Demonstração level. Head

Calibragem da câmera • É desejável saber os parâmetros da câmera para posicionar com mais precisão os objetos virtuais sobre a cena real • Principais propriedades extraídas da calibragem: – distorções de lente, – ponto central da câmera – distância focal da câmera

Calibragem da câmera

Arquitetura ARToolkit Framework

Arquitetura • Quatro módulos: o AR Module: módulo principal com rotinas de rastreamento de marcadores e calibração. o Video Module: conjunto de rotinas que encapsulam a captura de frames de vídeo padrão o Gsub Module: conjunto de rotinas gráficas baseadas nas bibliotecas Open. GL e GLUT

Arquitetura

Arquitetura • Metáfora de pipeline: o Video -> Tracking -> Display o Permite fácil troca de módulos

E o quarto módulo? • Gsub_Lite Module: substitui o Gsub Module com rotinas gráficas mais eficientes e independentes do sistema de janelas

Limitações • Marcadores necessitam estar sempre (e totalmente) à mostra o Pode limitar o tamanho e movimento dos objetos virtuais • Orientação do marcador relativa à câmera o Inclinação do marcador reduz precisão • Tamanho do marcador o Marcadores maiores = distâncias maiores

Limitações • Condições de iluminação o Iluminação direta sobre o marcador pode causar problemas de reconhecimento • Complexidade do marcador o Figuras simples e não simétricas o Maior complexidade = Menor alcance

Projetos • The Black. Magic kiosk • Magic Book • Py. ARTK • Augmented Reality Encyclopedia • AR Tower Defense • ARToolkit on Iphone • E muitos outros. . .

Dúvidas?