Mapeamento semntico com robs mveis Fabiano Rogrio Corra

Mapeamento semântico com robôs móveis Fabiano Rogério Corrêa (aluno de doutorado – POLI/PMR)

Mapas do ambiente • Mapeamento: artigo do Thrun (2002); – Modelos espaciais de ambientes físicos; – Um dos problemas mais importantes na busca por robôs verdadeiramente autônomos; – “Todos” os algoritmos do estado da arte de mapeamento são probabilísticos; 2

Desafios para o mapeamento • Até a década de 90: – Mapas visavam auxiliar a navegação e a localização; – Ambientes internos, estáticos, estruturados e pouco extensos; – Sensores de ultra-som e de varredura laser; – Alcance limitado dos sensores e fusão de dados sensoriais incertos; – Mapas: métricos x topológicos; 3

Desafios atuais • Desde então. . . – Representações visando tarefas mais gerais; – Ambientes externos, dinâmicos, não–estruturados e extensos; – Sensores de varredura laser e sistemas de visão; – Dinâmica do ambiente, grande quantidade de dados de tipos diferentes (multi-modais); – Mapas: filtro de Kalman x Expectation maximization x mapa de objetos; 4

Mapa de objetos • + Mais compactos que os mapas de grades (principalmente em ambientes estruturados); • + Mais precisos (e expressivos); • + Ambientes dinâmicos; • + Mais próximos à percepção humana (facilita interação homem-máquina); • - Ambientes simples; 5

Mapas semânticos • Interesse renovado em informação semântica: – Segmentar e classificar informação espacial; – Mapas topológicos consideram em parte a semântica do ambiente; – Informação semântica extraída diretamente dos sensores do robô; – Regiões distinção e reconhecimento de lugares específicos no ambiente; – Objetos dinâmica; – Restrição do espaço de buscas e entrada do sistema de navegação: dirigir-se a um lugar determinado; 6

Classificação de mapas semânticos • Ainda pouco explorado; • Mapeamento topológico-semântico: – Similaridade sensorial; – Com objetos; • Mapeamento métrico-semântico: – Associação de dados; – Segmentação: • Dados de distância; • Regiões; • Objetos; 7

Similaridade sensorial • Informação semântica extraída diretamente dos sensores do robô; • Agrupamento de imagens em constelações que representam um conceito espacial; • Medida de similaridade; • Consistência geométrica / espacial entre as imagens; • Aprendizado não-supervisionado; • Teoria de grafos; 8

Fingerprint of places Tapus, A. Siegwart, R. A cognitive modeling of space using fingerprints of places for mobile robot navigation. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2006. 9

Scene similarity Posner, I. , Schroeter, D. , Newman, P. Using scene similarity for place labelling. In: International Symposium on Experimental Robotics (ISER), 2006. 10

Rooms Zivkovic, Z. , Booij, O. , Kröse, B. From images to rooms. In: Robotics and Autonomous Systems 55, 2007. 11

Mapeamento topológico com objetos • Reconhecimento de objetos; • Cada nó do mapa é representado por um conjunto de objetos; 12

Multi-hierarchical semantic maps Galindo, C. , Saffiotti, A. , Coradeschi, S. , Buschka, P. , Fernández-Madrigal, J. A. , González, J. Multi-hierachical semantic maps for mobile robotics. In: Proceedings of the IEEE International Conference on Intelligent Robots and Systems (IROS), 2005. 13

Cognitive maps Vasudevan, S. , Gächter, S. , Nguyen, V. , Siegwart, R. Cognitive maps for mobile robots – an object approach. In: Robotics and Autonomous Systems 55, 2007. 14

Associação de dados • Classificação dos dados sensoriais em classes; • Associação de dados usando a informação semântica; • Redução do espaço de busca; • Mapeamento e localização simultâneos (SLAM); • Aprendizado supervisionado; • Teoria de probabilidades; 15

Matching Ramos, F. , Fox, D. , Durrant-Whyte, H. CRF-matching: conditional random fields for featurebased scan matching. In: Proceedings of Robotics Science and Systems (RSS), 2007. 16

Semantic knowledge Nüchter, A. , Wulf, O. , Lingemann, K. , Hertzberg, J. , Wagner, B. , Surmann, H. 3 D mapping with semantic knowledge. In: Robo. Cup International Symposium, 2005. 17

Object recognition Ramos, F. , Nicto, J. , Durrant-Whyte, H. Combining object recognition and SLAM for extended map representations. In: International Symposium on Experimental Robotics (ISER), 2006. 18

Segmentação: dados de distância • Primitivos geométricos são classificados por meio de aprendizado computacional supervisionado; • Modelos: – AMNs; – Instance-based AMNs; 19

3 D scan data Anguelov, D. , Taskar, B. , Chatalbashev, V. , Koller, D. , Gupta, D. , Heitz, G. Ng, A. Discriminative learning of markov random fields for segmentation of 3 D scan data. In: Proceedings of the Conference on Computer Vision and Patern Recognition (CVPR), 2005. 20

2 D and 3 D laser range data Triebel, R. , Schmidt, R. , Mozos, O. M. , Burgard, W. Instance-based AMN classification for improved object recognition in 2 D and 3 D laser range data. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2007. 21

Segmentação: regiões • Baseada em grades de ocupação: células; • Características: – Perfil geométrico das leituras do sensor de varredura laser mais reconhecimento de objetos - Ada. Boost; – Atividade (dinâmica dos objetos na cena) – SVM, HMM, MRF; • Categorias: – Calçada e rua; – Fluxo de tráfego; – Corredor, sala e porta; 22

Activity-based ground models Lookingbill, A. , Lieb, D. , Stavens, D. , Thrun, S. Learning activity-based ground models from a moving helicopter platform. In: IEEE International Conference on Robotics & Automation (ICRA), 2005. 23

Activity-based semantic map Wolf, D. , Sukhatme, G. S. , Activity-based semantic mapping of an urban environment. In: International Symposium on Experimental Robotics (ISER), 2006. 24

Semantic labeling of places Mozos, O. M. , Triebel, R. , Jensfelt, P. , Rottmann, A. , Burgard, W. Supervised semantic labeling of places using information extracted from sensor data. In: Robotics and Autonomous Systems 55, 2007. 25

Segmentação: objetos • Objetos a serem classificados: linhas obtidas do pré-processamento dos dados sensores de varredura laser; • Classificações: porta, parede (e corredor); • Aprendizado computacional supervisionado: – Modelo generativo: comportamento e aparência; – RMNs: aparência e relações espaciais; 26

Detecting and modeling doors Anguelov, D. , Koller, D. , Parker, E. , Thrun, S. Detecting and modeling doors with mobile robots. In: Proceedings of the IEEE International Conference on Robotics and Automation (ICRA), 2004. 27

Relational object maps Limketkai, B. , Liao, L. , Fox, D. Relational object maps for mobile robots. In: Proceedings of the International Joint Conference on Artificial Intelligence (IJCAI), 2005. 28

Conclusão • Extração de informação semântica dos dados sensoriais; • Emprego da semântica para resolver os desafios atuais da área de robótica; • Uso de modelos probabilísticos de primeira ordem: – Inclusão de dependências relacionais; – Melhor precisão na classificação; 29

Aprendizado estatístico-relacional • BNs Relacionais (RBN) (Jaeger, 1997); • Modelos Probabilísticos Relacionais (PRM) (Koller e Pfeffer, 1998; Friedman et al. , 1999); • PRMs Dinâmicos (DPRM) (Friedman et al. , 1998); • MMs Relacionais (RMM) (Anderson et al. , 2002); • RNs Relacionais (RMN) (Taskar et al. , 2002); • MDPs Relacionais (RMDP) (Guestrin et al. , 2003); • Redes de Dependência Relacionais (RDN) (Neville e Jensen, 2007); 30