UPE Caruaru Sistemas de Informao Disciplina Minerao de

UPE – Caruaru – Sistemas de Informação Disciplina: Mineração de Dados Prof. : Paulemir G. Campos Redes Neurais Artificiais (Parte 2) 12/3/2020 MD - Prof. Paulemir Campos 1

Roteiro da Aula n Redes Neurais Artificiais (RNAs): n n Principais Modelos Conexionistas e Aplicações Referências. 12/3/2020 MD - Prof. Paulemir Campos 2

Principais Modelos Conexionistas e Aplicações 12/3/2020 MD - Prof. Paulemir Campos 3

Introdução n n Há vários tipos de Redes Neurais Artificiais (RNAs); As principais RNAs são: n n n MLP (Multilayer Perceptron); RBF (Radial Basis Function); ART (Adaptive Resonance Theory); SOM (Self-Organizing Maps); Redes Recorrentes; e, Redes Fuzzy. 12/3/2020 MD - Prof. Paulemir Campos 4

Redes MLP n As Redes MLP (Multilayer Perceptron) geralmente são constituídas por: n n n uma camada de entrada; uma ou mais camadas escondidas; e, uma camada de saída. 12/3/2020 MD - Prof. Paulemir Campos 5

Redes MLP Arquitetura de uma Rede MLP Direta com Duas Camadas Escondidas 12/3/2020 MD - Prof. Paulemir Campos 6

Redes MLP n n Redes MLP são treinadas usando aprendizado supervisionado; O algoritmo back-propagation é o mais popular utilizado no treinamento de redes MLP; 12/3/2020 MD - Prof. Paulemir Campos 7

Redes MLP n O funcionamento do algoritmo backpropagation consiste de duas fases: n n a fase para frente: os pesos das conexões são mantidos fixos e propaga-se os valores dos nodos de entrada, camada-a-camada, para obter-se a saída da rede; a fase para trás: os pesos das conexões são ajustados, da camada de saída para a camada de entrada, de acordo com o erro (diferença entre a saída da rede e a saída desejada) atingido pela rede. 12/3/2020 MD - Prof. Paulemir Campos 8

Redes MLP n Aplicações: n Redes MLP treinadas com o algoritmo back -propagation foram aplicadas na solução de vários problemas difíceis, como: n n n 12/3/2020 Diagnóstico médico; Detecção de falhas mecânicas; Previsão de séries temporais, etc. MD - Prof. Paulemir Campos 9

Redes RBF n Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas: n n Camada de entrada: composta pelos atributos de entrada de um conjunto de dados; Uma única camada escondida: formada por funções de base radial, geralmente Gaussiana, responsáveis por efetuar uma transformação nãolinear do espaço de entrada para o espaço da camada escondida; 12/3/2020 MD - Prof. Paulemir Campos 10

Redes RBF n Uma rede RBF (Radial Basis Function) é do tipo direta, assim como uma MLP, e contém três camadas com regras bem distintas (Cont. ): n E, camada de saída: fornece a resposta da rede, resultante de uma combinação linear (somatório, por exemplo) do produto dos valores de saída dos nodos escondidos pelos seus respectivos pesos com o nodo da camada de saída. 12/3/2020 MD - Prof. Paulemir Campos 11

Redes RBF Arquitetura de uma Rede RBF Onde: x é o vetor de entrada; i são as m funções de base radial de cada nodo escondido; e wi os pesos de cada nodo escondido com o nodo de saída. 12/3/2020 MD - Prof. Paulemir Campos 12

Redes RBF n Aplicações: n n As redes RBF foram primeiramente utilizadas na solução de problemas de interpolação multivariado; Atualmente, a aplicação de redes RBF em análise numérica tornou-se um significativo campo de pesquisas. 12/3/2020 MD - Prof. Paulemir Campos 13

Redes ART n As redes ART (Adaptive Resonance Theory), diferentemente das redes MLP e RBF, empregam aprendizado nãosupervisionado de forma competitiva para gerar clusters (agrupamentos) a partir do conjunto de dados de entrada. 12/3/2020 MD - Prof. Paulemir Campos 14

Redes ART n Aprendizado em redes ART: n n Em função do grau de similaridade entre um padrão de entrada e os padrões contidos nos clusters da rede, um cluster é escolhido e apenas os seus pesos são ajustados; Caso esse grau de similaridade não supere um certo limiar, de modo que nenhum cluster seja ativado, um novo cluster é criado para acomodar o padrão da entrada da rede. 12/3/2020 MD - Prof. Paulemir Campos 15

Redes ART Onde: F 1 -a é a camada de entrada; F 1 -b é a camada de interface; F 2 é a camada de clusters ou camada de saída; R (reset) é um nodo para controlar o grau de similaridade dos padrões localizados num mesmo cluster; G 1 e G 2 são nodos conectados às camadas F 1 e F 2 da rede para prover um controle do processo de aprendizagem Arquitetura Básica de uma Rede ART 1 12/3/2020 MD - Prof. Paulemir Campos 16

Redes ART n Aplicações de Alguns Modelos: n n n Rede ART 1: processa apenas padrões de entrada binários; Rede ART 2: capaz de processar padrões de entrada com valores contínuos; Rede ARTMAP: uma rede mais sofisticada que permite aprendizado incremental supervisionado. 12/3/2020 MD - Prof. Paulemir Campos 17

Redes SOM n n Uma rede SOM (Self-Organizing Maps) ou Mapas de Kohonen é identificada pela formação de um mapa topográfico dos padrões de entrada; As localizações espaciais dos nodos disparados neste mapa são um indicativo de características estatísticas intrínsecas contidas nos padrões de entrada. 12/3/2020 MD - Prof. Paulemir Campos 18

Redes SOM n Semelhante às redes ART, as redes SOM são baseadas numa aprendizagem não-supervisionada competitiva, em que os nodos da camada de saída competem entre si resultando em apenas um nodo vencedor (winner takes all neuron). 12/3/2020 MD - Prof. Paulemir Campos 19

Redes SOM n n O principal objetivo de uma rede SOM é transformar os sinais de um padrão de entrada de dimensão arbitrária num mapa discreto uni ou bidimensional; Por esta razão, as redes SOM também são denominadas mapas de características. 12/3/2020 MD - Prof. Paulemir Campos 20

Redes SOM Arquitetura de uma Rede SOM Bidimensional 12/3/2020 MD - Prof. Paulemir Campos 21

Redes SOM n Aplicações: n As redes SOM foram bem aplicadas na solução de problemas como: n n 12/3/2020 geração de música por computador; reconhecimento de caracteres; seleção de características; e, no bem conhecido problema do caixeiro viajante (traveling salesman problem). MD - Prof. Paulemir Campos 22

Redes Recorrentes n n São RNAs com um ou mais caminhos de realimentação (feedback loops); Por exemplo, considerando-se uma rede MLP, várias arquiteturas de redes recorrentes podem ser obtidas construindo-se caminhos de realimentação dos nodos de saída e/ou dos nodos escondidos para os nodos de entrada. 12/3/2020 MD - Prof. Paulemir Campos 23

Redes Recorrentes n Os caminhos de realimentação habilitam as redes recorrentes a registrarem temporariamente estados definidos pelos espaços de entrada e saída da rede. 12/3/2020 MD - Prof. Paulemir Campos 24

Redes Recorrentes n Redes Recorrentes são utilizadas basicamente com duas finalidades: n Memórias Associativas: n n n Redes de Hopfield; e, BAM (Bidirectional Associative Memory). Redes de Mapeamento Entrada-Saída: n n 12/3/2020 Redes NARX; Rede de Elman; MLP Recorrente; e, Rede Recorrente de Segunda Ordem. MD - Prof. Paulemir Campos 25

Redes Recorrentes n Aplicações: n Redes Recorrentes são bastante úteis em diversas aplicações, como: n n 12/3/2020 modelagem e predição não-linear; equalização adaptativa de canais de comunicação; processamento de voz; e, diagnóstico de motores automotivos. MD - Prof. Paulemir Campos 26

Redes Fuzzy n n Compreende todas as redes neurais que empregam conceitos da lógica fuzzy em sua concepção; Usualmente, redes fuzzy apresentam a topologia de uma rede MLP direta com pesos, propagação e funções de ativação diferentes de redes comuns ou não-fuzzy. 12/3/2020 MD - Prof. Paulemir Campos 27

Redes Fuzzy n Por exemplo, a seguir é apresentada uma rede fuzzy com três camadas onde: n n n suas unidades usam operadores de conjuntos fuzzy (união ou interseção) ao invés das funções de ativação normalmente utilizadas por RNAs; os pesos são conjuntos fuzzy; e, a camada escondida representa regras fuzzy. 12/3/2020 MD - Prof. Paulemir Campos 28

Redes Fuzzy Onde: 1(1), 2(1) e 3(1) representam conjuntos fuzzy definidos para a entrada x 1 1(2), 2(2) e 3(2) representam conjuntos fuzzy definidos para a entrada x 2 Exemplo de Rede Fuzzy 12/3/2020 MD - Prof. Paulemir Campos 29

Redes Fuzzy n Outros modelos conexionistas também estão sendo fuzzyficados, como: n n Redes SOM; e, Redes ART. 12/3/2020 MD - Prof. Paulemir Campos 30

Redes Fuzzy n A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais: n n Servem como ferramentas de engenharia do conhecimento e estatísticas; São relativamente resistentes ao “esquecimento catastrófico”, isto é, tendem a não “esquecerem” o conhecimento adquirido quando necessitam treinarem com novos dados; 12/3/2020 MD - Prof. Paulemir Campos 31

Redes Fuzzy n A motivação para o crescente interesse no desenvolvimento de redes fuzzy deve-se as seguintes vantagens sobre as redes tradicionais (Cont. ): n n Interpolam e extrapolam bem em regiões onde os dados são esparsos; E, aceitam tanto dados de entrada reais quanto fuzzy. 12/3/2020 MD - Prof. Paulemir Campos 32

Referências n n Braga, A. P. ; Ludermir, T. B. e Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000. Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE. 12/3/2020 MD - Prof. Paulemir Campos 33

Referências n n Fausett, L. V. Fundamentals of Neural Networks: Architectures, Algorithms, and Applications. New Jersey, Prentice-Hall, 1994. Haykin, S. Neural Networks, A Comprehensive Foundation. 2 nd ed. Prentice Hall, 1999. 12/3/2020 MD - Prof. Paulemir Campos 34

Referências n Zurada, J. M. Introduction to Artificial Neural Systems. St. Paul. MN, USA, West Publishing Company Inc. , 1992. 12/3/2020 MD - Prof. Paulemir Campos 35