UPE Caruaru Sistemas de Informao Disciplina Inteligncia Artificial

UPE – Caruaru – Sistemas de Informação Disciplina: Inteligência Artificial Prof. : Paulemir G. Campos Redes Neurais Artificiais (Parte 1) 2/10/2022 IA - Prof. Paulemir Campos 1

Roteiro da Aula n Redes Neurais Artificiais (RNAs): n n Introdução; Tipos de RNAs; Aprendizado em RNAs. Referências. 2/10/2022 IA - Prof. Paulemir Campos 2

Redes Neurais Artificiais: Introdução 2/10/2022 IA - Prof. Paulemir Campos 3

O Que São RNAs? n Redes Neurais Artificiais (RNAs) são modelos de computação com propriedades particulares: n n n 2/10/2022 Capacidade de se adaptar ou aprender; Generalizar; Agrupar ou organizar dados. IA - Prof. Paulemir Campos 4

O Que São RNAs? n RNAs: n n estruturas distribuídas formadas por grande número de unidades de processamento conectadas entre si; Multi-disciplinaridade: n 2/10/2022 Ciência da Computação, Matemática, Física, Engenharias, Psicologia, Biologia, Lingüística, Filosofia, etc. IA - Prof. Paulemir Campos 5

O Que São RNAs? n Modelos inspirados no cérebro humano: n n Compostas por várias unidades de processamento (“neurônios” ou nodos) interligadas por um grande número de conexões (“sinapses” ou pesos). Eficientes onde métodos tradicionais têm se mostrado inadequados. 2/10/2022 IA - Prof. Paulemir Campos 6

O Que São RNAs? Exemplo de Topologia de uma RNA 2/10/2022 IA - Prof. Paulemir Campos 7

Características das RNAs n n n Aprendem através de exemplos; Adaptabilidade; Capacidade de generalização; Tolerância a falhas; Implementação rápida. 2/10/2022 IA - Prof. Paulemir Campos 8

História das RNAs n Inter-relação entre n n n Investigação do comportamento e estrutura do sistema nervoso através de experimentação e modelagem biológica; Desenvolvimento de modelos matemáticos e suas aplicações para a solução de vários problemas práticos. Simulação e implementação destes modelos. 2/10/2022 IA - Prof. Paulemir Campos 9

História das RNAs A Origem n (384 -322 a. C. ) Aristóteles escreveu: n n n “De todos os animais, o homem, proporcionalmente, tem o maior cérebro. ” (1700) Descartes acreditava que mente e cérebro eram entidades separadas; (1911) Ramon e Cajal introduzem a idéia de neurônios como estruturas básicas do cérebro. 2/10/2022 IA - Prof. Paulemir Campos 10

História das RNAs A Década de 1940: O Começo n (1943) Mc. Culloch & Pitts: n n Provam, teoricamente, que qualquer função lógica pode ser implementada utilizando unidades de soma ponderada e threshold (limiar); (1949) Hebb desenvolve algoritmo para treinar RNA (aprendizado Hebbiano): n 2/10/2022 Se dois neurônios estão simultaneamente ativos, a conexão entre eles deve ser reforçada. IA - Prof. Paulemir Campos 11

História das RNAs 1950 -1960: Anos de Euforia n (1958) Von Neumann mostra interesse em modelagem do cérebro (RNA): n “The Computer and the Brain”, Yale University Press n (1959) Rosenblatt implementa primeira RNA, a rede Perceptron: n n 2/10/2022 Ajuste iterativo de pesos; Prova teorema da convergência. IA - Prof. Paulemir Campos 12

História das RNAs Década de 1970: Pouca Atividade n (1969) Minsky & Papert analisam Perceptron e mostram suas limitações: n n 2/10/2022 Não poderiam aprender a resolver problemas simples como o OU-exclusivo; Causou grande repercussão. IA - Prof. Paulemir Campos 13

História das RNAs Década de 1970: Pouca Atividade n n n (1971) Aleksander propõe Redes Booleanas; (1972) Kohonen e Anderson trabalham com RNA Associativas; (1975) Grossberg desenvolve a Teoria da Ressonância Adaptiva (redes ART). 2/10/2022 IA - Prof. Paulemir Campos 14

História das RNAs Década de 1980: A Segunda Onda n n (1982) Hopfield mostra que Redes Neurais podem ser tratadas como sistemas dinâmicos; (1986) Hinton, Rumelhart e Williams, propõem algoritmo de aprendizagem para redes multi-camadas: n Parallel Distribuited Processing n Paul Werbos (1974) 2/10/2022 IA - Prof. Paulemir Campos 15

Unidades de Processamento n n Função: receber entradas de conjunto de unidades A, computar função sobre entradas e enviar resultado para conjunto de unidade B. Entrada Total: N u = xiw j i=1 2/10/2022 IA - Prof. Paulemir Campos 16

Unidades de Processamento n Representação n n n Local: unidades representam objetos bem definidos (Ex. letras, palavras, faces, etc); Distribuída: unidades representam elementos abstratos. Localização das unidades n n 2/10/2022 Intermediária (escondida); Saída. IA - Prof. Paulemir Campos 17

Unidades de Processamento n Estado de ativação: n n Representa o estado dos neurônios da rede; Pode assumir valores: n n Binários (0 e 1); Bipolares (-1 e +1); Reais Definido através de funções de ativação. 2/10/2022 IA - Prof. Paulemir Campos 18

Funções de Ativação n n Processa conjunto de entradas recebidas e o transforma em estado de ativação; Funções de ativação típicas envolvem: n n n 2/10/2022 Adições; Comparações; Transformações matemáticas. IA - Prof. Paulemir Campos 19

Funções de Ativação n Função de ativação n Atualiza estado de ativação n n a(t + 1) = F [a(t), u(t)] a(t + 1) = F [a(t)] a(t + 1) = F [u(t)] Atualização n n 2/10/2022 Síncrona (mais comum) Assíncrona IA - Prof. Paulemir Campos 20

Funções de Ativação n Funções de ativação mais comuns n n 2/10/2022 IA - Prof. Paulemir Campos 21

Funções de Ativação n Sigmoid Logística 2/10/2022 IA - Prof. Paulemir Campos 22

Funções de Ativação n Tangente Hiperbólica 2/10/2022 IA - Prof. Paulemir Campos 23

Funções de Saída n Função de saída n n Transforma estado de ativação de uma unidade em seu sinal de saída yi(t) = fi (ai(t)) Geralmente é uma função identidade. 2/10/2022 IA - Prof. Paulemir Campos 24

Valores de Entrada e Saída n Sinais de entrada e saída de uma RNA geralmente são números reais n Números devem estar dentro de um intervalo n n n Tipicamente entre -1 e +1 ou 0 e 1 Codificação realizada pelo projetista da rede Técnica de codificação mais simples é a binária n 2/10/2022 Número restrito de aplicações. IA - Prof. Paulemir Campos 25

Conexões n Definem como neurônios estão interligados n n Nós são conectados entre si através de conexões específicas. Codificam conhecimento da rede n 2/10/2022 Uma conexão geralmente tem um valor de ponderamento ou peso associada a ela. IA - Prof. Paulemir Campos 26

Conexões n Tipos de conexões (wik(t)) n n Excitatória: (wik(t) > 0) Inibitória: (wik(t) < 0) Conexão inexistente: (wik(t) = 0) Número de conexões de um nó n n 2/10/2022 Fan-in: número de conexões de entrada; Fan-out: número de conexões de saída. IA - Prof. Paulemir Campos 27

Redes Neurais Artificiais: Tipos 2/10/2022 IA - Prof. Paulemir Campos 28

Topologia n Número de camadas n n Uma camada (Ex. : Perceptron, Adaline) Multi-camadas (Ex. : MLP) n n n 2/10/2022 Completamente conectada; Parcialmente conectada; Localmente conectada. IA - Prof. Paulemir Campos 29

Topologia n Completamente Conectada 2/10/2022 IA - Prof. Paulemir Campos 30

Topologia n Parcialmente Conectada 2/10/2022 IA - Prof. Paulemir Campos 31

Topologia n Localmente Conectada 2/10/2022 IA - Prof. Paulemir Campos 32

Topologia n Arranjo das conexões: n Redes Feedforward n n Redes Recorrentes n n n Conexões apresentam loops Mais utilizadas em sistemas dinâmicos Lattices n 2/10/2022 Não existem loops de conexões Matriz n-dimensional de neurônios IA - Prof. Paulemir Campos 33

Topologia n Redes Feedforward n n 2/10/2022 Sinal segue numa única direção; Tipo mais comum. IA - Prof. Paulemir Campos 34

Topologia n Redes Recorrentes n n 2/10/2022 Possuem conexões ligando saída da rede a sua entrada; Podem lembrar entradas passadas e, conseqüentemente, processar seqüência de informações (no tempo ou espaço) IA - Prof. Paulemir Campos 35

Topologia n Redes Recorrentes 2/10/2022 IA - Prof. Paulemir Campos 36

Topologia n Lattices Camada de Saída Nodo Vencedor 1 . . . i . . . n Camada de Entrada 2/10/2022 IA - Prof. Paulemir Campos 37

Redes Neurais Artificiais: Aprendizado 2/10/2022 IA - Prof. Paulemir Campos 38

Aprendizado n n Capacidade de aprender a partir de seu ambiente e melhorar sua performance com o tempo; Parâmetros livres de uma RNA são adaptados através de estímulos fornecidos pelo ambiente: n n 2/10/2022 Processo iterativo de ajustes aplicado a sinapses e thresholds; Idealmente, a RNA sabe mais sobre seu ambiente após cada iteração. IA - Prof. Paulemir Campos 39

Aprendizado n RNA deve produzir para cada conjunto de entradas apresentado o conjunto de saídas desejado: wik(t+ 1) = wik(t) + wik(t) 2/10/2022 IA - Prof. Paulemir Campos 40

Aprendizado n Mecanismos de aprendizado: n n n 2/10/2022 Modificação de pesos ( wij(t)) associados às conexões; Armazenamento de novos valores em conteúdos de memória; Acréscimo e/ou eliminação de conexões/neurônios. IA - Prof. Paulemir Campos 41

Paradigmas de Aprendizado n Os paradigmas de aprendizado em RNAs são: n n n 2/10/2022 Aprendizado Supervisionado; Aprendizado por Reforço; Aprendizado Não-Supervisionado. IA - Prof. Paulemir Campos 42

Aprendizado Supervisionado n Professor externo: n Possui conhecimento sobre ambiente n n 2/10/2022 Representado por conjunto de pares (x, d); Geralmente, a rede não possui informações prévias sobre ambiente. Parâmetros da rede são ajustados por (x, d); Rede procura emular professor. IA - Prof. Paulemir Campos 43

Aprendizado Supervisionado n Problema de atribuição de crédito: n n Atribuir crédito ou culpa pelo resultado à cada uma das decisões internas que contribuíram para ele; Para rede melhorar desempenho, o custo deve mover para ponto de mínimo na superfície de erro: n n 2/10/2022 Utiliza informação sobre gradiente da superfície para os parâmetros atuais da rede; Gradiente: vetor que aponta na direção da descida mais íngreme. IA - Prof. Paulemir Campos 44

Aprendizado Supervisionado n Formas de aprendizado supervisionado: n Offline (estático) n n n Online (dinâmico) n n n Módulo externo para aprendizado; Rede é congelada após o treinamento. Rede nunca para de ser treinada; Aprendizado auto-contido Desvantagem: n 2/10/2022 dependência do professor IA - Prof. Paulemir Campos 45

Aprendizado Supervisionado n Um algoritmo de aprendizado supervisionado é o aprendizado por correção de erro; 2/10/2022 IA - Prof. Paulemir Campos 46

Aprendizado Supervisionado n Aprendizado por Correção de Erro: n n Regra Delta (Widrow e Hoff 1960); Erro: ek(t) = dk(t) - yk(t); Minimizar função de custo baseada em ek(t); Função de custo n n n 2/10/2022 c(t) = -1/2 e 2 k(t) Minimização de c(t) utiliza método de gradiente descendente; Aprendizado atinge solução estável quando os pesos não precisam mudar muito. IA - Prof. Paulemir Campos 47

Aprendizado Supervisionado n Aprendizado por Correção de Erro (Cont. ): n Após seleção da função de custo, aprendizado se torna um problema de otimização: n n Modelo matemático: n 2/10/2022 RNA é otimizada pela minimização de c(t) com respeito aos pesos da rede wik(t) = . ek(t). xi(t) IA - Prof. Paulemir Campos 48

Aprendizado Por Reforço n Crítico externo: n n n Processo de tentativa e erro; Procura maximizar sinal de reforço. Se ação tomada por sistema é seguida por estado satisfatório, sistema é fortalecido, caso contrário, sistema é enfraquecido (lei de Thorndike). 2/10/2022 IA - Prof. Paulemir Campos 49

Aprendizado Não-Supervisionado n n Não tem crítico ou professor externo; Extração de características estatisticamente relevantes: n 2/10/2022 Cria classes automaticamente. IA - Prof. Paulemir Campos 50

Aprendizado Não-Supervisionado n São métodos de aprendizado nãosupervisionado: n n 2/10/2022 Aprendizado Hebbiano; Aprendizado Competitivo. IA - Prof. Paulemir Campos 51

Aprendizado Não-Supervisionado n Aprendizado Hebbiano: n n n Regra mais antiga e famosa (Hebb 1949); Dois neurônios estão simultaneamente ativos, a conexão entre eles deve ser fortalecida; Regra modificada (sinapse Hebbiana) n n 2/10/2022 Dois neurônios são ativados sincronamente, força da sinapse deve ser aumentada; Dois neurônios são ativados assincronamente, força da sinapse deve ser reduzida. IA - Prof. Paulemir Campos 52

Aprendizado Não-Supervisionado n Aprendizado Competitivo: n Neurônios competem entre si para ser ativado; n n Adequado para descobrir características estatisticamente salientes: n 2/10/2022 Apenas um neurônio se torna ativo (regra winner-takes-all); Podem classificar conjuntos de entradas IA - Prof. Paulemir Campos 53

Referências n n Braga, A. P. ; Ludermir, T. B. e Carvalho, A. C. P. L. F. Redes Neurais Artificiais: Teoria e Aplicações. Editora LTC, 2000. Notas de aulas da Profa. Teresa B. Ludermir do CIn/UFPE. 2/10/2022 IA - Prof. Paulemir Campos 54