Aprendizagem Viviane Torres da Silva viviane silvaic uff

Aprendizagem Viviane Torres da Silva viviane. silva@ic. uff. br http: //www. ic. uff. br/~viviane. silva/2010. 1/isma

Introdução Ø Sistemas de aprendizagem são sistemas adaptáveis e com técnicas de aprendizagem Ø O conjunto de situações é tão grande que não definimos todas as possibilidades quando descrevemos o problema Ø Aprendizagem: melhora do comportamento futuro baseado na experiência passada Ø Normalmente dizemos que se o agente inteligente então é porque ele tem a capacidade de aprender. E se tem a capacidade de aprender então é porque o agente é inteligente.

Aprendizagem Ø Aprendizagem de um agente – O agente tem a capacidade de aprender e melhorar seu rendimento e o rendimento do sistema Ø Aprendizagem do sistema multi-agente – Não é simplesmente a soma da aprendizagem de todos os agentes do sistema de maneira isolada – A aprendizagem de um agente é influenciada pelos demais agentes – Vários agentes podem aprender de uma maneira distribuída e interativa como se fossem um único corpo

Categoria principal Ø Processo de aprendizagem: planejamento, inferência e passos de decisões Ø Aprendizagem centralizado (aprendizagem isolada) – Todos as etapas do processo de aprendizagem são executadas por um único agente que não interage com os outros – O agente é completamente independente dos outros Ø Aprendizagem descentralizada (aprendizagem interativa) – Vários agentes estão envolvidos no processo de aprendizagem – As atividades do processo de aprendizagem são executadas por diferentes agentes

Características da aprendizagem Ø I/IV Grau de descentralização – Distribuição e paralelismo das atividades do processo de aprendizagem Ø Características especificas da interação – Nível de interação (desde pura observação até diálogos complexos como a negociação) – Persistência da interação (desde pouca até muita) – Freqüência da interação (desde pouca interação até muita) – Padrão de interação (desde completamente não estruturada até hierárquica) – Variedade da interação (desde fixa até variável) Ø Características específicas do envolvimento – Relevância do envolvimento – Papel desempenhado na interação (generalista, aquele executa todas as tarefas do processo de aprendizagem, ou especialista, que executa somente algumas)

Características da aprendizagem Ø II/IV Características específicas do objetivo – Tipo de melhora que o agente deseja alcançar com a aprendizagem – Compatibilidade entre os objetivos de aprendizagem dos agentes Ø Método ou estratégia de aprendizagem – Aprendizagem direta (implantação do conhecimento sem necessidade de inferência do aprendiz) – Aprendizagem a partir de um conselho ou instrução (aprende quando recebe um conselho, não foi una experiência do agente) – Aprendizagem por exemplos ou práticas (extração ou refinamento do conhecimento a partir de experiências positivas ou negativas) – Aprendizagem por analogia (conhecimento adquirido a partir de soluções de problemas similares) – Aprendizagem por descoberta (conhecimento adquirido a partir de observações, execuções de experimentos, teste de hipóteses, …)

Características da aprendizagem Ø III/IV Reação da aprendizagem – Aprendizagem inspecionada • a resposta enviada pelo tutor especifica as atividades desejadas • o objetivo da aprendizagem é treinar os agentes – Aprendizagem por reforço • a resposta somente informa a utilidade da atividade realizada pelo aprendiz • o objetivo da aprendizagem é maximizar a função de utilidade – Aprendizagem não inspecionada • Nenhuma resposta é fornecida • O objetivo é encontrar atividades úteis e desejadas utilizando o processo de tentativa e erro

Características da aprendizagem Ø IV/IV Reação da aprendizagem – As respostas à ações são fornecidas pelo ambiente ou por outros agentes do sistema – São eles que “ensinam” o agente no caso de aprendizagem inspecionada – São eles que “criticam” o agente no caso de aprendizagem por reforço – São eles que “observam” o agente no caso de aprendizagem não inspecionada

Problema da atribuição de créditos e culpas Ø A resposta do ambiente e dos outros agentes avaliam o comportamento do agente Ø A resposta dará crédito para os comportamentos bons e punirá o agente por mal comportamento Ø Avaliação inter-agente: – Avalia todo o comportamento em geral (varias ações de uma só vez) – Problema no caso de sistemas multi-agente: Como saber qual agente executou qual tarefa? Ø Avaliação intra-agente: – Avalia uma determinada ação do agente

Problema da aprendizagem por reforço em SMA Ø Aprendizagem por reforço pode ser utilizada quando: – Os agentes têm pouco ou nenhum conhecimento do domínio – Os agentes têm pouca informação sobre as capacidades e os objetivos dos outros agentes Ø Problemas: – Pouca informação sobre os outros agentes torna a coordenação ainda mais difícil – Quando os agentes necessitam comunicar-se para coordenar-se, se a qualidade da comunicação é má, a coordenação é afetada

Características da aprendizagem por reforço em SMA Ø Acoplamento entre os agentes: – Uma ação de um agente pode afeta muito ou pouco os planos de outros agentes Ø Relação entre os agentes – Os agentes podem estar agrupados para alcançar um objetivo – Os agentes interagem através do recurso que utilizam – Os agentes tem interesses distintos Ø Tempo de resposta – O tempo de resposta do ambiente depois que a ação foi executada pode variar de um domínio para outro Ø Combinações de comportamentos – Quantas combinações de comportamento irão encontrar um solução ótima?

Exemplos 1. Os agentes aprendem a empurrar uma caixa de um local ao local objetivo – – 2. Acoplamento entre os agentes: muito acoplados Relação entre os agentes: cooperação ou competição Tempo de resposta: imediato Combinações de comportamentos: múltiplos comportamentos ótimos Dois agentes que necessitam aprender a compartilhar um recurso – Acoplamento entre os agentes: muito acoplados – Relação entre os agentes: cooperação – Tempo de resposta: com atraso (não sabem em um determinado momento se estão fazendo bem) – Combinação de comportamentos: único comportamento ótimo

Aprendendo a partir de outros agentes Ø Aprendendo os papéis de una organização: – Os agentes necessitam aprender a executar de acordo com os papéis que irão desempenhar – Necessitam aprender a estrutura dos papéis da organização para colaborar com os demais agentes Ø Aprendendo para se beneficiar da negociação: – Os agentes necessitam se adaptar às condições do ambiente onde está ocorrendo a negociação – Os agentes podem aprender como os demais agentes “pensam” para tentar melhorar a negociação. Ex: o vendedor aprende quais são os desejos do comprador Ø Aprendendo para melhor combater o oponente – O agente pode aprender quais são os golpes que o oponente executa, qual é a melhor maneira de se esquivar dos golpes e os pontos de debilidade do oponente

Aprendizagem e Comunicação I/II Ø Aprendendo a comunicar-se: – A aprendizagem é um método para o aprendiz aprender a se comunicar Ø Comunicação como método de aprendizagem: – A comunicação é o método utilizado para o aprendiz aprender Ø O que comunicar? – Que informação é de interesse para os outros? Ø Quando comunicar? – Quanto tempo o agente deve dedicar-se somente a solucionar um problema antes de comunicar-se com outros agentes?

Aprendizagem e Comunicação II/II Ø Com quem comunicar? – Quais agentes estão interessados na informação? – Quais agentes devem ser perguntados? Ø Como comunicar? – Qual linguagem deve utilizada?