Avaliao de Desempenho de Sistemas Comparao de Sistemas

Avaliação de Desempenho de Sistemas Comparação de Sistemas usando Amostras de Dados Paulo Adeodato Grupo de Inteligência Computacional Departamento de Informática Universidade Federal de Pernambuco © Paulo Adeodato

Conteúdo Introdução * Amostra x População * Intervalo de confiança * Métodos para determinar o intervalo de confiança * • Quantis de k-médias • Aproximação pela distribuição normal • Aproximação pela distribuição t de Student Comparação entre 2 opções de sistemas com cargas de trabalho semelhantes * Intervalo de confiança x Teste de hipóteses * Intervalo de confiança assimétrico * © Paulo Adeodato

Introdução Sample x Example (do inglês) * Ambas derivadas de Essample (do francês antigo) * Em estatística, inferências (a partir de dados) não são definitivas inquestionáveis: devem ser sempre apresentadas com os intervalos de confiança associados * Nós apenas medimos os fenômenos do mundo real em observações discretas e generalizamos as conclusões para todo o domínio * Há sempre um erro ao processo de generalização * © Paulo Adeodato

População x Amostra © Paulo Adeodato

Intervalo de Confiança (I. C. ) Exemplos de Afirmações / Perguntas O parâmetro se encontra no intervalo (a, b) com nível de confiança de 90%. * Os processos A e B são iguais com o nível de confiança de 95%. * Será o processo A melhor que o B com o nível de significância de 1% ? * Será que a condição K interfere no processo A com um nível de confiança de 95% ? * © Paulo Adeodato

Intervalo de Confiança (I. C. ) * P(a b) = 1 - onde: • valor esperado do parâmetro (desconhecido) • (a, b) intervalo de confiança (variável aleatória) • nível de significância • 100(1 - ) “ de confiança • (1 - ) coeficiente de “ © Paulo Adeodato

Métodos para Determinar o Intervalo de Confiança Quantis de k médias * Teorema Central do Limite (a partir de 1 média) * • Aproximação pela distribuição normal • Aproximação pela distribuição t de Student © Paulo Adeodato

Métodos para Determinar o I. C. Método dos Quantis de k Médias Toma k amostras {{1 x 1, 2 x 1, . . . , nx 1}, . . . , {1 xk, 2 xk, . . . , nxk}} de n exemplos * Calcula as k médias * * * Coloca as k médias em ordem crescente Toma as [1+ /2(k-1)] e [1+(1 - /2)(k-1)]-ésimas médias como limites inferior e superior do I. C. de nível de significância , respectivamente © Paulo Adeodato

Exemplo-1: Quantis de 100 médias a 90% de Nível de Confiança Toma k amostras {x 1 , x 2, . . , xk} de n exemplos * Calcula as k médias * * * Coloca as k médias em ordem crescente Toma as [1+0, 05(100 -1)] e [1+(1 -0, 05)(100 -1)]-ésimas médias como limites inferior e superior a b • Bom para interpretar I. C. mas trabalhoso e caro © Paulo Adeodato

Métodos para Determinar o I. C. Teorema Central do Limite-1 Toma 1 amostra {x 1 , x 2, . . , xn} de n exemplos * Calcula a média da amostra[uma V. A. de distribuição N( , 2/n)] * * Calcula a variância da amostra * Faz a transformação para a normal reduzida N(0, 1) © Paulo Adeodato

Métodos para Determinar o I. C. Teorema Central do Limite-2 Consulta na tabela o quantil (1 - /2) da normal reduzida * Encontra o intervalo de confiança (a, b) * * Baixo custo, válido para n 30 © Paulo Adeodato

Métodos para Determinar o I. C. Teorema Central do Limite-1 Toma 1 amostra {x 1 , x 2, . . , xn} de n exemplos * Calcula a média da amostra[uma V. A. de distribuição N( , 2/n)] * * * Calcula a variância da amostra [uma V. A. de distribuição 2( )] Faz a transformação para a t de Student com graus de liberdade © Paulo Adeodato

Métodos para Determinar o I. C. Teorema Central do Limite-2 Consulta na tabela o quantil (1 - /2) da t de Student * Encontra o intervalo de confiança (a, b) * * Baixo custo, válido para n < 30 © Paulo Adeodato