Projeto de Experimentos RENATA CARVALHO Experimento Experimento Uma

Projeto de Experimentos RENATA CARVALHO

Experimento �Experimento: Uma forma de validar um modelo ou hipótese; Deve ser replicável, ou seja, ter a capacidade de ser reproduzido por qualquer outro agente externo; �Por que os experimentos precisam ser replicados? Com apenas uma observação, não se pode ter certeza da veracidade científica dos resultados obtidos.

Ciclo de um Experimento �Indução Mostra que algo é operacional; �Abdução Sugere que algo pode ser; �Dedução Prova que algo é.

Tipos de Projeto de Experimentos �Projeto simples Variação de um fator por vez; �Projeto fatorial completo Todas as combinações possíveis de todos os fatores, em todos os níveis; Achar o efeito de cada fator e suas combinações; �Projeto fatorial fracionado Utilizado quando o número de experimentos a ser realizado no fatorial completo é muito grande; Obtém-se menos resultados do que o fatorial completo.

�Exemplo: Para projetar uma máquina, devemos avaliar o tamanho da cache, o tamanho da memória e se 1 ou 2 processadores devem ser utilizados. Fator Nível -1 Nível 1 Tamanho da memória (A) 4 Mbytes 16 Mbytes 1 kbyte 2 kbytes 1 2 Tamanho da cache (B) Número de processadores (C) 4 Mbytes 16 Mbytes Cache 1 proc. 2 proc. 1 kbyte 14 46 22 58 2 kbytes 10 50 34 86

�O desempenho pode ser expressado por: �Pelo problema: �A equação de regressão é:

I A B C AB AC BC ABC y 1 -1 -1 -1 14 1 1 -1 -1 1 1 22 1 -1 -1 1 10 1 1 1 -1 -1 -1 34 1 -1 -1 1 46 1 1 -1 -1 58 1 -1 1 1 -1 -1 50 1 1 1 1 86 320 80 40 16 24 9 Total 40 10 5 2 3 1 Total/8

�SST (Sum of Squares Total) �Efeitos: A = 18% (800/4512) B = 4% (200/4512) C = 71% (3200/4512) AB = 4% (200/4512) AC = 1% (32/4512) BC = 2% (72/4512) ABC = 0% (8/4512)

�Com a repetição dos experimentos, é possível estimar erros; �Cada experimento será repetido r vezes; �A equação de regressão, nesse caso, é:

�O mesmo exemplo anterior considerando apenas o tamanho da cache e o tamanho da memória. I A B AB y y 1 -1 -1 1 (15, 18, 12) 15 1 1 -1 -1 (45, 48, 51) 48 1 -1 (25, 28, 19) 24 1 1 (75, 81) 77 164 86 38 20 Total 41 21, 5 9, 5 5 Total/4

Efeito I A B AB 41 21, 5 9, 5 5 1 -1 -1 1 1 Medidas y Erros y 1 y 2 y 3 e 1 e 2 e 3 15 15 18 12 0 3 -3 -1 48 45 48 51 -3 0 3 1 -1 24 25 28 19 1 4 -5 1 1 77 75 75 81 -2 -2 4

�Efeitos A = 78, 88% (5547/7032) B = 15, 4% (1083/7032) AB = 4, 27% (300/7032) 1, 45% restantes atribuídos a erros.

� Exp. A B C D E F G 1 -1 -1 -1 2 1 -1 -1 1 1 3 -1 1 4 1 1 -1 -1 -1 5 -1 -1 1 1 -1 -1 1 6 1 -1 -1 7 -1 1 1 -1 -1 8 1 1 1 1

� Exp. A B C AB AC BC ABC 1 -1 -1 -1 2 1 -1 -1 1 1 3 -1 1 4 1 1 -1 -1 -1 5 -1 -1 1 1 -1 -1 1 6 1 -1 -1 7 -1 1 1 -1 -1 8 1 1 1 1

� Exp. A B C D E F G 1 -1 -1 -1 2 1 -1 -1 1 1 3 -1 1 4 1 1 -1 -1 -1 5 -1 -1 1 1 -1 -1 1 6 1 -1 -1 7 -1 1 1 -1 -1 8 1 1 1 1

� Exp. A B C AB AC BC ABC 1 -1 -1 -1 2 1 -1 -1 1 1 3 -1 1 4 1 1 -1 -1 -1 5 -1 -1 1 1 -1 -1 1 6 1 -1 -1 7 -1 1 1 -1 -1 8 1 1 1 1

� Exp. A B C AB AC BC D 1 -1 -1 -1 2 1 -1 -1 1 1 3 -1 1 4 1 1 -1 -1 -1 5 -1 -1 1 1 -1 -1 1 6 1 -1 -1 7 -1 1 1 -1 -1 8 1 1 1 1

Experimento Simples (1 fator) �É usado para comparar várias alternativas de uma única variável (fator); �Não há limite para o número de níveis (alternativas) que o fator pode assumir; Com exceção de 2; O número de níveis deve ser maior do que 2.

Experimento Simples (1 fator) �Exemplo: Queremos analisar o tamanho (em kbytes) de um mesmo código em 3 linguagens. R V Z 144 101 130 120 144 180 176 211 141 288 374 144 72 302 A análise de um fator, só é válida se os dados de uma linha não representarem outro fator.

Experimento Simples (1 fator) R V Z 144 101 130 120 144 180 176 211 141 288 374 144 72 302 872 816 1127 Soma (2815) 174, 4 163, 2 225, 4 Média (187, 7) -13, 3 -24, 5 37, 7 Efeito

Experimento Simples (1 fator) �

Experimento Simples (1 fator) �Em termos de porcentagem, os efeitos tem os valores: A = 10, 4% (10. 992, 1 / 105. 357, 3) 89, 6% restantes atribuídos a erros. � Nesse caso, pode ser atribuída a diferença entre programadores.

�Qualquer número de fatores (k); �Qualquer número de níveis (n); Com exceção de 2.

� Símbolo Fator Nível 1 Nível 2 Nível 3 A Algoritmo LRUV FIFO RAND O Organização Grupo Freq y Alfa P Problema Pequeno Médio Grande M Memória 24 p 20 p 16 p

Grupo Alg. Freq y Alfa Prog. 24 p 20 p 16 p Pequeno 1, 51 1, 68 2, 73 1, 72 2, 39 3 1, 77 2, 73 3, 13 1, 72 1, 91 3, 28 2, 05 2, 89 3, 56 2, 08 3, 27 3, 67 Grande 2, 15 2, 29 3, 76 2, 42 3, 42 4 2, 99 3, 76 4, 11 Pequeno 1, 69 1, 83 2, 9 1, 9 2, 59 3, 14 1, 93 2, 91 3, 23 2 2, 13 3, 5 2, 21 3, 69 2, 31 3, 53 3, 77 Grande 2, 37 2, 54 3, 96 2, 66 3, 57 4, 13 3, 21 4 4, 23 Pequeno 1, 79 2 3, 04 2, 05 2, 68 3, 25 2, 05 2, 92 3, 34 1, 98 2, 39 3, 58 2, 37 3, 18 3, 78 2, 46 3, 49 3, 88 2, 42 2, 3 4, 09 2, 71 3, 69 4, 27 3, 24 3, 95 4, 36 LRUV Médio FIFO Médio RAND Médio Grande

�Para calcular o efeito de cada fator em determinado nível, utiliza-se a média dos valores relacionados ao efeito e a média global de todos os valores. �O efeito do algoritmo no nível LRUV é: Efeito = 2, 74 – 2, 90 = -0, 16 Fator Nível 1 Nível 2 Nível 3 A -0, 16 0, 02 0, 14 O -0, 36 0, 07 0, 29 P -0, 47 -0, 02 0, 49 M -0, 69 -0, 01 0, 70

Exercício �Desejamos analisar o desempenho de carros em km andados com 1 litro de combustível (álcool ou gasolina).

Resultados Obtidos (6 processadores, sequencial) MK WT CC MK. WT MK. CC WT. CC MK. WT. CC Total/8 I 1 1 1 MK 1 -1 -1 1 1 -1 WT -1 1 CC -1 -1 1 1 1 1, 2591 0, 1497 0, 1574 0, 0187 MK. WT MK. CC WT. CC CC Mean -1 -1 1 1 0, 1057 -1 1 0, 0661 1 -1 -1 1 0, 2505 1 -1 -1 -1 0, 0693 -1 1 -1 -1 0, 2733 -1 -1 0, 2381 1 1 0, 0001 0, 7769 -0, 1073 -0, 0681 -0, 0593 0, 0977 0, 0000 0, 0971 -0, 0134 -0, 0085 -0, 0074 0, 0122 0, 2561 0, 1798

Resultados Obtidos (6 processadores, sequencial) �Relevância dos parâmetros: MK = 3, 42% WT = 0, 00% CC = 92, 12% MK. WT = 1, 76% MK. CC = 0, 71% WT. CC = 0, 54% MK. WT. CC = 1, 46%

Resultados Obtidos (4 processadores, sequencial) MK WT CC MK. WT MK. CC WT. CC MK. WT. CC I 1 1 1 MK 1 -1 -1 1 1 -1 WT -1 1 CC -1 -1 1 1 1 MK. WT MK. CC WT. CC CC Mean -1 -1 1 1 0, 0632 -1 1 -0, 0301 1 -1 -1 1 0, 1931 1 -1 -1 -1 0, 0587 -1 1 -1 -1 0, 2056 -1 -1 0, 1845 1 1 Total 0, 9033 0, 2083 -0, 0205 0, 7197 0, 0569 -0, 0957 0, 0487 0, 0057 Total/8 0, 1129 0, 0260 -0, 0026 0, 0900 0, 0071 -0, 0120 0, 0061 0, 0007 0, 2283 0, 1290

Resultados Obtidos (4 processadores, sequencial) �Relevância dos parâmetros: MK = 7, 53% WT = 0, 07% CC = 89, 83% MK. WT = 0, 56% MK. CC = 1, 59% WT. CC = 0, 41% MK. WT. CC = 0, 01%

Resultados Obtidos (6 processadores, LS) MK WT CC MK. WT MK. CC WT. CC MK. WT. CC I 1 1 1 MK 1 -1 -1 1 1 -1 WT -1 1 CC -1 -1 1 1 1 Total 1, 8964 0, 2440 Total/8 0, 2371 0, 0305 MK. WT MK. CC WT. CC CC Mean -1 -1 1 1 0, 2049 -1 1 0, 1698 1 -1 -1 1 0, 3337 1 -1 -1 -1 0, 1726 -1 1 -1 -1 0, 3540 -1 -1 0, 3227 1 1 0, 1112 0, 8018 -0, 2064 -0, 1714 -0, 1638 0, 1978 0, 0139 0, 1002 -0, 0258 -0, 0214 -0, 0205 0, 0247 0, 3387 0, 2709

Resultados Obtidos (6 processadores, LS) �Relevância dos parâmetros: MK = 6, 98% WT = 1, 45% CC = 75, 39% MK. WT = 5, 00% MK. CC = 3, 45% WT. CC = 3, 15% MK. WT. CC = 4, 59%

Resultados Obtidos (4 processadores, LS) MK WT CC MK. WT MK. CC WT. CC MK. WT. CC I 1 1 1 MK 1 -1 -1 1 1 -1 WT -1 1 CC -1 -1 1 1 1 Total 1, 8636 0, 3330 Total/8 0, 2330 0, 0416 MK. WT MK. CC WT. CC CC -1 -1 1 1 -1 -1 1 -1 1 1 0, 1402 0, 7640 -0, 1096 -0, 2382 -0, 1162 0, 1624 0, 0175 0, 0955 -0, 0137 -0, 0298 -0, 0145 0, 0203 Mean 0, 2108 0, 1321 0, 3202 0, 2069 0, 3307 0, 3130 0, 3499 0, 2662

Resultados Obtidos (4 processadores, LS) �Relevância dos parâmetros: MK = 13, 48% WT = 2, 39% CC = 70, 93% MK. WT = 1, 46% MK. CC = 6, 90% WT. CC = 1, 64% MK. WT. CC = 3, 21%

Projeto de Experimentos RENATA CARVALHO