Universidade Estadual do Cear EXPERIMENTAO Disciplina Engenharia de

Universidade Estadual do Ceará EXPERIMENTAÇÃO Disciplina: Engenharia de Software Experimental Adaptado do material de Thayse Alencar 1

Referência Wohlin, C. , Runeson, P. , Höst, M. , Ohlsson, M. C. , Regnell, B. , Wesslén, A. 2012 2

Experimentação › Método científico que oferece um modo sistemático e controlado de avaliação; › Usado para: › Confirmação de teorias ou sabedoria popular; › Exploração de relacionamentos; › Avaliação da acurácia de modelos; 3

Experimentos em ES › Novas metodologias, linguagens, técnicas e ferramentas não deveriam ser sugeridas, publicados ou vendidos sem experimentação e validação. › Normalmente são na realidade Quasi-Experimentos : › dificuldade de aplicar aleatoriedade! › na maioria das vezes são utilizados dados reais (projetos reais) 4

Vantagens de Experimentos em ES › Métodos quantitativos de análise estatística; › Replicação (Ex. : protocolo de experimentação para aquisição de novas ferramenta); › Reduz incertezas sobre quais metodologias, linguagens, técnicas e ferramentas são ideais para um contexto; › Contribui para que pesquisadores explorem a evolução das mudanças tecnológicas. 5

1. CONCEITOS FUNDAMENTAIS Vocabulário Específico 6

Conceitos Fundamentais › Questões de pesquisa › Hipótese(s) › Variáveis (dependentes, independentes, tratamentos) › Objeto(s) › Participantes/Sujeitos 7

Exemplo Queremos estudar o efeito de um novo método de desenvolvimento sobre a produtividade do pessoal. Talvez seja mais proveitoso introduzir o paradigma de programação orientado a objetos em vez da abordagem estruturada. 8

Questão de Pesquisa (RQ) › Pensamento primário → observações primárias → declaração do problema → questões de pesquisa; › Descrevem o problema em termos de questões, e identifica os principais conceitos e relações a serem explorados. › A partir delas se derivam as hipóteses; › Exemplo: › Existe alguma relação entre o método desenvolvimento e a produtividade da equipe? de 9

Hipótese › › É uma teoria ou suposição que pode explicar um determinado comportamento ou fenômeno de interesse da pesquisa indicando a existência de um relacionamento esperado entre uma variável independente e uma outra dependente na pesquisa. Tipos: › Nula (H 0): declara que não há nenhum relacionamento estatisticamente significante entre a causa e efeito. › Alternativas (H 1, H 2, H 3. . . ): contraditória à primeira, porém não é a negação. Objetivo do experimento: rejeitar (ou não rejeitar) a hipótese nula a favor de uma ou algumas hipóteses alternativas. 10

Exemplo: › Nula (H 0): Utilizando o paradigma de desenvolvimento orientado a objetos, os desenvolvedores têm, em média, o mesmo índice de produtividade do que utilizando o paradigma estruturado. › H 1: Utilizando o paradigma de desenvolvimento orientado a objetos, os desenvolvedores têm maior índice de produtividade do que utilizando o paradigma estruturado mas somente em projetos de grande porte. 11

Hipótese Objetivo do teste de hipótese: provar a falsidade da hipótese nula. Assim, apenas duas decisões podem ser tomadas: › rejeitar a hipótese nula; › não rejeitar a hipótese nula. Saliente-se que não rejeitar a hipótese nula significa apenas que não se conseguiu, através dos dados disponíveis, demonstrar a sua falsidade, o que difere completamente de provar ou aceitar a sua veracidade. ›tem a ver com os erros que podem ser cometidos ao rejeitar ou não rejeitar a hipótese. 12

Hipótese Fazendo uma analogia com os processos judiciais. . . A hipótese nula (h 0) é que o réu é inocente (presunção de inocência). Durante o julgamento tenta-se provar a falsidade desta hipótese, ou seja, que o réu é culpado (h 1). . Mas no caso de não se conseguir provar a culpa, isso não significa que o réu seja inocente; significa apenas que não foram encontradas provas suficientes. É completamente diferente portanto, não rejeitar uma hipótese ou aceitar uma hipótese. 13

Tipos de Erro 1. Rejeitar a hipótese nula quando é verdadeira. O réu é inocente mas o juiz o considera culpado 2. Não rejeitar a hipótese nula quando ela é falsa. O réu é culpado mas o juiz o considera inocente. No primeiro caso o resultado tem significância estatística pois a H 0 foi rejeitada, porém aconteceu por acaso. Por isso é chamado de Falso Positivo. 14

Tipos de Erro A hipótese de inocência (H 0) somente é rejeitada quando a probabilidade erro é muito baixa, porque não se quer condenar um inocente. • Este erro é chamado de Erro Tipo I. • A probabilidade de Erro Tipo 1 (se rejeitar incorretamente a hipótese nula quando ela é verdadeira) precisa ser calculada e representa a significância do teste (letra grega α). Como uma consequência desde comportamento assimétrico, o Erro do Tipo II (absolver uma pessoa que cometeu um crime) pode ser muito grande. 15

Variáveis › Quando conduzimos um experimento queremos estudar as saidas quando são feitas variações nas variáveis de entrada de um processo. › Estudo do efeito de mudanças nas variáveis independentes encima das variáveis dependentes sendo estudadas. › As variáveis manipuladas e controladas no processo são chamadas de variáveis independentes ou fatores. 16

Variáveis › Um tratamento é um valor particular de um fator. 17

Exemplo: › Variáveis independentes (entrada): › método de desenvolvimento › › FATOR TRATAMENTOS orientado a objeto / estruturado › a experiência do pessoal › a ferramenta de suporte › ambiente Variável dependente (resultado): produtividade; 18

Objeto › É o elemento estudado para avaliar o relacionamento causaefeito; › Exemplo: programas que serão desenvolvidos; 19

Participantes/Sujeitos › › São elementos cuidadosamente selecionados que aplicam os tratamentos ao objeto › Humanos › máquinas/ferramentas Exemplo: desenvolvedores (equipe); 20

2. PROCESSOS DE UM EXPERIMENTO 21

Processos de um Experimento 22

Processos de um Experimento 1. Definição do Escopo 2. Planejamento do Experimento 3. Operação do Experimento 4. Análise e Interpretação 5. Apresentação e Empacotamento 6. Relatório do Experimento 23

Definição do Escopo - Framework Analisar <Objeto(s) de estudo> [produto, processo, modelo, teoria, métrica, etc. ] com o propósito de <Propósito> [caracterizar, monitorar, avaliar, controlar, etc. ] no que diz respeito ao seu <Foco da qualidade> [produtividade, custo, confiabilidade, portabilidade] do ponto de vista do(a) <Perspectiva> [desenvolvedor, testador, gerente de projeto, cliente, etc. ] no contexto de <Contexto> [empresarial, acadêmico] 24

Processos de um Experimento 1. Definição do Escopo 2. Planejamento do Experimento 3. Operação do Experimento 4. Análise e Interpretação 5. Apresentação e Empacotamento 6. Relatório do Experimento 25

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento › Off-line x on-line › Estudante x Profissionais › Simulações (Toys) x Problemas reais › Específico x Generalizado 6. Instrumentação 7. Avaliação da validade 26

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis › H 0 › Alternativas 4. Seleção dos sujeitos 5. Design do experimento 6. Instrumentação 7. Avaliação da validade 27

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: Devem ser elementos controláveis! 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento 6. Instrumentação 7. Avaliação da validade 28

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento › Técnicas de amostragem probabilísticas; › Técnicas de amostragem nãoprobabilísticas; 6. Instrumentação 7. Avaliação da validade 29

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: Probabilísticas: › 1. Seleção de contexto 2. Formulação da hipótese › 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento 6. Instrumentação 7. Avaliação da validade › Amostragem aleatória simples: os indivíduos são selecionados de uma lista da população aleatoriamente. Amostragem sistemática: o primeiro sujeito é selecionado da lista aleatoriamente e, em seguida, cada n: pessoa é selecionada da lista. Amostragem aleatória estratificada: a população é dividida em vários grupos e a amostragem aleatória simples é então aplicada aos grupos. 30

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto Não-probabilísticas: › Amostragem de conveniência: as pessoas mais próximas e mais convenientes são selecionadas como sujeitos; › Amostragem de cota: obtém indivíduos de vários elementos de uma população. 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento 6. Instrumentação 7. Avaliação da validade 31

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos 5. Design do experimento › › Um fator com dois tratamentos Um fator com mais de dois tratamentos Dois fatores com dois tratamentos Mais de dois fatores cada um com dois tratamento 6. Instrumentação 7. Avaliação da validade 32

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese 3. Seleção de variáveis 4. Seleção dos sujeitos › Objeto(s) › Guidelines › Instrumentos de Medição 5. Design do experimento 6. Instrumentação 7. Avaliação da validade 33

Planejamento do Experimento Planejamento pode ser dividido em sete etapas: 1. Seleção de contexto 2. Formulação da hipótese › Validade da conclusão: Preocupa-se com o relacionamento entre os tratamentos e os resultados; › Validade interna: Preocupa-se com o efeito causado pelo tratamento nos resultados; › Validade da construção: Analisa se o tratamento reflete a causa e o resultado reflete os efeitos; › Validade externa: Refere-se a generalização dos resultados. 3. Seleção de variávels 4. Seleção dos sujeitos 5. Design do experimento 6. Instrumentação 7. Avaliação da validade 34

Processos de um Experimento 1. Definição do Escopo 2. Planejamento do Experimento 3. Operação do Experimento 4. Análise e Interpretação 5. Apresentação e Empacotamento 6. Relatório do Experimento 35

Operação Serão analisados! 36

Processos de um Experimento 1. Definição do Escopo 2. Planejamento do Experimento 3. Operação do Experimento 4. Análise e Interpretação 5. Apresentação e Empacotamento 6. Relatório do Experimento 37

Análise e Interpretação 38

Estatística descritiva › Técnicas de Estatística Descritiva podem ser usadas antes de realizar testes de hipóteses para melhor compreender : › a natureza dos dados › a relação entre as amostras › a dispersão dos dados › pontos de dados anormais › falsos dados (outliers) 39

Estatística descritiva lida com o processamento numérico e gráfico dos dados: › Medidas de Tendência Central; › Medidas de Dispersão; › Medidas de Dependência; › Visualização Gráfica. 40

Medidas de Tendência Central › Média › Mediana › Moda › Média Geométrica ● ● ● (10, 2, 1, 3, 2, 1, 10, 2) (10, 2, 24, 5, 3) Freq Ordenado: (2, 3, 5, 10, 24) 2 = 3 Moda = 2 Mediana = 5. 41

Medidas de Tendência Central › › A média é utilizada para escalas intervalares e de razão, ela consiste no somatório dos valores dividido pela quantidade desses valores; A mediana é utilizada para a escala ordinal; A moda é utilizada para medir a tendência de amostras que estão na escala nominal; A média geométrica é utilizada para medir a tendência de valores na escala de razão. 42

Medidas de Dispersão › Variança › › Desvio Padrão › Range › Coeficiente de Variação › Frequência Relativa 43

Medidas de Dispersão › › › Variância é a média das diferença quadráticas entre os valores e a média da amostra, ela é utilizada para as escalas intervalares e de razão; Desvio padrão é a raiz da variância e é utilizada para medir a dispersão nas escalas intervalares e de razão; Range é a distância entre os valores máximos alcançados e mínimo alcançado numa amostra e é utilizada nas escalas intervalares e de razão; Coeficiente de variação é dado pelo desvio padrão dividido pela média e é utilizada para escala de razão; Por último, a Frequência Relativa que é a frequência com que valores da amostra aparecem em porcentagem, é utilizada na escala nominal. 44

Medidas de Dependência › Regressão Linear; › Regressão Não-Linear; › Covariança › Pearson Correlation Coefficient (-1, +1); › Spearman rank-order Correlation coefficient. 45

Histograma Visualização Gráfica frequência Gráfico Dispersão 80% 40% 10% Gráfico de pizza (Pie Chart) Box Plot lt lq m uq ut 46

Testes Estatísticos › › › Objetivo: rejeitar a hipótese nula; Entrada: duas ou mais amostras a serem comparadas; Saída: p-value › P-value <= α : Hipótese Nula é rejeitada e a hipótese alternativa é aceita; › Caso contrário: Hipótese Nula não pode ser rejeitada; › Quanto menor o valor p, mais as chances são de rejeitar a hipótese nula. 47

Como escolher o teste? Isso depende do. . . › › Tipo de distribuição da amostra Tamanho da amostra Tipos de variáveis Número de variáveis independentes 48

Exemplo de Testes › › › › T -test ANOVA Paired t -test Chi-square test Friedman test Mann–Whitney test Kruskal–Wallis test Wilcoxon signed-rank test 49

Processos de um Experimento 1. Definição do Escopo 2. Planejamento do Experimento 3. Operação do Experimento 4. Análise e Interpretação 5. Apresentação e Empacotamento 6. Relatório do Experimento 50

Apresentação e Empacotamento 51