Onbevredigd door Testautomatisering Reduceer je False Negatives Peter
Onbevredigd door Testautomatisering? Reduceer je False Negatives! Peter Wanders Test. Net Najaars. Event 2019
De invloed van False Negatives op het testproces 2
Delivery Pipeline Continuous Delivery & Continuous Testing Productie omgeving Code changes Ontwikkel omgeving Delivery Pipeline 3
IT Fundamenten 4
IT Fundamenten Gedrag Request / Reply 5 = Regels + Data Code Regels uit Request en/of externe bronnen
IT Fundamenten 6
Testen - (het vergelijken van gedrag) Gelijk? 7 Respons 1
Testen - (het vergelijken van gedrag) Test Scenario 8 Gelijk? Respons 1 Gelijk? Respons 2 Gelijk? Respons n
Testen - (het vergelijken van gedrag) Co n ov tro e DA r j le TA e 9 Gelijk? Respons 1 Gelijk? Respons 2 Gelijk? Respons n
Introductie State Control van Data naar State Data: • Algemene term State: • Gelokaliseerde data • Data in het Software component Controle over data in je softwarecomponent = State Control 10
State Control • Reproduceerbare Resultaten 11
IT Fundamenten – Reproduceerbare Resultaten 12
State Control • Reproduceerbare Resultaten • Concreet voorbeeld van State 13
IT Fundamenten – Concreet voorbeeld van State 14
IT Fundamenten – Concreet voorbeeld van State False Negative 15 Defect
State Control • Reproduceerbare Resultaten • Concreet voorbeeld van State • False Negatives in het Testproces 16
IT False Fundamenten Negatives – False Negatives in het Testproces 17
State Control • • • 18 Reproduceerbare Resultaten Concreet voorbeeld van Stateful en Stateless componenten False Negatives in het Testproces De invloed van State Control op Test Tooling
De invloed van State Control op Test Tooling 19
De invloed van State Control op Test Tooling 20
De invloed van State Control op Test Tooling UI Testen 21
State Control • • Reproduceerbare Resultaten Concreet voorbeeld van State False Negatives in het Testproces De invloed van State Control op Test Tooling • Bronnen van State en hoe kan je ze controleren 22
Hoe kan je de controle over de State maximaliseren? 23
Hoe kan je de controle over de State maximaliseren? Mock • • 24 Req 1 Req 2 … Req n • • Rep 1 Rep 2 … Rep n (Industrieoplossing)
Hoeveelheid onderhoud op Mocks bepaalt de toepasbaarheid 25 • • # verschillende requesten complexiteit van request & replies (tijdsafhankelijk? ) # veranderingen in Request/Reply format per release hoeveelheid code in de mocks
Hoe kan je de controle over de State maximaliseren? Mock • • 26 Req 1 Req 2 … Req n • • Rep 1 Rep 2 … Rep n (Industrieoplossing)
De invloed van False Negatives op het testproces 27
En nu? ? Ja, … en nu? 28
Concrete acties! 29 • Systemen zonder E 2 E keten • Systemen met eenvoudige E 2 E keten • Systemen met complexe E 2 E keten
Concrete acties - Systemen zonder E 2 E keten Investeer hierin! 30
Concrete acties – Systemen met E 2 E keten R& D 31 no od Randvoorwaarde oplossing: Maximale State Control met minimale maintenance za ke lijk !
Concrete acties Wat te doen : • Meet het % False Negatives • Maximaliseer State Control • Meet weer het % False Negatives • Automatiseren? < 10% - gewoon beginnen 10% tot 15% - voorzichtig beginnen, > 15% - wel beginnen? ? ? Voorkom dat je geld in kansloze testautomatisering stopt! 32
Samenvatting Meet het % False Negatives in je Test Proces! Automatiseer je ‘State Reset’ 33
Vragen? Peter. Wanders@klm. com
- Slides: 34