14 Lintgrit et la gestion des transactions n

14 L'intégrité et la gestion des transactions n 1. Intégrité sémantique – n 2.

14. 1 Concept de transaction n Transaction – séquence d'opérations programme – opérations pour

Pseudo-code d'une transaction de transfert bancaire 05/12/2020 © Robert Godin. Tous droits réservés. 3

14. 2 Propriétés d'une transaction (ACID) n. Atomicité (atomicity) – tout ou rien Scénario

Consistance (consistency) ou cohérence Laisse la BD dans un état cohérent n Déférer la

Isolation Sérialisabilité n Exemple de perte de mise à jour (lost update) n 05/12/2020

Exemple de lecture impropre (dirty read) : cas de sommaire inconsistant Lecture impropre :

Propriétés ACID (suite) n. Durabilité (durability) – effets d ’une transaction confirmée doivent durer

14. 3 État d'une transaction n Début. Transaction – – – identificateur unique +

Exemples de fautes Erreur locale à une transaction n Annulation par le SGBD (par

14. 4 Architecture générale pour la gestion des transactions 05/12/2020 © Robert Godin. Tous

14. 5 Contrôle de concurrence n Méthode de contrôle de concurrence assurer isolation –

Ordonnancement séquentiel (serial schedule) n L’une après l’autre 05/12/2020 © Robert Godin. Tous droits

Ordonnancement sérialisable (serializable) n Equivalent à un ordonnancement séquentiel (lequel ? ) 05/12/2020 ©

Exemple de perte de mise à jour est non sérialisable n Pas équivalent ni

14. 5. 1 Enjeux du contrôle de concurrence n Solution bestiale – interdire les

14. 5. 2 Sérialisabilité par permutation Sérialisabilité difficile à vérifier en pratique n Exemple

Sérialisabilité par permutation Éviter de considérer les calculs n Uniquement les lectures/écritures BD n

Sérialisablilité par permutation n Ordonnancement sérialisable par permutation (conflict serializable schedule) – 05/12/2020 opérations

Sérialisable par permutation : flèches dans la même direction 05/12/2020 © Robert Godin. Tous

Proposition n Sérialisable sérialisable n Pas l ’inverse 05/12/2020 par permutation © Robert Godin.

Sommaire inconsistant : non sérialisable par permutation 05/12/2020 © Robert Godin. Tous droits réservés.

Ordonnancement chanceux n Non sérialisable par permutation mais sérialisable 05/12/2020 © Robert Godin. Tous

14. 5. 3 Test de sérialisabilité par permutation n Graphe de préséance (precedence graph)

Graphe de préséance sans cycle 05/12/2020 © Robert Godin. Tous droits réservés. 25

Sommaire inconsistant : graphe de préséance avec cycle 05/12/2020 © Robert Godin. Tous droits

14. 5. 4 Principales stratégies de contrôle de concurrence n Verrouillage (locking) – –

14. 5. 5 Contrôle de concurrence par verrouillage n Modes de verrouillage – Verrouillage

Procédure de verrouillage n Table de verrouillage – 05/12/2020 verrouillages accordés et demandés ©

Procédure de déverrouillage n Politique de gestion des files d ’attentes 05/12/2020 – priorités

14. 5. 5. 1 Verrouillage en deux phases n Protocole de verrouillage en deux

Exemple non V 2 P : cas du sommaire inconsistant 05/12/2020 © Robert Godin.

V 2 P à l ’oeuvre 05/12/2020 © Robert Godin. Tous droits réservés. 33

14. 5. 5. 2 Problèmes dus aux annulations n Interactions – – n mécanismes

Annulation en cascade Annuler T 1 Annuler T 2 en cascade n Cause :

14. 5. 5. 3 Verrouillage strict et rigoureux en deux phases n Verrouillage en

14. 5. 5. 4 Récupérabilité n Non récupérable 05/12/2020 – Annuler T 1 Annuler

Ordonnancement récupérable (recoverable schedule) n si T 1 lit de T 2 – n

5. 5 Approche agressive ou conservatrice de verrouillage n Procotole conservateur – n verrouillage

14. 5. 5. 6 Interblocage 05/12/2020 © Robert Godin. Tous droits réservés. 40

14. 5. 5. 6. 1 n Détection d'interblocage Graphe qui attend quoi (QAQ, waitfor

14. 5. 5. 6. 2 Détection par temps limite n Si trop de temps

14. 5. 5. 6. 3 Prévention d'interblocage n 1. Attente ou mort ( «

Prévention (suite) n Protocole conservateur – – n demandes de verrouillages en vrac au

14. 5. 5. 7 Verrouillage hiérarchique n T 1 n T 2 05/12/2020 ©

Verrouillage d'intention (intent locking) n Intention de verrouiller un composant 05/12/2020 © Robert Godin.

Exemple de hiérarchie 05/12/2020 © Robert Godin. Tous droits réservés. 47

Modes de verrouillage hiérarchique n Matrice de compatibilité 05/12/2020 © Robert Godin. Tous droits

Protocole de verrouillage hiérarchique en deux phases (VH 2 P, hierarchical two phase locking).

14. 5. 6 Contrôle de concurrence par estampillage n Principe – si O 1

Exemple qui respecte le protocole - OK : Estampille(T 2) < Estampille(T 1) -

Lecture rejetée 05/12/2020 © Robert Godin. Tous droits réservés. 52

Protocole de contrôle de concurrence par estampillage : demande de lecture n Lire(B, .

Protocole de contrôle de concurrence par estampillage : demande d ’écriture n Écrire(…, B)

Sérialiable mais pas toujours récupérable n n Protocole de contrôle de concurrence par estampillage

14. 5. 6. 1 Protocole de contrôle de concurrence par estampillage strict n Retarder

Exemple strict 05/12/2020 © Robert Godin. Tous droits réservés. 57

14. 5. 6. 2 Règle d'écriture de Thomas n Écrire(…, B) par T –

14. 5. 7 Contrôle de concurrence par certification n Phase 1: lecture – n

14. 5. 8 Méthode multiversion n Principe – Ecrire(…, B) n créer une nouvelle

14. 5. 8. 1 Contrôle de concurrence par estampillage multiversion n Maintenir pour chaque

Choisir la bonne version n Lire(B, . . . ) par T 05/12/2020 ©

Écrire si possible n Écrire(variable, B) par T 05/12/2020 © Robert Godin. Tous droits

Exemple du multiversion 05/12/2020 © Robert Godin. Tous droits réservés. 64

Exemple d ’écriture annulée 05/12/2020 © Robert Godin. Tous droits réservés. 65

14. 5. 8. 2 Contrôle de concurrence par verrouillage multiversion n Multiversion pour lecteur

14. 5. 9 Cas des insertions et de suppressions Cas particuliers d ’écriture n

Phénomène du fantôme 05/12/2020 © Robert Godin. Tous droits réservés. 68

Solutions n Verrouiller à un niveau de granularité plus élevé – n bloque toute

14. 5. 10 Autres protocoles de contrôle de concurrence n Autres verrouillages – Structures

14. 5. 11 Contrôle de concurrence en SQL n 4 niveaux d ’isolation d

Niveaux d ’isolation SQL 05/12/2020 © Robert Godin. Tous droits réservés. 72

SET TRANSACTION n Au début de la transaction : n Demandes explicites de verrouillage

14. 5. 12 Cas du SGBD Oracle n Défaut – – 05/12/2020 Niveau 1.

En lecture n n Multiversion – « Statement level read consistency » – vue

En écriture n Verrouillage hiérarchique rigoureux en deux phases pour – n INSERT, DELETE,

Demande de verrouillage au niveau table : LOCK TABLE 05/12/2020 © Robert Godin. Tous

Demande de verrouillage de lignes : clause FOR UPDATE 05/12/2020 © Robert Godin. Tous

Isolation par cliché (snapshot isolation) n Pour une transaction n Pour une session n

suite n Conflit écriture/lecture impossible – n Conflit écriture/écriture impossible – n cliché du

Exemple sérialisable 05/12/2020 © Robert Godin. Tous droits réservés. 81

Exemple non sérialisable Contrainte : total >= 0 05/12/2020 © Robert Godin. Tous droits

14. 6 Fiabilité et récupération Assurer Atomicité et Durabilité n Principe : redondance contrôlée

Sing this to the tune of the Beatles' "Yesterday" n Yesterday, All those backups

14. 6. 1 n Types de fautes Faute de transaction (transaction failure) – Faute

14. 6. 2 Récupération avec journal n Journal des transactions (log) – trace de

Types de récupération n Récupération globale – – n Récupération locale – n part

14. 6. 3 Contenu du journal (Début, id. Transaction) n (Refaire, id. Transaction, Opération)

14. 6. 4 Hiérarchie de mémoire 05/12/2020 © Robert Godin. Tous droits réservés. 89

14. 6. 5 Impact des stratégies de gestion de l'antémémoire n Stratégie risquer –

Protocole d'écriture de journal (Write Ahead Logging - WAL) n n Écriture de Défaire

Exemple de scénario 05/12/2020 © Robert Godin. Tous droits réservés. 92

14. 6. 6 Récupération système n Analyse – n Algorithme de récupération à deux

Exemple à une passe 1. Analyse T 1 : gagnante T 2 : perdante

14. 6. 7 Point de vérification n Minimiser le travail à faire – 05/12/2020

Point de vérification Suspendre les transactions actives n 1. Forcer écriture des tampons du

Point de vérification flou (fuzzy checkpoint) Transactions non suspendues pendant le point de vérification

14. 6. 8 Récupération avec numéro de séquence de journal n n Quelles sont

14. 6. 9 Contenu des enregistrements de type Refaire et Défaire n Journalisation physique

14. 6. 10 Ordonnancement strict n Ordonnancement strict (strict schedule) – interdit de lire

14. 6. 11 Confirmation en groupe n n Evite de forcer l ’écriture de

14. 6. 12 Méthode des pages d'ombre Mise à jour des pages #1 et

Confirmation en une seule écriture atomique 05/12/2020 © Robert Godin. Tous droits réservés. 103

Ajustement du répertoire courant 05/12/2020 © Robert Godin. Tous droits réservés. 104

Suite n Avantage – n rien à faire pour récupération locale ou système Inconvénients

14. 6. 13 Mémoires primaires non volatiles Application à mission critique n Exemple :

14. 7 Modèles avancés de transaction n Problème des transactions de longue durée –

14. 7. 1 Transaction imbriquée Transaction composée d'une collection de sous-transactions n Annulation de

14. 7. 2 Mécanisme de SAVEPOINT SQL n Mécanisme limité de sous-transaction – –

10. 7. 3 Particularités d'Oracle n Journal divisé en deux – – 05/12/2020 REDO

ROLLBACK SEGMENTS Répartition cyclique des transactions entre plusieurs ROLLBACK SEGMENTS n Récupération d ’espace

Fichiers REDO LOG 05/12/2020 © Robert Godin. Tous droits réservés. 112

14. 7. 4 Autres modèles de transaction n Sagas – – – séquence de

Slides: 113

Download presentation

14 L'intégrité et la gestion des transactions n 1. Intégrité sémantique – n 2. Fiabilité (sûreté) – n fautes (pannes) matérielles ou logicielles 3. Contrôle de concurrence – n respect des contraintes d’intégrité concurrence sans interférence indésirable 4. Sécurité (confidentialité) – 05/12/2020 accès autorisés © Robert Godin. Tous droits réservés. 1

14. 1 Concept de transaction n Transaction – séquence d'opérations programme – opérations pour délimiter – 05/12/2020 exécutées n début de transaction (implicite en SQL) n fin de transaction – confirmer (COMMIT WORK en SQL) – annuler (ROLLBACK WORK en SQL) par un propriétés ACID (DACIL) © Robert Godin. Tous droits réservés. 2

Propriétés ACID (suite) n. Durabilité (durability) – effets d ’une transaction confirmée doivent durer malgré pannes n. Légalité – 05/12/2020 respecter les privilèges © Robert Godin. Tous droits réservés. 8

14. 3 État d'une transaction n Début. Transaction – – – identificateur unique + informations état actif consommation de ressource (verrouillages, journal, …) n n Confirmer. Transaction – – état confirmé point de confirmation n – confirmer le plus tôt possible pour éviter de monopoliser les ressources Annuler. Transaction ou interruption suite à une erreur (faute) – – n enregistrement persistant (journal) libération de ressources n n choisir le niveau d ’isolation approprié état annulé effets doivent être « défaits » Fin = confirmé ou annulé 05/12/2020 © Robert Godin. Tous droits réservés. 9

Exemples de fautes Erreur locale à une transaction n Annulation par le SGBD (par exemple suite à la détection d'un interblocage) n Erreur du SGBD n Erreur du système d'exploitation n Panne de matériel n etc. n 05/12/2020 © Robert Godin. Tous droits réservés. 10

14. 5 Contrôle de concurrence n Méthode de contrôle de concurrence assurer isolation – transactions concurrentes Ordonnancement, histoire, ou exécution (schedule, history, log) – un scénario particulier d'exécution – ex : – n 05/12/2020 © Robert Godin. Tous droits réservés. 12

14. 5. 1 Enjeux du contrôle de concurrence n Solution bestiale – interdire les ordonnancements concurrents n mécanisme de section critique – n une transaction longue bloque toutes les autres… Objectif – – 05/12/2020 permettre ordonnancements concurrents gérer les accès concurrents aux mêmes données © Robert Godin. Tous droits réservés. 16

Sérialisabilité par permutation Éviter de considérer les calculs n Uniquement les lectures/écritures BD n n Opérations non permutables (conflicting) – 05/12/2020 Deux opérations de lecture ou d'écriture dans deux transactions différentes sont non permutables si elles portent sur la même donnée et au moins une des deux est une écriture © Robert Godin. Tous droits réservés. 18

Sérialisablilité par permutation n Ordonnancement sérialisable par permutation (conflict serializable schedule) – 05/12/2020 opérations non permutables sont effectuées dans le même ordre relatif que dans un ordonnancement séquentiel © Robert Godin. Tous droits réservés. 19

14. 5. 3 Test de sérialisabilité par permutation n Graphe de préséance (precedence graph) – un sommet pour chacune des transactions T i – arc Ti Tj n deux opérations non permutables de Ti et Tj n opération de Ti précède l'opération de Tj n Sérialisable par permutation graphe sans cycle 05/12/2020 – © Robert Godin. Tous droits réservés. tri topologique produit ordre séquentiel équivalent 24

14. 5. 4 Principales stratégies de contrôle de concurrence n Verrouillage (locking) – – – n blocage temporaire des opérations non permutables verrouillage des objets touchés ~ordre du premier conflit Estampillage (timestamping) – – – ~ ordre des estampilles sinon assassinat Estampille(T) (timestamp) n n Certification (validation) – – – n identifiant unique et ordre (horloge ou compteur) optimiste vérification des conflits à la fin de la transaction (assassinat ) ~ ordre du décès Multiversion – – 05/12/2020 utiliser des anciennes versions éviter blocages ou assassinats © Robert Godin. Tous droits réservés. 27

14. 5. 5 Contrôle de concurrence par verrouillage n Modes de verrouillage – Verrouillage exclusif (X, exclusive lock) n n – Verrouillage partagé (P, share lock (S)) n n Une transaction à la fois En écriture En lecture Matrice de compatibilité 05/12/2020 © Robert Godin. Tous droits réservés. 28

14. 5. 5. 1 Verrouillage en deux phases n Protocole de verrouillage en deux phases (V 2 P, two phase locking ) n Ver(B, P) ou Ver(B, X) avant Lire(B) n Ver(B, X) avant Écrire(B) n Aucun verrouillage déverrouillage (Dev) n (Ver) après un Proposition – 05/12/2020 V 2 P sérialisable par permutation © Robert Godin. Tous droits réservés. 31

14. 5. 5. 2 Problèmes dus aux annulations n Interactions – – n mécanismes de récupérations contrôle de concurrence Annulation par « défaire » – 05/12/2020 écritures pour annuler effets © Robert Godin. Tous droits réservés. 34

14. 5. 5. 3 Verrouillage strict et rigoureux en deux phases n Verrouillage en deux phases strict (strict two phase locking) – n Verouillage en deux phases rigoureux (rigourous two phase locking) – n déverrouillages des X après la fin tous les déverrouillages après la fin Proposition 05/12/2020 – V 2 P strict empêche lecture impropre (annulations en cascade) – Corollaire : V 2 P rigoureux empêche lecture impropre © Robert Godin. Tous droits réservés. 36

Ordonnancement récupérable (recoverable schedule) n si T 1 lit de T 2 – n confirmation de T 1 après confirmation de T 2 Proposition – Empêche lecture impropre récupérable n n ( lecture T 1 après confirmation T 2 confirmation T 1 après confirmation T 2 ) Conséquence – 05/12/2020 V 2 P strict (ou rigoureux) récupérable © Robert Godin. Tous droits réservés. 38

5. 5 Approche agressive ou conservatrice de verrouillage n Procotole conservateur – n verrouillage en vrac au tout début Protocole agressif – verrouillage le plus tard possible n plus de concurrence n plus d ’interblocages 05/12/2020 © Robert Godin. Tous droits réservés. 39

14. 5. 5. 6. 1 n Détection d'interblocage Graphe qui attend quoi (QAQ, waitfor graph) – Ti Tj n si Ti attend pour verrouillage détenu par Tj n Proposition – interblocage cycle dans QAQ Choix d ’une victime n Mieux que prévention si peu d ’interblocages 05/12/2020 © Robert Godin. Tous droits réservés. n 41

14. 5. 5. 6. 2 Détection par temps limite n Si trop de temps en attente – annuler la transaction Annulations parfois inutiles n Problème avec longues transactions n 05/12/2020 © Robert Godin. Tous droits réservés. 42

14. 5. 5. 6. 3 Prévention d'interblocage n 1. Attente ou mort ( « wait-die » ) – Si Ti demande un verrouillage accordé à Tj et Ti est plus vieille (Estampille(Ti) < Estampille(Tj), n n alors Ti peut attendre sinon elle est annulée – n les jeunes ne peuvent attendre les vieux 2. Assassinat ou attente ( « wound-wait » ) – Si Ti demande un verrouillage accordé à Tj et Ti est plus jeune (Estampille(Ti) > Estampille(Tj), n n alors Ti peut attendre sinon Tj est annulée – 05/12/2020 les jeunes ne peuvent bloquer les vieux © Robert Godin. Tous droits réservés. 43

Prévention (suite) n Protocole conservateur – – n demandes de verrouillages en vrac au début de la transaction cas particulier : verrouillage hiérarchique Ordre pré-défini – 05/12/2020 demandes selon un ordre pré-défini sur les objets © Robert Godin. Tous droits réservés. 44

Protocole de verrouillage hiérarchique en deux phases (VH 2 P, hierarchical two phase locking). n 1. Verrouiller parent en mode d'intention avant enfant : – Ver(parent de B, IX) avant Ver(B, X) ou Ver(B, IX) – Ver(parent de B, IX ou IP) avant Ver(B, P) ou Ver(B, IP) n 2. Ver(B, P) ou Ver(B, X) avant Lire(B) ou Lire(un descendant de B) n 3. Ver(B, X) avant Écrire(B) ou Écrire (un descendant de B) n 4. Aucun verrouillage (Ver) après un déverrouillage (Dev) 05/12/2020 © Robert Godin. Tous droits réservés. 49

14. 5. 6 Contrôle de concurrence par estampillage n Principe – si O 1 et O 2 non permutables n – n opérations exécutées dans l'ordre correspondant aux estampilles des transactions sinon zigouiller requérant Information à maintenir par SGBD 05/12/2020 ¨ Estampille-L(B): Estampille maximale des transactions ayant lu B ¨ Estampille-E(B): Estampille maximale des transactions ayant écrit B ¨ seulement les plus récentes © Robert Godin. Tous droits réservés. 50

Protocole de contrôle de concurrence par estampillage : demande de lecture n Lire(B, . . . ) par T – accepter : Estampille-L(B) : = Max(Estampille(T), Estampille-L(B)) 05/12/2020 © Robert Godin. Tous droits réservés. 53

Protocole de contrôle de concurrence par estampillage : demande d ’écriture n Écrire(…, B) par T – 05/12/2020 sinon accepter : Estampille-E(B) : = © Robert Godin. Tous droits réservés. Estampille(T) 54

Sérialiable mais pas toujours récupérable n n Protocole de contrôle de concurrence par estampillage sérialisable par permutation Ordonnancement séquentiel équivalent : n n ordre des estampilles des transactions Exemple non récupérable : 05/12/2020 © Robert Godin. Tous droits réservés. 55

14. 5. 6. 1 Protocole de contrôle de concurrence par estampillage strict n Retarder Lire(B, . . . )tant que la dernière transaction ayant écrit B n'est pas terminée – – – 05/12/2020 inclure indicateur de fin de transaction empêche lecture impropre ~verrouillage en lecture © Robert Godin. Tous droits réservés. 56

14. 5. 7 Contrôle de concurrence par certification n Phase 1: lecture – n écritures locales sans interruption Phase 2: certification – lorsque transaction se termine n n vérifie conflit par rapport à l'ordre des estampilles de fin Phase 3: confirmation – si certifiée n – sinon n 05/12/2020 les écritures sont faites transaction annulée © Robert Godin. Tous droits réservés. 59

14. 5. 8 Méthode multiversion n Principe – Ecrire(…, B) n créer une nouvelle version de B – (ou annuler) Lire(B, . . . ) n choisir la « bonne » version pour sérialisabilité n efficacement… – – 05/12/2020 versions récentes ! versions récentes dans journal ? © Robert Godin. Tous droits réservés. 60

14. 5. 8. 1 Contrôle de concurrence par estampillage multiversion n Maintenir pour chaque version Bi : ¨ Estampille-E(Bi) ¨ estampille du créateur de Bi ¨ Estampille-L(Bi) ¨ estampille maximale des lecteurs de Bi 05/12/2020 © Robert Godin. Tous droits réservés. 61

14. 5. 8. 2 Contrôle de concurrence par verrouillage multiversion n Multiversion pour lecteur – – n pas de blocage en lecture disponibilité des versions? V 2 P strict pour modifieur – – – pas d ’annulation en écriture verrouillage en lecture et écriture versions non confirmées inaccessibles n n estampille temporaire « infinie » Oracle (mode SERIALIZABLE = false) – – 05/12/2020 ~verrouillage multi-version verrouillage en écriture seulement © Robert Godin. Tous droits réservés. 66

14. 5. 9 Cas des insertions et de suppressions Cas particuliers d ’écriture n Insérer(variable, nom. Donnée. BD) n – n Supprimer(nom. Donnée. BD) – n insérer un nouvel objet supprimer l'objet Cas du verrouillage : – 05/12/2020 Ver(nom. Donnée. BD, X) © Robert Godin. Tous droits réservés. 67

Solutions n Verrouiller à un niveau de granularité plus élevé – n bloque toute la table… Verrouillage indirect – index secondaire sur no. Client n n verrouiller dans l ’index avant d ’accéder aux lignes Généralisation : verrouillage par prédicat – 05/12/2020 implémentation difficile. . . © Robert Godin. Tous droits réservés. 69

14. 5. 10 Autres protocoles de contrôle de concurrence n Autres verrouillages – Structures de données de support n – n index, listes de blocs libres, entête de bloc, … Méta-données Protocoles spécialisés – Verrouillage pour arbre-B n n – Loquet (latch) n 05/12/2020 moins contraignant que V 2 P tirer profit de la structure hiérarchique verrouillages internes de courte durée © Robert Godin. Tous droits réservés. 70

14. 5. 11 Contrôle de concurrence en SQL n 4 niveaux d ’isolation d ’une transaction – 0. Lecture impropre ( « READ UNCOMMITTED » ) n permet lecture impropre – – 1. Lecture propre ( « READ COMMITTED » ) n interdit lecture impropre – – n interdit lecture impropre garantit relecture sans modifications visibles – n 05/12/2020 e. g. V 2 P strict 2. Lecture reproductible ( « REPEATABLE READ » ) n – e. g. Ver(X) en écriture mais non strict e. g. V 2 P rigoureux permet fantômes 3. Sérialisable ( « SERIALIZABLE » ) © Robert Godin. Tous droits réservés. 71

En lecture n n Multiversion – « Statement level read consistency » – vue sérialisable un SELECT à la fois Pour sérialisabilité (en lecture seul) – n « Transaction level read-consistency » Utilisation des ROLLBACK SEGMENTS – versions récentes seulement… n – 05/12/2020 ORA-1555: snapshot too old mise au point délicate des ROLLBACK SEGMENTS © Robert Godin. Tous droits réservés. 75

Isolation par cliché (snapshot isolation) n Pour une transaction n Pour une session n En lecture – n Transaction level read-consistency En écriture – – 05/12/2020 premier confirmé gagnant ORA-08177 : cannot serialize access © Robert Godin. Tous droits réservés. 79

suite n Conflit écriture/lecture impossible – n Conflit écriture/écriture impossible – n cliché du début de la transaction premier confirmé gagnant Conflit lecture/écriture possible 05/12/2020 © Robert Godin. Tous droits réservés. 80

14. 6 Fiabilité et récupération Assurer Atomicité et Durabilité n Principe : redondance contrôlée n Approche populaire n – n journal (histoire des transactions) « Ça pourrait aller mieux mais ça coûterai plus cher » – 05/12/2020 architectures parallèles et réparties (non stop) © Robert Godin. Tous droits réservés. 83

Sing this to the tune of the Beatles' "Yesterday" n Yesterday, All those backups seemed a waste of pay. Now my database has gone away. Oh I believe in yesterday. Suddenly, There's not half the files there used to be, And there's a millstone hanging over me The system crashed so suddenly. I pushed something wrong What it was I could not say. Now all my data's gone and I long for yesterday-ay-ay-ay. Yesterday, The need for back-ups seemed so far away. I knew my data was all here to stay, Now I believe in yesterday. 05/12/2020 © Robert Godin. Tous droits réservés. 84

14. 6. 1 n Types de fautes Faute de transaction (transaction failure) – Faute de logique – Faute attribuable au SGBD – Annulation volontaire n Panne système (system crash) n Panne de mémoire secondaire (secondary memory failure) 05/12/2020 © Robert Godin. Tous droits réservés. 85

14. 6. 2 Récupération avec journal n Journal des transactions (log) – trace de l'histoire des transactions n Refaire (redo), défaire (undo) n Copies de sauvegarde – 05/12/2020 BDactuelle = BDcopie + Journal © Robert Godin. Tous droits réservés. 86

Types de récupération n Récupération globale – – n Récupération locale – n part d ’une copie de sauvegarde refaire les transactions depuis copie défaire les effets partiels de la transaction Récupération système – – 05/12/2020 refaire transactions confirmées défaire les autres © Robert Godin. Tous droits réservés. 87

14. 6. 3 Contenu du journal (Début, id. Transaction) n (Refaire, id. Transaction, Opération) n (Défaire, id. Transaction, Opération) n (Refaire. Défaire, id. Transaction, Opération) n (Confirmer, id. Transaction) n (Annuler, id. Transaction) n 05/12/2020 © Robert Godin. Tous droits réservés. 88

14. 6. 5 Impact des stratégies de gestion de l'antémémoire n Stratégie risquer – n risquer des écritures avant point de confirmation (matérialisation de (Confirmer, id. Transaction)) Stratégie forcer – 05/12/2020 écritures évacuées confirmation avant © Robert Godin. Tous droits réservés. point de 90

Protocole d'écriture de journal (Write Ahead Logging - WAL) n n Écriture de Défaire avant écriture BD – sinon ne peut pas Défaire – coordination avec l'antémémoire gestionnaire de Écriture Refaire précède écriture de Confirmer – 05/12/2020 sinon ne peut pas Refaire © Robert Godin. Tous droits réservés. 91

14. 6. 6 Récupération système n Analyse – n Algorithme de récupération à deux passes – – n déterminer les gagnantes et les perdantes Défaire les perdantes à reculons Refaire les gagnantes vers l ’avant Algorithme de récupération à une passe – Combiner Défaire et Refaire à reculons n faire seulement si objet non rencontré 05/12/2020 © Robert Godin. Tous droits réservés. auparavant 93

Point de vérification Suspendre les transactions actives n 1. Forcer écriture des tampons du journal n 2. Forcer écriture d'un enregistrement de type (Point. Vérification, Liste. Transactions. Actives) au journal n 3. Evacuer les tampons BD (qui sont sales) n 4. Écrit adresse de l'enregistrement 05/12/2020 © Robert Godin. Tous droits réservés. n 96

Point de vérification flou (fuzzy checkpoint) Transactions non suspendues pendant le point de vérification n Tampons non évacués depuis le dernier point de vérification sont évacués n – n stocker la liste des blocs mis à jour Retour à l ’avant-dernier point de vérification si le dernier n ’est pas terminé 05/12/2020 © Robert Godin. Tous droits réservés. 97

14. 6. 8 Récupération avec numéro de séquence de journal n n Quelles sont les écritures qui ont été propagées en mémoire persistante par le gestionnaire d ’antémémoire ? Récupération avec numéro de séquence de journal (NSJ, Log Sequence Number (LSN)) – – associer à chaque enregistrement écrit dans le journal un numéro de séquence de journal ajouter au bloc propagé le NSJ de l ’enregistrement Refaire qui correspond à l ’écriture n – 05/12/2020 permet de savoir que toutes les écritures jusqu ’au NSJ ont été propagées algorithme ARIES ( histoire reproductible) n n Refaire : rétablir l ’état exact avant la panne © Robert Godin. Tous droits réservés. Défaire : les perdantes 98

14. 6. 9 Contenu des enregistrements de type Refaire et Défaire n Journalisation physique (physical logging) – – n au niveau des bits image de bloc avant / après Journalisation logique (logical logging) – opérations logiques n insérer, supprimer, modifier ligne… n défaire : opération compensatoire 05/12/2020 © Robert Godin. Tous droits réservés. 99

14. 6. 10 Ordonnancement strict n Ordonnancement strict (strict schedule) – interdit de lire ou écrire O si une transaction non terminée a écrit O Verrouillage en deux phases ordonnancement strict 05/12/2020 © Robert Godin. Tous droits réservés. n strict 100

14. 6. 11 Confirmation en groupe n n Evite de forcer l ’écriture de journal au Commit Attend que le tampon du journal soit plein – n n n confirmation de plusieurs transactions en même temps Retarde un peu le point de confirmation réel Réduit écritures de journal Evacuations des tampons du journal doivent se faire selon ordre de demandes de confirmation 05/12/2020 © Robert Godin. Tous droits réservés. 101

Suite n Avantage – n rien à faire pour récupération locale ou système Inconvénients – – extension aux transactions concurrentes… journal pour récupération globale écritures supplémentaires pour répertoire allocation d ’espace aux nouvelles pages n fragmentation interne 05/12/2020 © Robert Godin. Tous droits réservés. 105

14. 7 Modèles avancés de transaction n Problème des transactions de longue durée – ex: applications de conception Eviter de perdre une semaine de travail n Eviter de bloquer les autres pendant une semaine n – 05/12/2020 niveau d ’isolation plus faible que sérialisabilité © Robert Godin. Tous droits réservés. 107

14. 7. 1 Transaction imbriquée Transaction composée d'une collection de sous-transactions n Annulation de la dernière soustransaction suite à une panne n 05/12/2020 © Robert Godin. Tous droits réservés. 108

14. 7. 2 Mécanisme de SAVEPOINT SQL n Mécanisme limité de sous-transaction – – SAVEPOINT nom. Savepoint ROLLBACK TO SAVEPOINT nom. Savepoint Point de récupération intermédiaire n Ne peut pas « COMMIT un SAVEPOINT » n 05/12/2020 © Robert Godin. Tous droits réservés. 109

14. 7. 4 Autres modèles de transaction n Sagas – – – séquence de transactions T 1, T 2, …, Tn + transactions compensatoires T 1 -1, T 2 -1, …, Tn-1 une saga peut voir les transactions confirmées d ’une autre (effet partiel de la saga !) Flux d'activités (workflow) n Versions explicites n 05/12/2020 – © Robert Godin. Tous droits réservés. « check in / check out » 113

Related presentations