Licence 3 Outils mathmatiques statistiques 1 Plan Srie

Licence 3 – Outils mathématiques & statistiques 1

Plan Série d’évènements Le problème Phénomènes aléatoires Tester les tendances Tester l’uniformité Tester un motif Cyclicité Autocorrélation Méthodes de Fourier 2

Séries d’évènements - Le problème 1229 1376 1583 1780 1927 1239 1377 1584 1804 1928 1240 1387 1587 1806 1929 1265 1388 1598 1814 1931 1269 1434 1611 1815 1932 1270 1438 1612 1826 1933 1272 1473 1613 1827 1934 1273 1485 1620 1828 1935 1274 1505 1631 1829 1938 1281 1506 1637 1830 1949 1286 1522 1649 1854 1950 1305 1533 1668 1872 1951 1324 1542 1675 1874 1953 1331 1558 1683 1884 1954 1335 1562 1691 1894 1955 1340 1563 1708 1897 1956 1346 1564 1709 1906 1957 1369 1576 1765 1916 1958 1375 1582 1772 1920 1962 Années d’éruption du volcan Aso durant la période 1229 -1962 3

Séries d’évènements - Le problème Régulier ou pas? 4

Séries d’évènements - Le problème 5

Séries d’évènements - Le problème Le plus simple : traiter une série de dates! But: recher un critère d’extrapolation, de compréhension… Géologie Tremblements de terre, éruptions volcaniques, impacts météoritiques, extinctions de masse. Les données sont regardées comme des points dans le temps : très courts face à la période considérée. Données excédant un seuil (threshold). 6

Séries d’évènements - Le problème Comment faire? La fin du temps est souvent le présent Choix d’un seuil suivant des critères précis (i. e. séismes) Si c’est aléatoire (random) c’est cuit! Sinon : régularité (regularity), tendance (trend), motif (pattern). Importance de la définition du départ et de la fin de la période ciblée. Les évènements ne doivent pas être les limites sinon biais. 7

Séries d’évènements - Le problème Aléatoire (randomness): l’occurrence d’un événement n’affecte pas la probabilité d’occurrence des autres évènements. Indépendance: Pas très respectée en géologie séismes ou éruptions volcaniques relâchent des contraintes ou causent des instabilités. 8

Série d’évènements - phénomène aléatoire 10 ans = 10 x 1 an 10 évènements aléatoires Nombre d’intervalles ou l’on attend k évènements donné par le modèle de Poisson : P(k)x. T (vu en L 1) n : nombre total d’évènements, T : nombre d’intervalles l = n/T -> Test du c 2 9

Série d’évènements - phénomène aléatoire H 0 : Les évènements sont distribués aléatoirement dans le temps H 1 : Les évènements sont groupés ou réguliers Avec n évènements, dans T intervalles. (Oj) : nombre d’intervalles observés avec j évènements comparés à (Ek) prédits par la distribution de Poisson. Test du chi-2 (vu en L 1) Ek > 5 d. l = (nombre de classes – 2) ATTENTION : Ce test ne convient pas aux tendances (augmentation ou diminution de la fréquence dans le temps) 10

Série d’évènements - phénomène aléatoire Un exemple: Dans une série de 45 m de carbonates du Dévonien, des horizons de tufs apparaissent : Position en m: 0. 5 2. 3 3. 2 16. 0 21. 5 22. 5 4. 2 25. 8 4. 9 30. 3 7. 0 31. 9 11. 4 36. 2 12. 7 42. 8 14. 6 La position est-elle aléatoire? 11

Série d’évènements - phénomène aléatoire Observation Intervalle k 0 -3 3 -6 6 -9 9 -12 12 -15 15 -18 18 -21 21 -24 24 -27 27 -30 30 -33 33 -36 36 -39 39 -42 42 -45 2 3 1 1 2 1 0 2 0 1 Distribution de fréquence observée: k Ok 0 1 2 3 4 4 6 4 1 0 12

Série d’évènements - phénomène aléatoire Nombre d’intervalles : T = 15 Nombre d’évènements : n = 17 Pour k=0, E 0= 15 x e-17/15 = 4. 829 k Ek 0 1 2 3 4 5 4. 829 5. 470 3. 101 1. 173 0. 333 0. 063 13

Série d’évènements - phénomène aléatoire Test du c 2. H 0: les données viennent d’une distribution de Poisson (randomness) H 1: Les données ne sont pas issues d’une distribution de Poisson k Ok Ek (Ok-Ek)2/Ek 0 1 2 -inf Total 4 6 5 15 4. 829 5. 470 4. 701 15 0. 142 0. 051 0. 019 c 2=0. 212 A peu près 5 dans chaque classe : ok a= 0. 05, dl = 3 (c’est le nbre classes) – 1 = 2 c 2 = 5. 99 H 0 n’est pas rejeté. Les données peuvent s’ajuster à la distribution de Poisson ATTENTION : Ce test ne convient pas aux tendances 14

Série d’évènements – Tester les tendances (trends) Trend : fréquences croissantes ou décroissantes. Changement de fréquences = changement dans la longueur des intervalles entre les évènements. Graphe ordinal entre le numéro des évènements et l’intervalle entre événement. Statistiques non-paramétriques : coefficient de Spearman (vu en L 2!). 15 Charles Spearman (1863 -1945)

Série d’évènements – Tester les tendances (trends) Echelle de la 1 ere variable : ordinale Echelle de la 2 eme variable : intervalle rs : coefficient de rang (Spearman) hi : longueur du i ième intervalle. n = nbre d’intervalles = nbre d’évènements -1. 16

Série d’évènements – Tester les tendances (trends) Même jeu de données que tout à l’heure Position en m: 0. 5 2. 3 3. 2 4. 9 7. 0 11. 4 12. 7 14. 6 21. 5 22. 5 25. 8 30. 3 31. 9 36. 2 Intervalles 1. 8 0. 9 1. 0 0. 7 2. 1 4. 4 1. 3 1. 9 5. 5 3. 3 4. 5 1. 6 4. 3 6. 6 16. 0 1. 0 42. 8 17

Série d’évènements – Tester les tendances (trends) 18

Série d’évènements – Tester les tendances (trends) Rang de l’obs. Intervalle hi Rang de hi D 2 = (Rang obs-Rang de hi)2 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 1. 8 0. 9 1. 0 0. 7 2. 1 4. 4 1. 3 1. 9 1. 4 5. 5 1. 0 3. 3 4. 5 1. 6 4. 3 6. 6 8 2 3. 5 1 10 13 5 9 6 15 3. 5 11 14 7 12 16 49 0 0. 25 9 25 49 4 1 9 25 56. 25 1 1 49 9 0 SD 2=287. 5 19

Série d’évènements – Tester les tendances (trends) rs = 0. 577. a = 0. 05 et n = 16, rs critique = 0. 427 La valeur calculée excède la valeur critique. Il y a une tendance! 20

Série d’évènements – Tester l’uniformité Les évènements uniformément distribués peuvent se retrouver en géologie quand l’occurrence d’un événement réduit la probabilité d’autres évènements dans un futur proche mais l’augmente après. Ex: séismes Test de Kolmogorov (K test) : hypothèse nulle d’uniformité. (vu en L 2) 21

Tester l’uniformité Basé sur un diagramme de cumul de fréquence. On recherche la différence verticale maximale entre le modèle et les data. 22

Tester l’uniformité Test sensible aux tendances et aux clusters (regroupements) Le calcul du K met en jeu la proportion d’évènements ayant eu lieu (i/n) et la proportion de temps écoulé (ti/T). n évènements, T temps total. Calcul de (i/n) – (ti/T) et ((i-1)/n) – (ti/T) Plus ces différences sont petites, plus c’est uniforme 23

Tester l’uniformité Kolmogorov test H 0 : les évènements sont uniformes ou aléatoires H 1 : les évènements sont regroupés ou avec une tendance K est comparé avec des valeurs critiques issues de tables Un exemple avec toujours les mêmes données… 24

Tester l’uniformité 1/17 i ti/T i/n (i-1)/n ti/T-i/n ti/T-(i-1)/n 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 0. 011 0. 051 0. 071 0. 093 0. 109 0. 156 0. 253 0. 282 0. 324 0. 356 0. 478 0. 500 0. 573 0. 673 0. 709 0. 804 0. 951 0. 059 0. 118 0. 176 0. 235 0. 294 0. 353 0. 412 0. 471 0. 529 0. 588 0. 647 0. 706 0. 765 0. 823 0. 882 0. 941 1. 000 0 0. 059 0. 118 0. 176 0. 235 0. 294 0. 353 0. 412 0. 471 0. 529 0. 588 0. 647 0. 706 0. 765 0. 823 0. 882 0. 941 -0. 048 -0. 067 -0. 105 -0. 142 -0. 185 -0. 197 -0. 159 -0. 189 -0. 205 -0. 232 -0. 169 -0. 206 -0. 192 -0. 150 -0. 173 -0. 137 -0. 049 0. 011 -0. 008 -0. 047 -0. 083 -0. 126 -0. 138 -0. 100 -0. 130 -0. 147 -0. 173 -0. 110 -0. 147 -0. 133 -0. 092 -0. 114 -0. 078 0. 010 0, 5/45 25

Tester l’uniformité K = 4. 126 x 0. 232 = 0. 957 Valeur critique dans la table pour a = 0. 05 et n = 17 : 0. 318 On rejette l’hypothèse nulle. Les évènements ne sont pas uniformes. Ici, plus haute densité en début de série. 26

Tester l’uniformité n 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 25 30 35 40 45 50 60 70 80 90 100 n>100 Alpha = 0. 10 0, 95 0, 7764 0, 636 0, 5652 0, 5095 0, 468 0, 4361 0, 4096 0, 3875 0, 3697 0, 3524 0, 3381 0, 3255 0, 3142 0, 304 0, 2947 0, 2863 0, 2785 0, 2714 0, 2377 0, 2176 0, 2019 0, 1891 0, 1786 0, 1696 0, 1551 0, 1438 0, 1347 0, 1271 0, 1207 1, 223/racine(n) Alpha = 0. 05 0. 9750 0. 8419 0. 7076 0. 6239 0. 5633 0. 5193 0. 4834 0. 4543 0. 4300 0. 4092 0. 3912 0. 3754 0. 3614 0. 3489 0. 3376 0. 3273 0. 3180 0. 3094 0. 3014 0. 2640 0. 2417 0. 2242 0. 2101 0. 1984 0. 1884 0. 1723 0. 1598 0. 1496 0. 1412 0. 1340 1, 358/racine(n) Alpha = 0. 01 0. 9950 0. 9293 0. 8290 0. 7342 0. 6685 0. 6166 0. 5758 0. 5418 0. 5133 0. 4889 0. 4677 0. 4491 0. 4325 0. 4176 0. 4042 0. 3920 0. 3809 0. 3706 0. 3612 0. 3166 0. 2899 0. 2690 0. 2521 0. 2380 0. 2260 0. 2067 0. 1917 0. 1795 0. 1694 0. 1608 1, 629/racine(n) Formulaire - Table de la loi de Kolmogorov-Smirnov 27

Tester un motif (pattern) Il y a des distributions non aléatoires qui ne vont pas être détectées avec les méthodes précédentes : patterns. Par exemple phases d’activité (pattern = uniformité + clusters) On considère une succession d’intervalles. Calcul d’un coefficient de corrélation (de Spearman) entre h et h+1. Si il n’y a pas de pattern, rs = 0. Si rs < 0 : intervalles longs puis courts Si rs > 0 : les intervalles successifs sont similaires 28

Tester un motif (pattern) H 0 : Pas de relation entre les intervalles successifs H 1 : corrélation entre la longueur des intervalles successifs n = (nbre d’évènements) – 2 29

Tester un motif (pattern) hi R(hi) hi+1 R(hi+1) (R(hi)- R(hi+1))2 1. 8 0. 9 1. 0 0. 7 2. 1 4. 4 1. 3 1. 9 1. 4 5. 5 1. 0 3. 3 4. 5 1. 6 4. 3 8 2 3. 5 1 10 13 5 9 6 15 3. 5 11 14 7 12 0. 9 1. 0 0. 7 2. 1 4. 4 1. 3 1. 9 1. 4 5. 5 1. 0 3. 3 4. 5 1. 6 4. 3 6. 6 2 3. 5 1 9 12 5 8 6 14 3. 5 10 13 7 11 15 36 2. 25 64 4 64 9 9 64 132. 25 4 49 16 9 S=511 30

Tester un motif (pattern) hi hi+1 R(hi) R(hi+1) 1, 8 0, 9 8 2 0, 9 1 2 3 1 0, 7 2, 1 1 9 2, 1 4, 4 10 12 4, 4 1, 3 13 5 1, 3 1, 9 5 8 1, 9 1, 4 9 6 1, 4 5, 5 6 14 5, 5 1 15 3 1 3, 3 3 10 3, 3 4, 5 11 13 4, 5 1, 6 14 7 1, 6 4, 3 7 11 6, 6 12 15 4, 3 31

Tester un motif (pattern) rs = 0. 0875 rs critique pour a = 0. 05 et n = 15 : 0. 443 Nous ne rejetons pas H 0. Il n’y a pas de corrélation évidente entre les intervalles successifs. Les intervalles consécutifs semblent être indépendants. 32

Tester un motif (pattern) t hi hi+1 r(Hi) r(hi+1 3 1, 2 0, 91 5 4 4, 2 0, 91 8, 89 4 11 5, 11 8, 89 2, 4 11 9 14 2, 4 1, 4 9 6 16, 4 1, 4 7, 5 7 10 17, 8 7, 5 0, 7 10 3 25, 3 0, 7 1, 5 3 7 26 1, 5 0, 5 8 2 27, 5 0, 5 12 2 13 28 12 1, 3 13 5 40 1, 3 9, 3 6 12 41, 3 9, 3 0, 4 12 1 50, 6 0, 4 1, 56 1 8 51 1, 56 52, 56 33

Tester un motif (pattern) 34

Séries temporelles – cyclicité. Autocorrélation • • Comparer les valeurs observées en un point avec les valeurs observées en un ou plusieurs points plus tôt (valeurs retardées lagged values). Notion importante en analyse spatiale Chaque observation est très semblable à sa valeur adjacente (lag = 1); mais aussi à la même observation 24 h plus tôt (lag = 24). Décalage de 100 h, puis 200 h etc…

Séries temporelles – cyclicité. Autocorrélation Chronogramme. L’evolution des T° a Nottingham Castle 36

Séries temporelles – cyclicité. Autocorrélation § L’idée: Trouver le pattern et en tirer avantage. § La corrélation entre les données originales et les klagged se nomme l’autocorrélation d’ordre k. § L’Autocorrelation Function (ACF) donne les coefficients de corrélation entre pour les lag consécutifs. § Le corrélogramme est la représentation graphique de l’ACF. § Attention si les séries ont une variance instable. Une transformation est nécessaire avant d’utiliser l’AFC.

Séries temporelles – cyclicité. Autocorrélation Attention pour la préparation des données: • Les observations doivent être régulièrement espacées dans le temps • Toute tendance linéaire doit être éliminée avant l’analyse • Règle empirique: au moins 50 valeurs dans la série, le lag ne doit pas excéder n/4.

Séries temporelles – cyclicité. Autocorrélation Test de significativité du coefficient d’autocorrélation. H 0 : rs = 0 H 1 : rs ≠ 0 Avec t le lag, rs le coefficient d’autocorrelation pour ce lag et n le nombre d’observations. Zr suit une loi normale centrée réduite. Les bornes sont 1. 96 et 1. 96 à 95% de confiance. 39

Séries temporelles – cyclicité. Méthodes de Fourier Augmentation du CO 2 dans l’atmosphère en fonction du temps. Superposition de plusieurs signaux Quels sont leurs origines? Variation séculaire Variation annuelle? ICI C’EST TRES SIMPLE… MAIS CE N’EST PAS TOUJOURS LE CAS

Séries temporelles – cyclicité. Méthodes de Fourier Prenons un autre exemple: Variation du d 18 O dans la carotte GISP-2 du Groenland sur les 10000 dernières années

Séries temporelles – cyclicité. Méthodes de Fourier Principe de la transformée de Fourier Décomposition de la lumière par un prisme Décomposition d’un signal temporel par transformée de Fourier

Séries temporelles – cyclicité. Fourier - traitement préalable Elimination du bruit par lissage (Smoothing) Données brutes = 1 signal + bruit. Le bruit apparaît sur les hautes fréquences. Il a peu d’influence sur les données adjacentes et peut être réduit en moyennant une courte série. Utilisation de moyennes arithmétiques pondérées. Questions : 1. 2. Nombre d’observations prises en compte? Valeur des poids?

Séries temporelles – cyclicité. Traitement préalable yi’=(-3 yi-2 + 12 yi-1 + 17 yi + 12 yi+1 – 3 yi+2) / 35 Quadratic polynomial smoothing : 5 termes ti-2 ti-1 ti ti+1 ti+2 -3 12 17 12 -3 Quadratic polynomial smoothing : 5 -9 termes No termes ti ti+1 ti-1 ti+2 ti-2 ti+3 ti-3 ti+4 ti-4 5 7 9 17 7 59 12 6 54 -3 3 39 -2 14 -21

Séries temporelles – cyclicité. Fourier - traitement préalable

Séries temporelles – cyclicité. Fourier - traitement préalable Les tendances doivent être éliminées avant traitement par transformée de Fourier. Si il y a un trend linéaire y = a + bt On doit travailler sur le résidu: ei = yi – bti - a

Séries temporelles – cyclicité. Fourier - Mathématiques Décomposition d’une série temporelle en une suite de sinusoïdes (amplitude, phase et fréquence). Voyons le plus simple Ajoutons l’amplitude Comment changer la fréquence? Et la phase?

Séries temporelles – cyclicité. Fourier - Mathématiques Donc pour une fréquence spécifique on a: Comme on a également : On tire En posant: On tire

Séries temporelles – cyclicité. Fourier - Mathématiques Finalement on somme toutes ces sinusoïdes!! Toutes les fonctions, à condition qu’elles soient continues, et qu’il n’y ait qu’une valeur de Y pour chaque valeur de X, peuvent être écrites sous la forme: Relation de Fourier

Séries temporelles – cyclicité. Fourier - Mathématiques

Séries temporelles – cyclicité. Fourier - Mathématiques L’amplitude pour une fréquence donnée : En général on définit plutôt la puissance ou la variance:

Séries temporelles – cyclicité. Fourier - Mathématiques Calcul très complexe alors tout à l’ordinateur! Algorithme FFT (Fast Fourier Transform) mais quelques contraintes : 1. 2. 3. 4. 5. Les données doivent être également espacées dans le temps Le nombre de données doit être 2 n avec n entier. Il ne doit pas y avoir de trend Les fréquences entières sont calculées En conséquence de 4. Les cycles doivent être complets.

Séries temporelles – cyclicité. Fourier - Mathématiques Problème en géologie dans la définition du temps Sédiments : • 1 varve = 1 an • Croissance sur les coquilles : rythmes lunaires, années, jours… • Si le taux de sédimentation est constant, alors le temps est assimilable à une distance. • Quoi qu’il en soit, attention à la corruption du temps!

Séries temporelles – cyclicité. Fourier - Mathématiques Les résultats sont exprimés sous forme de puissance (power spectrum)

Séries temporelles – cyclicité. Fourier - Mathématiques

Séries temporelles – cyclicité. Fourier - Mathématiques Simulation: par exemple: avec w 1 = fréquence de la fondamentale (en Hz) fois 2 p, s(t) = sin(w 1 t) + 0. 75*sin(3*w 1 t) + 0. 5*sin(5*w 1 t) + 0. 14*sin(7*w 1 t) + 0. 5*sin(9*w 1 t) + 0. 12*sin(11*w 1 t) + 0. 17*sin(13*w 1 t)

Séries temporelles – cyclicité. Fourier - Mathématiques Si T temps total et présence d’un pic à k, la période peut être calculée avec T/k. Contrainte: La fréquence maximale est déterminée par le nombre d’observations /2. Fréquence de Nyquist. Problème: l’aliasing! La variance de tous les signaux dont la fréquence est supérieure à la fréquence de Nyquist seront ajoutées aux variances des plus basses fréquences dans le périodigramme!!! Solution: on filtre les hautes fréquences.

Séries temporelles – cyclicité. Fourier - Filtres :

Séries temporelles – cyclicité. Fourier – Le bruit Bruit blanc : La puissance est uniformément distribuée sur le spectre

Séries temporelles – cyclicité. Fourier – Le bruit Bruit rose: C’est un bruit dit "1/f noise’. Perte de 3 d. B a chaque octave. C’est le bruit le plus fréquent dans la nature.

Séries temporelles – cyclicité. Fourier – Le bruit Bruit bleu: gain de 3 d. B a chaque octave.

Séries temporelles – cyclicité. Fourier « glissant »

Séries temporelles – cyclicité. Tests de significativité Les données réelles sont bruitées (noisy) -> pics mineurs (spikes) Question : signal ou bruit? Réponse : g-test, White noise test. H 0: Puissance à f due à un phénomène Aléatoire H 1: Une cyclicité existe à cette fréquence Valeur critique: Variation totale p= niveau de signification (a=0. 05) m=(nombre d’observations)/2

Séries temporelles – cyclicité. Tests de significativité Lignes de croissance sur des nautiles du Silurien Puissance=1, 28 k=12 (freq max) Variance totale: 9, 9 n=128 m=n/2=64 On ne rejette pas H 0. Conclusion: Ce pic peut résulter d’un phénomène aléatoire

Séries temporelles – cyclicité. Tests de significativité ‘White-noise’ test Puissance uniformément distribuée le long du spectre? Basé sur le KS test Puissance cumulée vs. fréquence. Hypothèses: H 0: bruit blanc H 1: ce n’est pas un bruit blanc

Séries temporelles – cyclicité. Tests de significativité Proportion de puissance cumulée à la fréquence k. Si bruit blanc, ce qui est attendu

Séries temporelles – cyclicité. Tests de significativité Avec a=0. 05, les intervalles de confiance sont: et Si gk sort de l’intervalle, il y a 95% de chances pour que les données ne résultent pas d’un processus type ‘bruit blanc’

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples Excentricité de l’orbite terrestre (100, 000 ans) Précession de l’axe de la Terre (26, 000 ans) Angle d’inclinaison sur l’axe (40, 000 ans)

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples

Séries temporelles – cyclicité. Exemples Fréquence d'échantillonnage et bande passante: Pour définir numériquement un son de fréquence F, il faut appliquer une fréquence d'échantillonnage Fs telle que: Fs>2 F. La valeur du taux d'échantillonnage pour un cd, par exemple n'est pas arbitraire, elle découle en réalité du théorème de Shannon/Nyquist, qui stipule que pour numériser fidèlement une valeur ayant une fréquence donnée, il faut numériser au double de cette fréquence. Or l'oreille humaine n'arrive pas à distinguer des sons dont la fréquence dépasse 22 000 Hz, ainsi il faut numériser à 44 000 Hz soit 44 k. Hz. Différent taux d'échantillonnage : - 44 k. Hz : qualité cd - 22 k. Hz : qualité radio - 8 k. Hz : qualité téléphone http: //www 3. leradome. com/bdd-heureka/numerisation-du-son. htm

Analyse de Fourier – Principe du CD R=2 n-1 (Où n est le nombre de bits). Ainsi les formats utilisés sont: 8 et 16 bits en micro-informatique et minidisque Sony 16 bits en audio amateur (CD et DAT) 16, 18, 20 et 24 bits en audio professionnelle Codage sur 8 bits : 256 valeurs possibles codage sur 16 bits: 65 536 valeurs possibles Quelle est la signification pratique de la résolution ? Plus on enregistre un son avec une résolution élevée, plus on va pouvoir en enregistrer les infimes détails. La précision maximale obtenue est celle du plus petit échantillon.