Rseaux de neurones et sries temporelles Une application

Réseaux de neurones et séries temporelles Une application sous SAS

Contexte • Améliorer la prévision des séries temporelles - Séries temporelles macro-économiques et financières de plus en plus complexes - Séries de plus en plus longues - Non linéarité des liens entre les variables (effets de seuils, etc. ) • Grâce à l’utilisation d’un modèle: - Dont la complexité s’adapte aux séries considérées - Qui prend en compte tout l’historique - Qui introduit de la non linéarité dans le processus

Contexte • Pour répondre à des problématiques telles que: - Les prévisions de ventes L’évolution des marchés Les mesures de risque La météo Etc. → Le réseau de neurones : la bonne réponse

Le réseau de neurones • Une mauvaise réputation: 1. 2. 3. 4. 5. Complexe Difficilement programmable Réservé à une importante quantité de données Gains de précision faibles Difficile à interpréter

Le réseau de neurones • Un modèle : 1. 2. 3. 4. 5. Simple Complexe Difficilement programmable Réservé à une quantité élevée de données Gains de précision faibles Difficile à interpréter

Un modèle simple 1/5 • Une simple extension du modèle linéaire → Un premier réseau estimé…

Un modèle simple 2/5

Un modèle simple 3/5

Un modèle simple 4/5 • Augmentation du nombre de neurones tant que le BIC ↓ → algorithme forward • Puis, suppression de connexions si le BIC ↓ → algorithme backward

Un modèle simple 5/5

Le réseau de neurones • Un modèle : 1. 2. 3. 4. 5. Simple Complexe Facilement Difficilement programmable Réservé à une quantité élevée de données Gains de précision faible Difficile à interpréter

Facilement programmable 1/4 • Etablir une boucle autour de la « PROC NEURAL » - Qui augmente à chaque fois le nombre de neurones cachés - Calcul du BIC via une « PROC SQL » - Sortie de la boucle dès que le BIC ↑ : modèle dominant • Etablir une seconde boucle - Qui supprime une connexion à chaque fois sur ce modèle dominant - Calcul du BIC via une « PROC SQL » - Sortie de la boucle si plus aucune suppression ne diminue le BIC

Facilement programmable 2/4 On quitte cette procédure dès que le BIC ↑

Facilement programmable 3/4 On continue cette procédure tant que le BIC ↓

Facilement programmable 4/4 • Procédures les plus utilisées - PROC NEURAL - PROC SQL • Compétences nécessaires - Macro langage - Algorithmique et maîtrise des boucles

Le réseau de neurones • Un modèle : 1. Simple Complexe 2. Facilement Difficilement programmable 3. Qui s’adapte aux Réservé à une quantité élevée de données 4. Gains de précision faibles 5. Difficile à interpréter

Qui s’adapte aux données • Le BIC comme critère d’arrêt évite le surapprentissage : • La complexité du réseau augmente si : - Forte volumétrie des - En pénalisant le nombre de données connexions dans le réseau - Séries temporelles - Relativement à la volumétrie atypiques données

Le réseau de neurones • Un modèle : 1. Simple Complexe 2. Facilement Difficilement programmable 3. Qui s’adapte aux Réservé à une quantité élevée de données 4. Gains de précisions importants faibles 5. Difficile à interpréter

Exemple d’application 1/4 • - Prévision des rendements trimestriels glissants de l’or : Environ 500 observations (1970 -Mai 2010) Sélection des inputs par une analyse linéaire : Grâce aux autocorrélations et autocorrélations partielles Test de significativité usuel des retards sélectionnés Résultats du modèle linéaire Lag Coef Std P-value 1 0, 874 0, 029 *** 3 -0, 640 0, 049 *** 6 -0, 481 0, 058 *** 7 0, 086 0, 050 * 8 0, 071 0, 049 0, 149 9 0, 158 0, 051 *** 10 0, 078 0, 048 0, 107 11 0, 119 0, 048 ** 12 -0, 160 0, 060 **

Exemple d’application 2/4 • Sélection du réseau optimal BIC • Number of hidden nodes • Parameter deleted -0. 69397 1 . -0. 70328 2 . -0. 73384 3 . -0. 69326 4 . -0. 78195 3 -0. 81003 3 -0. 82229 3 -0. 83430 3

Exemple d’application 3/4 Valeur des paramètres Parameter Estimate Β 11 -2, 781 Β 23 -0, 003 Β 35 -7, 927 Β 13 -11, 660 Β 24 0, 033 Β 37 -28, 901 Β 14 -18, 895 Β 26 -0, 012 Β 38 -0, 306 Β 15 5, 983 Β 27 0, 037 Τ 1 -1, 624 Β 16 -9, 569 Β 28 -0, 008 Τ 2 4, 832 Β 17 35, 752 Β 29 -0, 025 Τ 3 -1, 943 Β 18 -18, 161 Β 31 4, 084 α 10 65, 445 Β 19 0, 838 Β 32 11, 981 α 20 -0, 578 Β 21 0, 216 Β 33 42, 392 α 30 -117, 315 Β 22 -0, 054 Β 34 16, 271 α 2, 140 30 paramètres estimés contre 10 dans le modèle linéaire

Exemple d’application 4/4 Prévision hors échantillon: Modèle linéaire contre neuronal Date Real Neural Linear Forecast (BIC) Linear Errors Neural Errors (BIC) CR Neural CR (BIC) February 2010 -0, 054 -0, 13149 -0, 04177 0, 0775 0, 01118 0, 00601 0, 00013 March 2010 0, 0148 -0, 17268 -0, 12773 0, 1874 0, 12392 0, 03513 0, 01536 April 2010 0, 0871 -0, 03294 0, 00357 0, 12 0, 10774 0, 01441 0, 01161 May 2010 0, 0846 -0, 00188 0, 06608 0, 0864 -0, 03413 0, 00747 0, 00117 Somme des erreurs au carré 0, 06302 0, 02827 Avec les mêmes informations de départ la SCR est réduite de plus de 50%

Le réseau de neurones • Un modèle : 1. Simple Complexe 2. Facilement Difficilement programmable 3. Qui s’adapte aux Réservé à une quantité élevée de données 4. Gains de précisions importants faibles 5. Facile Difficile à interpréter

Interprétation du réseau - 2ème neurone fit le comportement habituel de la série - 1 er et 3ème neurone traduisent les comportements atypiques de la série temporelle entre 1970 et 1985 et autour des années 2010 → Prend en compte les cas de forte volatilité

Synthèse • Le réseau de neurones: - Outil pour mieux prévoir - Outil pour mieux comprendre - Pouvant s’adapter à toutes les formes de séries • Le réseau de neurones surperforme : - Si une analyse linéaire est réalisée en amont pour sélectionner les inputs - Si le modèle est bien spécifié (grâce au BIC par exemple)

Questions/Réponses Consultez l’article complet à partir du 16 novembre 2011 sur http: //nicolasarnoult. free. fr Contact : nicolasarnoult@free. fr • Professeur sponsor: J. Rynkiewicz

Annexe • Modèles hybrides - ECM avec relation de court terme neuronale Chaînes de Markov cachés Modèles à sortie multidimensionnelle Plusieurs couches cachées

La prochaine présentation sur ce thème aura lieu le ? ? ? à ? ? (Vous pouvez adapter ce texte comme vous le souhaitez)