Des mathmatiques derrire lintelligence artificielle Adrien Delige adrien

Des mathématiques derrière l’intelligence artificielle Adrien Deliège adrien. deliege@uliege. be Université de Liège Maths sous tous les angles, Amiens, 14 mars 2019

1. Les données 60. 000 images de chiffres, 28 x 28 pixels/image, 10 chiffres différents M n K Objectif Apprendre à l’ordinateur à reconnaître les images

1. Les données 60. 000 images de chiffres, 28 x 28 pixels/image, 10 chiffres différents n M K Objectif : … … … … Image … … … Apprendre à l’ordinateur à reconnaître les images = … … …

2. Scores et probabilités 1. Les données 3 -5 … … … 2 -1 … … Image … … … = … … …

2. Scores et probabilités 3 -5 … 2 … -1

2. Scores et probabilités … …

2. Scores et probabilités … …

2. Scores et probabilités 0, 3 5, 4 2, 1 -3, 6 -0, 2 1, 1 0, 6 -0, 1 6, 2 5, 4 • Quand est-ce qu’un score 7, 4 est grand ? Cela dépend des autres -2, 1 scores ! -3 • A-t-on vraiment envie de 7, 1 traiter des scores 2, 3 négatifs ? 1, 5 1, 4 6, 4 0, 7 3, 2

2. Scores et probabilités 0, 3 5, 4 2, 1 -3, 6 -0, 2 1, 1 0, 6 -0, 1 1, 4 0, 7 QUESTION • Quand est-ce qu’un score est grand ? Cela dépend des autres scores ! • A-t-on vraiment envie de traiter des scores négatifs ?

2. Scores et probabilités 0, 3 1, 35 5, 4 221, 41 2, 1 8, 17 -3, 6 0, 03 -0, 2 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? 0, 82 1, 1 3, 01 0, 6 1, 82 -0, 1 0, 90 1, 4 4, 06 0, 7 2, 01 20 L’exponentielle 15 10 5 -5 0 0 5

2. Scores et probabilités 0, 3 1, 35 0, 005 5, 4 221, 41 0, 910 2, 1 8, 17 0, 034 -3, 6 0, 03 0, 000 -0, 2 0, 82 ÷ 243, 58 0, 003 1, 1 3, 01 0, 012 0, 6 1, 82 0, 007 -0, 1 0, 90 0, 004 1, 4 4, 06 0, 017 0, 7 2, 01 0, 008 Total : 243, 58 Total : 1 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? En calculant quel pourcentage du total représente chaque nombre. On obtient alors un vecteur de probabilités.

2. Scores et probabilités 0, 3 1, 35 0, 005 5, 4 221, 41 0, 910 2, 1 8, 17 0, 034 -3, 6 0, 03 0, 000 -0, 2 0, 82 ÷ 243, 58 0, 003 1, 1 3, 01 0, 012 0, 6 1, 82 0, 007 -0, 1 0, 90 0, 004 1, 4 4, 06 0, 017 0, 7 2, 01 0, 008 Total : 243, 58 Total : 1 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? En calculant quel pourcentage du total représente chaque nombre. On obtient alors un vecteur de probabilités.

2. Scores et probabilités … … Softmax

2. Scores et probabilités … … Softmax

2. Scores et probabilités … … Softmax

2. Scores et probabilités Mesurons les performances de l’algorithme pour lui donner un feedback

3. Fonction de coût Prédiction Solution 0, 02 0 0, 87 1 0, 01 0 0, 02 0 0, 01 0 0, 03 0 0, 01 0 Erreur mineure Coût faible

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0 0, 16 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 Erreur très grave Coût très élevé

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 5 0, 08 0 4 0, 02 0 3 0, 16 0 2 0, 14 0 1 0, 02 0 0 0, 11 1 0, 04 0 02 -1 0 -2 Erreur très grave Coût très élevé 3 4

3. Fonction de coût 5 4 3 2 1 0 -2 1 2 3 4

3. Fonction de coût Prédiction Solution 0, 02 0 0, 87 1 0, 01 0 0, 02 0 0, 01 0 0, 03 0 0, 01 0 Coût

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0 0, 16 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 Coût

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0, 16 0 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 M images. Coût

3. Fonction de coût M images Coût total Problème d’optimisation !

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur On fait des sauts trop grands, ça ne converge pas !

4. Dérivée et apprentissage Ce que sait l’ordinateur Ce qu’on va faire Ce que voit l’humain qui triche Ce qu’on a fait Ce saut est généralement trop grand On fait des sauts trop grands, ça ne converge pas !

4. Dérivée et apprentissage Ce qu’on va faire Ce qu’on a fait Ce saut est généralement trop grand

4. Dérivée et apprentissage Ce qu’on va faire Ce qu’on a fait Ce saut est généralement trop grand

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? !

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? !

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? ! L’ordinateur apprend, s’améliore, devient ‘intelligent’ ! Quand faut-il arrêter le processus ?

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? L’ordinateur apprend, s’améliore, devient ‘intelligent’ ! Quand faut-il arrêter le processus ?

5. Surapprentissage • Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. • Oui et non ! Oui sur les données d’entraînement, non sur de nouvelles données. Il y a surapprentissage !

5. bis - Surapprentissage Source : https: //data. oecd. org/belgium. htm

5. bis - Surapprentissage Épreuve de modélisation David Rousseau François Delannoy

5. bis - Surapprentissage Épreuve de modélisation David Rousseau François Delannoy

5. bis - Surapprentissage Épreuve de modélisation David Rousseau François Delannoy Excellent ! Satisfaisant

5. bis - Surapprentissage Épreuve de modélisation prédiction David Rousseau François Delannoy Excellent ! Satisfaisant

5. bis - Surapprentissage Épreuve de prédiction David Rousseau François Delannoy Catastrophique Plutôt pas mal !

5. bis - Surapprentissage David Rousseau Catastrophique Excellent ! Épreuve de prédiction modélisation François Delannoy Plutôt pas mal ! Satisfaisant

5. Surapprentissage • Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. • Oui et non ! Oui sur les données d’entraînement, non sur de nouvelles données. Il y a surapprentissage ! • Moralité : mieux vaut éviter d’être trop fort sur les données d’entraînement ! • Comment éviter le surapprentissage ici ?

5. Surapprentissage • • Mettre des images de validation de coté Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. Geler régulièrement l’apprentissage, tester Oui et non ! Oui sur les données l’ordinateur sur ces images d’entraînement, non sur de nouvelles données. Prendre note du coût total sur ces images Il y a surapprentissage ! Au début, ce coût va diminuer, puis il finira par augmenter. Début du surapprentissage Moralité : mieux vaut éviter d’être trop fort Stopper l’apprentissage sur les données d’entraînement ! Comment éviter le surapprentissage ici ?

5. Surapprentissage • Mettre des images de validation de coté • Geler régulièrement l’apprentissage, tester l’ordinateur sur ces images • Prendre note du coût total sur ces images • Au début, ce coût va diminuer, puis il finira par augmenter. Début du surapprentissage. • Stopper l’apprentissage

5. Surapprentissage Coût en fonction du temps • Mettre des images de validation de coté Images d’entraînement Images de validation • Geler régulièrement l’apprentissage, tester l’ordinateur sur ces images • Prendre note du coût total sur ces images Début du surapprentissage • Au début, ce coût va diminuer, puis il finira par augmenter. Début du surapprentissage. • Stopper l’apprentissage

5. Surapprentissage Coût en fonction du temps Images d’entraînement Images de validation Début du surapprentissage

6. Récapitulatif

6. Récapitulatif

6. Récapitulatif

Vu que nous sommes entre adultes…

7. Pour aller plus loin • Plusieurs couches intermédiaires http: //www. mdpi. com/2078 -2489/3/4/756

7. Pour aller plus loin • 10 x 1 = 10 x 728 * 728 x 1 10 x 1 = 10 x 400 * 400 x 728 * 728 x 1

7. Pour aller plus loin https: //medium. com/@krishnakalyan 3/introduction-to-exponential-linear-unit-d 3 e 2904 b 366 c

7. Pour aller plus loin • Plusieurs couches intermédiaires https: //www. researchgate. net/publication/287209604_Prediction_of_Final_Concentrate_Grade_Using_Artificial_Neural_Networks_from_Gol-EGohar_Iron_Ore_Plant/figures? lo=1

7. Pour aller plus loin • D’autres structures https: //medium. com/@smallfishbigsea/a-walk-through-of-alexnet-6 cbd 137 a 5637

7. Pour aller plus loin • D’autres opérations (convolutional neural networks)

7. Pour aller plus loin • D’autres données https: //machinelearningmastery. com/use-pre-trained-vgg-model-classify-objects-photographs/

7. Pour aller plus loin • D’autres données https: //machinelearningmastery. com/use-pre-trained-vgg-model-classify-objects-photographs/ 1000+ catégories 152 couches 60 M de paramètres

7. Pour aller plus loin • D’autres tâches https: //www. youtube. com/watch? v=WZm. SMk. K 9 Vu. A (YOLO)

7. Pour aller plus loin • D’autres tâches https: //www. google. be/search? q=detection+resnet&client=firefox-bab&dcr=0&source=lnms&tbm=isch&sa=X&ved=0 ah. UKEwi. B 6 qz. Ik. OTZAh. VKCc. AKHcjo. CWs. Q_AUICig. B&biw=1536&bih=752#imgdii=t. Bfkl. Mrrbkf 1 LM: &imgrc=U z 09 j. JE 9 n. Alih. M:

7. Pour aller plus loin • D’autres tâches https: //www. youtube. com/watch? v=c. Hz 9_JLjgpg (PSP-Net)

7. Pour aller plus loin • Génération d’images (GAN) https: //thispersondoesnotexist. com/

7. Pour aller plus loin La meilleure source de données, c’est vous ! (facebook, twitter, instagram, etc. ) et les « nouveaux protocoles de sécurité »

Merci pour votre attention !

Adrien Deliège adrien. deliege@uliege. be Université de Liège Maths sous tous les angles, Amiens, 14 mars 2019