Des mathmatiques derrire lintelligence artificielle Adrien Delige adrien

Des mathématiques derrière l’intelligence artificielle Adrien Deliège adrien. deliege@uliege. be Université de Liège Pi Day, mars 2020

1. Les données 60. 000 images de chiffres, 28 x 28 pixels/image, 10 chiffres différents M n K Objectif Apprendre à l’ordinateur à reconnaître les images

1. Les données 60. 000 images de chiffres, 28 x 28 pixels/image, 10 chiffres différents n M K Objectif : … … … … Image … … … Apprendre à l’ordinateur à reconnaître les images = … … …

2. Scores et probabilités 1. Les données 3 -5 … … … 2 -1 … … Image … … … = … … …

2. Scores et probabilités 3 -5 … 2 … -1

2. Scores et probabilités … …

2. Scores et probabilités … …

2. Scores et probabilités 0, 3 5, 4 2, 1 -3, 6 -0, 2 1, 1 0, 6 -0, 1 6, 2 5, 4 • Quand est-ce qu’un score 7, 4 est grand ? Cela dépend des autres -2, 1 scores ! -3 • A-t-on vraiment envie de 7, 1 traiter des scores 2, 3 négatifs ? 1, 5 1, 4 6, 4 0, 7 3, 2

2. Scores et probabilités 0, 3 5, 4 2, 1 -3, 6 -0, 2 1, 1 0, 6 -0, 1 1, 4 0, 7 QUESTION • Quand est-ce qu’un score est grand ? Cela dépend des autres scores ! • A-t-on vraiment envie de traiter des scores négatifs ?

2. Scores et probabilités 0, 3 1, 35 5, 4 221, 41 2, 1 8, 17 -3, 6 0, 03 -0, 2 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? 0, 82 1, 1 3, 01 0, 6 1, 82 -0, 1 0, 90 1, 4 4, 06 0, 7 2, 01 20 L’exponentielle 15 10 5 -5 0 0 5

2. Scores et probabilités 0, 3 1, 35 0, 005 5, 4 221, 41 0, 910 2, 1 8, 17 0, 034 -3, 6 0, 03 0, 000 -0, 2 0, 82 ÷ 243, 58 0, 003 1, 1 3, 01 0, 012 0, 6 1, 82 0, 007 -0, 1 0, 90 0, 004 1, 4 4, 06 0, 017 0, 7 2, 01 0, 008 Total : 243, 58 Total : 1 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? En calculant quel pourcentage du total représente chaque nombre. On obtient alors un vecteur de probabilités.

2. Scores et probabilités 0, 3 1, 35 0, 005 5, 4 221, 41 0, 910 2, 1 8, 17 0, 034 -3, 6 0, 03 0, 000 -0, 2 0, 82 ÷ 243, 58 0, 003 1, 1 3, 01 0, 012 0, 6 1, 82 0, 007 -0, 1 0, 90 0, 004 1, 4 4, 06 0, 017 0, 7 2, 01 0, 008 Total : 243, 58 Total : 1 QUESTION Comment relativiser ces nombres les uns par rapport aux autres ? En calculant quel pourcentage du total représente chaque nombre. On obtient alors un vecteur de probabilités.

2. Scores et probabilités … … Softmax

2. Scores et probabilités … … Softmax

2. Scores et probabilités … … Softmax

2. Scores et probabilités Mesurons les performances de l’algorithme pour lui donner un feedback

3. Fonction de coût Prédiction Solution 0, 02 0 0, 87 1 0, 01 0 0, 02 0 0, 01 0 0, 03 0 0, 01 0 Erreur mineure Coût faible

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0 0, 16 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 Erreur très grave Coût très élevé

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 5 0, 08 0 4 0, 02 0 3 0, 16 0 2 0, 14 0 1 0, 02 0 0 0, 11 1 0, 04 0 02 -1 0 -2 Erreur très grave Coût très élevé 3 4

3. Fonction de coût 5 4 3 2 1 0 -2 1 2 3 4

3. Fonction de coût Prédiction Solution 0, 02 0 0, 87 1 0, 01 0 0, 02 0 0, 01 0 0, 03 0 0, 01 0 Coût

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0 0, 16 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 Coût

3. Fonction de coût Prédiction Solution 0, 23 0 0, 03 1 0, 17 0 0, 08 0 0, 02 0, 16 0 0 0, 14 0 0, 02 0 0, 11 0 0, 04 0 M images. Coût

3. Fonction de coût M images Coût total Problème d’optimisation !

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage •

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur

4. Dérivée et apprentissage Ce que voit l’humain qui triche Ce que sait l’ordinateur On fait des sauts trop grands, ça ne converge pas !

4. Dérivée et apprentissage Ce que sait l’ordinateur Ce qu’on va faire Ce que voit l’humain qui triche Ce qu’on a fait Ce saut est généralement trop grand On fait des sauts trop grands, ça ne converge pas !

4. Dérivée et apprentissage Ce qu’on va faire Ce qu’on a fait Ce saut est généralement trop grand

4. Dérivée et apprentissage Ce qu’on va faire Ce qu’on a fait Ce saut est généralement trop grand

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? !

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? !

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? Gérer la/les dérivée(s) ? ! L’ordinateur apprend, s’améliore, devient ‘intelligent’ ! Quand faut-il arrêter le processus ?

4. Dérivée et apprentissage Comment faire quand on a plusieurs variables ? L’ordinateur apprend, s’améliore, devient ‘intelligent’ ! Quand faut-il arrêter le processus ?

5. Surapprentissage • Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. • Oui et non ! Oui sur les données d’entraînement, non sur de nouvelles données. Il y a surapprentissage !

5. bis - Surapprentissage Source : https: //data. oecd. org/belgium. htm

5. bis - Surapprentissage Épreuve de modélisation Nathan Q. , 6 C, St Bar Léa F. , 6 C, St Bar

5. bis - Surapprentissage Épreuve de modélisation Nathan Q. , 6 C, St Bar Léa F. , 6 C, St Bar

5. bis - Surapprentissage Épreuve de modélisation Nathan Q. , 6 C, St Bar Léa F. , 6 C, St Bar Excellent ! Satisfaisant

5. bis - Surapprentissage Épreuve de modélisation prédiction Nathan Q. , 6 C, St Bar Léa F. , 6 C, St Bar Excellent ! Satisfaisant

5. bis - Surapprentissage Épreuve de prédiction Nathan Q. , 6 C, St Bar Léa F. , 6 C, St Bar Catastrophique Plutôt pas mal !

5. bis - Surapprentissage Nathan Q. , 6 C, St Bar Catastrophique Excellent ! Épreuve de prédiction modélisation Léa F. , 6 C, St Bar Plutôt pas mal ! Satisfaisant

5. Surapprentissage • Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. • Oui et non ! Oui sur les données d’entraînement, non sur de nouvelles données. Il y a surapprentissage ! • Moralité : mieux vaut éviter d’être trop fort sur les données d’entraînement ! • Comment éviter le surapprentissage ici ?

5. Surapprentissage • • Mettre des images de validation de coté Intuition : plus on laisse l’ordinateur apprendre, plus il devient fort. Geler régulièrement l’apprentissage, tester Oui et non ! Oui sur les données l’ordinateur sur ces images d’entraînement, non sur de nouvelles données. Prendre note du coût total sur ces images Il y a surapprentissage ! Au début, ce coût va diminuer, puis il finira par augmenter. Début du surapprentissage Moralité : mieux vaut éviter d’être trop fort Stopper l’apprentissage sur les données d’entraînement ! Comment éviter le surapprentissage ici ?

5. Surapprentissage • Mettre des images de validation de coté • Geler régulièrement l’apprentissage, tester l’ordinateur sur ces images • Prendre note du coût total sur ces images • Au début, ce coût va diminuer, puis il finira par augmenter. Début du surapprentissage. • Stopper l’apprentissage

5. Surapprentissage Coût en fonction du temps Performance de coté en fonction du temps • Mettre des images de validation Images d’entraînement • Geler régulièrement l’apprentissage, tester Images d’examen l’ordinateur sur ces images • Prendre note du coût total sur ces images • Au début, ce coût va diminuer, puis il finira par Début du surapprentissage augmenter. Début du surapprentissage. • Stopper l’apprentissage

5. Surapprentissage Coût en fonction du temps Images d’entraînement Performance en fonction du temps Images d’examen Début du surapprentissage

6. Récapitulatif

6. Récapitulatif

6. Récapitulatif

7. Pour aller plus loin • Plusieurs couches intermédiaires http: //www. mdpi. com/2078 -2489/3/4/756

7. Pour aller plus loin • Plusieurs couches intermédiaires https: //www. researchgate. net/publication/287209604_Prediction_of_Final_Concentrate_Grade_Using_Artificial_Neural_Networks_from_Gol-EGohar_Iron_Ore_Plant/figures? lo=1

7. Pour aller plus loin • D’autres structures https: //medium. com/@smallfishbigsea/a-walk-through-of-alexnet-6 cbd 137 a 5637

7. Pour aller plus loin • D’autres données https: //machinelearningmastery. com/use-pre-trained-vgg-model-classify-objects-photographs/

7. Pour aller plus loin • D’autres opérations -> Convolutional neural networks

7. Pour aller plus loin • D’autres données https: //machinelearningmastery. com/use-pre-trained-vgg-model-classify-objects-photographs/ 1000+ catégories 152 couches 60 M de paramètres

7. Pour aller plus loin • D’autres tâches https: //www. youtube. com/watch? v=WZm. SMk. K 9 Vu. A (YOLO)

7. Pour aller plus loin • D’autres tâches https: //www. google. be/search? q=detection+resnet&client=firefox-bab&dcr=0&source=lnms&tbm=isch&sa=X&ved=0 ah. UKEwi. B 6 qz. Ik. OTZAh. VKCc. AKHcjo. CWs. Q_AUICig. B&biw=1536&bih=752#imgdii=t. Bfkl. Mrrbkf 1 LM: &imgrc=U z 09 j. JE 9 n. Alih. M:

7. Pour aller plus loin • D’autres tâches https: //www. youtube. com/watch? v=c. Hz 9_JLjgpg (PSP-Net)

7. Pour aller plus loin • Génération d’images (GAN) https: //thispersondoesnotexist. com/

7. Pour aller plus loin (NVIDIA GAUGAN)

Everybody dance now (deep learning)

7. Pour aller plus loin L’apprentissage supervisé nécessite des annotations faites par des humains !

7. Pour aller plus loin La meilleure source de données, c’est vous ! (facebook, twitter, instagram, etc. ) et les « nouveaux protocoles de sécurité »

Merci pour votre attention !

Adrien Deliège adrien. deliege@uliege. be Université de Liège Pi Day, mars 2020