L'arbre de décision et la forêt aléatoire
Un classifieur qui pose des questions à seuil : lire un arbre, mesurer l'impureté (Gini, entropie), choisir la meilleure coupe, borner la profondeur ; puis la forêt aléatoire, qui fait voter des arbres tirés avec remise.
- 27 cartes
- 5 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
Quelques cartes du deck
Arbre de décision : de quoi s'agit-il ?
Voir la réponse
Modèle qui enchaîne des questions à seuil sur les variables, chaque réponse menant à une branche, jusqu'à une feuille qui donne la prédiction.
Il se lit comme une suite de règles « si … alors … », ce qui le rend facile à expliquer. Il est appris en choisissant à chaque nœud la coupe qui purifie le mieux les données.
Un arbre simple sur les iris pose d'abord « longueur du pétale ≤ 2,45 cm ? » : si oui, setosa. Sinon, il demande « largeur du pétale ≤ 1,75 cm ? » : si oui, versicolor, sinon virginica. Quelle espèce prédit-il pour un pétale long de 4,9 cm et large de 1,8 cm ?
- Virginica : 4,9 > 2,45 puis 1,8 > 1,75
- Setosa : la longueur du pétale est la première variable testée
- Versicolor : 1,8 cm de large reste proche du seuil de 1,75 cm
- Aucune : un pétale de 4,9 cm de long ne correspond à aucune feuille
Voir la réponse
Virginica : 4,9 > 2,45 puis 1,8 > 1,75
On descend nœud après nœud : 4,9 n'est pas ≤ 2,45, on va à droite ; 1,8 n'est pas ≤ 1,75, on va encore à droite, dans la feuille virginica. Tout individu atteint exactement une feuille.
Pour freiner le sur-apprentissage d'un arbre, on borne sa … ou le nombre minimal d'individus par ….
Voir la réponse
Pour freiner le sur-apprentissage d'un arbre, on borne sa profondeur ou le nombre minimal d'individus par feuille.
En scikit-learn, ce sont
max_depthetmin_samples_leaf. Plus l'arbre est profond, plus ses zones sont petites et collées aux points d'entraînement.Indice de Gini : de quoi s'agit-il ?
Voir la réponse
Mesure de l'impureté d'un nœud : 1 moins la somme des carrés des proportions de chaque classe ; elle vaut 0 quand le nœud est pur.
Pour deux classes, elle vaut 0,5 au maximum (moitié-moitié). Une coupe est bonne quand la moyenne pondérée des impuretés des deux enfants est bien plus basse que celle du parent.