Évaluer un modèle
Dire ce que vaut un modèle sur des données qu'il n'a pas vues : découpage entraînement-test, validation croisée, matrice de confusion, exactitude, précision, rappel, F1, courbe ROC, et pour la régression MAE, RMSE et R².
- 30 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Les courbes
- Mises en situation
Quelques cartes du deck
Découpage entraînement-test : de quoi s'agit-il ?
Voir la réponse
Séparation du jeu en deux parties : l'une pour apprendre, l'autre mise de côté pour mesurer le modèle sur des données jamais vues.
Un modèle noté sur ses propres données d'entraînement paraît toujours bon, même s'il a tout appris par cœur. Le test mesure la capacité à généraliser, et ne sert qu'une fois, à la fin.
Dans une validation croisée à 5 plis, combien de modèles entraîne-t-on et sur quelle part du jeu chacun s'entraîne-t-il ?
- Cinq modèles, chacun sur 80 % du jeu
- Un seul modèle, entraîné sur 80 % du jeu puis testé cinq fois sur les 20 % restants
- Cinq modèles, chacun sur 20 % du jeu, le pli unique qui lui est attribué ce tour-là
- Vingt-cinq modèles : chaque pli sert d'entraînement avec chacun des quatre autres plis
Voir la réponse
Cinq modèles, chacun sur 80 % du jeu
À chaque tour un pli (20 %) sert de test et les quatre autres (80 %) d'entraînement, avec un nouveau modèle à chaque fois. Cinq tours, cinq scores, puis leur moyenne.
L'… est la part de prédictions justes parmi toutes les prédictions : (VP + VN) / total.
Voir la réponse
L'exactitude est la part de prédictions justes parmi toutes les prédictions : (VP + VN) / total.
Elle est trompeuse quand une classe domine : sur 1 % de positifs, répondre toujours « négatif » donne 99 % d'exactitude sans rien détecter.