Entraîner, évaluer, sur-apprendre
Le cycle d'un entraînement : jeux d'entraînement, de validation et de test, époque et lot, courbes d'erreur, sous-apprentissage, sur-apprentissage et leurs remèdes.
- 27 cartes
- 7 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Les courbes
- Mises en situation
- Comprendre
Quelques cartes du deck
Sur-apprentissage : de quoi s'agit-il ?
Voir la réponse
Défaut d'un modèle qui retient le détail et le bruit de ses exemples d'entraînement, et se trompe donc sur des données nouvelles.
Signe typique : l'erreur d'entraînement continue de baisser pendant que l'erreur sur des données jamais vues remonte.
Une équipe essaie cinquante réglages et garde celui qui obtient le meilleur score sur le jeu de test, qu'elle annonce comme performance du modèle. Quel est le problème ?
- Le test a servi à choisir : le score annoncé est trop optimiste
- Le jeu de test était trop grand : un grand jeu rend la mesure instable d'un essai à l'autre
- Cinquante essais ne suffisent pas pour comparer sérieusement des réglages entre eux
- Un score de test ne peut jamais dépasser le score d'entraînement du même modèle, donc le chiffre annoncé est impossible
Voir la réponse
Le test a servi à choisir : le score annoncé est trop optimiste
Choisir le meilleur sur le test, c'est lui faire jouer le rôle de validation : le réglage retenu s'est adapté à ses particularités. Il fallait choisir sur la validation, puis mesurer une seule fois sur le test.
Les trois jeux ont chacun un rôle : l'… ajuste les poids, la … sert à choisir les réglages, le … mesure la performance finale, une seule fois.
Voir la réponse
Les trois jeux ont chacun un rôle : l'entraînement ajuste les poids, la validation sert à choisir les réglages, le test mesure la performance finale, une seule fois.
Mesurer sur des données déjà vues, ou consulter le jeu de test à répétition, donne une performance trop optimiste.