Apprentissage supervisé, non supervisé et par renforcement
Les trois modes d'apprentissage et ce qui les sépare, des exemples étiquetés, des données sans étiquette ou une récompense, la boucle agent-environnement, l'auto-supervision et les récompenses mal posées.
- 25 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
- Comprendre
Quelques cartes du deck
Apprentissage supervisé : de quoi s'agit-il ?
Voir la réponse
Mode où le modèle apprend à partir d'exemples qui portent chacun la bonne réponse, connue à l'avance.
La bonne réponse de chaque exemple s'appelle l'étiquette ; elle vient d'annotateurs humains ou d'un historique, comme le prix d'une vente passée. Étiqueter coûte cher, et le modèle ne dépassera pas la qualité de ces étiquettes.
Un agent a un facteur d'actualisation de 0,1. Quel comportement attend-on de lui ?
- Il privilégie les récompenses immédiates, même plus petites
- Il vise la plus grosse récompense possible, même très lointaine
- Il explore au hasard, parce qu'il ne retient pas ses récompenses passées
- Il apprend plus lentement, parce que chaque mise à jour est divisée par dix
Voir la réponse
Il privilégie les récompenses immédiates, même plus petites
Une récompense reçue deux pas plus tard est multipliée par 0,1² = 0,01 : elle ne pèse presque plus. Le facteur règle l'horizon de l'agent, pas sa vitesse d'apprentissage.
À chaque pas, l'… choisit une action ; l'… renvoie un nouvel état et une récompense.
Voir la réponse
À chaque pas, l'agent choisit une action ; l'environnement renvoie un nouvel état et une récompense.
Cette boucle observer, agir, recevoir une récompense est la même pour un robot, un jeu vidéo ou un programme de go.
Apprentissage non supervisé : de quoi s'agit-il ?
Voir la réponse
Mode où le modèle reçoit des données sans aucune réponse attendue et cherche seul une structure : groupes, axes principaux, anomalies.
Regrouper des clients en segments est le cas typique. Rien ne dit si les groupes trouvés ont un sens : c'est à un humain de les interpréter.