Le passage à l'échelle de l'apprentissage
Ce qui change quand le jeu ne tient plus en mémoire ou que l'entraînement dure des heures : coût des algorithmes, mini-lots, apprentissage en ligne, matrices creuses, répartition du calcul et prédiction par lots.
- 23 cartes
- 5 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
Quelques cartes du deck
Complexité en temps : de quoi s'agit-il ?
Voir la réponse
Façon dont le temps de calcul d'un algorithme grandit avec la taille des données : proportionnel au nombre de lignes, à son carré, etc.
Elle prédit ce qui se passera à 10 fois plus de données : un coût linéaire est multiplié par 10, un coût quadratique par 100.
Qu'apporte l'apprentissage par mini-lots lorsque le jeu d'entraînement ne tient pas en mémoire ?
- Il lit le jeu par petits paquets et n'en garde qu'un en mémoire à la fois
- Il compresse tout le jeu d'entraînement en mémoire sans perdre aucune valeur
- Il retire les lignes les moins utiles pour que le jeu restant tienne en mémoire
- Il entraîne plusieurs modèles indépendants sur le jeu entier, puis garde le meilleur
Voir la réponse
Il lit le jeu par petits paquets et n'en garde qu'un en mémoire à la fois
À chaque pas, le gradient est calculé sur un mini-lot seulement : la mémoire dépend de la taille du lot, pas de celle du jeu. Aucune ligne n'est jetée : elles sont toutes lues, chacune à son tour.
Calculer la distance entre tous les couples de points coûte un temps qui grandit comme le … du nombre de points.
Voir la réponse
Calculer la distance entre tous les couples de points coûte un temps qui grandit comme le carré du nombre de points.
n points forment environ n²/2 couples : 10 fois plus de points, environ 100 fois plus de couples. C'est ce qui rend vite impraticables le clustering hiérarchique ou une matrice de distances complète.
Descente de gradient par mini-lots : de quoi s'agit-il ?
Voir la réponse
Entraînement qui corrige les paramètres du modèle après chaque petit paquet de lignes, au lieu d'attendre d'avoir lu tout le jeu.
Seul un mini-lot doit tenir en mémoire à la fois, et les paramètres progressent dès les premières lignes. C'est la méthode de base des réseaux de neurones.