EnglishCommencer

Les mathématiques de l'apprentissage

Les outils qui font apprendre un modèle : produit scalaire, fonction de coût, gradient, pas d'apprentissage, descente de gradient, règle de la chaîne, rétropropagation et softmax.

  • 23 cartes
  • 3 thèmes
  • Gratuit
Réviser ce deck

Le programme, thème par thème

Le poids de chaque thème suit celui que lui donne l'examen.

  1. Notions
  2. Questions
  3. Les chiffres

Quelques cartes du deck

  • Fonction de coût : de quoi s'agit-il ?

    Voir la réponse

    Mesure unique de l'écart entre les prédictions d'un modèle et les vraies réponses, que l'entraînement cherche à rendre la plus petite possible.

    Elle traduit « bien apprendre » en un nombre qu'on peut dériver. On choisit l'erreur quadratique pour une valeur à prédire, l'entropie croisée pour une classe.

  • Quelle valeur de w obtient-on après deux pas de cette descente de gradient ?

    ```python
    # f(w) = (w - 3) ** 2, donc f'(w) = 2 * (w - 3)
    w = 0
    pas = 0.25
    for _ in range(2):
    w = w - pas * 2 * (w - 3)
    print(w)
    `

    • 2.25
    • 1.5
    • 3.0
    • -2.25
    Voir la réponse

    2.25

    Premier pas : gradient −6, w = 0 + 0,25 × 6 = 1,5. Second pas : gradient −3, w = 1,5 + 0,75 = 2,25. Après un seul pas, on aurait 1,5 ; le minimum, 3, est approché sans être atteint.

  • Ce que calcule un neurone avant son activation est un … des poids et des entrées, auquel s'ajoute le ….

    Voir la réponse

    Ce que calcule un neurone avant son activation est un produit scalaire des poids et des entrées, auquel s'ajoute le biais.

    Avec des poids (2, −1) et des entrées (3, 4) : 2 × 3 + (−1) × 4 = 2, avant biais.

  • Gradient : de quoi s'agit-il ?

    Voir la réponse

    Vecteur des dérivées du coût par rapport à chaque paramètre ; il pointe dans la direction où le coût augmente le plus vite.

    Pour faire baisser le coût, on se déplace dans le sens opposé au gradient.

  • On minimise f(w) = (w − 3)² depuis w = 0 avec un pas de 1,1. Que devient w sur les trois premiers pas ?

    • Il se rapproche de 3 en dépassant légèrement la cible, puis se stabilise
    • Il saute d'un côté à l'autre de 3 en s'en éloignant un peu plus à chaque pas
    • Il atteint 3 en un seul pas, puis reste immobile aux pas suivants
    • Il avance de plus en plus lentement vers 3, sans jamais le dépasser
    Voir la réponse

    Il saute d'un côté à l'autre de 3 en s'en éloignant un peu plus à chaque pas

    Chaque pas multiplie l'écart w − 3 par 1 − 2 × 1,1 = −1,2 : un facteur de valeur absolue supérieure à 1, donc l'écart grandit en changeant de signe (w vaut 6,6, puis −1,32, puis 8,18). Un pas de 0,5 atteindrait 3 d'un coup, un pas de 0,1 s'en approcherait doucement.

Réviser ce deck