Les modèles de langage
Ce que fait un grand modèle de langage : découper le texte en jetons, prédire le jeton suivant, l'ajouter et recommencer ; fenêtre de contexte, température, plongements, rôle de l'attention, pré-entraînement puis ajustement, et pourquoi il peut affirmer une chose fausse.
- 24 cartes
- 5 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Comprendre
Quelques cartes du deck
Jeton : de quoi s'agit-il ?
Voir la réponse
Morceau de texte (mot, fragment de mot, signe de ponctuation) en lequel le texte est découpé avant d'entrer dans le modèle ; le modèle ne voit que ces unités, jamais les lettres.
Un mot courant tient souvent en un seul jeton, un mot rare ou long en plusieurs. Les limites, les prix et la mémoire d'un modèle se comptent en jetons, pas en mots.
Une application extrait des dates dans des contrats et veut des réponses aussi reproductibles que possible d'un appel à l'autre. Quel réglage choisir ?
- Une température proche de 0
- Une température élevée
- Une fenêtre de contexte plus grande
- Davantage de couches d'attention
Voir la réponse
Une température proche de 0
À température basse, le jeton le plus probable est presque toujours choisi : les réponses se répètent. Une température haute fait l'inverse. La taille de la fenêtre et le nombre de couches ne touchent pas à la variété du tirage. Même à 0, une identité parfaite n'est pas garantie.
Le mécanisme d'… permet à chaque jeton de pondérer les autres jetons du contexte pour construire sa représentation ; l'architecture qui empile ces couches s'appelle le ….
Voir la réponse
Le mécanisme d'attention permet à chaque jeton de pondérer les autres jetons du contexte pour construire sa représentation ; l'architecture qui empile ces couches s'appelle le transformeur.
Son rôle : relier un mot à ceux qui l'éclairent, même éloignés dans la phrase (un pronom et le nom qu'il reprend). Toutes les positions sont traitées ensemble, ce qui rend l'entraînement parallélisable.
Prédiction du jeton suivant : de quoi s'agit-il ?
Voir la réponse
Tâche au cœur d'un modèle de langage : à partir du début d'un texte, calculer une probabilité pour chacune des unités qui peuvent venir ensuite.
Pour écrire un texte, le modèle en tire une unité, l'ajoute au texte, puis recommence. La suite réelle d'un texte existant sert de réponse attendue : aucun humain n'a besoin d'étiqueter les données.