Les k plus proches voisins
Un algorithme entier : mesurer les distances au point à classer, garder les k plus proches, voter ou faire la moyenne ; le choix de k, l'effet des échelles et le coût d'une prédiction.
- 22 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Les courbes
- Mises en situation
Quelques cartes du deck
k plus proches voisins : de quoi s'agit-il ?
Voir la réponse
Algorithme qui prédit la cible d'un point d'après les k exemples d'entraînement les plus proches de lui.
Il mesure la distance du point à classer à chaque exemple, garde les k plus petites, puis laisse ces voisins voter. L'idée : des points proches se ressemblent.
Six exemples d'entraînement sont donnés (coordonnées, classe). Quelle classe prédit-on pour le point (2, 3) avec k = 3 ?
```text
(1, 1) rouge
(2, 1) rouge
(2, 2) bleu
(5, 5) bleu
(6, 5) bleu
(6, 6) rouge`- Rouge : deux de ses trois voisins sont rouges
- Bleu : son voisin le plus proche, (2, 2), est bleu
- Bleu : trois exemples sur six du jeu sont bleus
- Aucune : les trois voisins n'ont pas tous la même classe
Voir la réponse
Rouge : deux de ses trois voisins sont rouges
Les distances à (2, 3) sont 1 pour (2, 2), 2 pour (2, 1), √5 ≈ 2,24 pour (1, 1), puis bien plus pour les autres. Les trois plus proches sont bleu, rouge, rouge : le vote donne rouge. Avec k = 1, la réponse aurait été bleu.
Pour classer un point, les k voisins … ; en régression, on prend plutôt la … de leurs cibles.
Voir la réponse
Pour classer un point, les k voisins votent ; en régression, on prend plutôt la moyenne de leurs cibles.
La cible d'une classification est une étiquette, que l'on compte ; celle d'une régression est un nombre, que l'on moyenne.