Le nettoyage des données
Six défauts d'un jeu de données (valeurs manquantes, doublons, aberrantes, formats incohérents, types erronés, incohérences entre colonnes) et leurs traitements, avec la trace de ce qu'on change.
- 25 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
- Comprendre
Quelques cartes du deck
Nettoyage des données : de quoi s'agit-il ?
Voir la réponse
Étape qui détecte puis corrige ou retire les valeurs erronées, absentes ou incohérentes d'un jeu avant de l'analyser.
Une analyse, même bien menée, ne vaut que ce que valent ses données : les erreurs non corrigées se retrouvent dans les moyennes, les modèles et les graphiques.
Le tableau df a 10 lignes et 2 colonnes. Les lignes 3, 4 et 8 contiennent chacune un vide et ne ressemblent à aucune autre ; les lignes 0 et 2 sont identiques, de même que les lignes 6 et 7. Qu'affiche ce code ?
```python
print(df.dropna().shape)
print(df.duplicated().sum())`(7, 2)puis2(7, 2)puis4(10, 2)puis2(8, 2)puis2
Voir la réponse
(7, 2)puis2dropna()retire les 3 lignes à vide et laisse 7 lignes de 2 colonnes.duplicated()marque la seconde occurrence de chaque doublon : 2 marques, pas 4, car la première occurrence n'est pas comptée.Les six défauts classiques d'un jeu sont les valeurs …, les doublons, les valeurs aberrantes, les formats incohérents, les types erronés et les incohérences entre ….
Voir la réponse
Les six défauts classiques d'un jeu sont les valeurs manquantes, les doublons, les valeurs aberrantes, les formats incohérents, les types erronés et les incohérences entre colonnes.
Une date de fin antérieure à la date de début est une incohérence entre colonnes : chaque cellule semble valide seule, c'est leur rapprochement qui trahit l'erreur.
Valeur manquante : de quoi s'agit-il ?
Voir la réponse
Case d'un jeu de données qui ne contient aucune mesure, notée vide, NaN, NULL ou par un code comme « N/A ».
On peut supprimer la ligne, imputer une valeur ou la garder comme telle : le bon choix dépend de la part de vides et de la raison de l'absence.