Explorer un jeu de données massif
Le plan fixe d'une première exploration : dimensions et types, profil de chaque colonne, échantillonnage, agrégats par groupe et renversement d'une tendance par sous-groupes.
- 21 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
- Comprendre
Quelques cartes du deck
Analyse exploratoire : de quoi s'agit-il ?
Voir la réponse
Première lecture d'un jeu par des résumés et des graphiques, pour en comprendre la forme et repérer les anomalies avant toute modélisation.
On commence par les dimensions et les types, puis le profil de chaque colonne, puis les croisements : c'est un plan, pas une promenade au hasard.
Le tableau df a 10 lignes : 4 pour Lyon (10, 20, 30, 40), 3 pour Paris (40, 60, 20) et 3 pour Nice (5, 15, 25). Que vaut la ligne Lyon de ce code ?
```python
print(df.groupby("ville")["montant"].mean())`25.0100.010.040.0
Voir la réponse
25.0La moyenne de Lyon est (10 + 20 + 30 + 40) / 4 = 25,0. 100 serait la somme (
sum()), 10 le minimum (min()) et 40 le maximum (max()), qui est aussi la moyenne de Paris.Le profil d'une colonne résume sa …, sa part de valeurs …, son étendue (minimum et maximum) et sa distribution.
Voir la réponse
Le profil d'une colonne résume sa cardinalité, sa part de valeurs manquantes, son étendue (minimum et maximum) et sa distribution.
Un maximum de 9999 qui sert de valeur par défaut, 62 % de vides ou un identifiant lu comme un nombre se voient dès ce profil, avant tout calcul.
Cardinalité d'une colonne : de quoi s'agit-il ?
Voir la réponse
Nombre de valeurs distinctes qu'une colonne contient.
Une cardinalité de 1 signale une colonne constante, inutile ; une cardinalité égale au nombre de lignes signale un identifiant, qu'il ne faut pas traiter comme une mesure.