Collecte et formats des données massives
D'où viennent les données massives et sous quelle forme on les garde : les trois V, la collecte par lots ou en flux, la pagination d'une API, et six formats (CSV, JSON Lines, XML, Avro, Parquet, ORC) comparés.
- 29 cartes
- 7 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Sur le schéma
- Mises en situation
- Comprendre
Quelques cartes du deck
Les trois V des données massives : de quoi s'agit-il ?
Voir la réponse
Volume, vélocité et variété : la quantité de données, la vitesse à laquelle elles arrivent et la diversité de leurs formes.
Un jeu devient « massif » quand l'un de ces trois critères dépasse ce qu'un outil classique, sur une seule machine, sait traiter.
Un fichier CSV contient la ligne ci-dessous, avec le séparateur « , ». Combien de colonnes un lecteur CSV y trouve-t-il ?
```csv
7,"Dupont, Léa",Lyon,42.5`- 4
- 5
- 3
- 6
Voir la réponse
4
La virgule entre guillemets appartient à la valeur « Dupont, Léa » : elle ne sépare rien. Sans guillemets, la ligne aurait cinq colonnes et tout serait décalé.
Les sources courantes de données massives sont les … des serveurs, les …, les API et les données ouvertes.
Voir la réponse
Les sources courantes de données massives sont les journaux des serveurs, les capteurs, les API et les données ouvertes.
Chaque source impose son rythme et son format : un journal est un texte ajouté ligne à ligne, un capteur émet des mesures régulières, une API rend du JSON paginé.