Les limites et les biais de l'IA
Où une IA se trompe et pourquoi : affirmations inventées, biais des données (historique, de représentation, de mesure, de sélection), dérive dans le temps, opacité, exemples adverses, coût en énergie ; les garde-fous (relecture humaine, mesure par groupe, suivi en service) et les quatre niveaux de risque du règlement européen sur l'IA.
- 26 cartes
- 6 thèmes
- Gratuit
Le programme, thème par thème
Le poids de chaque thème suit celui que lui donne l'examen.
- Notions
- Questions
- Ranger et relier
- Les chiffres
- Mises en situation
- Comprendre
Quelques cartes du deck
Biais algorithmique : de quoi s'agit-il ?
Voir la réponse
Écart systématique et injuste dans les résultats d'un système automatique, qui défavorise certains groupes de personnes.
Il vient surtout des données (passé injuste, groupe peu représenté, mesure mal choisie, échantillon non représentatif) et de ce qu'on demande d'optimiser, rarement d'une intention du programmeur.
Dans quel cas la relecture humaine d'une décision proposée par un modèle est-elle un vrai garde-fou ?
- La personne a le temps, le dossier complet et le pouvoir de contredire le modèle
- La personne valide d'un clic des dizaines de propositions à la minute, sans les lire
- La personne ne voit que la décision finale, sans les éléments du dossier qui y mènent
- La personne intervient après la décision, uniquement pour la communiquer à l'intéressé
Voir la réponse
La personne a le temps, le dossier complet et le pouvoir de contredire le modèle
Un contrôle sans temps, sans information ou sans pouvoir de refuser n'en est pas un : on s'en remet à la machine par habitude. Il faut aussi que le contrôle précède l'effet de la décision.
Des données qui reflètent des décisions passées injustes produisent un biais … ; si un groupe est presque absent des exemples, c'est un biais de ….
Voir la réponse
Des données qui reflètent des décisions passées injustes produisent un biais historique ; si un groupe est presque absent des exemples, c'est un biais de représentation.
Dans les deux cas, le modèle apprend fidèlement ses données : il reproduit un passé qu'on voulait ne pas reproduire, ou il se trompe plus souvent sur le groupe qu'il a peu vu.
Dérive des données : de quoi s'agit-il ?
Voir la réponse
Évolution, au fil du temps, de ce que le système reçoit en service, qui s'éloigne de ce qu'il a vu à l'entraînement et dégrade ses résultats sans qu'une ligne de code change.
Les comportements, les prix, les fraudeurs, la langue changent. On la détecte en suivant la performance en service ; le remède est de réentraîner sur des données récentes.